Signature for 4.99.9

Version 4.99.9

Fix quoting for inserts to the bucardo_deltanames table in validate_sync.

Initialize var

Fixes for the new bucardo_delta_names table.

Make sure we specify schema

Always check pg_async_status before calling pg_cancel

Stupid tabs

Make sure we only try to populate bucardo_delta_names for source databases.

On FK warnings, show the contraint name, otherwise we often have duplicated we cannot distinguish.

Show the host in our connection logging if we have one.

Testing putting a pg_cancel at the end of the kid before the rollback.

Don't show the initial DSN to the Bucardo database

We don't need to check database wide when we already check database/table combo anyway.

Introduce the concept of a "quick delta" check.

By default, this is turned on, but is left as a config variable in case this turns out to be a very bad idea. :)

This is a huge win on slow networks. Rather than getting a distinct pk count for every table in the sync, we ask the remote
database for a list of all tables and whether or not they have any changes. If they don't, we do not have to bother
with the normal "select distinct" query. This reduces the number of database calls drastically for syncs with a
large number of tables. In addition, the delta quick queries inside the function are extraorfinarily fast compared
to their distinct counterparts, as they do a select 1 ... limit 1.

All of this is accomplished by a new table on each source database called bucardo_delta_names, which stores a
list of all tables for a sync, along with their delta and track table names. This table's information is rewritten
on Bucardo startup each time. The new function uses this table to dynamically generate the quick delta queries
for each table, and then returns it in a simple text format.

This is especially noticeable on slow networks with a large number of tables in a sync. Testing in the case
that drove all this improved the sync run speed from 42 seconds to less than a second (for no rows - the
number of rows is a constant cost limited by how fast COPY goes, in most cases).

Let's try this again...

Typo.

Show chunk when copying

Change default statement_chunk_size from 10000 to 8000, based on real-world experience.

Use prepare_cached, not prepare, inside of fetch1_sql

Typo: compress_delta is a function, not a table

Cache the column lookups inside of validate_sync.

Make sure we do something sensible if we call for a log_level before we have loaded the config.

Tabs cleanup

Replace 'haztrig' with cached version inside of validate_sync.

Show the DSN we are connecting with

Report on total sync time in the logs, even if no rows were changed.

Only try and create that index once.

Speed up the initial validate sync quite a bit by pre-loading all the table, index, and function existence information.

No longer use the whole prefix when building the listen/notify strings, as it may contain a syncname now.

When doing `bucardo list databases`, don't show the psql port connection param unless it is set to something.

Fix wrong search before inserting to bucardo_delta_targets.
This would explain the large number of rows seen in that table in the wild!

Expand the arrays in the opening config dump in the logs.

Enforce sane isolation levels

Add new config 'log_showsyncname', defaulting to 1 (on), which will show the name of the current sync in parens after the 'KID' in the log output.
So rather than this:
(29985) [Thu Oct 17 22:40:12.885 2013] KID Database "A" backend PID: 29987
You will see this:
(29985) [Thu Oct 17 22:40:12.885 2013] KID (fctest) Database "A" backend PID: 29987
As suggested by Michelle Sullivan on the mailing list.

Typo.

Update versions in html docs

Fix some pod

Don't remember why this was here, but mark it as LOG_DEBUG

Away with ye, tab

Set version to 4.99.8.

Try harder to collect and emit errors on validation failures.

There's no need to wait for a NOTIFY, as `validate_sync()` runs synchronously.
So just check the return value for errors, and use excpetion handling to catch
other kinds of errors. This allows us to catch and emit all errors and also
allow execution to finish validating all syncs (should it be validating
multiples). Closes #65.

Improve the auto-creation of the "bucardo" role.

When adding a database, that is. The old code led to confusing errors, where
the user would be told that Bucardo failed to connect as user "postgres" when
you had not, in fact, asked it to. So log more informat as it goes along,
noting failure to connect as "bucardo", trying to connect as "postgres", and
showing success or failure at doing so. This makes things much clearer to the
user what's going on -- and is less fussy, to boot.

Resolves #63.

More bypassing of track_rates

Skip the not-working-now track_rates section.

Merge in patch to ensure objects from different databases but having the same
names are treated distinctly.

Log verbose instead of debug.

For serialization and deadlock failures.

Log loglevel as a string.

Make it clearer which handles to log.

Topic, not lexical.

Log only errors.

Try harder to find initdb when testing.

Add some text fields to the dbgroup and herd tables for future use in "cloning"

Make the inactivate sub a bit smarter. May fix the recurring doublefree/coredump VAC issue.

Fix inaccurate comment.

Changing a sync status does not load or unload it.

So document that fact. We may or may not want to change this in the future.
Ref #55.

Update sync status on activate/deactivate.

Resolves #55.

Document strict_checking for tables, too.

Allow it to be passed to `add table` as well as `update table`.

Ref #57.

Document strict_checking and add it to `add sync`.

Resolves #57.

Add the reload_config_timeout config.

And put it to use in the reload_config command. Also provide more context in
the error message when it does timeout. Closes #67.

Change default reload_config timeout to 30s.

Ref #67.

Purge unknown tables from bucardo_delta_targets.

They seem to get left behind when a table is dropped. Maybe other reasons,
I honestly don't know.

Don't show serialize/deadlock errors unless we are LOG_VERBOSE, per mailing list discussion.

Switch time zone to GMT, as we did in Bucardo4

In `status`, if last run is "empty", call it "good".

Two reasons for this:

* An empty run is not a failure, but "Empty" is kind of distracting
  in the output.
* It is useful, if you just kicked a sync, to see that it ran in the output of
  `status`, even if it was empty.

State can also be "Unknown".

Though I am not sure how it gets in that state...

Note state value for currently-running sync.

End syncs on deadlock and serialization failure.

When I added the serialization failure-handling code, I neglected to notice
that it left orphaned `syncrun` rows with no `ended` value. This confused
later syncruns -- like the one that would run after the 0.5s sleep after a
serialization failure. The code was rolling back the main (Bucardo) database
connection, but the syncrun was already committed elsewhere (so that other
processes could see that a sync is in progress, of course; duh!).

So modify the code to instead call `end_syncrun()` and declare the sync
failed, but, of course, with a status recording the seriazliation failure or
deadlock.

Listen for autokicks on sources for the sync, not all sources.

I had a database in two dbgroups (and syncs), once as a target and once as a
source. On startup, `validate_sync()` was processing the sync where it was a
target, first, and that was the role saved for it in `$self->{sdb}`. Then,
when `validate_sync()` iterated over `$self->{sdb}`, it thought it was a role,
and so did not have the MCP listen for kicks.

Not only that, but sources from other, previously-validated syncs were
unnecessarily listening for kicks!

So change the code to iterate over the list of DBs for the current call to
`validate_sync()`, not all dbs for all syncs, when figuring out whereq to listen
to for kicks.

Note that the use of the same db object in multiple db groups and syncs *may*
cause issues in other places. It would be smart to audit all code that checks
the value in `{role}` for each hash in `$self->{sdb}` and figure out if it is
appropriate. Since the same db can have different roles in differnt syncs, it
might make sense to record all of its roles and to check all of them, rather
than just rely on the first role found.

Revert "Make kick triggers consistently use the non-payload version."

This reverts commit 25973f4b5ba797568467632b79e8129ffe007f49. I'm pretty sure
this was not the problem, since I have syncs that *do* work with this
approach.

The problem I'm having with a NOTIFY being ignored is that the database in
question is used in two db groups, once as a source, another as a target. As
it validates, it finds the target record before the source, and stores that
one away. Then the autokick is ignored, because Bucardo thinks the DB is a
target, not a source. Working on a fix for that now.

Check for empty state, too.

Remove listen_payload in unlisten_all().

Add daemon role to application name.

Make kick triggers consistently use the non-payload version.
May want to have MCP be able to recognize both versions for backwards compat.

Fix `reload config` timeout.

First, allow `reload config 30` to work. Resolves #66.

Second, actually *capture* the timeout and wait that long, instead of just
five seconds every time.

Remove comment line about spacing - no longer applies.

Make sure "bucardo help" doesn't try to connect to a database. Per github issue #64

Bump the version to 5.0.0.

Switch default isolation level back to repeatable read

Match process name case-insensitive

Proper debug for isolation levels

Fixes for upgrade magic

Let's do github canonically

Move some things from bugzilla to here

Super minor tweak

VAC handle pg_listener, per list discussion

This should have gone in with the last commit, as well

Improve output, and update tests accordingly

Add a bit more output to identify a database

Add tests and code for update table db filtering

Clean up lots, and get list table working better

Clean up tests

Merge branch 'master' of ssh://bucardo.org/var/lib/git/bucardo into database-specific-names

Fix customcols; all preexisting tests pass

even more tests work now

Fix herd adding logic, with caveats noted in test source

Consolidate methods for finding goats

Allow for auto reconnection of databases for crash testing.

Typo

Merge from master