More tweaking to async code

Random comments about new plan

Fix typo

Debugging to solve pg_result errors.

Grabbed incorrect hash - was causing the async_status to not get checked and cleared properly on serialization failures occuring at the pg_result point. Shoudl clear up the recent problem seen on the mailing list.

Sig for 4.99.12

Bump version to 4.99.12

Better tracking of async status

Better service arg parsing

readlink can sometimes retrurn undef, even if -s is true, so make a safety check

Mild tweaks to log_level notifications

Support symlinked bucardo executable when looking for Bucardo.pm and bucardo.schema
Allow use of "all" and "tables=all" when creating a herd/relgroup
Don't keep retrying connection if in batch mode

sqlite: do a BEGIN EXCLUSIVE TRANSACTION in force-lock mode.

Put the force-lock-file in the piddir, rather than the globally writeable /tmp

Take out the session level isolation level for mysql - our per transaction calls should be good enough.

Use READ WRITE isolation levels wherever we can.

Have kid_pid_start notification happen on the main channel, not per database

Gather the maximum transaction time for all tables in a single UNION query,
rather than making separate SQL calls for each table.
Per suggestion on mailing list from Hans van der Riet

Add error NOTIFY when reload fails

Exit right away if the delta test fails, for better debugging.

When debug is on, write out a small text file to help connect to the test databases via psql.

Clean up confusing comment

Cleanup the temporary service files

Move kid_pid_stop to global listening, not db-based.
Do a ping check before trying to cleanup databases on the kid exception handler.

Better debugging for notifys

Rewrite the delete_rows function.
Loop through and make sure we have the maximum number of async targets running at all times.
Moved much of the logic to per-target attribs.

Debug the initdb call during testing

Better tweaking for pgservice items

Remove debugging.

Better munging if we are using a service

Ignore any local .bucardorc files.

Remove useless comment

Bump copyright to 2014

Add test for 'bucardo upgrade'

More bucardo.upgrade fixes

Now bucardo upgrade run against a database that doesn't need any changes
correctly reports that no changes are necessary

If we are using a service file, make sure we don't default slurp in host and port env variables

git should ignore service testing files

Modify syntax so the upgrade process can understand it

Make the dbservice column have an empty default, so we don't have to start checking "defined or length..." everywhere

Revert comment, so it stays in sync with reverted code

Finish supporting non-ASCII table and column names

Bucardo now accepts pg_service for databases

service strings are working; still needs tests

Always use async when doing deletes. The previous way had a thinko - this should ensure large deletes run concurrently on different hosts.

Make install quit ignoring dbname and dbuser options

... again.

Don't assume the bucardo database exists on install

Revert "Make install quit ignoring dbname and dbuser options"

I should probably have run the test suite before committing...

This reverts commit 39dcde241abcdfcc45415d2eb210d8b2c694f479.

Make install quit ignoring dbname and dbuser options

s/vaccuum/vacuum/

Make our statement_chunk_size default match up.

Debugging code

Password should default to undef, not an empty string

Gotta have log levels on all glog() calls.

Version bump to 4.99.11

Eval everything.

Someone cannot count.

Fix typo in comment.

Check @tableoids, not tablelist, as the latter may be empty (inside validate_sync)

Meta things for the new dev/ directory

Various tests for developers

Better makedelta test. Need to move these somewhere else.

Fix up some of the makedelta logic.

Better handling of inactive databases.

Add a fifth inactive database to ensure we handle inactive targets gracefully.

Better cleanup of syncrun entries.
Wrap some of the kid cleanup in evals.

Don't package up that MYMETA junk

Version 4.99.10

Add quick test of sequence-only sync. Needs to do some actual diff testing though.

Reduce logging for VAC subprocess to warning - we don't want purging details flooding the logs.

User-supplied messages should always be shown.

Don't gather column information if there are no columns! Fix for validate_sync and a table-less sync.

Don't populate bucardo_delta_names if no tables (e.g. sequence only sync)

Signature for 4.99.9

Version 4.99.9

Fix quoting for inserts to the bucardo_deltanames table in validate_sync.

Initialize var

Fixes for the new bucardo_delta_names table.

Make sure we specify schema

Always check pg_async_status before calling pg_cancel

Stupid tabs

Make sure we only try to populate bucardo_delta_names for source databases.

On FK warnings, show the contraint name, otherwise we often have duplicated we cannot distinguish.

Show the host in our connection logging if we have one.

Testing putting a pg_cancel at the end of the kid before the rollback.

Don't show the initial DSN to the Bucardo database

We don't need to check database wide when we already check database/table combo anyway.

Introduce the concept of a "quick delta" check.

By default, this is turned on, but is left as a config variable in case this turns out to be a very bad idea. :)

This is a huge win on slow networks. Rather than getting a distinct pk count for every table in the sync, we ask the remote
database for a list of all tables and whether or not they have any changes. If they don't, we do not have to bother
with the normal "select distinct" query. This reduces the number of database calls drastically for syncs with a
large number of tables. In addition, the delta quick queries inside the function are extraorfinarily fast compared
to their distinct counterparts, as they do a select 1 ... limit 1.

All of this is accomplished by a new table on each source database called bucardo_delta_names, which stores a
list of all tables for a sync, along with their delta and track table names. This table's information is rewritten
on Bucardo startup each time. The new function uses this table to dynamically generate the quick delta queries
for each table, and then returns it in a simple text format.

This is especially noticeable on slow networks with a large number of tables in a sync. Testing in the case
that drove all this improved the sync run speed from 42 seconds to less than a second (for no rows - the
number of rows is a constant cost limited by how fast COPY goes, in most cases).

Let's try this again...

Typo.

Show chunk when copying

Change default statement_chunk_size from 10000 to 8000, based on real-world experience.

Use prepare_cached, not prepare, inside of fetch1_sql

Typo: compress_delta is a function, not a table

Cache the column lookups inside of validate_sync.

Make sure we do something sensible if we call for a log_level before we have loaded the config.

Tabs cleanup

Replace 'haztrig' with cached version inside of validate_sync.

Show the DSN we are connecting with

Report on total sync time in the logs, even if no rows were changed.

Only try and create that index once.