Add a double-multi-master replication makedelta test.

Consider this:

* You have two databases, A and B, with multi-master replication between all
  of their tables.
* You have a third database, C that needs to be the target of replication for
  just one of those tables, "widgets".
* If A goes down, C stil needs the widgets updated on B.

Solution:

* Add a relgroup with just "widgets"
* Enalbe "makedelta" on "widgets"
* Add a dbgroup with A:source, B:source, C:target
* Create a sync with that dbgroup and the widgets-only relgroup.

This is effectively the case these new tests demonstrate. However, it means
that there are *two* multi-master replication syncs between A and B for the
"widgets" table. This is a bit of a drag, as it means that everything will be
synced twice.

But not only that, if A goes down, will the sync with C as the target succeed
or fail?

Get `makedelta` tests passing.

Requires two things:

1. Restore the insert into the track table that was removed in d2d2cbd1d2.
   Otherwise, when the autokick kicks off the sync after the sync from A to B,
   the data is synced back to A. Then back to B, and on and on.
2. Modify `wait_for_notice()` to handle a list of notices to wait for. This is
   beause the syncdone message can be sent in random order, so we were getting
   failures by listening for one and then another. So we allow an array
   reference of notices to be passed, and it will wait for them all.

Restore listen for syncdone_deltatest2.

It is now triggered properly.

For the makedelta system, we'll store everything at the goat/table level: the new value is a list of databases. Remove makedelta from the db table, as it is no longer needed.

Better makedelta work: this should allow things to work mostly as intended now.

More makedelta work, write out some ideas.

Placeholder for populating is_makedelta

For makedelta, we need to set it as on/off per table inside each database. We do this via the is_makedelta attribute. If this is set, we can walk through at the end and force a track/stage update as needed, in the case where we had no delta changes on the makedelta table in question, but some other database did - which means that it put some new rows inside our delta table. Note that we don't need to explicitly update the track table, as the normal insert/update/where not exists SQL handles this case just fine.
Still to do: populate is_makedelta, based on what is in goat.makedelta and possibly also db.makedelta.

This is where the makedelta track update happens.

This is not the place to update track

No longer need to worry about explicit kick after makedelta

Let's make the triggerkick triggers always: this should solve one of the makedelta issues.

Let's make table-level makedelta an open field for future ideas.

First stab at getting makedelta working again.

Add code to push_rows() that inserts the proper delta and track records if the
target is PostgreSQL. Tests fail just as before because nothing tickles the
autokick, which is disabled by the replication KID. There is a NOTIFY for a
makedelta job, though, so perhaps that can be used?

Use arrays.

Test makedelta vs non-makedelta.

By adding another test table with makedelta=off. Also, make sure that there
are not duplicate/multiple syncdone messages, as they would indicate circulare
replication patterns (as were present in 964ac9b and removed in 9e7227e).
Resolves #19.

Revert "Try always committing deltas on 8.4 and higher."

This reverts commit 964ac9b960bf85fe7bf01d0ece9f944170f20703.

Try always committing deltas on 8.4 and higher.

If we always log deltas and kick queues, we *never* need a `makedelta` option.
I'm not sure if this will really work in practice, however, for these reasons:

* I'm not entirely sure how Bucardo will handle the dupes. Given the previous
  presence of `makedelta`, I'm assuming fine, but even so I'm not sure we want
  to *always* enable them: it could create a lot more traffic between nodes.
  This could potentially be mediated by adding separate delta functions for
  each table and sync, but that might be a PITA.
* There is a failing test in t/40-postgres.t -- the very last test, in fact.
  Something related to customcols: Database D ends up with the rows values 30,
  60, 90, and 210 rather than 2, 3, 7, and 30. I am unable to figure out why
  this would be.
* There may be some other consequence of doing this that could break things
  that I, in my ignorance, and completely unaware of.
* This leaves older versions of PostgreSQL behind. But maybe we don't care?
  8.3 is mighty old (I suspect that today's release of 8.3.22 will be the
  last).

However, given all that, if this could be made to work, it's pretty damned
simple! If not, please revert this and we can come up with something else.
(Ref issue #19).

Get `help add customcols` working.

Fix failing fullcopy test.

The code deleted here was added in 63a425f0ef2b018f03eef9dd7486a7c1a9b2a390.
However, in my testing on PostgreSQL 9.2, the sequence replication tests in
t/10-fullcopy.t failed. I tried changing `defined` to `exists` but it did not
help. So I'm thinking there must be a better way to deal with sequence
attributes in older versions of PostgreSQL, though I don't know what it might
be.

Fix test failuers on later Postgres releases.

In 2d7f462e2a3ccc0ee370e10aac8811c33fbde999, Greg changed the calls to `ALTER
SEQUENCE` so that they work for older versions of PostgreSQL. However, it
broke newer versions (I'm testing on 9.2.2). It looks like the `START` clause
was added in 8.4, so let's use it as we did before for 8.4 and higher and
leave it out for 8.3 and older.

Update TODOs.

Add failing makedelta test.

Towards getting `makedelta` working again (Issue #19).

There is a `wait_for_notice` commented out, and a failing assertion on line
88. Once makedelta is fixed, the test should pass and the commented-out test
should be uncommented.

Remove `update relgroup`.

It was never implemented. Closes #22.

Bare minimum seems to be 8.2. Tried 8.1 and it has lots of issues: too many to worry about fixing.

Facebook

More testing workarounds to support non-truncate-trigger Postgres versions. WIP.

Support older versions by simply skipping unknown sequence attributes.

Minor changes to support older PG versions

Make sure we support PGBINDIR inside bucardo for the psql variable too.

Notes about testing different versions of Postgres

We might allow synonyms, but we need to make sure the tests are looking for the returned literal 'relgroup', not 'herd'

Add support for multiple log destinations to chkconfig script.

Also sleep for 2 seconds between start and stop in the `restart` command.

Update Changes in bucardo.spec.

Signature for version 4.99.6 (Version 5, beta 6)

Add more logging for conflict handling activity.

This test is still a work in progress.

No tabs

Skip patch files when checking for tabs.

glog call forgot the level.

Keep all the custom code types in one place.

Ignore MANIFEST.bak.

Update manifest with `make manifest`.

Exclude .db and .bak files.

Fix failing test.

Just needed quotation marks.

Put custom code into its own package.

So that globals are not immediately available. Also set $_ to the same value
as the hash ref passed in.

Spelling updates.

Add our example customcode file to the manifest.

More customcode work.

Allow custom code status to be set.

Use nicer code deref.

Improve compilation of custom code.

Poperly use the custom code source as the body of an `eval`ed subroutine
reference, rather than `eval` it on every call. This has two benefits:

* `shift` works properly in the custom code.
* We no longer need the `dummy` key, as the compilation should give us all we
  need.

I've also `local`ed `$_` to prevent leakage. Frankly, we might want to have it
`eval`ed in a completely separate package with all globals reset. Or better
yet, use Safe.pm.

If we still want to execute the function before we approve it, we can put the
`dummy` back, but I don't think that gains us anything, as nothing really runs
in that case other than the check for `dummy`.

Document more keys in the hash passed to custom codes.

Add description of each customcode item that can be updated.

Basic test of `update customcode`.

Gets customcode exception test passing again.

Change customcode.status default to "active".

It is a text column, not a boolean, and Bucardo.pm looks for "active".

Merge branch 'master' of ln6.endpoint.com:/var/lib/git/bucardo

Work on supporting 'bucardo update customcode'
Still needs to possibly support more attributes.
Also may remove the priority, if it makes more sense just in the customcode_map

Fix serialization and deadlock error detection.

0406ecb added deadlock detection, but forgot to put the list of error states
to check after the call to `first {}` for both serialization and deadlock
detection. So fix that. The serialization test passes again.

Chomp schema lines before adding configs.

Duh, $count can be 0E0.

Complete and working test for exception handling!

Add status field to the customcode table, so we can easily toggle them off if needed.

Tweak customcode exception example

More cleanups of the exception custom handler code.

Goodbye customcode.trigrules

Spelling

Clean up the customcode SQL so it no longer errors out when no matching goat-level customcodes.

Chipping away on some cc exception work.

Make a todo about showing deadlock information in payload.

Sneaky tabs, how we hates them!

Be more explicit if we know the reason for failing to install is lack of Pl/PerlU

Duh. Should be < 0, not 1. Thanks David.

Bump version in RPM spec file.

Add dist/ to MANIFEST

Bump version to 4.99.6 in preparation for next beta.
No HTML files as 'make html' is making too many changes at the moment.

Add some tests to the MANIFEST

Add test skeleton for custom code exception handling.

Uncuddle for consistency.

Get rid of that pesky -w: causing problems with ancient versions of "env"

Quick addition of kid retry on deadlock, similar to serialization. Also allow to set to -1 to prevent the kid from retrying at all. Although the controller may restart a new kid anyway, this is a start.

Revert "Don't use /usr/bin/env."

This reverts commit 790ad8c1ecf28fb37ac8e0ac654cecedc8b88eaa.

No, we are not going to hardcode /usr/bin/perl, as this will break things for at least one major user of Bucardo. If the -w is the problem, remove that, but keep /usr/bin/env please.

Don't use /usr/bin/env.

Older versions do not recognize when options are passed to the program. IOW, `/usr/bin/env perl -w` dies.

Add test for serialization failure.

Should work on Postgres 8.4 and higher, and skip all on older versions. Works
by adding a sequence and a trigger to a target table, and configuring the
trigger to fire only when the `session_replica_role` is "replica". This means
that it fires when data is `COPY`ed into the table from the source.

The trigger calls a PL/pgSQL function that consults a sequence, and thows a
serialization failure exception when the next value from the sequence is odd.
It does not throw it when its value is even. The result is that the first
attempt to copy the data into the table throws the serialization exception,
but the second attempt does not.

The test checks that the serialization failure happens by listening for the
`syncsleep` notification. If it doesn't come, there was no serialization
failure, and the test fails. If there is, it then tests that the sync finished
anyway and that the new data was copied over.

Resolves #29.

In passing, I've also changed the formatting of the message about the duration
of the sleep to use a stringification of that time, rather than turning it
into an integer, since the new default is 0.5 (and using `%f` yieled too many
decimal places). And if the sleep time is 0, we don't call sleep and send
a slightly different message.

It might make sense to send the sleep nofication only if we're going to sleep,
and then to always send another message, say serialretry, just before trying
again. I think that would be cleaner, since it does not actually always sleep.
Thoughts?

No, really properly check for the old bucarodo_sequences table.

The query returns true if the new table is present, not if the old one
is present.

Properly check for old bucardo_sequenes table.

The logic was off before.

Properly check for presence of old bucardo_sequences table.

`$count` will be true if it exists, and false if it does not. The issue was
not to do with `execute()`, as I originally thought; @machack666 was right
about that. Resolves #31.

Require Pod::Usage and List::Util at runtime.

Fix some issues with `add sequnce`.

Fix `list_sequences()`.

Update Changes since 4.99.5.

Require List::Util and Pod::Usage in the spec file.

Show both users if try to connect as "postgres" and "bucardo".

Took me an hour to chase down a bad login because I kept telling it to use
user bucardo and it said it could not connect as user "postgres". It was only
when I dug deep enough that I discovered that it was sneakily changing the
username on me. So let's just show both user in the error message.

Use lexical subs, not globals.

Globals are not a very safe thing to use, as they persist beyond the execution
of the function in the global namespace. There is simply no need for that kind
of pollution and leakage.

Forgot to rename some standard_conflict columns.

No idea why tests were not failing.

Eliminate remaining `goto`s from PL/Perl.

The use of "goto" to jump into a construct has been deprecated since Perl
5.12. No need to fill up logs with the deprecation warning when there are
much cleaner way to do conditionals.

This patch is bigger than it looks: most changes are indentation. Run `git
diff -w` to see what it really looks like.

Eliminate `goto KICKFUNC`.

Update init script and RPM patch.

Sleep for 0.5s after serialization failure.

By default, and rather than the previous 10s time. Kevin Gritter tells us that
we could probably eliminate the sleep, as the chances of a conflict after a
serialization rollback are extremely low. Even 20ms would be generous, he
says. Going with 0.5s (500 ms) just because it's the same value as the default
`kid_sleep`.

Tweak formatting of config settings in Pod.

Replace --debug options with --log options.

`--debugdir`, `--debugsyslog`, and `--debugfile` have all been folded into
`--debug-destination`. This option may be specified multiple times, with the
values "syslog", "stderr", "stdout", "none", or a directory name. This means
you can log to a directory, syslog, and STDERR all at the same time if you
like. The old options are still around in name, but their values are used only
if `--log-destination` is not, and then they are adapted to it.

Implementation-wise, there is now a new method, _logto(), that returns a list
of code references, one for each destination. glog() simply passes the log
header and message to each code reference in turn. _logto() also notices when
the process has been forked and creates new code refernces as appropriate.
This is especially important when --log-separate is specified. If
--log-destination is passed "none", there will be no logging at all (even if
there are other calls to log-destination).

Relatedly:
* `--debugfilesep` has been renamed to `--log-separate`.
* `--debugname` has been renamed to `--log-extension`.
* `--cleandebugs` has been renamed to `log-clean`.
* If there are "stderr" or "stdout" destinations, the corrsponding file
  handles are no longer closed once the MCP forks.
* Logging to the warning file no longer happens when the string "Warning"
  appears in the log message, but when th elog leve is LOG_WARN.