Tweak customcode exception example

More cleanups of the exception custom handler code.

Goodbye customcode.trigrules

Spelling

Clean up the customcode SQL so it no longer errors out when no matching goat-level customcodes.

Chipping away on some cc exception work.

Make a todo about showing deadlock information in payload.

Sneaky tabs, how we hates them!

Be more explicit if we know the reason for failing to install is lack of Pl/PerlU

Duh. Should be < 0, not 1. Thanks David.

Bump version in RPM spec file.

Add dist/ to MANIFEST

Bump version to 4.99.6 in preparation for next beta.
No HTML files as 'make html' is making too many changes at the moment.

Add some tests to the MANIFEST

Add test skeleton for custom code exception handling.

Uncuddle for consistency.

Get rid of that pesky -w: causing problems with ancient versions of "env"

Quick addition of kid retry on deadlock, similar to serialization. Also allow to set to -1 to prevent the kid from retrying at all. Although the controller may restart a new kid anyway, this is a start.

Revert "Don't use /usr/bin/env."

This reverts commit 790ad8c1ecf28fb37ac8e0ac654cecedc8b88eaa.

No, we are not going to hardcode /usr/bin/perl, as this will break things for at least one major user of Bucardo. If the -w is the problem, remove that, but keep /usr/bin/env please.

Don't use /usr/bin/env.

Older versions do not recognize when options are passed to the program. IOW, `/usr/bin/env perl -w` dies.

Add test for serialization failure.

Should work on Postgres 8.4 and higher, and skip all on older versions. Works
by adding a sequence and a trigger to a target table, and configuring the
trigger to fire only when the `session_replica_role` is "replica". This means
that it fires when data is `COPY`ed into the table from the source.

The trigger calls a PL/pgSQL function that consults a sequence, and thows a
serialization failure exception when the next value from the sequence is odd.
It does not throw it when its value is even. The result is that the first
attempt to copy the data into the table throws the serialization exception,
but the second attempt does not.

The test checks that the serialization failure happens by listening for the
`syncsleep` notification. If it doesn't come, there was no serialization
failure, and the test fails. If there is, it then tests that the sync finished
anyway and that the new data was copied over.

Resolves #29.

In passing, I've also changed the formatting of the message about the duration
of the sleep to use a stringification of that time, rather than turning it
into an integer, since the new default is 0.5 (and using `%f` yieled too many
decimal places). And if the sleep time is 0, we don't call sleep and send
a slightly different message.

It might make sense to send the sleep nofication only if we're going to sleep,
and then to always send another message, say serialretry, just before trying
again. I think that would be cleaner, since it does not actually always sleep.
Thoughts?

No, really properly check for the old bucarodo_sequences table.

The query returns true if the new table is present, not if the old one
is present.

Properly check for old bucardo_sequenes table.

The logic was off before.

Properly check for presence of old bucardo_sequences table.

`$count` will be true if it exists, and false if it does not. The issue was
not to do with `execute()`, as I originally thought; @machack666 was right
about that. Resolves #31.

Require Pod::Usage and List::Util at runtime.

Fix some issues with `add sequnce`.

Fix `list_sequences()`.

Update Changes since 4.99.5.

Require List::Util and Pod::Usage in the spec file.

Show both users if try to connect as "postgres" and "bucardo".

Took me an hour to chase down a bad login because I kept telling it to use
user bucardo and it said it could not connect as user "postgres". It was only
when I dug deep enough that I discovered that it was sneakily changing the
username on me. So let's just show both user in the error message.

Use lexical subs, not globals.

Globals are not a very safe thing to use, as they persist beyond the execution
of the function in the global namespace. There is simply no need for that kind
of pollution and leakage.

Forgot to rename some standard_conflict columns.

No idea why tests were not failing.

Eliminate remaining `goto`s from PL/Perl.

The use of "goto" to jump into a construct has been deprecated since Perl
5.12. No need to fill up logs with the deprecation warning when there are
much cleaner way to do conditionals.

This patch is bigger than it looks: most changes are indentation. Run `git
diff -w` to see what it really looks like.

Eliminate `goto KICKFUNC`.

Update init script and RPM patch.

Sleep for 0.5s after serialization failure.

By default, and rather than the previous 10s time. Kevin Gritter tells us that
we could probably eliminate the sleep, as the chances of a conflict after a
serialization rollback are extremely low. Even 20ms would be generous, he
says. Going with 0.5s (500 ms) just because it's the same value as the default
`kid_sleep`.

Tweak formatting of config settings in Pod.

Replace --debug options with --log options.

`--debugdir`, `--debugsyslog`, and `--debugfile` have all been folded into
`--debug-destination`. This option may be specified multiple times, with the
values "syslog", "stderr", "stdout", "none", or a directory name. This means
you can log to a directory, syslog, and STDERR all at the same time if you
like. The old options are still around in name, but their values are used only
if `--log-destination` is not, and then they are adapted to it.

Implementation-wise, there is now a new method, _logto(), that returns a list
of code references, one for each destination. glog() simply passes the log
header and message to each code reference in turn. _logto() also notices when
the process has been forked and creates new code refernces as appropriate.
This is especially important when --log-separate is specified. If
--log-destination is passed "none", there will be no logging at all (even if
there are other calls to log-destination).

Relatedly:
* `--debugfilesep` has been renamed to `--log-separate`.
* `--debugname` has been renamed to `--log-extension`.
* `--cleandebugs` has been renamed to `log-clean`.
* If there are "stderr" or "stdout" destinations, the corrsponding file
  handles are no longer closed once the MCP forks.
* Logging to the warning file no longer happens when the string "Warning"
  appears in the log message, but when th elog leve is LOG_WARN.

Allow --no-debug and document --debug.

Implement `remove_sequence()`.

It's the same as `remove_table()`, so I just factored the common code into its
own function. As a result, `remove_table()` will no longer inadvertently
remove sequences.

I also fixed a bug where it would report removing tables that it had not,
in fact, removed.

Resolves #21.

Add `makedelta` to `add table` and `update table`.

While at it, fix `update_table()` so that it actually works! It was accessing
the hash of columns as an array, rather than a hash.

More sync makedelta stuff removed. All unused.

Remove mention of `makedelta` from the schema docs.

It was removed in 002c58cad7.

Remove double periods.

Document all the configuration settings.

Include a comment on how to re-generate the list from a new install as needed.

Document and display all the `update` actions.

Discovered a bug in Pod::Usage in the process, reported here:
https://rt.perl.org/rt3//Public/Bug/Display.html?id=115534. The workaround is
to force Pod::Usage to inherit from Pod::PlainText instead of Pod::Text when
using negation -- that is, for the output of `help add` and `help update`,
where we don't want to show all the subcommands.

Anyway, I think this covers all the casses we need. Resolves #25.

Handle aliases and unknown commands in `superhelp()`.

All the known commands and actions, including any aliases or mis-spellings,
need to go into `%names, so if new ones are added, document them in Pod and
put them there. Ref issue #25.

Replace `usage()` with `usage_exit()`.

Rather than passing around a usage statement, just pass around the key for
where to find it in the Pod. Then, when usage is needed, call `usage_exit()`
and *then* load Pod::Usage, find the section, show it, and exit. Bonus: no
more use of scalar ref `open`.

Fix output of `superhelp()`.

Add some more hyphens and alternates.

Use Getopt::Long for bucardorc options.

And document them.

Add some hyphens and short names for options.

Short names are the same (except for password) as offered by `psql`.

Add options table and move command-specific options to their sections.

Ref issue #25.

Fix help- and usage-based test failures.

The switch to Pod::Usage broke quite a few things. I failed to specify the
proper place to look for things when `usage()` was called from withing functions
actually doing stuff. So do that.

Also change the `=head3`s under `add` to include the word `add`. This allows
them to stand better on their own. Relatedly, add a simple list of types under
`=head2 add` so that there is a reference for the user to easily know what's
available to look up more. Ref GitHub issue #25.

Start cleaning up the maekdelta system. Sync-level makedeltas make no sense right now.

Revert d65b04310a.

Greg must have missed a spot or three, as it made the fullcopy tests fail. So
reverting for now.

Use Pod::Usage for `help` output.

Eliminates the need for redundant docs in the Pod and the code.
Relies on the use of scalar ref open, supported in Perl 5.6 and higher, IIRC. Pod::Usage is a core module since forever.

Store and use options when restarting after death.

Took me a while to hunt down, but on a server, if I killed the PostgreSQL back
ends, Bucardo eventually died. Once it noticed the back ends were gone, it
tried to restart itself via `exec`. Unfortunately, however, I was using a
start script that passes command-line options, and those options were not
preserved for the `exec` call. It died because it did not have permission to
open the log file, because `--debugdir` was no longer known to it!

So we try to preserve all the command-line options and pass them to
`start_mcp()`. The stripping of nouns from the options is not perfect, but
probably good enough.

We also remove the `dosyncs` stuff from `start_mcp()` and friends, since it
was never used: no parameters are supported for the `start` command, and
nothing was passed to `start_mcp()`. So the feature was never used. Removing
all that stuff, we can just pass in the command-line arguments and use them in
the `exec` call.

Resolves #28.

Typo.

Make variables that contain PIDs from connect_database more obvious.

Minor comment cleanups

No longer check for "perl" in process names.

When attempting to kill a PID, that is. It looks like, as of the first big 5.0
commit, `$0` is assigned to with the word "Budardo", but not "perl". This was
preventing the VAC process from being killed. So just check for "Bucardo", not
"perl". Closes #27.

Set flag to run again, rather than send message.

Keeps the re-try after serialization failure in the child, without relying on
the MCP sending a message to get us going again. Fortunately, the $kicked
variable was already there for just this sort of thing.

Remove `getrows`.

It is not used. Custom code must fetch rows itself (`getdbh` is your friend).

More on what overdue and expired are for.

Rename "goat" to "relation".

All UI-based. Thanks to the separate table/sequence commands, there aren't too
many user-visible referenes to goats. The one place where it remains with
this commit (and the same goes for herd) is in the usage statement, which
references the `goat` table. I'd like to remove all references to tables
in usage statements altogether, but not in this commit. Resolves #24.

There was only one command that took a `goat` parameter: `add customcode`. It
was pretty seriously broken. It now mostly works, but the `relation` parameter
is ignored! This is because the customcode_map table needs an integer. So
should this be changed to "table"? And should it require the
$schema.$table_name format? Note the `XXX` added here. Ref GitHub #20.

Rename "herd" to "relgroup".

Per discussion, and just in the UI: command names, parameters, and messages
sent to the user. The internals still use the term "herd" for the most part.
First half of GitHub Issue #24.

An attemp to document `expired`.

The difference from `overdue` escapes me, since neither seems to have an affect on whether or why a sync is kicked.

Use ucfirst for all display items but name.

Document no-op `getrows` param.

And ucfirst the values in Stayalive/Kidsalive output.

I think customcode.about is a free-form description field.

Rename configs in the database on upgrade.

Rename `ping` columns to `autokick`.

Rename `standard_conflict` to `conflict_strategy`.

The latter is a better description of the purpose of the parameter. The former
is still supported by `add sync` and `update sync`, for backward
compatibility.

Move the `standad_conflict` parameter from table to sync.

Tables will eventually allow it to be overridden (like autokick), but
currently they don't, and in the meantime, we need to be able to set them for
syncs. Resolves GitHub issue #10.

Rename the "ping" parameter to "autokick".

This is to prevent confusion with the "ping" command. It's a better, more
descriptive name, anyway. Per IRC discussion.

Remove the `do_listen` parameter

Per discussion. It was just an alias for `ping`.

Cancel any async queries.

Guess there were some still running, so we need to cancel them.

After a serialization failure, we need to kick it.

Begin experimenting with the payload system for syncsleep

Gah! Typo.

Indent `eval` block.

Whitespace-only change.

Log sync sleeps in CTL.

And also clean up unfinished statement handles. And fix a typo!

Pluralize please

If no deltas, we want the syncdone message to be sent right away.
Previously, it was sent only on kid-redo, whenever it happened to commit.

Remove debugging line left in ac51423f202.

Fix serialization exception handling.

To avoid the issues with `goto LABEL` and a global `$SIG{__DIE__}` handler yet
still concentrate the handling of serialization failures, this commit:

* Localizes all declarations of `$SIG` handlers.
* In `start_kid()`, undefines the `$SIG{__DIE__}` handler. Done because this
  method is called from `start_controller()`, which sets the `$SIG{__DIE__}`
  handler. We of course do not want to catch KID exceptions in CTL.
* Converts the `$SIG{__DIE__}` handler in `start_kid()` with a lexically-
  scoped code reference named `$err_handler`.
* Removes the serialization failure stuff from `$err_handler`.
* Wraps the rest of `start_kid()`, up to `KID`, in an `eval{}`. Errors caught
  are passed to `$err_handler`.
* Moves some variable declarations out of the `eval` so that they are
  also available in the `KID` section.
* Wraps the remainder of `start_kid()` in a second lexically-scoped
  code reference named `$runkid`.
* Executes `$runkid` in an `eval` block.
* If that call fails, non-serialization errors are handed off to
  `$err_handler`.
* Serialization errors are logged, rolled back, and slept upon. Then
  the kid function is run again.

The result is that serialization errors are properly handled now, as are all
other errors.

That doesn't mean that the handling of serialziation actually *works* (it
doesn't), but it's a step in the right direction.

Oh, and while i was there, I removed some debugging code I inadvertently
commited in 0860dc669f.

Rip out customselect.

It has been replaced with customname. Per discussion.

Switch from GMT to UTC.

Closes GitHub #2.

Add the patch file to the README.

Update the RPM support files.

Includes a patch that puts all the log files into /var/log/bucardo by default.

Move distribution-supporting scripts to `dist`.

Fix test failure introduced in f77fdbfd88b8.

BucardoTesting now throws an exception on `qx()` failure, and prepends its own
info to the returned message.

Remove redundant LISTEN.

The value of `"bucardo_syncdone_$sync"` is exactly the same as the `"$done"`
two lines before. And `$s` was unused.

Test all return values of `ctl()` in postgres tests.

I am still getting test failures, but they are less noisy now that I have it
die after a `sync` fails. The current reason for the failures is that the call
to `goto KID` added in ea4923155f comes before the definition of the KID
label.

In passing, make it clearer that BucardoTesting forces a timeout even when you
pass a `0` to `ctl()`.

Work around missing database handles.

This was causing tests to fail, because the KID was choking on something, and
so cleaning up, closing all database handles, but some were simply not there.
So add code to notice this condition and log a warning.

Unknown is why this happens in the first place. Bug?

Update test count.

Don't activate msync.

It makes the tests BAIL OUT.

Fix exit value of `update` command.

It was calling `exit 1` on sucess, because it expected the various `update_*`
functions to return booleans. They don't. It looks like they return undef on
success and `exit` themselves on failure.

So change the code to only exit with failure if the thing we're asked
to update is unknown. Ottherwise, call the proper `update_*` function
and `exit 0`.

Discovered by changing the `ctl` test method die if `qx()` exits abnormally
and starting to check the return value of `ctl` more often.

Fix invalid sync activation.

It was trying to start a sync named "mtest", and there is no such sync.
So test the return value of `ctl()` there and fix it.

This, BTW, causes the tests to completely bail out. Maybe msync should
not be activated?