Fix some issues with `add sequnce`.

Fix `list_sequences()`.

Update Changes since 4.99.5.

Require List::Util and Pod::Usage in the spec file.

Show both users if try to connect as "postgres" and "bucardo".

Took me an hour to chase down a bad login because I kept telling it to use
user bucardo and it said it could not connect as user "postgres". It was only
when I dug deep enough that I discovered that it was sneakily changing the
username on me. So let's just show both user in the error message.

Use lexical subs, not globals.

Globals are not a very safe thing to use, as they persist beyond the execution
of the function in the global namespace. There is simply no need for that kind
of pollution and leakage.

Forgot to rename some standard_conflict columns.

No idea why tests were not failing.

Eliminate remaining `goto`s from PL/Perl.

The use of "goto" to jump into a construct has been deprecated since Perl
5.12. No need to fill up logs with the deprecation warning when there are
much cleaner way to do conditionals.

This patch is bigger than it looks: most changes are indentation. Run `git
diff -w` to see what it really looks like.

Eliminate `goto KICKFUNC`.

Update init script and RPM patch.

Sleep for 0.5s after serialization failure.

By default, and rather than the previous 10s time. Kevin Gritter tells us that
we could probably eliminate the sleep, as the chances of a conflict after a
serialization rollback are extremely low. Even 20ms would be generous, he
says. Going with 0.5s (500 ms) just because it's the same value as the default
`kid_sleep`.

Tweak formatting of config settings in Pod.

Replace --debug options with --log options.

`--debugdir`, `--debugsyslog`, and `--debugfile` have all been folded into
`--debug-destination`. This option may be specified multiple times, with the
values "syslog", "stderr", "stdout", "none", or a directory name. This means
you can log to a directory, syslog, and STDERR all at the same time if you
like. The old options are still around in name, but their values are used only
if `--log-destination` is not, and then they are adapted to it.

Implementation-wise, there is now a new method, _logto(), that returns a list
of code references, one for each destination. glog() simply passes the log
header and message to each code reference in turn. _logto() also notices when
the process has been forked and creates new code refernces as appropriate.
This is especially important when --log-separate is specified. If
--log-destination is passed "none", there will be no logging at all (even if
there are other calls to log-destination).

Relatedly:
* `--debugfilesep` has been renamed to `--log-separate`.
* `--debugname` has been renamed to `--log-extension`.
* `--cleandebugs` has been renamed to `log-clean`.
* If there are "stderr" or "stdout" destinations, the corrsponding file
  handles are no longer closed once the MCP forks.
* Logging to the warning file no longer happens when the string "Warning"
  appears in the log message, but when th elog leve is LOG_WARN.

Allow --no-debug and document --debug.

Implement `remove_sequence()`.

It's the same as `remove_table()`, so I just factored the common code into its
own function. As a result, `remove_table()` will no longer inadvertently
remove sequences.

I also fixed a bug where it would report removing tables that it had not,
in fact, removed.

Resolves #21.

Add `makedelta` to `add table` and `update table`.

While at it, fix `update_table()` so that it actually works! It was accessing
the hash of columns as an array, rather than a hash.

More sync makedelta stuff removed. All unused.

Remove mention of `makedelta` from the schema docs.

It was removed in 002c58cad7.

Remove double periods.

Document all the configuration settings.

Include a comment on how to re-generate the list from a new install as needed.

Document and display all the `update` actions.

Discovered a bug in Pod::Usage in the process, reported here:
https://rt.perl.org/rt3//Public/Bug/Display.html?id=115534. The workaround is
to force Pod::Usage to inherit from Pod::PlainText instead of Pod::Text when
using negation -- that is, for the output of `help add` and `help update`,
where we don't want to show all the subcommands.

Anyway, I think this covers all the casses we need. Resolves #25.

Handle aliases and unknown commands in `superhelp()`.

All the known commands and actions, including any aliases or mis-spellings,
need to go into `%names, so if new ones are added, document them in Pod and
put them there. Ref issue #25.

Replace `usage()` with `usage_exit()`.

Rather than passing around a usage statement, just pass around the key for
where to find it in the Pod. Then, when usage is needed, call `usage_exit()`
and *then* load Pod::Usage, find the section, show it, and exit. Bonus: no
more use of scalar ref `open`.

Fix output of `superhelp()`.

Add some more hyphens and alternates.

Use Getopt::Long for bucardorc options.

And document them.

Add some hyphens and short names for options.

Short names are the same (except for password) as offered by `psql`.

Add options table and move command-specific options to their sections.

Ref issue #25.

Fix help- and usage-based test failures.

The switch to Pod::Usage broke quite a few things. I failed to specify the
proper place to look for things when `usage()` was called from withing functions
actually doing stuff. So do that.

Also change the `=head3`s under `add` to include the word `add`. This allows
them to stand better on their own. Relatedly, add a simple list of types under
`=head2 add` so that there is a reference for the user to easily know what's
available to look up more. Ref GitHub issue #25.

Start cleaning up the maekdelta system. Sync-level makedeltas make no sense right now.

Revert d65b04310a.

Greg must have missed a spot or three, as it made the fullcopy tests fail. So
reverting for now.

Use Pod::Usage for `help` output.

Eliminates the need for redundant docs in the Pod and the code.
Relies on the use of scalar ref open, supported in Perl 5.6 and higher, IIRC. Pod::Usage is a core module since forever.

Store and use options when restarting after death.

Took me a while to hunt down, but on a server, if I killed the PostgreSQL back
ends, Bucardo eventually died. Once it noticed the back ends were gone, it
tried to restart itself via `exec`. Unfortunately, however, I was using a
start script that passes command-line options, and those options were not
preserved for the `exec` call. It died because it did not have permission to
open the log file, because `--debugdir` was no longer known to it!

So we try to preserve all the command-line options and pass them to
`start_mcp()`. The stripping of nouns from the options is not perfect, but
probably good enough.

We also remove the `dosyncs` stuff from `start_mcp()` and friends, since it
was never used: no parameters are supported for the `start` command, and
nothing was passed to `start_mcp()`. So the feature was never used. Removing
all that stuff, we can just pass in the command-line arguments and use them in
the `exec` call.

Resolves #28.

Typo.

Make variables that contain PIDs from connect_database more obvious.

Minor comment cleanups

No longer check for "perl" in process names.

When attempting to kill a PID, that is. It looks like, as of the first big 5.0
commit, `$0` is assigned to with the word "Budardo", but not "perl". This was
preventing the VAC process from being killed. So just check for "Bucardo", not
"perl". Closes #27.

Set flag to run again, rather than send message.

Keeps the re-try after serialization failure in the child, without relying on
the MCP sending a message to get us going again. Fortunately, the $kicked
variable was already there for just this sort of thing.

Remove `getrows`.

It is not used. Custom code must fetch rows itself (`getdbh` is your friend).

More on what overdue and expired are for.

Rename "goat" to "relation".

All UI-based. Thanks to the separate table/sequence commands, there aren't too
many user-visible referenes to goats. The one place where it remains with
this commit (and the same goes for herd) is in the usage statement, which
references the `goat` table. I'd like to remove all references to tables
in usage statements altogether, but not in this commit. Resolves #24.

There was only one command that took a `goat` parameter: `add customcode`. It
was pretty seriously broken. It now mostly works, but the `relation` parameter
is ignored! This is because the customcode_map table needs an integer. So
should this be changed to "table"? And should it require the
$schema.$table_name format? Note the `XXX` added here. Ref GitHub #20.

Rename "herd" to "relgroup".

Per discussion, and just in the UI: command names, parameters, and messages
sent to the user. The internals still use the term "herd" for the most part.
First half of GitHub Issue #24.

An attemp to document `expired`.

The difference from `overdue` escapes me, since neither seems to have an affect on whether or why a sync is kicked.

Use ucfirst for all display items but name.

Document no-op `getrows` param.

And ucfirst the values in Stayalive/Kidsalive output.

I think customcode.about is a free-form description field.

Rename configs in the database on upgrade.

Rename `ping` columns to `autokick`.

Rename `standard_conflict` to `conflict_strategy`.

The latter is a better description of the purpose of the parameter. The former
is still supported by `add sync` and `update sync`, for backward
compatibility.

Move the `standad_conflict` parameter from table to sync.

Tables will eventually allow it to be overridden (like autokick), but
currently they don't, and in the meantime, we need to be able to set them for
syncs. Resolves GitHub issue #10.

Rename the "ping" parameter to "autokick".

This is to prevent confusion with the "ping" command. It's a better, more
descriptive name, anyway. Per IRC discussion.

Remove the `do_listen` parameter

Per discussion. It was just an alias for `ping`.

Cancel any async queries.

Guess there were some still running, so we need to cancel them.

After a serialization failure, we need to kick it.

Begin experimenting with the payload system for syncsleep

Gah! Typo.

Indent `eval` block.

Whitespace-only change.

Log sync sleeps in CTL.

And also clean up unfinished statement handles. And fix a typo!

Pluralize please

If no deltas, we want the syncdone message to be sent right away.
Previously, it was sent only on kid-redo, whenever it happened to commit.

Remove debugging line left in ac51423f202.

Fix serialization exception handling.

To avoid the issues with `goto LABEL` and a global `$SIG{__DIE__}` handler yet
still concentrate the handling of serialization failures, this commit:

* Localizes all declarations of `$SIG` handlers.
* In `start_kid()`, undefines the `$SIG{__DIE__}` handler. Done because this
  method is called from `start_controller()`, which sets the `$SIG{__DIE__}`
  handler. We of course do not want to catch KID exceptions in CTL.
* Converts the `$SIG{__DIE__}` handler in `start_kid()` with a lexically-
  scoped code reference named `$err_handler`.
* Removes the serialization failure stuff from `$err_handler`.
* Wraps the rest of `start_kid()`, up to `KID`, in an `eval{}`. Errors caught
  are passed to `$err_handler`.
* Moves some variable declarations out of the `eval` so that they are
  also available in the `KID` section.
* Wraps the remainder of `start_kid()` in a second lexically-scoped
  code reference named `$runkid`.
* Executes `$runkid` in an `eval` block.
* If that call fails, non-serialization errors are handed off to
  `$err_handler`.
* Serialization errors are logged, rolled back, and slept upon. Then
  the kid function is run again.

The result is that serialization errors are properly handled now, as are all
other errors.

That doesn't mean that the handling of serialziation actually *works* (it
doesn't), but it's a step in the right direction.

Oh, and while i was there, I removed some debugging code I inadvertently
commited in 0860dc669f.

Rip out customselect.

It has been replaced with customname. Per discussion.

Switch from GMT to UTC.

Closes GitHub #2.

Add the patch file to the README.

Update the RPM support files.

Includes a patch that puts all the log files into /var/log/bucardo by default.

Move distribution-supporting scripts to `dist`.

Fix test failure introduced in f77fdbfd88b8.

BucardoTesting now throws an exception on `qx()` failure, and prepends its own
info to the returned message.

Remove redundant LISTEN.

The value of `"bucardo_syncdone_$sync"` is exactly the same as the `"$done"`
two lines before. And `$s` was unused.

Test all return values of `ctl()` in postgres tests.

I am still getting test failures, but they are less noisy now that I have it
die after a `sync` fails. The current reason for the failures is that the call
to `goto KID` added in ea4923155f comes before the definition of the KID
label.

In passing, make it clearer that BucardoTesting forces a timeout even when you
pass a `0` to `ctl()`.

Work around missing database handles.

This was causing tests to fail, because the KID was choking on something, and
so cleaning up, closing all database handles, but some were simply not there.
So add code to notice this condition and log a warning.

Unknown is why this happens in the first place. Bug?

Update test count.

Don't activate msync.

It makes the tests BAIL OUT.

Fix exit value of `update` command.

It was calling `exit 1` on sucess, because it expected the various `update_*`
functions to return booleans. They don't. It looks like they return undef on
success and `exit` themselves on failure.

So change the code to only exit with failure if the thing we're asked
to update is unknown. Ottherwise, call the proper `update_*` function
and `exit 0`.

Discovered by changing the `ctl` test method die if `qx()` exits abnormally
and starting to check the return value of `ctl` more often.

Fix invalid sync activation.

It was trying to start a sync named "mtest", and there is no such sync.
So test the return value of `ctl()` there and fix it.

This, BTW, causes the tests to completely bail out. Maybe msync should
not be activated?

Quick implementation of the retry on serialization plan laid on on the mailing list.

It is possible (although very dumb) to set kid_serial_sleep to 0, so base our decision on definededness not == 0.

When scanning for errors, no need to keep scanning once we find an interesting one (deadlock or serialization) because there can be only one such.

Sleep less; report errors.

I sometimes deleted the test data directories without shutting down pg. I
would then get failures about not being able to find the postgresql.conf file.
Why? Because I was out of shared memory, so the initdb failed. But there were
no initdb errrors. So the `die $res if $? != 0;` line shows those failures.

Meanwhile, working on trying to figure out serialization failures, it seems
silly for it to sleep 10s while testing, so have it sleep for just 1s.

Remove arg specifier.

Silence warning about active statement handles.

By calling `finish()` on them.

Don't die when Postgres is down.

Noticed during tests that sometimes when the `t/20-postgres.t` tests failed,
the `bucardo.mcp.pid` file was left in place. Even though the MCP was gone.
This prevented subsequent tests from running, as they couldn't start the MCP
(Bucardo thought it was still running, because the PID file was still there).

Looking through the log, I noticed that the connection to the database was
dying in `cleanup_mcp()`. Not sure why, but the log said:

    (78512) [Mon Oct 22 12:01:17.638 2012] #0578 MCP Warning: Killed (line 6722): DBD::Pg::db selectcol_arrayref failed: server closed the connection unexpectedly
     This probably means the server terminated abnormally
     before or while processing the request. at /Users/david/dev/postgresql/bucardo/blib/lib/Bucardo.pm line 6722.

That was dying, and the subsequent lines that actually delete the PID file
were therefore never run.

This commit wraps the call to the database in an `eval{}`. If it dies, the
database shutdown time is set to "unknown". We skip further database
interactions when the time is unknown. This allows the shutdown to continue
without exiting, and the MCP PID file gets cleaned up.

Resolves #26.

Don't start bucardo when no syncs while testing.

This seems to prevent an error where Bucardo won't start, even though it
waited. I suspect this is becaust earlier tests run that start Bucardo with no
syncs and don't bother to stop it again, because they expect it to exit, as it
did prior to cc92a976e00df6a5182745b47793b44401e6b336.

Also, don't shut down Postgres on test exit. It just seems to confuse things.

Shut down on END instead of DESTROY.

Take the hint and shutdown fast.

Fast mode does not wait for clients to disconnect, which is what we want.

Try hader to shut down Postgres.

Use `pg_ctl stop`, as it seems to be more reliable: I kept seeing postgres
processes running after the tests exited. Also, add a DESTROY to be sure to
shut them all down before exiting.

Update `show_why_sync_killed()`.

At least I think so. It was still querying `bucardo.q`, which was removed in
 0763c281. I replaced its calls with the columns that look more or less
 parallel, although `pid` is gone. A review would be appreciated.

I got errors about it not working while running failing tests. Still trying to
chase down the underlying failures...

Revert moving the start file to the debug dir.

Was moved in 56ea2b2b4b0ec63383a32e8c886439a451b88929. But this turned out to
confuse things, such that tests were unable to shut down Bucardo, because the
server and the client had a different idea where the file belongs. This is
most likely the reason I was seeing stop failures as reported in GitHub
Issue #11.

Now that I understand that its location can be set via `bucardo set
reason_file`, I am just documenting that.

Ignore bucardo.restart.reason.*.

Priority currently used only for display.

Document `checktime`.

Document `overdue`.

Mention GitHub issues, link to Mail list.

Remove `limitdbs`.

Was only in 5.0 betas, but I added drop column support to `upgrade()`, anyway.
Works nicely.

Document aliases.

Finish basic documentation of all commands.

Some more commands implemented:

* restart
* message
* reload
* update

Plus fixed the synopses for activate and deactivate, and listed the possible values for
the standard_conflict parameter.

Done editing existing commands.

Document `remove` and update `reload config`.

Document adding `customname`, `customcols`, and `customcode`.

Had to do quite a bit of Googling and code archaeology to figure these out.
Hope they're correct. Corrections appreciated, especially for `customcode`,
which seems to be woefully underdocumented up to now.