Incremental progress

Refactored %GOAT, and several functions that refer to it
Added beginnings of a new test file

This doesn't work yet, but needs to live somewhere other than just my computer.

Add more explicit support for adding and removing sequences

Attempts to make VAC daemon quieter, per IRC discussions.

Make sure regex matches so "Not needed" doesn't raise a warning.

Allow transaction isolation level to be changed

Better debugging sub

Signature for version 4.99.7

Sometimes the bucardo_delta table can get duplicate entries. Make sure the purge function is not tripped up by that.

Minor Perl::Critic inspired tweaks

Fix comment

Show filename for subroutines that do not pass.

Testing tweaks.

Make sure logdest gets forced to an arrayref.

Tabs to space

Skip generated files from some tests.

Bump version to 4.99.7

Work around for Postgres bug in which notices are not picked up if unlisten * and listens are put in the same transaction!

Make sure logdest works if specified in an rc file.
Have reload_config check that Bucardo is up and running first
Allow wait_for_notice to have a timeout

Mild cleanups. Allow foo:bar in addition to foo=bar in the RC files

Make sure that when verifying columns, etc. across source databases, we only check source databases used in the current sync. Fixes some complaints from the mailing list.

Don't run FK info query if no FKs

Bump to 2013

Typo

Merge remote-tracking branch 'burbon/fix-update-dbgroup'

Merge remote-tracking branch 'burbon/fix-add-all-tables'

FIX: bucardo update dbgroup do not affect db data

remove unnecessary variable.

use $sth->rows() to get number of rows.

From the DBI manpage:

'A DBI statement handle execute always returns true regardless of the number of rows affected, even it's zero." It only returns the number of rows affected for non-"SELECT" statements.'

This patch ensures that we get the proper count by calling $sth->rows() instead of relying on $sth->execute.

FIX: add all tables with table/schema limit
add no_autoabbrev to save '-n' (schema|n=s@ in second GetOptions) from binding to 'no-bucardorc' in first GetOptions

FIX: add all tables with exclude table/schema

Idea from mailing list: combine kick triggers and funcs

Show status, not details. PID is not in the syncrun table anymore.

Better output for "whydie" section.

More incremental work for solving the FK conflict problem.

Track which tables are referencing each other via foreign keys. This is needed for conflict resolution work.

Store the dbgroup rather than the sync inside of bucardo_delta_targets. This makes more sense, as not only are the track_* tables storing the db name, but the main getdelta queries use that as well. Thus, we don't want to store syncs as dbgroups are more unique.

Walked through to make sure all execute() calls are followed by a finish() or a fetchall()

Make sure we call finish on that statement handle.
Start making statement handles private: should probably do much more such cleaning up.

Spelling tweaks.

Make sure only Postgres databases try to NOTIFY

Rename kidpid to kidpidlist in the MCP, as it confuses things later on as the CTL already had a kidpid.

Remove tabs

Set missing log_level

Now have 50 passing tests!

Working on getting the makedelta test working again.

Properly fold in remote NOTIFY calls at the MCP level.

Show which database MCP is listening for on the kid_pid_start|stop items.

Line up things better in test output.

Refactor all post-fork DBI cleanup into a new sub.
We attempt to call InactiveDestroy, and then delete, all existing database handles after a fork (except the initial MCP forks).

We have some hard-coded requests for masterdbh inside get_dbh, so let's make a quick semaphore inside of VAC so we don't clobber masterdbh until we have created our own version.

Do not have the VAC daemon re-use the "masterdbh" name as this can lead to a race condition causing a core dump. Hopefully this clears it up.

Ensure we use "our" Bucardo.pm during testing, not a system one

Skip "extraargs"

Expand actions a bit

Show which database is log for makedeltas.

Cleanups and better output

Make bucardo quiet when needed

Make sure kid_pid_stop messages are sent from the target databases, as only those will have the correct matching PID. In theory, we could have the kids gather up their backend PIDs and notify the MCP with a payload, but it is probably not worth the trouble, as we are only doing this for clean housekeeping and prevention of a very, very, very rare false positive.

Merge branch 'master' of bucardo.org:/var/lib/git/bucardo

Output makedelta as we find it.

My shell test script for makedelta work: committing in case others find it useful.

Smoothly handle best-guess table names on 'bucardo update table'
Should be refactored to other places and possibly other object types.

Better version of self-excluding trigger magic via MCP and KID registration.

Cleanup some of the listening.
Make sure we don't throw undefined warnings when checking tables' makedelta setting.

Make installation quieter when in batch mode

This should be quiet too

Quick application of ideas from mailing list: KIDs register with the MCP, which then ignores and triggerkicks coming from them, thus avoiding circular replication is triggerkick triggers are set to always.

Did not mean to commit that.

Add a double-multi-master replication makedelta test.

Consider this:

* You have two databases, A and B, with multi-master replication between all
  of their tables.
* You have a third database, C that needs to be the target of replication for
  just one of those tables, "widgets".
* If A goes down, C stil needs the widgets updated on B.

Solution:

* Add a relgroup with just "widgets"
* Enalbe "makedelta" on "widgets"
* Add a dbgroup with A:source, B:source, C:target
* Create a sync with that dbgroup and the widgets-only relgroup.

This is effectively the case these new tests demonstrate. However, it means
that there are *two* multi-master replication syncs between A and B for the
"widgets" table. This is a bit of a drag, as it means that everything will be
synced twice.

But not only that, if A goes down, will the sync with C as the target succeed
or fail?

Get `makedelta` tests passing.

Requires two things:

1. Restore the insert into the track table that was removed in d2d2cbd1d2.
   Otherwise, when the autokick kicks off the sync after the sync from A to B,
   the data is synced back to A. Then back to B, and on and on.
2. Modify `wait_for_notice()` to handle a list of notices to wait for. This is
   beause the syncdone message can be sent in random order, so we were getting
   failures by listening for one and then another. So we allow an array
   reference of notices to be passed, and it will wait for them all.

Restore listen for syncdone_deltatest2.

It is now triggered properly.

Merge branch 'master' of bucardo.org:/var/lib/git/bucardo

For the makedelta system, we'll store everything at the goat/table level: the new value is a list of databases. Remove makedelta from the db table, as it is no longer needed.

Better makedelta work: this should allow things to work mostly as intended now.

More makedelta work, write out some ideas.

Placeholder for populating is_makedelta

For makedelta, we need to set it as on/off per table inside each database. We do this via the is_makedelta attribute. If this is set, we can walk through at the end and force a track/stage update as needed, in the case where we had no delta changes on the makedelta table in question, but some other database did - which means that it put some new rows inside our delta table. Note that we don't need to explicitly update the track table, as the normal insert/update/where not exists SQL handles this case just fine.
Still to do: populate is_makedelta, based on what is in goat.makedelta and possibly also db.makedelta.

This is where the makedelta track update happens.

This is not the place to update track

added time-unit translations for de and es

No longer need to worry about explicit kick after makedelta

Let's make the triggerkick triggers always: this should solve one of the makedelta issues.

Let's make table-level makedelta an open field for future ideas.

First stab at getting makedelta working again.

Add code to push_rows() that inserts the proper delta and track records if the
target is PostgreSQL. Tests fail just as before because nothing tickles the
autokick, which is disabled by the replication KID. There is a NOTIFY for a
makedelta job, though, so perhaps that can be used?

Use arrays.

Test makedelta vs non-makedelta.

By adding another test table with makedelta=off. Also, make sure that there
are not duplicate/multiple syncdone messages, as they would indicate circulare
replication patterns (as were present in 964ac9b and removed in 9e7227e).
Resolves #19.

Revert "Try always committing deltas on 8.4 and higher."

This reverts commit 964ac9b960bf85fe7bf01d0ece9f944170f20703.

Try always committing deltas on 8.4 and higher.

If we always log deltas and kick queues, we *never* need a `makedelta` option.
I'm not sure if this will really work in practice, however, for these reasons:

* I'm not entirely sure how Bucardo will handle the dupes. Given the previous
  presence of `makedelta`, I'm assuming fine, but even so I'm not sure we want
  to *always* enable them: it could create a lot more traffic between nodes.
  This could potentially be mediated by adding separate delta functions for
  each table and sync, but that might be a PITA.
* There is a failing test in t/40-postgres.t -- the very last test, in fact.
  Something related to customcols: Database D ends up with the rows values 30,
  60, 90, and 210 rather than 2, 3, 7, and 30. I am unable to figure out why
  this would be.
* There may be some other consequence of doing this that could break things
  that I, in my ignorance, and completely unaware of.
* This leaves older versions of PostgreSQL behind. But maybe we don't care?
  8.3 is mighty old (I suspect that today's release of 8.3.22 will be the
  last).

However, given all that, if this could be made to work, it's pretty damned
simple! If not, please revert this and we can come up with something else.
(Ref issue #19).

Get `help add customcols` working.

Fix failing fullcopy test.

The code deleted here was added in 63a425f0ef2b018f03eef9dd7486a7c1a9b2a390.
However, in my testing on PostgreSQL 9.2, the sequence replication tests in
t/10-fullcopy.t failed. I tried changing `defined` to `exists` but it did not
help. So I'm thinking there must be a better way to deal with sequence
attributes in older versions of PostgreSQL, though I don't know what it might
be.

Fix test failuers on later Postgres releases.

In 2d7f462e2a3ccc0ee370e10aac8811c33fbde999, Greg changed the calls to `ALTER
SEQUENCE` so that they work for older versions of PostgreSQL. However, it
broke newer versions (I'm testing on 9.2.2). It looks like the `START` clause
was added in 8.4, so let's use it as we did before for 8.4 and higher and
leave it out for 8.3 and older.

Update TODOs.

Add failing makedelta test.

Towards getting `makedelta` working again (Issue #19).

There is a `wait_for_notice` commented out, and a failing assertion on line
88. Once makedelta is fixed, the test should pass and the commented-out test
should be uncommented.

Remove `update relgroup`.

It was never implemented. Closes #22.

Bare minimum seems to be 8.2. Tried 8.1 and it has lots of issues: too many to worry about fixing.

Facebook

More testing workarounds to support non-truncate-trigger Postgres versions. WIP.

Support older versions by simply skipping unknown sequence attributes.

Minor changes to support older PG versions

Make sure we support PGBINDIR inside bucardo for the psql variable too.