Merge remote branch 'ssinger/copy-protocol-new' into copy-protocol-new

Merge remote branch 'origin/master' into copy-protocol-new

Fixes for bug #260 by ssinger.

Merge remote branch 'jwieck/copy-protocol-new' into copy-protocol-new

Updating tests to work with the new EXECUTE SCRIPT syntax
Updating tests to no longer expect slony to allow multiple subscription
routes  from the same origin to a particular receiver.

Updating EXECUTE SCRIPT syntax, removing set id.

Adding log apply statistics.

No longer need md5.h

Change the apply trigger query cache to use a small footprint of the query
as the hash key. This key can be computed without doing any of the column
type lookups, making the query cache more efficient. If a prepared plan
is found, none of the catalog lookups are required at all.

Add a configuration option "apply_cache_size" to slon.conf.

Use custom wrappers around hash_any() and strcpm() to eliminate the use of md5.

Updating the tests to work with the changed EXECUTE SCRIPT behaviour.
'set id' is no longer passed to execute script.
Added a test to send multiple EVENT NODE nodes at once.

remove SET ID as an option from EXECUTE SCRIPT
since we no longer pay attention to it.

Change format of the sl_log_1/2 tables so that they contain the
table name and schema as separate fields. Change the column names and
values from a rudimentary SQL statement into a text array.

Change the transport to use COPY protocol and move the part that does
the updates to user tables into a trigger that fires on sl_log_1/2.

Move DDL from sl_event into a separate sl_log_script table that is
pulled into the log selection so that schema changes flow at the
correct time in between data updates, not as separate events.

Bug #259.
Quote the sequence name when inserting a truncate event
into sl_log. This will make truncate triggers work for
installs with a mixed/upper case Slony clustername.
(cherry picked from commit 2c4f4061bee5f18ed7ce0d08af21dc850fe23a57)

MSVC specific changes for bug #256

Fixing bug introduced in SYNC group changes
commit e0301ce99d8385b592ae5753572f6527fa4c447b

Additional fixes for bug #256.
-Fixing typo in variable name.
-Adding the defines to config.h.in

The slony1_funcs.so shared library and the .sql files slony installs
are now versioned when they are installed.  This allows
multiple versions of Slony to be installed at the same time
in the same PostgreSQL lib/share directory.

Bug #256

Check parms of set_config_option(), which have changed in 9.2

Merge branch 'master' of ssh://git.postgresql.org/slony1-engine

Fix SGML tagging

Add correct ps invocation for Darwin-based OSes

Fixing typo/missing data in the sample conf file

Bug 255.
Changes for 9.1 to avoid pivot conflicts.

specify SERIALIZABLE for read only deferred transactions.
Make remote_worker calls to the provider read-only deferred
Make remote_worker calls on the local con READ COMMITTED.
Make the remote listener run in a READ ONLY DEFERRED transaction on

Based on a patch by Simon Riggs.

Add release note on #240

Bug #240 - improve vacuum documentation

Updating URL to YUM repository to reflect yum.postgresql.org
Bug 251.

Bug #235 :: Redo SYNC GROUP SIZE logic
 - Start at 1
 - Double upon success, maxxing out based on the value of
   sync_group_maxsize
 - As we restart the remote worker thread upon failure, failure
   resets group size back to 1

This gets rid of complex logic that had the false conceit that we had
any idea as to how long one might expect a SYNC to run, and could
reasonably extrapolate that to estimate long SYNC processing might take.

Fix for bug244.
Require a set id on create set.
Otherwise it will create set -1 which casues problems later on.

Fix slonik_drop_table and slonik_drop_sequence altperl tools.
slonik_drop_table and slonik_drop_sequence no longer attempt to
return -1 on an error (invalid as a slonik exit code in 2.1)
(cherry picked from commit 394ffa960a71f2d0fdfaffb0f5e75fe70fe0d2d6)

Conflicts:

RELEASE

Per Steve's review, free query before returning

Bug #250 - set GUC for application name in log shipper daemon

Bug 248.
Stop tracking the sequence name on log shipping targets.
Instead include the sequence name in the log shipping files on
sequence updates.  This avoids the issue of us not adding
new tracking table entries on an enable subscription.

Add an OMIT COPY option to the script to allow
a log shipping target to be upgraded to a new slony version
without reloading all the data.  During an outage you
would drop the $clustername schema from the target
then run slony1_dump.sh with -omit_copy to reinit
the node.

Fix for bug 247.
slony_logshipper can now handle the TRUNCATE commands
passed to it in response to TRUNCATE triggers.
Also remove the extra ';' from the command stream for
the truncate command.

Adding LogShipping test to add a second set after log shipping has been setup.
Then adding a test to test table truncation on 8.4+ systems via log shipping.

Add bug #249 to release notes

Merge branch 'master' of ssh://git.postgresql.org/slony1-engine

Add parentheses to txid_current() in function for TRUNCATE logging

Add more ignorable documentation files to .gitignore

Generate less data in DDL test

Bug 161
Allow slonik to properly deal with split DDL in execute script
where the second line is shorter than the previous line.

Make sure the buffer can hold a terminating NULL and ensure that we memcpy it

Merge branch 'master' of ssh://git.postgresql.org/slony1-engine

Mark version 2.2.0 as this is to be a new version

Remove ancient history that was version-specific to now-rather-old versions

Prefer getting PACKAGE_VERSION from Postgres server
headers rather than Postgres client headers; avoids problem
if libpq happens to be at a higher version than the
Postgres server itself.

Patch-By: Galen Charlton <gmc@esilibrary.com>

Including a PDF version of the documentation in the -doc tar.
This is based on instructions sent in by David Techer.

Release notes update
Bug 236 wasn't actually part of RC1

A few additional fixups for adding TRUNCATE triggers.
-Do not call the deprecated/removed replica_truncate_trigger/origin_truncate_trigger function
-Have the unit test use the proper syntax for a cascaded truncate
-truncate triggers do not show up in the information_schema (at least up to 9.1).
 query pg_trigger directly to check if the truncate triggers exist.

Merging  bug # 237.
Merge of bug # 237, remove the truncate trigger from
a table when it is dropped from replication.
Cleanup of related code + adding a unit test.

Original patch from Jan Wieck, test from Chris Browne.

With PostgreSQL 8.1 and later, the -A switch is replaced with -S. We add -R
and -D to make sure the user doesn't have the CREATEDB and CREATEROLE
attributes.  Patch from Guillaume Lelarge <guillaume@lelarge.info>

Add recently added function documentation to .gitignore

Remove supportedplatforms.sgml from the admin documentation as this
is not being updated consistently, and that seems worse than omitting
it.

Adding PG 9.1 support as an express thing.

Basically, slonik just needs to recognize it, and use the 8.4-based
schema.

Bug #236 - misformatted log messages

Change the default timestamp format

Fixing compiler defines for win32.
Win32 does not have a 64 bit 'long it'

 Updating release tags for 2.1.0 (for release candidate 1)

Fixing compiler warning, removing unused variable

Fix for bug 229.

Make sure that the set origin is caught up before opening the
transaction used for adding multiple tables/sequences.  If
that transaction is opended against an origin that is behind
slonik will not see the node catch up after the transaction has
been opened.

Include additional headers required by PostgreSQL 9.2 builds

Merge branch 'master' of ssh://git.postgresql.org/slony1-engine

Conflicts:
RELEASE

Bug #231

Regex needs to have extra [braces] around [[:space:]] in start_slon.sh

Bug 230.
log_timestamps is always treated as off on some platforms,
ie AIX.

If the first useful command of a try block requires
an implicit wait then we can rollback the transaction and restart
it after the wait has completed.  This allows some commands
ie 'drop node' to be inside of a try block.

The slon local connection needs to be a superuser to set
session_replication_role.  Update the docs to reflect this
and remove some of the discussion about running as a non-superuser
since that apparently won't work (today).

Updating release notes

Merge branch 'master' of ssh://git.postgresql.org/slony1-engine

Bug #231

Regex needs to have extra [braces] around [[:space:]] in start_slon.sh

Additional fix for bug218.
slonik and slon should both aquire sl_event_lock and sl_config_lock in
the same order.

Don't print the 'node -1 not found' error message
when no origin is specified. The first message is sufficient.

Squashed commit of the following:

commit fcc0b1e96a9a6d3adc2144e1ad5669bc17eb76ea
Author: Steve Singer <ssinger@ca.afilias.info>
Date:   Fri Jul 29 08:52:57 2011 -0400

    Fixing typo/wrong parameter in documentation example

commit dd78496c8417d11ab84ca8189c68a4abf30eabde
Author: Steve Singer <ssinger@ca.afilias.info>
Date:   Thu Jul 28 10:04:35 2011 -0400

    Properly escape the '.' between a schema and table so
    it only matches 'period' and not 'any character'.

commit c64a2e041faf8506bedeee9b271c765b91bdb9bb
Author: Steve Singer <ssinger@ca.afilias.info>
Date:   Thu Jul 28 09:25:21 2011 -0400

    Don't try to add views (or FDW tables) to a replication set.
    Also allow for escape characters in the regex

commit 153e8b484821d61b5a12d270397d2c7fb45d17d1
Author: Steve Singer <ssinger@ca.afilias.info>
Date:   Wed Jul 27 17:11:13 2011 -0400

    Adding a view to the test

Updating version to beta3

Bug #226 - When the cleanupEvent was called, the slon worker process restarted

Change of queries for bug #222 meant that the cleanup thread query
does not end by performing a query that will return tuples. Then,
PQresultStatus does not return "PGRES_TUPLES_OK" but "PGRES_COMMAND_OK",
so the code falls into the error handling section.

Alter "first database" documentation to accomodate the changes
made to pgbench, which now prepends the suffix "pgbench_" on its
tables.

Remove references in slonik_ref to objects that are not available when building the man pages

Merge branch 'master' of ssh://git.postgresql.org/slony1-engine

Conflicts:
RELEASE
src/slon/remote_worker.c

- Clean up release notes a bit more

- Need MOVE_SET to lock both sl_config_lock /and/ sl_event_lock

Squashed commit of the following:

commit 9f4fcf093adb6178b19f6bb83db9b7ed65dd6df0
Merge: f3e0776 40560a4
Author: Christopher Browne <cbbrowne@ca.afilias.info>
Date:   Fri Jul 8 14:53:21 2011 -0400

    Merge branch 'master' of git://git.postgresql.org/git/slony1-engine into bug218

    Conflicts:
     RELEASE
     src/slon/remote_worker.c

commit 40560a4515b3febfdd368cca89ad4c3c73456ae2
Author: Steve Singer <ssinger@ca.afilias.info>
Date:   Fri Jul 8 14:02:28 2011 -0400

    Lock sl_event_lock before processing the MOVE_SET
    because the ACCEPT_SET event will be generated.

commit c7fcd8e1a61b64b1ee4776c00140a5fd5c35a4f0
Author: Steve Singer <ssinger@ca.afilias.info>
Date:   Fri Jul 8 12:00:28 2011 -0400

    Documentation updates:
    -Updating release notes
    -Regenerated complexenv.png from the dia file since
     it did not seem to match
    (cherry picked from commit 194e8fb65e9876e5f2dff477c56a0f66856ac583)

    Conflicts:

     RELEASE

commit f50cefb2f79dbce4817e155b71355a193ab9d930
Author: Steve Singer <ssinger@ca.afilias.info>
Date:   Fri Jul 8 10:47:50 2011 -0400

    Remove call to backend function get_share_path()
    This is a backend function slonik should not be calling.
    PGSHARE is defined by configure we count on it being set.
    (cherry picked from commit 16304e08870b07e12cad19ee430e39afafc74a67)

commit 37c65039ece4ed77c85396683cce6bdd768f3c3e
Author: Steve Singer <ssinger@ca.afilias.info>
Date:   Fri Jul 8 10:48:54 2011 -0400

    Per Bug #36, -lpgport is only germaine to win/win32 platforms
    (cherry picked from commit 6f59f0a6f1ff513a343c3edac0331ba70971335a)

    Conflicts:

     src/slonik/Makefile

commit 973d12f30464ea39fd3fa6cbeaf3a6f96184b757
Author: Steve Singer <ssinger@ca.afilias.info>
Date:   Thu Jul 7 11:21:39 2011 -0400

    Updating release notes

commit b9ef590e56fab3fa6f3d06192a3ea73650036284
Author: Steve Singer <ssinger@ca.afilias.info>
Date:   Tue Jun 21 09:52:15 2011 -0400

    Fix for bug 222.
    The cleanupThread can block new sessions from finishing the logTrigger.
    If the cleanupThread has to wait/block to get an exclusive lock
    during the truncate on sl_log_1 or sl_log_2 (and this can happen dispite
    NOWAIT in logswitch_finish) then any new sessions will block
    waiting to obtain a row lock while preparing the plans for
    sl_log_1 and/or sl_log_2.  The problem is that the plans
    are prepared for both sl_log_1 and sl_log_2 irrespective
    of what sl_log_status is.

    This patch will have the log trigger only prepare
    the plan based on the current setting of sl_log_status
    so the log trigger won't try to prepare a plan against
    a log table that is being truncated.

commit dc61270672c3fbb2c49e8b0b1894b7bf72b02d6d
Author: Steve Singer <ssinger@ca.afilias.info>
Date:   Mon Jul 4 13:25:41 2011 -0400

    Fix for bug 223.
    Have slonik clear out the last saved event id
    for a node that it just uninstalled.

commit f072e74a2c871cabb907f8201d19446c2039b19d
Author: Steve Singer <ssinger@ca.afilias.info>
Date:   Thu Jul 7 11:18:30 2011 -0400

    Updating release notes

commit aab898de15ac5f135b2f6ece105d82a0bcfed023
Author: Steve Singer <ssinger@ca.afilias.info>
Date:   Thu Jun 9 17:02:21 2011 -0400

    Fix for bug 216.
    Pass the time to postgresql as seconds from EPOCH instead of as a timestamp
    with a timezone.  MS-Windows does not generate the timezone as a 3 letter
    abbreviation but as a full word.  This patch avoids the problem.

commit ba62f58434c51a6255c81c903d4af522a587c4e5
Author: Steve Singer <ssinger@ca.afilias.info>
Date:   Wed Jul 6 16:36:02 2011 -0400

    Fix autoconf warning about datarootdir
    Patch from Peter Eisentraut

    Conflicts:

     RELEASE

commit 51d11b9bfb81d6c64720fec3dc361749e407d9d3
Author: Steve Singer <ssinger@ca.afilias.info>
Date:   Wed Jul 6 16:30:41 2011 -0400

    Fixing various compiler warnings.
    (cherry picked from commit e1573932e33453358cfc242199b7a0af03130c57)

    Conflicts:

     src/slonik/slonik.c

commit f3e0776f33c345227df64f06275679ed15bf1a83
Author: Christopher Browne <cbbrowne@ca.afilias.info>
Date:   Wed Jul 6 11:48:57 2011 -0400

    Bug #218

    Enclose cleanup call + locks with BEGIN/COMMIT in the cleanup thread.

    Also, ran pg_indent to clean up the code.

commit d46768735d826807f3ab3e71c01975c4f05d20c2
Merge: 35fbb13 f52cb86
Author: Christopher Browne <cbbrowne@ca.afilias.info>
Date:   Wed Jul 6 11:43:07 2011 -0400

    Merge branch 'master' of git://git.postgresql.org/git/slony1-engine into bug218

    Conflicts:
     RELEASE

commit 35fbb13b44e2136b808a5cd7e8457f616fcc5ccb
Author: Christopher Browne <cbbrowne@ca.afilias.info>
Date:   Fri Jun 10 16:18:37 2011 -0400

    Bug #218

    - As in bug #196, slon/slonik need to acquire locks on sl_config_lock
      as a first action, to avoid race condition

    - Remove lock requests for sl_config_lock from stored functions

commit 9bd169a5f872ddef48d73168e66970c53b39110d
Author: Christopher Browne <cbbrowne@ca.afilias.info>
Date:   Fri Jun 10 12:37:43 2011 -0400

    Bug #218 - add in explicit locks at start of transaction of sl_config_lock.

    In numerous cases, this combines into the same statement that locks sl_event_lock.

commit 57f38641536c9870d7626f8fbf16bd38f4ebd46d
Merge: 3da023c 46faa6b
Author: Christopher Browne <cbbrowne@ca.afilias.info>
Date:   Fri Jun 10 11:32:42 2011 -0400

    Merge branch 'master' of git://git.postgresql.org/git/slony1-engine

commit 3da023ccb1cf7b8eb0a24982830be9f2faf2efd5
Merge: 13da3da 4fec715
Author: Christopher Browne <cbbrowne@ca.afilias.info>
Date:   Wed Jun 8 17:16:15 2011 -0400

    Merge branch 'master' of git://git.postgresql.org/git/slony1-engine

Fixing compiler warning (unused variable)

Lock sl_event_lock before processing the MOVE_SET
because the ACCEPT_SET event will be generated.

Documentation updates:
-Updating release notes
-Regenerated complexenv.png from the dia file since
 it did not seem to match
(cherry picked from commit 194e8fb65e9876e5f2dff477c56a0f66856ac583)

Conflicts:

RELEASE

Remove call to backend function get_share_path()
This is a backend function slonik should not be calling.
PGSHARE is defined by configure we count on it being set.
(cherry picked from commit 16304e08870b07e12cad19ee430e39afafc74a67)

Per Bug #36, -lpgport is only germaine to win/win32 platforms
(cherry picked from commit 6f59f0a6f1ff513a343c3edac0331ba70971335a)

Conflicts:

src/slonik/Makefile

Updating release notes

Fix for bug 222.
The cleanupThread can block new sessions from finishing the logTrigger.
If the cleanupThread has to wait/block to get an exclusive lock
during the truncate on sl_log_1 or sl_log_2 (and this can happen dispite
NOWAIT in logswitch_finish) then any new sessions will block
waiting to obtain a row lock while preparing the plans for
sl_log_1 and/or sl_log_2.  The problem is that the plans
are prepared for both sl_log_1 and sl_log_2 irrespective
of what sl_log_status is.

This patch will have the log trigger only prepare
the plan based on the current setting of sl_log_status
so the log trigger won't try to prepare a plan against
a log table that is being truncated.

Fix for bug 223.
Have slonik clear out the last saved event id
for a node that it just uninstalled.

Updating release notes

Fix for bug 216.
Pass the time to postgresql as seconds from EPOCH instead of as a timestamp
with a timezone.  MS-Windows does not generate the timezone as a 3 letter
abbreviation but as a full word.  This patch avoids the problem.

Fix autoconf warning about datarootdir
Patch from Peter Eisentraut

Conflicts:

RELEASE

Fixing various compiler warnings.
(cherry picked from commit e1573932e33453358cfc242199b7a0af03130c57)

Conflicts:

src/slonik/slonik.c

Add a couple more HTML files to .gitignore

Bug #224 - misspelled PKEYEDTABLES in altperl script

Merge branch 'master' of ssh://git.postgresql.org/slony1-engine

Conflicts:
RELEASE

Remove rules for building concept/implementation documentation

Instead, these documents are captured in 'compiled' form (pdf/ps/txt).

This means we no longer need dependency on groff

Replacing spaces with tabs.
Spaces break the makefile (at this point) tabs do not.

Fix for bug # 159.

make distclean was deleting the flex/bison files in slony_logshipper.
These should be included in the tarfile.  They only should be deleted by
maintainer-clean.  However the maintainer-clean rule was invoking
clean on the subdirectories NOT maintainer-clean.
(cherry picked from commit bba22efd12bbcd61abbdcda4f264d175d8e103b2)

Conflicts:

src/parsestatements/Makefile

Revise documentation to better describe the log trigger handling
by EXECUTE SCRIPT, and the appropriate procedures for manually
altering DDL.

Conflicts:

doc/adminguide/ddlchanges.sgml

Fix for bug 221.

A cast of: CREATE CAST ( int4 AS text ) WITH INOUT AS IMPLICIT;
was created on the users database.  This caused
'Could not choose a best candidate operator. ' errors.

Add in an explicit cast to the queries.

Report/Fix by TAKATSUKA Haruka (harukat@sraoss.co.jp)
(cherry picked from commit f46a9a4576b758be877ecc4da87aecdc156ebe8c)

Fix for bug 217.

    This patch modifies execute script (ddlscript_complete_int) so that it will
    reconfigure the trigger arguments on the log trigger for any tables that need it.

    This version of the patch only reconfigures tables already locked by the SQL script,
    but the repair_log_triggers() function provides can be called with false to
    repair all tables.

obtain a mutex before calling slon_init()

Otherwise the monitorThread and the localListener thread (or another thread)
can call into slon_init() at the same time.

Conflicts:

RELEASE

Fix for bug219.
If the postgresql version is newer than 9.0 we should then use the 8.4 functions
not the 8.3 ones.

Conflicts:

RELEASE

Merge branch 'master' of ssh://git.postgresql.org/slony1-engine

Conflicts:
RELEASE

Some editorial work on release notes