Add recent changes to v2.0 release notes

Ran autoconf with latest changes

Resolution to bug #46 - incompatibility with PG 8.4.

- Set up autoconf to detect whether or not GetActiveSnapshot() is
  available, and set up #define if it is

- Then config.h.in needs the #define variable, and slony1_funcs.c
  refers to it to control whether it uses the old variable or the
  new function.

Changes to WAIT FOR EVENT requests; the "ongoing saga" of getting the
tests to be a bit more conservative so they are more likely to pass :-).

Add in 2 second lags; this exercises the lag logic, and will lead to some
pauses in replication that should be useful for small tests in tossing in
a bit more asynchronous behaviour

Note change in post-8.0 PG releases regarding TCP/IP sockets

Add a note about an error message that can come up with STORE PATH,
SUBSCRIBE SET resulting from a foreign key violation

Fix tagging error

Add notes about locking of STORE TRIGGER operation

Add in new material provided by Martin Eriksson

Make comment clearer

Fix format strings in log messages

Revise WAN discussion to make it clearer, as there was some confusion
expressed on the mailing list.

Dollar quoting broke sequenceSetValue().

Jan

Changed stored functions to use dollar quoting (e.g. - $$ / $$) rather than
the 7.4-and-before ''double quotes''.

In the few places where we need to use quotes, generate that via
pg_catalog.quote_literal().

I ran through test1 and testddl, which look to exercise enough logic to
cover everything, as, between them, these tests:
 a) Load all stored procs, to make sure we have them all
    syntax-correct;
 b) Create logtriggers + denyaccess triggers on replicated tables;
 c) Drop & recreate those triggers.

That would seem to represent the 3 scenarios where quoting might be
expected to break.

Add in more detailed monitoring of numbers and timings of queries against
providers and subscribers, along with some documentation on how the log
output may be interpreted (at least, at the more technical level).

Add in additional performance monitoring, indicating how much time
and how many queries are being spent against the provider + subscriber.

This should enable people to more readily infer where bottlenecks are
themselves, rather than having to go to Jan & Chris and have them infer
things *really* indirectly.

a) Make slon_terminate_worker() visible so that remote_worker.c can
   reference it

b) Revise various logging that used SLON_DEBUG1 and SLON_DEBUG2 to
   instead log at SLON_INFO and SLON_CONFIG levels

Regularize the styles of output messages.

Add a check that the log file location is writable.

Add in documentation for start_slon.sh script

Add some caveats about locking.  There's some locking that shouldn't
normally be visible, except when it is ;-).   Or rather, except when
someone runs a database-wide vacuum or something like that which hits
Slony-I-specific objects.

Provide better error handling for DSN handling for the remote nodes.

Per Gurjeet Singh

Add in new tools script, start_slon.sh, which provides an rc.d-style
way of starting up a slon.

Altered the test scripts to make use of it.

Still need to update docs to discuss it at least a little bit.

Per bug #18 (slony.info/bugzilla/show_bug.cgi?id=18)
change HEAD to strip trailing "v's" from the attribute info passed to
the logtrigger function.

This includes adding a test case where we make sure that the primary key
has bits of it separated by non-key attributes.

Fix various bash-isms; nonportable constructs that made their way into
sundry shell scripts.  Per bug #54, reported by Peter Eisentraut.

a) Mention a bottleneck where having Very Large table IDs leads to memory
   bloat

b) Discuss effective use of WAIT FOR EVENT

Clear a result set, thereby resolving a memory leak.

Note in release notes the fix to ACCEPT_SET event handling

Add comment to test_slony_state.pl indicating that people may prefer
to use DBI rather than the older Pg module

Indicate memory usage for table IDs.

Add some notes on the preference, in modern times, for Perl DBI rather
than the older "Pg" module

Changed ducttape test 2 to use "wait for event" after subscriptions
in order to subscribe node 3 as soon as possible, which is when node
2 has finished the copy set operation and has done it's very first
sync processing.

This revealed a problem in the remote worker. Messages that forward
confirmations need to be inserted at the head of the internal message
queue in order to get processed in case the node is waiting for the
data provider to catch up before starting to copy set in a cascaded
setup.

Jan

Fix up WAIT FOR EVENT requests

Improve documentation on SET ADD TABLE and on what needs to be done if
you discover you can't do so due to the set already being subscribed.

Make error message about adding a table to a subscribed set a bit more
precise.

Fixed problem where ACCEPT_SET would wait for the corresponding
MOVE_SET or FAILOVER_SET to arrive while holding an exclusive lock
on sl_config_lock, preventing the other remote worker to process
that event.

Jan

Changed a number of #defined lists of values to use enum; this permits
a bit more static validation of the C code.

Oops - fix typo.

Change reference to pg_listener to use combination of sl_nodelock +
pg_stat_activity, as pg_listener is to go away in PG 8.4.

Rename function "AutoVacExcludesTable(prec.nspname, prec.relname)" to
"ShouldSlonyVacuumTable(prec.nspname, prec.relname)", which is a better
description of why we have the function.

Also, changed the logic to check to see if the table is there, and
warn, rather than raising an exception.  This way, for instance, we
can vacuum pg_listener in PG 8.3, where the table exists, and exclude
it in 8.4, where (we expect) it will not.

Update release notes to indicate elimination of LISTEN/NOTIFY for events
+ confirmations

Remove code that generates + listens to LISTEN/NOTIFY events for
  Events + Confirms

remote_listen.c now functions solely via polling, which we already know
works fine, as we have had a polling mode for quite a while in the 2.0
code tree.

The slon _Restart LISTEN/NOTIFY has been left alone; making sure that this
is handled rightly will be left as a further exercise to be handled
independently.

Remove sl_trigger configuration as that is no longer in Slony-I 2.0.

Minor rewording of release notes

Establish a maximum number of events (sel_max_events) to be processed
in an iteration in remote_listen.c's pull of events from a remote node.

This means that if a node is way, way, way behind (e.g. - tens or hundreds
of thousands of events behind), it won't try to get up to date in one
swell foop.

1.  Improve logging of event

2.  No need to use large factors when calcing max_sync

3.  Minor formatting change

Improve log output when version does not match expectations to indicate the
"binary form" of the version number

As recommended at PGCon, we should have a bit more documentation as to
what Slony-I tables and such might be interesting for monitoring purposes.

Ran INDENT on C code for random number generation for tests

Processing of results was taking place after parameters were free()ed

Per bug #50 in Bugzilla

Per bug #49 - reported by Richard Yen <dba@richyen.com>

Seems like double single-quotes and slashes are begin converted to single
single-quotes and slashes when not desired:

ERROR 2008-04-24 16:17:32 > PGRES_FATAL_ERROR: ERROR:  syntax error at or near
"Cahier"
LINE 1: ..._count, compare_to_database) values ('1969048', ''Cahier d'u...
                                                            ^
Query was: insert into "public"."m_object_paper" (id, title, x_firstname,
x_lastname, char_length, word_count, grade, grade_note, overwriteflag,
is_indexed, folder, "assignment", "owner", node, page_count,
compare_to_database) values ('1969048', ''Cahier d'un retour au pays natal' is
prinicpally defined by violence. Discuss', 'Charlotte', 'Byrne', '10937',
'1689', NULL, NULL, 't', 'f', '0', '88981', '445800', '2', NULL,
'1000100000000000000000100000000000101');
WARN  2008-04-24 16:17:32 > waiting for resume

My fix for this was in scan.l:175
+                            *cp++ = c;
                             *cp++ = c;
+                           len += 2;
-                           len++;

Similar changes at lines 191, 244, and 260

Add missing parms from sample script as observed on mailing list by
Martin Marques...

Change configure-replication.sh to use EVENT NODE in various places where
it has become mandatory

Fix typo as pointed out by Jeff Frost

Fix typo in remote_listen.c - cbbrowne "fatfingered"

EEP!  A change I described in an email got included into the
pgindent commit!

Rolling that back...

Ran pgindent against C code

Do not load xxid module - obsoleted by addition of txid functions in
PG 8.3

Add to the FAQ a list of "impossible things" that people seem to keep asking for.

Add in note about increasing sync interval when running long subscriptions

Remove references to src/xxid, obsolete as of Slony-I 2.0

Note removal of xxid (and remove from src/Makefile)

Remove xxid from source tree - no longer needed, as the functionality
formerly provided is now in PostgreSQL "core" in v8.3+

Improve trigger documentation for v2.0

Fixes to altperl example, per bug #48

Also a rewording of material about altperl

Rectify problem with DDL when hitting the following conditions:
- Running a DDL change that does updates on a replicated table
  (e.g. - such as if you add a new column, and have to populate
  it)

Error condition found:
  - The denyaccess triggers *do* fire on the replica table;
    there is nothing to suppress them

Solution:
  - Change the denyaccess() function to check the replication
    role GUC; it only needs to error out when in "origin" role;
    if in "local" role (which is what slon sets, when running
    DDL on a subscriber node), there is no problem.

- As above, when running "ONLY ON" a subscriber node

Error condition found:
  - The DDL request is run by slonik, directly, and does not
    set the session_replication_role to 'local'

Solution:
  - Change the ddlscript_prepare(), when running ONLY ON, and
    on a non-origin node, to set the session_replication_role to 'local'

Rename RPMs for 2.0+ from postgresql-slony1-engine to slony1 only, in order to contribute to world peace (save bytes). Change relevant calls to that file, and update docs.

Modify ducttape scripts to add EVENT NODE / WAIT ON values that are now
mandatory, rather than being handled via defaults

Various instances where slonik would use a default node ID of 1 have been changed to remove this.

Slonik scripts may need to be changed to indicate an EVENT NODE (or
similar) after migration to v2.0 as a result.

The slonik commands involved:

- STORE NODE - EVENT NODE
- DROP NODE - EVENT NODE
- WAIT FOR EVENT - WAIT ON
- FAILOVER - BACKUP NODE
- EXECUTE SCRIPT - EVENT NODE

Apply changes to slonik makefile that have gone into v1.2

Add configure to list of files CVS should ignore

Update copyright to include 2008

Remove Emacs control string

Remedying tests so that STORE NODE, EXECUTE SCRIPT, and WAIT FOR EVENT
all provide values for slonik parameters that are no longer optional
in v2.0

Added support to be able to Twitter test results

Change cleanupEvent() to actually use the interval passed in (e.g. -
p_interval) as the basis for what old data to purge, rather than the
hard-coded '10 minute' interval.

Add in TODO item to have tuple application take place on the subscriber
via running triggers on log tables, and loading the data in via COPY

Document that node numbers are immutable by intent.

Also, fix docs to CLONE commands to indicate that these are new in
v2.0, not v1.2

Fix SGML tagging problem in testbed.sgml, and add commentary indicating
the challenges of renumbering nodes.

Allow setting TMPDIR to indicate a path where log files for the test will
be placed.  As suggested by Nirbhay Choubey <Nirbhay.Choubey@Sun.COM>

Change query that populates pg_catalog.pg_autovacuum to reflect recent version of schema...

Per Jeff Frost

Per Bugzilla #45, need to indicate the unit (e.g. - ms)

Fix per bug #44 - typo in docs.

Clarify the discussion about the need to regenerate logtriggers on replicated
tables as part of EXECUTE SCRIPT...

Per question by Bill Moran...

FAQ addition on dumping Slony-I-less version of data

Per Yoshiharu Mori <y-mori@sraoss.co.jp>

Only use set_config_option() to set datestyle if we're using other than "ISO"

http://lists.slony.info/pipermail/slony1-hackers/2008-March/000132.html

Ensure that test_slony_schema scripts are prominently mentioned in the
admin guide as a "best practice."

Added a "drop sequence" altperl script written by Mark Stosberg.

Per bug #39 (reported by Peter Eisentraut)

- capture stdout/stderr in watchdog logfile

- pass on --configure value, if present

Indicate frequent use of test_slony_state.pl as a Good Idea...

Missing ] braces - as observed by Stéphane SCHILDKNECHT

Per bug #38 - reported by Peter Eisentraut

The way the function start_slon in slon-tools.pm assembles the command line
creates a command that looks like this:

slon ... 2>&1 >logfile &

This ends up dumping the error messages on the console (or wherever) and only
stdout to the log file.  What you want is this:

slon ... >logfile 2>&1 &

The patch fixes this.

Update info about NAMELEN issue.

Update RPM installation text

Fixes found in testing out "testmultipaths"; there were several
references to storenode_int() that were using the old function signature
where nodes had an attribute indicating involvement in logshipping.
Removed the now-spurious boolean parameter.

Fixes needed to get "testpartition" to work on HEAD. The issue was that
with the new handling of triggers, it is no longer appropriate to run
the "restore table" function, as that function was only apropos for 1.2
and earlier, and has become deprecated in HEAD.

Modifications to address things noted as unclear this week on the
Slony-I list:

1.  Why is FORWARDING=yes typically needed on a subscriber node?

[because otherwise, you can't fail over to that node!]

2.  RESTART NODE is a bit too strongly worded in claiming it is
useless after Slony-I 1.0.5.

Per bug #37, add in a WAIT FOR EVENT in between the LOCK SET and
MOVE SET requests.

http://www.slony.info/bugzilla/show_bug.cgi?id=37

Remove call to SP logswitch_weekly(), as we are now doing log switches
rather more frequently

remove function logswitch_weekly() as we are now switching logs more or
less as often as possible