bdr: Consider a sequence vote successfull in more scenarios.

If either there's no nays or the number of yays is bigger than the
concensus the vote can be considered successful. We don't want to
always wait for a majority of yays, because that'd possibly delay
voting for a long time, even if enough nodes for a consensus on
another chunk are online.

bdr: Limit the amount of time spent in voting.

Don't endlessly vote if there's votes to be done. As voting happens
inside a single xact that'll just lead to large transactions that the
other nodes can't see yet.

bdr: Vote on several sequences at once to speed up the voting process.

We can only vote on elections started by a single node at a time
without further complications. The problem is that otherwise two votes
could conflict which isn't trivial to detect in a query. Select one
node with open elections and vote on up to 1000 elections started by
that node.

bdr: Add indexes to make sequence voting faster.

bdr: Fix type of bdr_votes.dboid column to oid from bigint

This prevented index usage in at least one query.

bdr: add conflict logging tests

New isolation tests for simple insert_insert, update_update,
update_delete and delete_delete resolving/logging tests.

In passing make the isolation test initialization more sane.

bdr: make conflict logging behave consistently

Conflict logging was mess, some of the conflicts were logged to table,
some to server log, some as DEBUG, some as LOG, the log messages looked
completely differently for each conflict, etc.

This patch introduces single interface for logging into server log which
is always called and has common log line template and handles all
current case.
Other change is that all conflicts can now be logged to the log table
(previously only insert_insert conflicts could be logged there).

This is step1, not the final code, but it brings enough improvement that
it's worth committing as is.

bdr: add delete_delete conflict type to bdr_conflict_type.

Bump BDR extension version accordingly and when at it bump the BDR version too.

bdr: add minimum bdr version to the output plugin options

This enables BDR upgrades without dump/reload in the future.

Note that this change breaks compatibility with any previous version.

bdr: tests for ddl lock conflict

bdr: Improve concurrency and error recovery of ddl locking.

Previously there were three major issues:

* If we failed acquiring the lock on some, but not all nodes we didn't
  always send out a message forcing the lock to be released again on
  the succeeding node.

* There were some scenarios in which a lock was held only
  intermittenly in a way that allowed the lock's state to change in
  unhandled ways.

* Two backends within a single node didn't really protect against each
  other requiring the ddl lock. That's not really problematic in itself
  because locally there's plain relation locking to take care of things,
  but two concurrent lock acquisitions could cause problems.

Now we'll always send lock release messages if we fail during the
acquisition of a lock. That means that nodes need to be prepared to
deal with the fact that a lock is released that's not held.

RT-#37905

bdr: Improve log messages about ddl locking.

A previous commit changed the capitalization wrongly. Also add a bit
more detail about which nodes are holding the lock to some error
messages.

More work is needed, but it's a clear improvement already.

bdr: add GRANT/REVOKE tests

bdr: Emit informative error messages for global sequence failures

Related to bug #37914

bdr: Minimalist error message notes and link to style guide

bdr: Avoid date --iso-8601 , OS X doesn't like it

Report per Ian Barwick

bdr: make ddl/function tests more stable across environments

bdr: Test ALTER SEQUENCE USING support

bdr: Make ddl/function test independent of login username

Create two new users, 'super' and 'nonsuper', during init. These
may be used for any test.

Run ddl/function tests as the 'super' user instead of the user
with the same name as the current unix user that pg_regress
will otherwise pick, so output is stable.

bdr: Don't attempt to use get_database_name unsafely

The prior commit "bdr: Show database name when a DDL lock error is encountered"
added use of get_database_name(..) to clarify an error message. However, it's not
always safe to access the catalogs from this call site.

Remove the unsafe call and document the issue in the code so it won't be added
back later.

bdr: Remove bdr: prefixes from messages

bdr: fix typo in variable name

bdr: disallow UPDATEs and DELETEs on tables without PK

bdr: refactor apply main loop into separate function

The main loop is now in bdr_apply_work, and was moved from bdr.c to
bdr_apply.c where it belongs more naturally.

In passing start updating rollback stats counter properly.

bdr: make bdr stats work for inserts and make updates stats behave consistently

 * insert count is increased every time row was added/updated
 * insert conflict count is increased for every logged conflict
 * update count is increased ever time row was updated
 * update conflict count is increased for every logged conflict
 * delete count is increased for every existing row
 * delete conflict count is increased for every missing row

bdr: change loglevel for DELETE conflicts to LOG for consistency

bdr: Force DateStyle in configuration

Fixes 37903

bdr: Refer to bug 37904 in sleep5

bdr: Make 'is not configured for bdr' error clearer

This usually actually happens when BDR is still starting up.

bdr: better wait-for-start scripts

bdr: Use worker type assertions in bdr_locks

bdr: Introduce global bdr_worker_type to identify kind of current worker

With assertions enabled, permits  easy assertion of "this is an
apply worker", "this is a per-db worker", etc.

bdr: Log all steps of DDL lock acquisition, always prefix with bdr:

The DDL lock acquision logging wasn't logging all the steps, logging
at consistent log levels, or prefixing things with bdr: for easy grepping.

Add more log detail, mention node IDs when messages are received or locks are
acquired.

Comment the individual steps in lock acquisition.

bdr: bump up max workers configured for isolation tests

bdr: If not enough max_worker_processes are available, warn

bdr: Emit a debug message when each per-db worker starts

This makes it easier to track which workers are per-db workers in the logs,
and associat their pids with other messages from the postmaster.

bdr: Move the pg_sleep() into a separate "test" during isolation start

isolationtester sends the setup block as a multistatement, which causes
confusion if we need to sleep on all nodes to let DDL locking get ready, but
the statement after the sleep is DDL.

Do a fake "test" that sleeps on all nodes first, instead.

This should not be necessary. It is a workaround for startup races.

bdr: In isolationtester make target, build regress and iso submake

bdr: DDL tests update

 * move sequence tests and function tests to separate file
 * add CREATE TABLE INHERIT tests
 * add CREATE RULE tests
 * add ALTER FUNCTION tests
 * add SCHEMA object tests
 * add VIEW object tests

bdr: git ignore bdr_pgbench_check

bdr: Initial setup of isolation tester for bdr

At this point this only adds the Makefile infrastructure, config file, and a
first script to make sure the cluster is up and ready.

It uses DBs named node1, node2 and node3, and does an init_replica from node1
to the other two.

It's causing memory corruption, so that needs to be figured out before things
can proceed.

bdr: Improve error message when slot creation rejected due to startup

This is just a small improvement to the error mesage emitted by the
output plugin when slot creation is rejected because the local end
isn't ready yet.

bdr: Show database name when a DDL lock error is encountered

Fixes an error message like:

    ERROR:  database 16384 is not configured for bdr

that was rather unhelpful.

bdr: repair tests after pg_xlog_wait* changes

bdr: Document DELETE conflict case and produce a better error message

bdr: A bit more README.developers on the extension control file

bdr: Add a readme for devs, with release policy info

bdr: Allow BDR to be built with PGXS

We need this so that we can deal with upgrades, per #37884

bdr: tests for range types

bdr: make tests work again after previous psql patch

bdr: make pgbenchcheck update

Better interface, optional zigzag RUN MODE.

bdr: add high tps test

Available under make pgbenchcheck target.
Runs pgbench on one or both master nodes and afterwards checks data
integrity. Default run time is over 5h, can be overriden using make
pgbenchcheck RUNTIME=<seconds>.

bdr: fix old tuple logging after table structure change.

The tuple_to_stringinfo function which used for logging tuple contents
was calling fastgetattr to get value of an attribute, but fastgetattr
does not work correctly on tuples that were written before table
structure change (column is added or dropped). Fix is to use
heap_getattr.

Regression test is attached as well.

Per report by Keaton Adams (RT-#37869)

bdr: fix command tag passing

bdr: add command filters for unsupported bdr sequence DDL + tests

bdr: bit better query for finding start_value for bdr sequence.

bdr: support start param in CREATE SEQUENCE USING bdr. (RT-#37861)

bdr: more ddl tests.

 * CREATE UNLOGGED TABLE
 * CREATE FUNCTION
 * CREATE TRIGGER

bdr: git ignore vim backup files

bdr: Update of dml tests.

 * remove the unneeded basic update tests ported from repmgr
 * overhaul of generic basic type tests with more types to cover fixed width passbyvalue/passbyreference and variable width types and NULL handling
 * rename delete_extended.sql to extended.sql and add UPDATE tests and NULL handling tests there
 * add tests for cube and hstore types (to cover fixed width and variable width contrib types)
 * add COPY tests to basic types and toast tests

bdr: By default suppress logging of "safe" conflicts

We were logging update conflicts on both sides, both the upstream and
downstream ends. This produced a complete record but also resulted
in extremely heavy CONFLICT log spam after node bring-up (see #37864).

bdr: Close relation descriptor when replaying a DELETE of a row without pkey

bdr: Don't fail while logging an UPDATE to a nonexistant row

Due to a typo(?) we tried to log the old tuple - which wasn't found -
instead of the tuple we tried to find.

RT-#37811

bdr: More DDL tests.

* CREATE (non-bdr) SEQUENCE
* CREATE/DROP INDEX CONCURRENTLY
* One more ADD COLUMN NOT NULL DEFAULT

bdr: basic UPDATE tests

bdr: Demote log messages about wal messages from LOG to DEBUG1

bdr: add DELETE tests for complex datatypes

also, cleanup at the end of each test

bdr: Load btree_gist during bdr.so's _PG_init() for easier debugging.

Several people forgot to install btree_gist and had to debug it by
looking in postgresql's log file.

bdr: remove pg_sleep() from delete_pk test

it has been moved to the init "test"

bdr: first sequence tests

bdr: Don't print update conflicts using the indexes relation descriptor.

For a long while now we're using the heap's and not the indexes
relation descriptor. But apparently do_log_update() didn't get the
memo.
That happened to work fine for all our testcases because the indexes
and the heap definition were sufficiently compatible - but it's far
from guaranteed to work.

Per report from Keaton Adams.

bdr: Make #ifdef VERBOSE_UPDATE code compile again

bdr: don't use a global var after clobbering it

This was reported as #37825 whereby a sequence is not dropped after
creating it for a serial column; but the problem was much more general
than that.  Essentially, any time a table was created, the rest of the
command list was ignored because creating the truncate trigger reset
SPI_nprocessed, causing the outer loop to exit early.

Fix by using a local copy of the global variable.  Also, add the
originally reported problem as a test case in ddl/create.sql.

bdr: testcase for #37826

bdr: basic dml test: CREATE TABLE, INSERT, DELETE, DROP TABLE

bdr: Fix typo sometimes causing replication of UPDATE/DELETE to fail

The BdrTupeData's isnull array was accessed off-by-one which caused
bogus scankeys to be generated if the next column was null but the
current column shouldn't hve been.

bdr: Move test initialization into its own .sql file.

that way we can get rid of redundant pg_sleep()s but still run
individual tests alone (by running init and the the individual test).

bdr: Don't accidentally forward replication progress for InvalidRepNodeId

Since "bdr: Send remote transaction origin (sysid,tlid,dboid) at
BEGIN" remote transactions without a specifically specified origin
accidentally also have advanced replication identifier progress for
the the node '0' (which actually means invalid).
Add check to prevent that.

bdr: Add regression tests for CREATE/DROP extension replication.

bdr: Use --with-extra-version in bdr quickstart script

bdr: Fix non-vpath "make check"

in-tree "make check" was failing because:

    ln -fs $(top_srcdir)/contrib/bdr/pg_hba.conf .

fails with:

    ln: ‘../../contrib/bdr/pg_hba.conf’ and ‘./pg_hba.conf’ are the same file

Test for the existence of the file and link only if missing instead.

bdr: ignore generated bdr_version.h

bdr: Add minimal tests for updates of toasted columns.

bdr: Don't uselessly form heap tuples to just deform them again.

Every caller of read_tuple() iterated over the formed HeapTuple's
column shortly afterwards. Just use read_tuple_parts() and only build
a full HeapTuple when necessary.

bdr: Initialize unchanged columns in read_tuple_parts() as NULL.

The previous behaviour was arguably ok and lead to easier to notice
bugs, but using it would have required changing every caller. As the
code stands there's several callers of read_tuple_parts() that just
care about columns that are guaranteed to be included.

RT-#37805

bdr: Validate connection names to reject names containing _

bdr: There's no bdr.bdr_connections, it's bdr.connections

bdr: Significantly improve wal flushing communication.

The feedback behaviour of apply processes with senders was far from
optimal: When bdr.synchronous_commit was set to off we reported LSNs
as flushed that weren't. And without bdr.synchronous_commit=off replay
was slow unless fsync()s are fast. That's because there's no
parallelism during apply.

Improve reporting by keeping a in-memory list associating remote and
local LSNs so we can check up to where we've already flushed.

Also only accept a boolean for bdr.synchronous_commit=on/off.

bdr: Improve setup for make check

Vpath builds where missing pg_hba.conf and the results/ddl directory
wasn't created during the build.

bdr: Determine quorum for ddl locks and sequencer votes somewhat reasonably.

Previously we were the overall number of connections to remote
databases to determine the amount of nodes. Unsurprisingly that falls
short if there's more than one database configured for replication.

RT-#37781
RT-#37765

bdr: bdr_init_copy: fix connection parsing and memory corruption bugs

RT-#37784, reported by Craig

bdr: remove unused bdr_get_connection_config function

bdr: use "more flexible" shebang for shell script

bash may be installed in locations other than /bin (think /usr/local/bin/),
and using a generic /bin/sh would not work with the current bdr_initial_load.

bdr: Fix silly mistakes in the merge of worker and output plugins

bdr: move to version 0.6

bdr: Merge worker and output plugin shared objects.

The output plugin API used to require a separate shared object for
output plugins when _PG_init() did significant stuff. That's not the
case anymore, so get rid of that split.

bdr: Improve sequence debug messages a bit.

bdr: Improve handling of non-PANIC crashes of the perdb worker.

The ddl locking subsystem sent out a message to release all ddl locks
when the perdb worker was restarted. That can, among others, happen if
a DDL lock clashes with the sequencer.

RT-#37787, reported by Petr Jelinek

bdr: Don't error out when replicating rows with NULLs in unique keys.

At an earlier point build_index_scan_key() never had to deal with
indexes where keys can contain NULL. Instead of erroring out properly
set SK_ISNULL and return the information that the scankey returns
NULLs to the caller.
Current callers can just skip indexes with NULLs.

bdr: Small usage tip for bdr_init_copy