bdr: refactor bdr_connect to be more useful to other callers

bdr: add bdr_get_remote_nodeinfo(...)

Add a utility function that permits a remote node to be probed
for BDR identification information of interest.

bdr: Add caching layer above databases.

Currently that layer is just used to cache (and abstract away) checks
whether a database is enabled for bdr. But likely we'll end up caching
additional data in there.

FIXME: Right now this isn't going to work for UDR. We need to make it
set a flag on the source side for it.

bdr: Add bdr_error_nodeids_must_differ for a common error

bdr: add bdr_parse_version(...)

Provide a utility function for parsing a text BDR version

bdr: rename worker struct members/unions to be shorter

Renames BdrWorker.worker_data => BdrWorker.data
and renames its union members:
* apply_worker => apply
* perdb_worker => perdb

as well as the bdr_perdb_worker variable in bdr_perdb.c

Fix VPATH build against 9.4 (i.e. UDR).

bdr: Bump bdr-plugin/next to 0.9.0

bdr: Ignore generated Makefile.global and doc/Makefile

bdr: Make some more externally callable functions PGDLLEXPORT

bdr: Add missing pgstat_report_activity(STATE_IDLE) during apply worker start.

bdr: Fix unitialized variable.

bdr: Fix initialization of replication identifier emulation.

bdr: Add base structure for sgml documentation.

No meaningful content, but buildable. With index and everything.

bdr: Improve build infrastructure to allow more than one src dir

This is preparation for also building docs; and could also be used to
build bdr_dump.

bdr: Always allow temp tables manipulation on UDR provider.

Backpatched from dynconf.

bdr: Remove unused variable

bdr: move extension control files into extsql/

bdr: stable branch quickstart should prefer bdr-plugin/stable

bdr: Update the README and INSTALL docs for 0.8.0

bdr: Add a debug message for DDL replication enqueues

bdr: All SQL-callable functions should be PGDLLEXPORT

bdr: Add bdr_version_num() and bdr_min_remote_version_num()

bdr: Correct parameter types for bdr_get_local_nodeid()

bdr_get_local_nodeid() was returning 'oid' for sysid, but it's a uint64
that won't fit that type's width. Use 'text'.

bdr: Add missing waits in regression tests.

These sometimes caused errors due to not yet released ddl locks.

bdr: Add .gitattribute to enforce a minimum of whitespace consistency.

Also fix some existing damage shown by git log/diff --check

bdr: Fix build logic to work in spite of pg vpath logic changes.

e907997f42faada60e5a26b116cc0b79b69309d1 broke bdr VPATH builds.

bdr: Fix up file headers and copyright dates.

bdr: Fix race between asking for replay confirmation and processing replies.

bdr_process_acquire_ddl_lock() sent out lock requests before being
ready to accept responses. While the window isn't big, it *does*
contain a WAL flush.  That can lead to lock acquirations never
finishing because some backend can miss a response to a replay
request.

To fix simply hold the lock appropriately long.

bdr: Update quickstart guide for split source tree

bdr: We actually want to log remote tuple on conflict.

bdr: Conflict handler enhancements.

* When user defined conflict handler returns tuple, log it as part of
  conflict logging instead of the original remote tuple.
* Allow user defined conflict handler to return tuple for UPDATE/DELETE
  conflict (and INSERT the new user provided tuple).
* Call user defined conflict handler for DELETE/DELETE conflict (this
  one is not allowed to return tuple).
* Clean-up conflict handling debugging code.

bdr: Use bdr.do_not_replicate to suppress replication of pg_restore

Changes from pg_restore would have previously been replicated through
the slot from the new node back to the root node during init, because
we didn't apply them with any replicaiton origin ID.

Use the bdr.do_not_replicate GUC to set DoNotReplicateRepNodeID as the
origin, so these changes get suppressed from replication.

bdr: Add bdr.do_not_replicate GUC

Suppresses replication of changes from a session by setting the
origin replication identifier to DoNotReplicateRepNodeId.

bdr: Make waitforstart reliably notice when BDR has come up

pg_stat_activity caches within the transaction and must be reset to see new
results. This was filtering out rows from pg_stat_get_wal_senders.

See comments inline for details.

bdr: Prevent slot creation on output plugin if bdr ext missing

We shouldn't allow slot creation if the BDR extension is not installed
in a database.

bdr: Document contribs required for test runs

bdr: EXEC_BACKEND support for background worker launches

We were using direct function pointers in bdr for launching bgworkers.
Instead use library name and function name so it works with
EXEC_BACKEND.

bdr: Introduce bdr_get_local_nodeid()

bdr: When init_replica fails, close the replication connection

bdr: Leave environment intact when launching pg_dump/pg_restore for init_replica

Launch pg_dump and pg_restore by full path found using find_other_exec and
passed to bdr_init_replica, instead of messing with the environment.

bdr: update .gitignore to skip generated .sql files

bdr: move perdb_worker_main to new bdr_perdb.c

bdr: Move bdr_apply_main into bdr_apply.c

bdr: Don't check for DDL locking in DML when DDL locking disabled

bdr: bdr_init_copy now uses replica_local_dsn for local connection.

bdr: Fix bdr.table_set_replication_sets() for relations outside the search path.

Using format()'s %I for regclass parameters is wrong as they already
contain the required escaping. Doing otherwise ends up doing too much
escaping.

Fixes #38171.

bdr: Use correct connection for extension creation in bdr_init_copy.

bdr: No need for submake-libpq

bdr: Minor sequence voting performance improvements.

bdr: Improve logic and output of when to do sequence voting steps.

bdr: Dramatically increase chance of successful sequence votes.

Up to now any conflict between nodes over who gets to allocate a
specific value chunk was resolved by neither getting the chunk. That
could lead to significant gaps in distributed values and prolonged
voting periods.

The reason for the current logic is/was that it wasn't easy to do
better using one SQL query. Thus transfer the logic to a plpgsql
function where it's possible to handle things procedually.  The
fundamental change is that now when two nodes conflict because both
want a specific chunk we don't fail both anymore, but allow the node
with the smaller (sysid, tlid, dboid, name) win. That favors some
nodes, but still leads to a much faster overall convergence.

bdr: Prepare SQL statements used by the sequencer.

Turns out that that, especially for get_chunk_sql, leads to a
significant performance improvement.

bdr: Only wait on the latch in the sequencer after a round of voting.

This way we restart voting quicker after a restart/crash. It also gets
rid of a potential usage of a uninitialized variable.

bdr: Use "C" collation for the text columns used in sequence voting.

As it turns out using a plain collation can reduce sequence voting
cost considerably - I could observe about 50% reduction in time. As
the column's contents are originally of type 'name' (only that that's
not supported by btree_gist) or sysids, we can be perfectly content
with sorting "C" gives us.

bdr: Build bdr--0.8.0.1.sql too

bdr: Update ber_version.h.in to 0.8.0 to reflect bdr.control version

bdr: proper upgrade script for the UDR merge changes

bdr: Enable set_sysid in UDR's bdr_init_copy.

bdr: Make bdr_init_copy work for online upgrade correctly.

bdr: Move some replication identifier interfaces to C.

bdr: Allow builds to explicitly specify that they expect BDR or UDR

Previously it was always autodetected, but for packaging we really
want to be able to specifically specify this.

bdr: Also don't acquire the ddl lock for DROP REL pg_temp.*.

It'd be much nicer if we could do that safely for all temporary
objects, not just ones referred to with pg_temp.*. But that'd
currently be racy as hell...

bdr: Don't acquire the DDL lock for CREATE TEMPORARY TABLE [AS].

This logic should be extended to other cases, but this is already
quite helpful.

bdr: Make sure tables can't be created WITH OIDs

bdr: Add tests for ALTER TABLE ... ALTER COLUMN ... SET STATISTICS.

bdr: Add 'bdr.skip_ddl_locking' - useful to speedup initial loading.

bdr: ALTER TABLE ONLY tests

bdr: Allow ALTER TABLE ... ALTER COLUMN ... SET STATISTICS

bdr: Fix URLs in INSTALL.src to work without a git.pg.o account.

bdr: Support CREATE/DROP AGGREGATE/OPERATOR

bdr: Fix regression database setup to work with VPATH builds.

This also has the slight advantage that fewer output files have to be
changed should we need to add additional variables.

bdr: Don't use free'd memory in bdr_queue_dropped_objects().

bdr: regenerate configure script

bdr: Add 'interactive' option to output plugin.

This makes it easier to examine the replication queue manually from SQL
as bdr will use local node defaults for the replication protocol options
when the interactive option is used.

bdr: Fix transaction handling in output plugin.

Previously it was impossible to use the output plugin from within SQL
(for example using pg_logical_slot_peek_binary_changes) as it crashed
because it tryed to start transaction even if one was already started.

bdr: Add some explanatory comments.

bdr: Rewrite the dml tests so they work with both BDR and UDR.

Also make isolation tests run again.

bdr: Overhauld of bdr_replicate_ddl_command

* execute the ddl on local node
* force the input query to be fully qualified
* use command filter to disallow dangerous DDL commands even when using
  bdr_replicate_ddl_command unless overriden by the GUC
* make it work in BDR and make sure it does not do double replication of
  the DDL
* rewrite of queue_dropped_objects into C
* rename the drop trigger so that the order of execution is correct
* recognize bdr node by replication slot with bdr output plugin

bdr: Update of replication identifier emulation code

* new GetReplicationInfoByIdentifier compatible with upstream changes
* split replication_identifier emulation table into two to save on WAL
* add short explanation of replication identifier emulation
* don't replicate replication_identifier emulation table changes

bdr: Logical initialization works for UDR now.

bdr: Don't try to handle UPDATE/UPDATE conflicts in UDR.

bdr: make UDR work with new buildsystem

Use new bdr_variant() interface instead of bdr_version() for
determining if this is bdr of udr build.

bdr: Make bdr_init_copy work for UDR

bdr: prototype of DDL replication in UDR

The actual user facing function is quite ugly currently so the commit is
mainly about refactoring to make this possible.

bdr: compiles and works with vanilla 9.4

This is UDR v0. Basic master->slave replication works.

Currently the build has to be done using `make UDR=1` as there is no
detection if the plugin is being built with 9.4 or the 9.4bdr.

There are still warnings (about unused variables because of #ifdefs),
bdr_init_replica and bdr_init_copy don't work yet.

bdr: Don't read past the end of shmem in bdr_sequencer_wakeup

bdr_sequencer_wakeup() was iterating over BdrSequencerCtl->slots
using bdr_seq_nnodes instead of bdr_seq_nsequencers, which would
cause it to attempt access past the end of the shared memory segment
allocated for BdrSequencerCtl.

bdr: conflict handling refactor phase 2

New logging API has one unified function that creates Conflict object
which then can be used to log both into server log and to table.

Logging of all conflict types was unified under this new API.

Added two new conflict resolution types 'apply_change' and 'skip_change'
which are used in places where it's impossible to use conflict handlers
(like delete_delete conflict) and also in UDR instead of last update
wins.

In passing fix the timeframe handling of user defined conflict handlers.

bdr: Add regression test for ALTER TABLE ... RENAME COLUMN TO.

bdr: Out of tree builds work again.

bdr: configure update

bdr: add missing Makefile for bdr_dump.

bdr: Use bdr_resetxlog and bdr_dump instead of Postgres version of those.

bdr: pg_dump: Apply BDR patchset and build as bdr_dump.

bdr: Embed pg_dump from 9.4

bdr: pg_resetxlog: Add -s and -c options and build it as bdr_resetxlog.

bdr: Embed pg_resetxlog from 9.4

bdr: Add test for extension upgrades.

bdr: Allow to replicate insert/update/delete selectively on a per set basis.

Currently the user interface for this is the
bdr.bdr_replication_set_config table. We'll need a layer ontop of
that.

This commit also introduces some other novelty because it starts to
create the initial version specific extension scripts out of
components.

bdr: Output plugin installs bdr extension if missing now.

This is needed for UDR case (there is no perdbworker on master node at the moment).