bdr: Prevent slot creation on output plugin if bdr ext missing

We shouldn't allow slot creation if the BDR extension is not installed
in a database.

bdr: Document contribs required for test runs

bdr: EXEC_BACKEND support for background worker launches

We were using direct function pointers in bdr for launching bgworkers.
Instead use library name and function name so it works with
EXEC_BACKEND.

bdr: Introduce bdr_get_local_nodeid()

bdr: When init_replica fails, close the replication connection

bdr: Leave environment intact when launching pg_dump/pg_restore for init_replica

Launch pg_dump and pg_restore by full path found using find_other_exec and
passed to bdr_init_replica, instead of messing with the environment.

bdr: update .gitignore to skip generated .sql files

bdr: move perdb_worker_main to new bdr_perdb.c

bdr: Move bdr_apply_main into bdr_apply.c

bdr: Don't check for DDL locking in DML when DDL locking disabled

bdr: bdr_init_copy now uses replica_local_dsn for local connection.

bdr: Fix bdr.table_set_replication_sets() for relations outside the search path.

Using format()'s %I for regclass parameters is wrong as they already
contain the required escaping. Doing otherwise ends up doing too much
escaping.

Fixes #38171.

bdr: Use correct connection for extension creation in bdr_init_copy.

bdr: No need for submake-libpq

bdr: Minor sequence voting performance improvements.

bdr: Improve logic and output of when to do sequence voting steps.

bdr: Dramatically increase chance of successful sequence votes.

Up to now any conflict between nodes over who gets to allocate a
specific value chunk was resolved by neither getting the chunk. That
could lead to significant gaps in distributed values and prolonged
voting periods.

The reason for the current logic is/was that it wasn't easy to do
better using one SQL query. Thus transfer the logic to a plpgsql
function where it's possible to handle things procedually.  The
fundamental change is that now when two nodes conflict because both
want a specific chunk we don't fail both anymore, but allow the node
with the smaller (sysid, tlid, dboid, name) win. That favors some
nodes, but still leads to a much faster overall convergence.

bdr: Prepare SQL statements used by the sequencer.

Turns out that that, especially for get_chunk_sql, leads to a
significant performance improvement.

bdr: Only wait on the latch in the sequencer after a round of voting.

This way we restart voting quicker after a restart/crash. It also gets
rid of a potential usage of a uninitialized variable.

bdr: Use "C" collation for the text columns used in sequence voting.

As it turns out using a plain collation can reduce sequence voting
cost considerably - I could observe about 50% reduction in time. As
the column's contents are originally of type 'name' (only that that's
not supported by btree_gist) or sysids, we can be perfectly content
with sorting "C" gives us.

bdr: Build bdr--0.8.0.1.sql too

bdr: Update ber_version.h.in to 0.8.0 to reflect bdr.control version

bdr: proper upgrade script for the UDR merge changes

bdr: Enable set_sysid in UDR's bdr_init_copy.

bdr: Make bdr_init_copy work for online upgrade correctly.

bdr: Move some replication identifier interfaces to C.

bdr: Allow builds to explicitly specify that they expect BDR or UDR

Previously it was always autodetected, but for packaging we really
want to be able to specifically specify this.

bdr: Also don't acquire the ddl lock for DROP REL pg_temp.*.

It'd be much nicer if we could do that safely for all temporary
objects, not just ones referred to with pg_temp.*. But that'd
currently be racy as hell...

bdr: Don't acquire the DDL lock for CREATE TEMPORARY TABLE [AS].

This logic should be extended to other cases, but this is already
quite helpful.

bdr: Make sure tables can't be created WITH OIDs

bdr: Add tests for ALTER TABLE ... ALTER COLUMN ... SET STATISTICS.

bdr: Add 'bdr.skip_ddl_locking' - useful to speedup initial loading.

bdr: ALTER TABLE ONLY tests

bdr: Allow ALTER TABLE ... ALTER COLUMN ... SET STATISTICS

bdr: Fix URLs in INSTALL.src to work without a git.pg.o account.

bdr: Support CREATE/DROP AGGREGATE/OPERATOR

bdr: Fix regression database setup to work with VPATH builds.

This also has the slight advantage that fewer output files have to be
changed should we need to add additional variables.

bdr: Don't use free'd memory in bdr_queue_dropped_objects().

bdr: regenerate configure script

bdr: Add 'interactive' option to output plugin.

This makes it easier to examine the replication queue manually from SQL
as bdr will use local node defaults for the replication protocol options
when the interactive option is used.

bdr: Fix transaction handling in output plugin.

Previously it was impossible to use the output plugin from within SQL
(for example using pg_logical_slot_peek_binary_changes) as it crashed
because it tryed to start transaction even if one was already started.

bdr: Add some explanatory comments.

bdr: Rewrite the dml tests so they work with both BDR and UDR.

Also make isolation tests run again.

bdr: Overhauld of bdr_replicate_ddl_command

* execute the ddl on local node
* force the input query to be fully qualified
* use command filter to disallow dangerous DDL commands even when using
  bdr_replicate_ddl_command unless overriden by the GUC
* make it work in BDR and make sure it does not do double replication of
  the DDL
* rewrite of queue_dropped_objects into C
* rename the drop trigger so that the order of execution is correct
* recognize bdr node by replication slot with bdr output plugin

bdr: Update of replication identifier emulation code

* new GetReplicationInfoByIdentifier compatible with upstream changes
* split replication_identifier emulation table into two to save on WAL
* add short explanation of replication identifier emulation
* don't replicate replication_identifier emulation table changes

bdr: Logical initialization works for UDR now.

bdr: Don't try to handle UPDATE/UPDATE conflicts in UDR.

bdr: make UDR work with new buildsystem

Use new bdr_variant() interface instead of bdr_version() for
determining if this is bdr of udr build.

bdr: Make bdr_init_copy work for UDR

bdr: prototype of DDL replication in UDR

The actual user facing function is quite ugly currently so the commit is
mainly about refactoring to make this possible.

bdr: compiles and works with vanilla 9.4

This is UDR v0. Basic master->slave replication works.

Currently the build has to be done using `make UDR=1` as there is no
detection if the plugin is being built with 9.4 or the 9.4bdr.

There are still warnings (about unused variables because of #ifdefs),
bdr_init_replica and bdr_init_copy don't work yet.

bdr: Don't read past the end of shmem in bdr_sequencer_wakeup

bdr_sequencer_wakeup() was iterating over BdrSequencerCtl->slots
using bdr_seq_nnodes instead of bdr_seq_nsequencers, which would
cause it to attempt access past the end of the shared memory segment
allocated for BdrSequencerCtl.

bdr: conflict handling refactor phase 2

New logging API has one unified function that creates Conflict object
which then can be used to log both into server log and to table.

Logging of all conflict types was unified under this new API.

Added two new conflict resolution types 'apply_change' and 'skip_change'
which are used in places where it's impossible to use conflict handlers
(like delete_delete conflict) and also in UDR instead of last update
wins.

In passing fix the timeframe handling of user defined conflict handlers.

bdr: Add regression test for ALTER TABLE ... RENAME COLUMN TO.

bdr: Out of tree builds work again.

bdr: configure update

bdr: add missing Makefile for bdr_dump.

bdr: Use bdr_resetxlog and bdr_dump instead of Postgres version of those.

bdr: pg_dump: Apply BDR patchset and build as bdr_dump.

bdr: Embed pg_dump from 9.4

bdr: pg_resetxlog: Add -s and -c options and build it as bdr_resetxlog.

bdr: Embed pg_resetxlog from 9.4

bdr: Add test for extension upgrades.

bdr: Allow to replicate insert/update/delete selectively on a per set basis.

Currently the user interface for this is the
bdr.bdr_replication_set_config table. We'll need a layer ontop of
that.

This commit also introduces some other novelty because it starts to
create the initial version specific extension scripts out of
components.

bdr: Output plugin installs bdr extension if missing now.

This is needed for UDR case (there is no perdbworker on master node at the moment).

bdr: Cache information about a relation being replicated in an output plugin.

That's primarily useful because it will make it easier to maintain the
state necessary for replication set wide settings. But the new
infrastructure is also generally more efficient.

The information is added to the bdr relation descriptor - as logical
decoding maintains that cache coherently that's quite convenient.

bdr: Try to make bdr_relcache.c's logic works correctly for recursive flushes.

bdr: Add tests for the effects of replication sets to replicated data.

bdr: Add basic test for replication set manipulation.

The test needs to be expanded with actually testing whether sets
properly control replication.

bdr: Actually andle the implicit 'all' and 'default' replication sets.

bdr: Increase validation around replication sets.

bdr: Automatically remake makefile when Makefile.in changes

bdr: Initial implementation of replication sets.

Tables can be added to replication sets using
SELECT bdr.table_set_replication_sets('do_replicate_tbl', '{do_replicate}');
and viewed
SELECT bdr.table_get_replication_sets('do_replicate_tbl');

Nodes by default replicate all replication sets, but can be configured
to only consume specific ones using the bdr.%s_replication_sets GUC.

Tests are sorely needed.

bdr: Include Makefile.custom if it exists.

That allows to add local, additional, rules. Useful e.g. to add
flymake support.

bdr: Make use of the updated GetReplicationInfoByIdentifier interface.

bdr: Try to make configure (i.e. sed) work on OSX.

Also fix future issue that bdr wouldn't detect 9.4.0+ properly.

bdr: Add autoconf output to make compiling on odd platforms easier.

bdr: Update the installation instructions.

bdr: Fix path to pg_regress in run_tests to work in more environments

bdr: Add minimal installation instructions for bdr plugin.

bdr: Move flush/feedback association logic entirely to bdr_apply.c

bdr: Schedule sequencer wakeup in a couple more situations.

That allows a bit higher sequence throughput.

bdr: bdr_init_replica fixes (correct version check + correct build)

bdr: Extend maintainer-clean target for autoconf/configure output.

Add a autoconf generated configure build infrastructure.

This allows us to check that we're compiling against a sane version of
postgres. And later to switch between building udr/bdr.

bdr: Add omitted break in commandfilter.

Luckily the omission turned out to be harmless.

bdr: Allow CREATE TABLE AS/SELECT INTO when targeting temp tables.

bdr: Adapt gitignore to the new out-of-tree situation

bdr: Rework build/test infrastructure to better work as a out of tree module

We now implicitly build using pgxs and have our own wrapper around
pg_*regress to run make check without a sourcetree around. Also tests
are based on a commonly included config file instead of duplicating
things over and over.

bdr: add a git-dist target to the Makefile

You can now prepare dist tarballs of the BDR extension. They'll contain the BDR
version in the filename and will have the git revision in a .distgitrev file in
the tarball. There's also a .distgittag file that contains the tag if there's
one, or 'undefined' if there isn't.

Document making dist tarballs in the README.developers too.

bdr: WAL log bdr sequences correcly

bdr: fix isolation tests after move

bdr: copy bdr isolation tests from base tree

in preparation for their removal there

bdr: Don't try to forbid T_AlterTableSpaceMoveStmt - doesn't exist anymore

It's replaced by a ALTER TABLE veriant that should be fine.

bdr: Remove version suffix from quickstart script

The --with-extra-version suffix was breaking some tools, so
remove it. We can now check the version using bdr.bdr_version()
anyway.

bdr: Disallow calling setval() on distributed sequences.

We actually allow setval() to be called, as long as it's not changing
values. That's required because the relevant code is called from other
contexts as well.

bdr: fix the possibly broken^Conflict history sequence in upgrade script

See 766e3bcb3c3c37981b12f93d0e4210213fa281c2 for more info.

bdr: decouple conflict logging and remote apply

Previously we always logged even applyed rows (which are not technically
conflicting) with optional check for apply_update. Now we log based on
what is actually happening and if the row was conflicting or not.

This also removes the bdr.log_applyed_conflicts config option as it's
not needed anymore.

bdr: Replay all insert/update/delete messages while in MessageContext

That allows us to decode large transactions more
efficiently. Previously we leaked memory until a commit was being
replayed.

bdr: make sure the conflict history sequence is created as local one

This fixes #RT-37956 and possibly #RT-37944.

Per Andres.