bdr: add bdr_parse_slot_name and bdr_format_slot_name

Provide SQL-callable functions wrapping existing internal
BDR helpers for parsing and formatting BDR slot names.

This allows users to associate a slot name in pg_replication_slots
with an entry in bdr.bdr_nodes or bdr.bdr_connections without
writing their own slot parsing code that might be buggy and/or
break with later changes.

bdr: doc: Explain physical vs logical node join, reduce duplication

bdr: doc: Add stub docs for upgrade

Add skeletal upgrade docs with entry for bdr_upgrade_to_090.

Also documents bdr_replicate_ddl_command

bdr: doc: Table entries for all public bdr functions

bdr: doc: Change xref destinations for bdr.bdr_subscribe

bdr: doc: Always generate TOC even if section only has single entry.

bdr: doc: More detailed docs for bdr.bdr_subscribe().

bdr: silence compiler warning in UDR

bdr: Add synchronize parameter to bdr_subscribe

The new parameter controls what part of db should be synchronized
(copied). Currently supported values are 'none' for no synchronization
and 'full' for full dump/restore.

bdr: doc: Top-level structure tweaks, overview editing

bdr: doc: flatten install chapter a level

bdr: doc: Copy-editing on the quickstart guide

Some minor changes to the quickstart formatting and wording. Also remove
the old and unused quickstart doc.

Merge branch 'bdr-plugin/next' of ssh://git.postgresql.org/2ndquadrant_bdr into bdr-plugin/next

bdr: replication set management

bdr: description of replication set functions

bdr: fix formatting

bdr: doc: Added quickstart-install.sgml, quickstart-test.sgml
Modified bdr.sgml and filelist.sgml to added two files above

bdr: doc: Copy-editing and more cross references

Adds more cross references and removes some FIXMEs. Lots
of copy editing. Flesh out a few explanations.

bdr: doc: Revise and copy-edit the DDL replication chapter

Copy-editing, explanation of some restrictions, etc.

bdr: doc: correct cross-reference labels

reset PGconn object whenever connection is closed

bdr: Properly define bdr_abs_srcdir to be, well, actually absolute.

Fixes GH #6

bdr: fix open() flags of destination in copy_file()

- the destination file is not guaranteed to exist, so O_CREAT must be used.
- O_TRUNC has to be set to make sure there will be no leftovers at the end
  of the file in case the destination file already existed.

bdr: doc: Add chapter about bdr_init_copy

bdr: doc: more explanation of multi-master

bdr: doc: Much more in depth concepts/overview section

find "extended" (GNU) getopt

FreeBSD's stock getopt(1) breaks with the long options, so
we have to find a better one. TODO: move that to configure

use env to call bash, as bash may not be installed in /bin

bdr: Add tests for DDL replication of storage options during CREATE TBL.

Fixes GH: #3

bdr: doc: document getting sources, document signing

bdr: doc: move the preface into the book abstract

bdr: doc: Split the docs up by part/chapter like the Pg docs

bdr: doc: ignore generated docs

bdr: doc: Document installation from packages

bdr: doc: Add preliminary installation instructions & random doc cleanups.

bdr: doc: Massivley expand documentation about BDR DDL restrictions.

bdr: Fix bdr.do_not_replicate implementation.

Luckily the only consequence of the borked implementation was that
pg_get_replication_identifier_progress() failed with an assertion
failure. There was no problem with replaying those changes because the
other nodes aren't allowed to connect at that point.

bdr: docs: Fix indentation in a couple places.

bdr: Start documentation about not replicated statements.

bdr: Make parameters for group_create/group_join/subscribe more consistent.

bdr: Start to explain some concepts in the docs.

Initial explanation of distributed sequences, ddl replication and ddl
locking are included.

bdr: Fix dependencies on the website css for the docs.

bdr: Only set VPATH build variables when actually doing a vpath build...

Fixes building the docs from within the source directory. No need to
backpatch, as we previously didn't rely on srcdir being set.

bdr: Add document about bdr guc settings.

bdr: Copy docs css from the website, looks much better.

bdr: Remove the now unused bdr.connections GUC.

bdr: Add bdr_nodes entry for remote node when subscribing.

This makes it possible to join between bdr_nodes and bdr_connections
correctly.

bdr: Document (and link to) relevant postgres parameters.

bdr: Implement simple node removal via bdr.bdr_part_by_node_names().

The method used to remove node is relatively simplistic: Removed nodes
are left in bdr_nodes and there's no guarantee about
consistency/concurrency for node removal.

The concurrency issues primarily arethat the method used for removal
could lead to ddl locks and sequence chunks could be granted based on
votes by the removed node, with the quorum from after the removal. That
obviously needs to be improved, but this is an important step.

bdr: Also setup pid/pgproc entries in the output plugins shmem slot.

bdr: Parse & remember the remotes identity in the output plugin.

This is useful to later be able to kill & prevent them from rejoining
when removing a node.

bdr: Rename bdr_launch_apply_workers() to maintain_db_workers().

Also remove a superflous argument that could only ever be set to to
MyDatabaseId.

bdr: Don't proc_exit(0) in normal paths of the apply process.

Doing so unregisters the worker, which is usually not what's
wanted. Instead replace the one location that wants to unregister, and
use 1 as an exit code everywhere else.

bdr: Add bdr_parse_slot_name and clean up some related code.

bdr: Fix typo in dbcache leading to cache invalidation not working.

bdr: Wakeup perdb worker when bdr_node changes are replayed.

bdr: Slightly improve caching of relation/schema oids.

Only declare variables that are actually defined and also persistently
store the bdr schema oid.

bdr: Fix bdr_connections_changed() to not register its hook multiple times.

While add it, rename xacthook_connection_added to
xacthook_connections_changed to more precisely reflect its usage.

bdr: Require a node name when creating/joining a bdr flock.

bdr_init_copy is untested as of now.

bdr: Improve makefile regeneration dependencies.

bdr/udr: create scripts/ directory and set x permissions for bdr_initial_load.

This got broken in "bdr: Replace GUC-based connections with SQL and
tables", but the new fix is nicer and more complete. So it's ok not to
backpatch it.

bdr: typo fix

bdr: Acquire a shmem slot in the bdr output plugin.

This is helpful because we now can find nodes connected to a specific
slot which we need to implement node removal.

bdr: Remove bdr.max_workers and bdr.max_databases GUCs and infer them.

The complications of having those doesn't seem worth the minute amount
of processing they can save in a hypothetical environment with large
max_workers settings.

bdr: Further improve and seperate out BDR worker infrastructure.

Most shared memory handling now resides in bdr_shmem.c and worker
slots are acquired using a distinct function.

This has the advantage of making bdr.c a bit less of a hodgepodge and
is preparation for acquiring worker slots in walsenders.

bdr: dynconf: Improve worker slot handling.

Move worker slot acquiration into bdr_worker_init() and register
before_shmem_exit() function that marks the slot as unused on process
exit. Use that functionality to always keep the pid and PGPROC entry
in worker slots if a bgworker is connected.

bdr: Replace GUC-based connections with SQL and tables

BDR's configuration interface and the related internals have been mostly
rewritten so that GUCs are not used for specifying bdr connections.

The bdr.connectons GUC and bdr.<nodename>_dsn etc are removed by this
commit. Use of these settings will now emit warnings in the server error
log.

Upgrades to the new version must be performed with manual steps covered
in the documentation. Simply replacing the binaries is not sufficient.

Major changes:

* There is only one static worker, a new bdr_supervisor worker

* The supervisor decides which databases to start per-db workers
  for by examining each database for a 'bdr' security label

* per-db workers scan a new bdr.bdr_connections table to decide
  which nodes to launch apply workers for.

* apply workers look up bdr.bdr_connections to get connection
  info instead of checking GUCs

* Explicit creation of the first node is now required with
  bdr.bdr_group_create(...)

* New nodes must be joined with an SQL level bdr.bdr_group_join(...)
  call.

bdr: add stringify_node_identity helper

bdr: add bdr_copytable function for copying between conns

bdr_copytable copies a table between two libpq connections.
The caller supplies the COPY queries. It's intended for use
from C, but a test interface is available at the SQL level
for use in the unit tests, and could be renamed to be
made officially public if desired.

bdr: add bdr_test_remote_connectback(..)

bdr: add bdr_test_replication_connection(...)

bdr: refactor bdr_connect to be more useful to other callers

bdr: add bdr_get_remote_nodeinfo(...)

Add a utility function that permits a remote node to be probed
for BDR identification information of interest.

bdr: Add caching layer above databases.

Currently that layer is just used to cache (and abstract away) checks
whether a database is enabled for bdr. But likely we'll end up caching
additional data in there.

FIXME: Right now this isn't going to work for UDR. We need to make it
set a flag on the source side for it.

bdr: Add bdr_error_nodeids_must_differ for a common error

bdr: add bdr_parse_version(...)

Provide a utility function for parsing a text BDR version

bdr: rename worker struct members/unions to be shorter

Renames BdrWorker.worker_data => BdrWorker.data
and renames its union members:
* apply_worker => apply
* perdb_worker => perdb

as well as the bdr_perdb_worker variable in bdr_perdb.c

Fix VPATH build against 9.4 (i.e. UDR).

bdr: Bump bdr-plugin/next to 0.9.0

bdr: Ignore generated Makefile.global and doc/Makefile

bdr: Make some more externally callable functions PGDLLEXPORT

bdr: Add missing pgstat_report_activity(STATE_IDLE) during apply worker start.

bdr: Fix unitialized variable.

bdr: Fix initialization of replication identifier emulation.

bdr: Add base structure for sgml documentation.

No meaningful content, but buildable. With index and everything.

bdr: Improve build infrastructure to allow more than one src dir

This is preparation for also building docs; and could also be used to
build bdr_dump.

bdr: Always allow temp tables manipulation on UDR provider.

Backpatched from dynconf.

bdr: Remove unused variable

bdr: move extension control files into extsql/

bdr: stable branch quickstart should prefer bdr-plugin/stable

bdr: Update the README and INSTALL docs for 0.8.0

bdr: Add a debug message for DDL replication enqueues

bdr: All SQL-callable functions should be PGDLLEXPORT

bdr: Add bdr_version_num() and bdr_min_remote_version_num()

bdr: Correct parameter types for bdr_get_local_nodeid()

bdr_get_local_nodeid() was returning 'oid' for sysid, but it's a uint64
that won't fit that type's width. Use 'text'.

bdr: Add missing waits in regression tests.

These sometimes caused errors due to not yet released ddl locks.

bdr: Add .gitattribute to enforce a minimum of whitespace consistency.

Also fix some existing damage shown by git log/diff --check

bdr: Fix build logic to work in spite of pg vpath logic changes.

e907997f42faada60e5a26b116cc0b79b69309d1 broke bdr VPATH builds.

bdr: Fix up file headers and copyright dates.

bdr: Fix race between asking for replay confirmation and processing replies.

bdr_process_acquire_ddl_lock() sent out lock requests before being
ready to accept responses. While the window isn't big, it *does*
contain a WAL flush.  That can lead to lock acquirations never
finishing because some backend can miss a response to a replay
request.

To fix simply hold the lock appropriately long.