Fix regression test 003.failover for rhel7 postgresql rpm

The expected result of 'show pool_nodes' is fixed to use
PGSOCKET_DIR in hostname column.

Add missing \n in help messages

Fix to use timeout command to handle time out of regress test 062

doc: Add restriction about starting multiple pgpool simultaneously

Fix bug with "SET TRANSACTION READ ONLY".

Pgpool-II remembers that non read only queries (including SET) were
executed in an explicit transaction and adds a "writing transaction"
mark to the transaction. The mark affects the query routing behavior
of pgpool-II while running in streaming replication mode. Pgpool-II
starts sending queries to the primary after the mark is set. Because
the effect of writing queries may appear on standbys after some delay
in streaming replication mode, it is safer to route read queries to
the primary after the mark is set.

However there's oversight here. "SET TRANSACTION READ ONLY" does no
data modification and should be treated as an exception.

Per bug #157.

Fixing [pgpool-II 0000139]: broken arping_cmd

wd_chk_setuid() function was bailing out with the error message as soon as it
finds the setuid bit is not set on any configured network command and was
ignoring the rest of configurations.

Fix previous commit for regression test 055

Fix previous commit for regression test 055

Fix regression test 055 for rhel7 rpm

Fix a bug of regress.sh option handling

Add missing descriptions about default values to documents

Fix the previous commit's echo missing redirect to conf file

Add option to regress.sh and pgpool_setup for unix domain socket directory

The new option of regress.sh is -s to specivy unix domain socket
directory. Default is /tmp. And environment variable PGSOCKET_DIR
is added for pgpool_setup

Fix pgpool_setup to use DEFAULT_PGSOCKET_DIR in pg_config_manual.h

Some Postgresql rpms define DEFAULT_PGSOCKET_DIR as /tmp, others as
/var/run/postgresql. This affects not only PostgreSQL server but
also libpq and psql.

This is a workaround for regression test. We might have to fix
pgpool-II code to control default value of backend_hostname*.

Force pgpool_setup to set unix_socket_directories to '/tmp'

This is a workaround for PostgreSQL RHEL7 RPM, which sets
it to '/var/run/postgresql'.

Unbreak "make dist".

While removing some directories under src/test, Makefile.am was left
unchaged and "make dist" has been broken since then.

Ignore close statement/portal request if they do not exist.

In this case just returns a close complete message to client.
This is a back port of commit:

1a37e1c35bd8b6f10f524693bbcb7b51f73b4bf0

which should have been back ported earlier.

Fix regression test 065.

The path to JDBC driver was explicitly defined. This is wrong. This
should be inherited from JDBC_DRIVER environment variable.

Fix in memory query cache bug reported in bug#152.

If extended query protocol is used and a bind/execute message arrives
which uses a statement created by prior parse message, the temp_cache
is not initialized by a parse messages. Thus messages are added to pre
existing temp cache buffer which causes the trouble (when the cached
result returns, Data Row message and Command Complete message appeared
*twice*).

Also new regression test is added to check the bug.
t-ishii@localhost:

Update copyright year.

Fix bugs with data modifying WITH clause reported in bug#153.

pgpool-II does not recognize the data modifying WITH clause despite
pgpool-II 3.3 or after has SQL parser which recognizes it. The bug has
been fixed in pgpool-II 3.5 (having PostgreSQL 9.5 parser).

Data modifying WITH clause was introduced in PostgreSQL 9.1. Since
pgpool-II 3.3 has 9.2 parser and pgpool-II 3.4 has 9.4 parser, the fix
is back ported to pgpool-II 3.3 and 3.4.

Fix wrong description in documents about log_standby_delay

Fix ancient bug of pool_push() and friends.

It allocates buffer using realloc and uses the pointer
returned. However it does the pointer calculation *before* realloc
gets called. So the calculation uses the old pointer value, which
causes various problems including segfault later. It is surprising
that this bug was not found earlier because the bug was there since
the function was added. This is probably due to the fact that actual
pointer moving does not happen until certain amount of memory.

Also there were other problems with it. The buffer pointer and buffer
size variable is not initialized. The buffer is not freed by
pool_close. Typo in debugging message (3.4 or later only). They are
fixed as well.

Fix regression test driver.

In pgpool-II 3.5, libpcp.a is not compatible with previous ones. This
results in segfault when pcp_recovery_node gets executed if the
command links to older version of the library. Solution is, set
${PGPOOL_INSTALL_DIR}/lib to LD_LIBRARY_PATH so that the command links
proper version of library.

Fix compiler warning.

Since memqcache_total_size is 64bit integer, the format string should
be %ld, rather than %d.

Remove rpm_installer directory

Codes of RPM building and installer are maintained by GitHub.

Move 006 memory leak test to test/regression from src/test/regression

It seem to be git-cherry-pick mistake.

Remove tests directory which are incorporated into regression test

Add timestamp-rewrite unit test to regression test suite

Fix typo in Document

Fix complication error and segfault of timestamp rewrite test

Fix inconsistency of sequence values in replication mode

Due to the following commit, table names were always quoted
in queries to check needs for insert lock, whether this is
view, wheter this has default value of timestamp etc. However,
when schema name was provided, table name was quoted wrongly as
like "public.tbl" instead of "public"."tbl". So, pool_regclass
and to_regclass couldn't find right talbe oid and insert lock
was never executed. This caused inconsistency between DB nodes.

In previous codes, quotation marks "" are once remove from
table name returnd by nodeToString, and re-quoted in issued
query. Instead, fixed codes don't remove and use directy in
pgpool_regclass or to_regclass. make_table_from_rangevar()
are also fixed to return table name including quotation marks.
However, when neither pgool_regclass or to_regclass is available,
quotation marks and schema name are removed from table name,
because pg_class.relname is used in this case.

In addition, fix to use to_regclass in insert lock functions
if available.

Fix regress test to sleep after pgpool_reload

Some regression tests test behaviors after pgpool-II configuration
is modified and reloaded. However, sometimes these modification
were not applied to pgpool just after reloading.

It was observed after the following commit.

 commit ba24a708ed61d6a5fa296451b194c4b448ed5966
 Author: Tatsuo Ishii <ishii@postgresql.org>
 Date:   Thu Aug 6 13:02:42 2015 +0900

 Issue fsync() when writing pgpool_status.

 This ensures that pgpool_status is saved to permanent storage and
 allow to survive after system crash.

It seem to be because fsync() takes a time before SIGHUP is sent
to child processes in reload_config().

Fix is to add sleep to wait for applying modification after
pgpool_reload.

In addition, some messages are added to test for debugging.

Fix broken regression test for native replication

Test for insert lock didn't work.

Fix false alert of regression tset 062

Sleep before timedout was too short.

Issue fsync() when writing pgpool_status.

This ensures that pgpool_status is saved to permanent storage and
allow to survive after system crash.

Fix misinformation regarding load balancing in docs.

In streaming replication mode, DECLARE, FETCH, CLOSE and SHOW are sent
to primary node only. Pointed out in [pgpool-general-jp: 1378].

Prepare 3.3.7

Do not send a query for checking insert lock in non replication mode with extended query

This unnecessary code was there since day 0.

Allow to use in memory query cache size > 4GB

This should have been allowed since in memory query cache was born.

Add a test case for previous commit.

Fix the case when user table includes spaces.

For example if table names including space are used (of course using
delimited identifier), pgpool-II cannot be handled correctly by the
internal functions which access system catalogs and it results in SQL
errors. Solution is, to always use delimited identifier. Per bug#136.
Also see [pgpool-general: 3818].

Fix "select() system call interrupted" error.

The health check process complains above then

ERROR:  failed to make persistent db connection
DETAIL:  connection to host:"x.x.x.x:5432 failed

But the healthchek does not trigger fail over nor retrying (if the
retry parameter is configured). So except the annoying message above
everything goes well.

I guess this is caused by SIGCHLD interrupt while select(2) waiting
for completion of connect(2) call. It is likely that pgpool child dies
because of child_life_time. The directive is triggered if child is
idle for specified period. Since this happens independently among each
child process, if num_init_children is big (in the reported case, it
is 2000). So the case could occur more easily if 1) num_init_children
is big and 2) pgpool children go into idle state (no query arrived
from client for child_life_time seconds).

We suppose a system call interruption could occur by SIGALRM which is
set by pgpool to detect time of the connect(2) call if
health_check_timeout is non 0. However we did not think about the case
above.

The fix is, if select(2) is interrupted by a system call, check
health_check_timeout variable and it is not set, we can assume that
the interruption is caused by other than SIGALRM and retries the
select(2).

Original bug report is [pgpool-general: 3756] Connection Interrupted.
Patch created by me. Enhancement from Usama.

Also I got similar report (but on 3.3) from another user. So I will
make similar commit to 3.3 stable tree as well.

Fix outdated limitation description about load balancing using JDBC driver.

Even if autocommit is false, load balancing is possible in certain conditions.

Clarify description of pcp_promote_node.

It does not actually promote PostgreSQL standby.

Clarify load balancing condition.

Passing empty string parameters in failover command when pgpool-II does not have a value for any particular parameter

Instead of omitting the values for the parameters when pgpool-II does not have
any value for a particular parameter, It now passes an empty string instead to
the failover command, This makes sure that failover script will always receive
the exact number of expected parameters.

Fixing "cannot find xlog functions" error in pgpool-recovery
The argument data type of PG's pg_xlogfile_name() function has been changed from
text to pg_lsn since PostgreSQL 9.4. And pgpool-recovery was still trying to
locate the function by old signature.

Prepare 3.3.6

Fixing a problem with pcp_detach_node, When graceful node detach is requested

gracefully detaching a node by pcp_detach_node should check if it is allowed to
process detach_node command on the particular node before blocking the incoming
connections and closing the existing connections.

Update table and flowchart of where a query should be sent

Add a regression test for SELECT error hangs bug

The fix commit is:

commit 41ee68c0696bb484d0a68bbc72677b80a15d4410
Author: Yugo Nagata <nagata@sraoss.co.jp>
Date:   Mon Mar 30 15:23:32 2015 +0900

    Fix a hang when an error occurs in a transaction block with replication mode

Fix a hang when an error occurs in a transaction block with replication mode

When an error occurs at a backend node in a transaction block with
replication mode, pgpool-II sends an invalid query to other
backends to sync transaction states. However, previously, this was
not sent to master node, and pgpool-II was waiting for master's
response forever.

This bug is caused to a specification change since 3.3.0 that load
balance is allowed in a transaction block with replication mode.

To fix this, pgpool sends the invalid query to all backends,
including master, except the node which the original query was sent.

Use to_regclass if available in time stamp rewriting in replication mode.

Newer pgpool-II supposed to use to reg_class, but this was
accidentally left.

Support SSL certificate chains in the certificate file for incoming frontend connections.

Update document of condition for load balancig

Load balancing is possible in an explicit transaction block
even in replication mode since 3.3.0.

Enlarge POOLCONFIG_MAXDESCLEN to 80.

This is used in show pool_status command and limits the length of
parameter description.  Unfortunately recovery_timeout description is
64 chars, which is 1 byte longer than former definition of the macro
because we need on more byte for null termination.

Update release number

Remove an unnecessary include directive

Fix to set SIGCHLD to SIG_DFL instead of SIG_IGN in watchdog processes

When using waitpid, it isn't necessary to set SIGCHLD SIG_IGN. Rather,
waitpid returns ECHLD and WIFEXITED could be zero even when the child
process exit successfully. Due to this, it was recognized that ping
exited abnormally in error.

In addition, signal functions are replaced to pool_singal.

Fix to use void * for receiving return value of thread function

Previously int was used and this could occur stack buffer overflow.
This caused an infinity loop of ping error at bringing up or down
VIP, since a loop variable in a for loop was overwritten to zero.

Fix %tmpfiles_create to not be executed in RHEL/CentOS 6

Merge branch 'V3_3_STABLE' of ssh://git.postgresql.org/pgpool2 into V3_3_STABLE

pgpool.service is required only in RHEL/CentOS 7

Prepare 3.3.5

Add pgpool.service for systemd in RHEL/CentOS 7

Change to use systemd if it is available and adopt to PostgreSQL 9.4

Fix a mistake in the previous commit

Restore SIGCHLD handler to its original after executing if_up/down_cmd V3_3_STABLE
commit b9e532b9ab50b1cf1d090a187016a1d155ebc4fd

Restore SIGCHLD handler to its original after executing if_up/down_cmd

Previously SIGCHLD was set to SIGIGN always after if_up/down_cmd.
This led to a incorrect error handling of ping or other commands
execution, and warning messages were output to log even when the
command exited successfully.

Fix occasional failure in regression test '004.watchdog'

Switchover between pgpools sometimes fails, since the active
pgpool is stopped before the standby pgpool's watchdog is ready.
To avoid this, take a sleep before stopping the active.

The patch provided by uerhara in bug #127.

Fix for [pgpool-general: 3374] show pool_nodes

The size of string for holding the node id in POOL_REPORT_NODES was too small
for ids having more than one digits. Also adjusting the port string size in
same structure which was lot more than what is actually required.

Fix bogus date and raise rpm version number.

Copy m4/* files.

Use autoreconf -i

Change ltmain.sh from symlink to copy.

Use libtoolize --copy

Change "compile" from symlink to copy to enhance portability.

Use automake --add-missing --copy

Add "compile" generated by "automake --add-missing."

Overhaul configure and friends as aleady done in V3.4.

Rename configure.in to configure.ac.
Change AC_INIT and AC_INIT_AUTOMAKE macro.
Add AM_MAINTAINER_MODE(disable).

Fix for 0000122: pgpool-II 3.4.0 - if_up_cmd and if_down_cmd $_IP_$ substitution
is too optimistic.

exec_ifconfig() function while breaking the command string into tokens was
assuming that "$_IP_$" keyword will always have a white space at the end and
when "$_IP_$" has some prefix, it gets broken down into two tokens "$_IP_$"
instead of one.
To fix this the command string in exec_ifconfig() is passed to newly added
string_replace() function to substitute all occurrences of "$_IP_$"
with delegate_IP before tokenizing.

Fix ill signal befavior of SIGCHLD in exec_ifconfig().

For some reason signal(SIGCHLD, SIG_IGN) was set *and* tries to wait
child process which always fails because SIGCHLD is never
delivered. Due to this "ifconfig up" fails when switching to watchdog
master. Fix is, before calling fork(), do "signal(SIGCHLD,
SIG_DFL)". See "[pgpool-general: 3310] Watchdog - ifconfig up failed."
for more details.

Fix memory leak test.

Fix wrong test memory leak existence.

Fix from Usama:
> Also I have made a small change in the newly added test case to test memory
> leaks, I have added the statement to run the pgbench for 1 second before
> the script takes the initial memory size to catter the startup memory
> required by child process.

Add memory leak regression test.

The test executes pgbench -S for a while (currently 30 seconds) and
compare pgpool child process size before and after. If it increases,
the test fails. The test is executed in streaming replication, native
replication and raw mode.

Update changelog

Fix failover script to use absolute path to the database cluster.

Otherwise failover doesn't work when startall is executed from other
than in the directory where pgpool_setup starts.

Fix node id range check bug in trigger_failover_command().

The node id should be lower than NUM_BACKENDS. Probably harmless since
callers never pass node ids greater or equal to NUM_BACKENDS. But a
bug is a bug.

Update pgpool-II-head.patch for RPM release

Rename RPM file

Rename filename to include RHEL version no. like PostgreSQL's
official RPM file.

e.g.)pgpool-II-pg93-3.4.0-2pgdg.rhel6.x86_64.rpm

Allow to set configuration file directory by setting environment variable PGPOOLDIR.

Avoid errors when pcp.conf.sample does not exist. This could happen in RPM installation.

Add to support for memcached.

Fix possible segfault in query cache.

In ReadyForQuery, it does not check if session_context->query_context
exists. Thus it could lead to segfault later on if it does not exists.

Fix wait_for_pgpool_startup to use "postgres" database rathern than "test".

The test database may or may not exist and if it does not, it will
always retry until timeout expired (20 seconds), and regression test
takes unnecessary long.

The commit tries to fix the failover deadlock problem
"[pgpool-II 0000105]: Failover dead lock".
Although the issue is not readily reproducible but analysis of Yugo reveals
the following scenario which can cause the deadlock.

Scenario:

--quote--

When watchdog is used and a backend goes down, pgpools can hang.
This is related to semaphore locking used in failover(),degenerate_backend_set().
I analyzed and made a hypothesis of mechanism as below.

1. A backend goes down during many child processes are accepting connection.

2. A child process (P_c0) which detects the backend down executes
degererate_backend_set(). Then in this function,

- aquires a semaphore lock (pool_semaphore_lock(REQUEST_INFO_SEM))
- notifies to other pgpools (wd_degenrate_backend_sent())
- sends a signal to trigger failover (kill(parent, SIGUSR1))
- release the lock (pool_semaphore_unlock(REQUEST_INFO_SEM))

3. Then, other child process (P_c1) which detects backend down acquires the lock
as similar to P_c0.

4. watchdog process (P_w) which receives notification from P_c0 in other pgpool
also executes degenerate_backend_set() in wd_sent_response(), and tries to
acquires the lock. However, P_w can't acquire lock and goes into waiting since
P_c1 is already holding the lock.

5. The parent process (P_p) executes failover() and tries to acquires the lock.
However, P_p can't get lock and goes waiting for the same reason.

6. P_c1 tries to notify to other pgpools (wd_degenrate_backend_sent()).
However, P_w in other pgpools are also waiting lock and can't respond.
So, P_c1 waits response forever.

7. As a result, both pgools hang in following status;
        - P_c1: lock holder and waiting response from P_w in other pgpool
        - P_w: waiting lock
        - P_p: waiting lock

--unquote--

Fix:

The commit fixes the mentioned scenario by introducing the request info queues
in place of single request info structure for failover requests.
so the failover reporter process can quickly gets back control after enqueueing
the failover request and continue with its normal duty.

There are few minor behavioural changes happened because of the commit mainly in
the area where the failover() function intimates the PCP child for waking up
after processing the failover.

1-) Now the failover() function only sends the WAKEUP call to the PCP child
            after executing all the queued failover/failback requests.
        2-) Restart signal is sent to PCP child only once after processing all queued requests.
        3-) failover() function sets the switching flag to true when starting to process
            failover queue and the flag keeps set till complete queue is processed.

Fix to disable debug mode with a config reload

Per bug #114.

Fix missing release note entries in the previous release.

Fix missing release note entries in the previous release.

Fix uninitialized variable.

Per Coverity 1234603.

Update history.

Fix typo in docs.

Per Yaron Naveh.

Update history.

Fix wrong SSL configure option in the RPM spec file.

SSL enabling option is "--with-openssl=/usr" and this is wrong. This
should be "--with-openssl". Per bug #115.

Fix typo in an error message.

Per Scalia, John.