This is the first of the series of commits to import PostgreSQL's exception and memory manager in pgpool.
This checkin includes the following items.

1-- Exception manager API of Postgres is added to pgpool, The API consists of elog.c and elog.h files.
Since this API is very extensive and is designed for PostgreSQL, So to fit it properly into pgpool I have
modified it a little bit, and most of the modifications are related to removal of code which is not required for pgpool.

2-- Added on_proc_exit callback mechanism of Postgres. To facilitate the cleanup at exit time.

3-- Added PostgreSQL's memory manager (palloc API). This includes the client side palloc functions placed in 'src/tools' directory (fe_memutils)

4-- Removed the existing memory manager which was very minimalistic and was not integrated in all parts of the code.

5-- The checkin also refectors some portions of code to make the code more readable at first glance. That includes

-- Dividing the main.c file into two files main.c and pgpool_main.c, Now the main.c file only contains the code
related to early initialisations of pgpool and parsing of the command line options.
The actual logic of the pgpool main process is moved to new pgpool_main.c file.
-- Breaking up some large functions in child.c into smaller functions.
-- Rewrite the pgpool's main loop logic to make the code more readable.

Remaining TODOs on this front.

1-- The current checkin only integrates the memory and exception manager in main process and connection creation
segment of pgpool child process. And the next TODO is to integrate it in pcp and worker child process.

2-- Integration of newly added API into query processor logic in child processes.

3-- elog.c and elog.h files needs some cleanups and changes (To remove unwanted functions and data members of ErrorData structure).

Fix that the script forgets to allow public access to pgpool_catalog.

The bug prevents inserting data into user tables if pgpool_catalog is
created in native replication mode.  The bug was there from day 1. I
wonder why nobody noticed until today.  Per [pgpool-general-jp: 1229].

Do not set/unset fronted connection info for dead backend.

Per bug #82.

Fix range check bug of MAX_NUM_BACKENDS in corner case.

MAX_NUM_BACKENDS is the allowed max number of DB nodes (128, at this
point). In reality, probably no one ever tried more than 128 DB nodes
and that's the reason why nobody noticed.

Per Coverity report "1111429, 1111430 and 1111431 Out-of-bounds
write".

Fix target node selection logic when "DEALLOCATE portal|statement".

When "DEALLOCATE portal|statement" is used and last prepared statement
or portal was not found, target node selection map is not
set. Probably this is not actually harmful because prepared statement
or portal was not found is an error case. The bug was there since day
0.

Per Coverity report "1111491 Structurally dead code".

Fix to put null character at end of ping result string used in watchdog

Fix load balance bug in replication mode.

When load_balance_mode = off, SELECTs including writing function
should be sent to all the DB nodes. Per [pgpool-general: 2221].

The bug was introduced in:
 http://git.postgresql.org/gitweb/?p=pgpool2.git;a=commitdiff;h=1ac45a28258074ea4d9d902aca016f970d31f311
(3.3.1).

Fix memory leak when do_query() fails in timestamp rewriting.

For this purpose free_select_result() is changed to accept NULL
argument.  Per Coverity report "1111454, 1111455 Resource leak".

Fix memory leak when SSL is requested.

When SSL is requested, pgpool child retries to read start up packet.
However it does not free the memory for previous start up packet.

Per Coverity report "1111443 Resource".

Merge branch 'master' of ssh://git.postgresql.org/pgpool2

Fix to check return status of pool_read().

Per Coverity report "1111374 Unchecked return value.

Remove unnecessary comparison with no effect

Fix to close socket when error occurs in wd_create_send_socket()

Fix to pass big parameter by pointer instead of by value at some function

Fix error message in read_password_packet().

Fix "show pool_status" always shows memqcache_auto_cache_invalidation as 0.

Per bug #80.

Fix on_shmem_exit() to not accept too many on exit functions.

Actually harmless because we currently do not such that many on exit
functions. But a bug is a bug...

Per Coverity report "1025973 Out-of-bounds write".

Fix unsafe use of strcpy().

Per Coverity report "1111479 Copy into fixed size buffer".

Fix memory leak in certain error case.

Per Coverity report "1111457 Resource leak".

Fix memory leak when do_query() fails.

Per Coverity report "1111444 Resource leak".

Fix useless argument checks.

The argument is unsigned int, so comparing less than 0 is meaning
less.

Per Coverity report "1111418 - 1111421 Unsigned compared against 0".

Fix useless argument check in pool_cache_item_header().

The argument is unsigned int, so comparing less than 0 is meaning
less.

Per Coverity report "1111422 Unsigned compared against 0".

Fix forgetting free_select_result() in error case.

Per Coverity report "1111458 Resource leak".

Fix forgetting free() in error case.

Per Coverity report "1111459 Resource leak".

Fix inappropriate shared memory allocation size for clock hand.

The memory for clock hand was allocated as
sizeof(pool_fsmm_clock_hand)) which is 8 bytes long because the
variable is declared as:

static int *pool_fsmm_clock_hand;

This is plain wrong. The memory size actually needed is only 4 bytes,
which is sizeof(*pool_fsmm_clock_hand)). In other word, the bug
allocated unnecessary 4 bytes, which did nothing bd for the execution
of program. But a bug is a bug.

Per covery report "1111476 Wrong sizeof argument"

checkEnv() didn't do anything and always returned 0.

Avoid to run out free query cache hash index entry.

If hash index entries are run out, pgpool-II cannot reuse old cache
entry because pgpool-II always expects there's at least one empty hash
index entry. To mitigate the problem, if free hash index entries are run
out, look for victim cache block to reuse the hash index entry.

Per bug #70.

Fix occasional segfault in query cache + extended protocol.

When the query is not "cache safe", bind_msg->param_offset was not set
in Bind(). However, Execute() unconditionally uses
bind_msg->param_offset to convert bind parameters to string so that
they can be added to the cached query string and it causes segfault
because bind_msg->param_offset is a garbage. Also logic bug to
calculate bind_msg->param_offset is corrected.

Per bug#76.

Fix memory allocation size bug in the code path of query cache.

In execute() memory allocation size is too small incertain case.
No bug has been reported so far, but certainly this is a bug.

Fix data inconsistency problem with native replication mode + extended protocol case.

It is reported that concurrent INSERT using JDBC driver causes data
difference among database node. This only happens following conditions
are all met:

1) Native replication mode
2) Extended protocol used
3) The portal created by parse message is reused by bind message
4) autocommit is on
5) SERIAL (sequence) is used

Pgpool-II's parse message function knows it has to lock the target
table when INSERT (plus #5) is issued by clients. Unfortunately bind
message function did not know it. Once parse/bind/execute finishes,
pgpool releases the lock obtained by parse because of #4. JDBC wants
to reuse the portal and starts the cycle from bind message, which does
not obtain lock. As as result, lock-free INSERT are floating around
which causes data inconsistency of course.  The solution is, lock the
table in bind phase.

For this bind needs to issue LOCK in extended protocol. This was a
little bit hard because the module (do_command()) to issue internal
SQL command (other than SELECT) does not support extended protocol. To
solve the problem do_query() is modified so that it accepts other than
SELECT because it already accepts extended protocol. The modification
is minimum and is only tested for the case called from insert_lock(). I
do not recommend to replace every occurrence of do_command() with
do_query() at this point.

BTW the reason why the bug is not reported is, most users uses JDBC
with auto commit = off. In this case, the lock obtained by parse
persists until user explicitly issues commit or rollback.

Per bug report by Steve Kuekes in [pgpool-general: 2142].

Avoid calling find_primary_node_repeatedly() when standby node goes down.

This will reduce the time to failover. Per bug #75, patch modified by
Tatsuo Ishii.

Fix misuse of the word "degenerate".

Correction suggested by Andrew Bruce in [pgpool-general: 2146].

Modify descriptions about restrictions of parallel mode

Muliple rows INSERT using VALUES are not supported in parallel mode.

Fix a description about the version where pgpool.pg_ctl is required

Fix a typo and descriptions about pgpool.pg_ctl parameter

Fix segfault when pgpool.conf does not set log_standby_delay.

This is caused by wrong initialization for log_standby_delay in
pool_config.l. Per bug#74.

Fix typo in comment.

Remove -lcompat because it confuses FreeBSD per bug#15.

Add Makefiles missed in source code reorganization.

Also incorporate changes from Christoph Berg ([pgpool-general: 2127]).

Fix a warning/error when compiling with -Werror=format-security.

Patch contributed by Christoph Berg ([pgpool-general: 2127]).

Fix incorrect time stamp rewriting in replication mode for certain time zones.

Time stamp rewriting calls "SELECT now()" to get current
time. Unfortunately the buffer for the current time is too small for
certain time zones such as "02:30". Note that non-30-minutes-time-zone
such as "0900" does not reveal the problem. This explains why we
haven't the bug report until today. Bug reported in [pgpool-general:
2113] and fix provided by Sean Hogan.

Add 4th paramter "master node port number" to recovery script.

This makes pgpool_setup's life lot easier since it does not need to
check the database cluster dir then guesses the port number of master
database cluster. Because of this, pgpool_setup had to limit the number
of database clusters generated up to 3.

Add lost Makefile while source reorganization.

Unbreak pgpool_setup.

The command did not work in standalone anymore.

Remove pcp directory from the repo root

Apply Usama's patch (rempcp.patch)

Set code name for version 3.4.

Fix bug with load balance in replication mode.

When load_balance_mode is off in replication mode, SELECT's should be
sent to master node only, rather than sent to all nodes in an
explicit transaction. Also add regression test case for this. Problem
reported in [pgpool-general: 2038].

Remove unsed variable.

Fix a typo of the japanese document

Fix a typo of log message

Set version number to 3.4-alpha1

Fix for "make dist".

Apply code reorganization maga patch from Muhammad Usama.

Adjust for recent changes in the repository by Tatsuo Ishii.

Fix typos in installation of pgpool-recovery section.

Remove old on disk query cache.

Patch contributed by Muhammad Usama. Japanese doc changes by Tatsuo Ishii.

Add regression test for bug #68.

Fix double free bug with on memory query cache reported in bug #68.

The bug occurs when multiple bind/execute messages come after a parse
message. When a parse messages comes, query context is created along
with temp cache. The pointer to the temp cache is added to the temp
cache array when the query executed. Subsequent bind messages uses the
same temp cache pointer to the cache array. This is the source of
double free bug when the cache array discarded. The solution is, reset
temp cache pointer in the query context when the temp cache buffer is
added to the cache array.

Fix the version of pgpoolAdmin: 3.3 -> 3.3.0

Remove unnecessary function prototype declarations

Fix typos

Fix a compile error

Fix watchdog test script.

Fix bug with wd_init_interlock pointed out in [pgpool-general: 1956].

It writes too much than allocated memory.

Fix to add test/regression/ for make dist.

Fix to remove test results of watchdog.

Rewrite descriptions about condition of watchdog's lifecheck starting

Prepare 3.3

Prepare 3.3

Fix a hang that occurs when mutiple pgpools startup before all backend startup

Specify a timeout value for lock-waiting loops.

Fix bug in parsing prepared statements with transaction handling in replication mode reported in [pgpool-general: 1877].

Parse() automatically starts a transaction for non SELEC query to keep
consistency among nodes in replication mode. But it does not set
allow_close_transaction variable. If wrong query comes in, the
transaction goes into an abort state but pgpool does not close the
transaction. Thus next query causes error because the transaction is
still in abort status.

Previous commit is incomplete.

Fix some of test.sh to handle pgbench path correctly.

Fix pgbench path detection.

-b option specifies pgbench installed directory. But actually
regress.sh main script sets pgbench full path. I think what the main
script does is appropreate because it gives more flxibility. If -b is
not specifiedm, first search pgbench under PostgreSQL installation
directory. If not found, try to locate in command search path. If not
found, the gives up.

Also fix the behavior when PostgreSQL installation directory is not
found. It just exited in a sub shell and it continued to run.

Enhance pgpool_setup and regression test suite.

Patch contributed by Muhammad Usama. Below is the comment from him:

I tried to make some changes in the regression script, mainly because the
script uses lot of hard coded paths and regression starts reporting
failures if the pgpool-II or PostgreSQL are not found at the default path.

Please find the attached patch which enables the regress.sh script to
install the pgpool on fly in temp directory to run the tests on it
(optional), and now the regress script takes some additional arguments to
specify the paths of required components.

The list of all arguments accepted by regress.sh script as implemented by
the attached patch are
pgpool2/test/regression$ sh regress.sh -?
Usage:
  regress.sh: [Options]... [test_name]

Options:
  -p   DIRECTORY           Postgres installed directory
  -b   DIRECTORY           pgbench installed directory, if different from
Postgres installed directory
  -i   DIRECTORY           pgpool installed directory, if already installed
pgpool is to be used for tests
  -m   install/noinstall   make install pgpool to temp directory for
executing regression tests [Default: install]
  -j    FILE               Postgres jdbc jar file path
  -?                       print this help and then exit

Add internal links in Japanese release notes.

Fix a bug of setting heartbeat_destination parameter

Fix some comments, messages and variables

Fix PATH variable to prioritize pghome

Fix to configure path to bin/lib of postgresql92 and pgpoolAdmin tar ball

Prepare 3.3.0-RC1

Merge branch 'master' of ssh://git.postgresql.org/pgpool2

Add debug mode of install.sh itself so that script becomes quiet.

Fix typos

Prepare 3.3.0-RC1

Prepare 3.3.0-RC1

Fix mistake in ssh command.

Merge branch 'master' of ssh://git.postgresql.org/pgpool2

Add the description about pgpool.pg_ctl.
Some visual improvements.

Fix typos of the version name

Fix to not print netmask to pg_hba.conf if node is specified by hostname

Fix a bug that password-less ssh setting fails when postgres user home isn't /home/postgres

Fix to remove /vaw/www/html/pgpoolAdmin directory in uninstall.sh

Add pcp_watchdog_info to pgpool.spec

Add watchdog test.

Currently the test is minimum. It just checks standby->master
escalation.

Fix "deploy" section.

This should had been updated when watchdog is introduced.

Fix to not bind network devices to sockets when heartbeat_device parameter is empty

Fix bug introduced in 8b803e1ea38c3ac9a7775f7fb9ba43870bca7dca (Add wait_for_pgpool_reload function).
Add -p option to specify start port #.

Fix bug with health check when used with child_life_time reported in [pgpool-general: 1892].

Here is the explanation why the problem occurs:

--------------------------------------------------------------------------------
Ok. I think I finally understand what's going on here.

Pgpool main process (14317) started health checking at Jul 12 09:17:04.

Jul 12 09:17:04 purple1-node1-ps pgpool[14317]: starting health checking

Pgpool main process set timer at 09:17:14 because you set
health_check_timeout 10.  This time the health check successfully
completed. The timer for 09:17:14 is blocked by calling
signal(SIGALRM, SIG_IGN).

Unfortunately child life time was expired at 09:17:14 and pgpool main
process was busy at the time because of this.

Jul 12 09:17:14 purple1-node1-ps pgpool[16789]: child life 300 seconds expired
Jul 12 09:17:14 purple1-node1-ps pgpool[14317]: reap_handler called

Jul 12 09:17:14 purple1-node1-ps pgpool[14317]: starting health checking

Pgpool main re-enabled the timer and reset the timer variable
(health_check_timer_expired = 0). But when the timer re-enabled, the
signal handler for the timer set health_check_timer_expired to 1.  As
a result pgpool thought that health check timer was expired.

Jul 12 09:17:14 purple1-node1-ps pgpool[14317]: health_check: health check timer has been already expired before attempting to connect to 0 th backend

Thus failover happend even if the backend was running fine.
--------------------------------------------------------------------------------

To fix the problem new macro CLEAR_ALARM, which calls alarm(0) until
all pending alarms are cleared, is defined and used whenever necessary
to cancel health check timer. Also before forking off child process
health_check_timer_expire is explicitely cleared.

Also this causes the error message.

Jul 12 09:32:14 purple1-node1-ps pgpool[11465]: connect_inet_domain_socket_by_port: health check timer expired

Process 11465 is a child process and is not supposed to run into this
situation. This is caused because the global variable
"health_check_timer_expired" is set to 1 before the new child is
forked off after child_life_time expired is set to 1. This could if
SIGCHLD signal is received at the moment when the bug below happens.
To make sure this never happens in connect_inet_domain_socket_by_port
checks health_check_timer_expired only if it is a main process.

Fix bug reported in bug #62 (main process segfault).

The bug report showed main process died after the log:

Jun 22 10:23:20 pgpool[32629]: pool_read: read failed (Connection reset by peer)
Jun 22 10:23:20 pgpool[32629]: notice_backend_error: called from pgpool main. ignored.
Jun 22 10:23:20 pgpool[32629]: child_exit: called from pgpool main. ignored.
Jun 22 10:23:20 kernel: [11850568.371509] pgpool[32629]: segfault at 6f0ff2 ip 00007fbd7ed9811f sp 00007fff27275f08 error 4 in libc-2.15.so[7fbd7ec49000+1b5000]

This indicates that after reading from socket while health checking
failed, it tried to initiate failover by calling notice_backend_error,
which is not appropriate because that should be handled in the health
check logic. So it is ignored. So far so good. pool_read called
child_exit after that and again it was ignored. This is also
good. Problem is, it continued to run with undefined read length from
read(2). Finally pool_read call memmove with the undefined length to
update its internal buffer, which could cause segfault depending on
the value of the read length.

Fix is, after child_exit, return with -1 to indicate error was
happened. Also I fixed the code after pool_check_fd fails. Before it
just exits process, which is never good for pgpool main
process. Although I don't think the case ever happened because I never
saw single error report which showed the case.

Update JDBC driver version.

Add descriptions of pcp_watchdog_info to documents