Run cvs2cl.pl -t --fsf -b -F trunk

Add new directive log_per_node_statement.
If true, print all statements to the log. Similar to log_statement except
that prints DB node id and backend process id info.

Set change default value of reset_query_list to "ABORT, DISCARD ALL"

Fix connection_cache = false case. In this mode, if frontend exits
abnormaly, some global state variables are not reset. For this
purpose, new function reset_variables() added.

Remove unnecessary argument of end_load_balance().

Update pool_config.l

Allow to change weight with reloading pgpool.conf

Limit listen(2)'s backlog parameter to num_init_children*2 at largest.
This is almost same algorithm as PostgreSQL.
I hope pgpool-II does not consume so much system resource any more...

Fix some query rewriting cases.

Change reset_query_list default to PostgreSQL 8.3.

Prepare for bind_rewrite_timestamp() returns NULL case. This could
happen if SELECT now() is called inside an aborted transaction.

Fix SimpleForwardToBackend free rewrite_msg too early.

Fix comment.

Add support for CURRENT_TIMESTAMP and friends.
Patch provided by Akio Ishida.

Fix comment.

Fix relcache replacement logic bug.
Patches provided by Akio Ishida.

Fix nodeToString() bug. example test case:
If nodeToString() is given the parse tree of "insert into r1
values(1,2), (3,4)", it returns "insert into r1 values(1,2),
values(3,4)", which is apparently wrong.
Patch provided by Akio Ishida.

Fix do_query() to return more than 1 characters. Patch provided by
Akio Ishida.

- Remove init script from all runlevels before uninstall. Per #RH Bugzilla
  532177

When authentication fails, report to frontend proper error messages,
rather than unhelpfull "server closed the connection unexpectedly"
message. Patch provided by Glyn Astill with minor tweak by Tatsuo Ishii.

Fix pool_flush_it() so that it does not complain when failed to flush
to frontend. Also add info to the message if it was backend or
frontend to avoid confusion.

Allow is_temp_table to work with pre 8.4 PostgreSQL.

Add pool_relcache.c to Makefile.am.
Refactor need_insert_lock to use pool_search_relcache and friends.
Add LocalSessionId to child.c which manage per session counter of
relcache.
Allow to use temp tables with master/slave mode. Parse() failed.
since Parse() was always sent to master and slave and slave
does not have the temp table. To fix this, is_temp_table() added
to pool_proto_modules.c which inquire particular table is a temporary
one or not when INSERT/UPDATE/DELETE. If it's a temporary table,
parse message is sent to only master. Note that /*NO LOAD BALANCE*/
directive can be used to control this.
SELECT still needs /*NO LOAD BALANCE*/. It's hard to find all tables
in a SELECT statement.

Per process relation cache module

Add temp table test

Fix logging, per report from Toshihiro Kitagawa.

Do not execute CREATE/DROP TABLE SPACE inside a transaction block.

Teach do_command() that S (parameter status) should be ignored
until receiving command complete.

Let reaper() report the case when child died by segfault.

Fix typo in man page. Patch provided by Rodolphe.

REINDEX DATABASE or SYSTEM should not be executed in a transaction
block. See [pgpool-general-jp: 623] for more details.

 Add 2 new docs, per Tatsuo.

- Update to 2.2.5, for various fixes described at
   http://lists.pgfoundry.org/pipermail/pgpool-general/2009-October/002188.html
- Re-apply a fix for Red Hat Bugzilla #442372
- Sync with Fedora spec.

Add sample to use rotatelogs

Enhance online recovery 2nd stage script to sync sequence value

Remove unnecessary declaration "allow_close_transaction"

Prevoius commit was incomplete

Fix Parse() to use wait_for_query_response() instead of synchronize().

Fix comment

Allow to print more accurate query when Parse() detects kind mismatch
errors.

Fix reset_backend to deal with DEALLOCATE error. In this case prepared
objects are not removed and reset_backend is infinitely called.

Fix do_command to guard against the case that after execution of an
SQL command, the backend does not return either N, E or C. This should
not happen but there was a report that it actually happend in certain
cases(maybe caused by asynchronized backend data?)

See:

Subject: Re: [Pgpool-general] pgpool 2.2.4: DEALLOCATED children
From: Xavier Noguer
Date: Fri, 25 Sep 2009 03:35:57 -0400

For more details.

Patches by Xavier Noguer with minor tweak by Tatsuo Ishii.

Remove error checks for pool_write(frontend), pool_flush(frontend) in
SimpleForwardToFrontend.

Check error for send_deallocate() in reset_backend. Otherwise
send_deallocate will be called infinitely.
Per bug report from Agustin Almonte Ferrada. See:

Subject: Re: [Pgpool-general] pgpool 2.2.4: DEALLOCATED children
From: Agustin Almonte Ferrada <aalmonte@antica.cl>
To: Tatsuo Ishii <ishii@sraoss.co.jp>
Cc: pgpool-general@pgfoundry.org
Date: Wed, 23 Sep 2009 01:55:54 -0400

Fix parallel query

1. Fix JOIN Expr
    Subquery was used on larg or rarg.
    Subquery was used on ON-Cluase.
    Full OUTER JOIN was not optimized.
2. Fail_on_error=false was passed to the 3rd arguments of dblink.

This patch was applied to only 2.2-STABLE tree by y-mori on 2009/09/08.

Fix write_pid_file. It forgot to write out NULL termination of
pid. Pgpool occasionally won't stop because of this bug.

Fix pool_read_kind and pool_read_int so that the error message for
kind is shown in hexadecimal. Other part of pgpool-II already does this.

Teach do_command() to use wait_for_query_response().
insert_lock() calls do_command() to issue LOCK TABLE to lock tables
having SERIAL column when insert_lock is true. Problem is,
insert_lock() waits forever in do_command() if the target table is
locked by someone else. This patch should give a way insert_lock() to
espcape from the situation.

Fix connection_count_down() so that it does decrement too much in some
corner cases.  If failed to read a start up packet, or receive cancel
request etc., connection_count_down() is called and goes back to the
onnection accept loop. Problem is, at the very beginning of the
connection accept loop, if we have received a signal, we call
child_exit() which calls connection_count_down() again.
Problem report by Ryoichi TANABE. See [pgpool-general-jp: 616]
for more details.

Also unneccesary public declarations for connection_count_up() and
connection_count_down() are removed.

Undef #define SEND_NOTICE_ON_PROTO2, which was defined by mistake.

Remove unnecessary spaces and tabs at end of line.
Patch conributed by Jun Kuriyama.

Fix possible bug introduced in pgpool-II 2.2.2.
Load balance control variables may remain not be restored
and subsequent DML/DDL call might sent to only master node.

Change wait_for_query_response() so that it sends NOTICE message to
frontend periodically. It appears that pgpool-II 2.2.3 unconditionaly
sends param packet to client even it uses version 2 protocol, which
is apparentlt wrong. Also tweak checking period from 1 second to
30 seconds since 1 second seems too aggressive.
Note that you need to edit pool_process_query.c to define
SEND_NOTICE_ON_PROTO2 around line 879 to enable this feature in
version 2 protocol.

Remove unneccessary call to send_frontend_exit() in do_child().

Remove unnessary call of send_frontend_exits() in die().

Block signals before forking children rather after.
Otherwise parent will be killed by failover signal if it receives
before establish signal handler. See [pgpool-general-jp: 586] for
more details.

Fix new_connection() so that it does leave garbage in
POOL_CONNECTION_POOL->slot[i]. This caused segfault in child_exit().
Bug report at [pgpool-general-jp: 586].

Update Makefile.am

Add parser/test files. Patch contributed by Akio Ishida.

Print last query for kind mismatch error message even extended
protocol is used. Patch contributed by Akio Ishida.

Fix buffer overrun error which mangled kind mismatch error message
in pool_send_error_message().
Bug rpeort by Takahiro Itagaki at [pgsql-jp: 39950].
Fix suggested by Akio Ishida at [pgsql-jp: 39952].

Missing files for PostgreSQL 8.4 paraser adaoptation.
Patch contributed by Akio Ishida.

Check MASTER_CONNECTION(p)->sp) is non 0 before further referring to
sp. Current implementation may interrupt in the window, after setting
p and before setting sp.

Fix pool_debug's mismatch between data type and conversion
specification for time_t.
Check MASTER_CONNECTION(p)->sp) is non 0 before further referring to
sp. Current implementation may interrupt in the window, after setting
p and before setting sp.

parser test for PostgreSQL 8.4 or later.
Patch contributed by Akio Ishida.

Adopt PostgreSQL 8.4 parser. Patch contributed by Akio Ishida.

Fix typo in comment

Fix breakage by previous commit.
Patch by Guillaume Lelarge.

fix: Join statment in parallel query

     sample)
     Accouts table is defined by dist_def,
     the below query is executed as loadbalance.

     SELECT a.aid
       FROM
         accounts as a
       JOIN
         accounts as b
       ON  a.aid=b.aid
       WHERE a.aid =1 or a.aid=2;

Fix comment about load balancing.

Fix various pool_error/log format errors.
Patch provided by Akio Ishida.

Fix various pool_error/log format errors.
Patch provided by Akio Ishida.

Query cancel by statement timeout does not generate "kind mismatch"
error any more.
How to reproduce the test case:

Directory connect to PostgreSQL.
T1: BEGIN;
T1: LOCK TABLE t1;

T2: SET statement_timeout TO 5000;
T2: UPDATE t1 SET ...

UPDATE query aborts and error message comes out on T2:
ERROR:  canceling statement due to statement timeout

A side effect of this is, statement timeout works correctly (rather
than statement timeout value * # of node).

Note that to initiate T1 by directory connecting to slave node will not
work (still results in kind mismatch error). But I don't think this could
happend in the real world.

Also refactor error detecting modules (detect_deadlock_error and so on).

Check read(2) error in health_check(). This should detect case
described in message below, i.e. postmaster is blocked by SIGSTOP.

Subject: [Pgpool-general] Healt Check issues
From: Vctrjsn@gmail.com
To: pgpool-general@pgfoundry.org
Date: Sun, 05 Jul 2009 18:01:18 +0000

Check frontend connection while waiting for response from backend for
extended protocol (Execute()). Replace synchronize() with
wait_for_query_response().
Also tweak pool.h so that it includes cancel packet's mazic proto number.

Do not start transaction if the command is CLUSTER with no argument

Check frontend connection while waiting for response from backend.
This is done in wait_for_query_response() by writing a dummy parameter
status packet to pgpool client every 1 second. If the write fails, a
cancel packet is sent to backend to free backend.
This is usefull to prevent pgpool child from waiting forever for
backend response. Pgpool client will diconnect to pgpool if the query
takes too long. This is typical use case for Web applications.

Fix bug with SimpleForwardToFrontend().  Clients using the extend
protocol send 'H'(Flush) after each command. Problem is,
SimpleForwardToFrontend does not immediately forward 'C'(Command
Complete) packet to frontend. So the client sends 'H' and wait for
'C'. On the other hand backend receives 'H' but reply back nothing
since Command complete has nothing to be returned. Both side stuck.

The fix is, forwarding 'C' packet immediately after receiving it from
backend. To prevent similar bugs happen in the future, I put
pool_flush(frontend) after calling SimpleForwardToFrontend in
pool_process_query() (other places already do this).

The extra pool_flush() might harm performance. So I did some tests
using pgbench -S, and found nothing has been changed regarding
performance after patching.

Bug report from Gavin Sherry along with patches for
SimpleForwardToFrontend().

Add pool_set_timeout() to control pool_check_fd()'s behavior.
This can be used for various places.
The first user is reset_backend() to fix following scenario:
Do COPY_FROM(for example pgbench -i)
Cancel pgbench
pgpool waits for response from backend while sending reset queries and
hang.
Backend waits for data coming from pgpool forever.

BTW, I don't think PostgreSQL's befaviro for COPY_FROM is quite
correct since the doc stats:"Receipt of any other non-copy message
type constitutes an error that will abort the copy-in state as
described above"
If my understanding correct, COPY_FROM should abort copy-in state
if it receives ABORT (issued in reset_backend).
It seems PostgreSQL is not implemented as stated in the doc...

Fix bug with prepared statement deallocation:

Subject: [Pgpool-general] Pgpool probelms
From: Nimesh Satam <nimesh.satam@gmail.com>
To: pgpool-general@pgfoundry.org
Cc: Nimesh Satam <nimesh.zedo@gmail.com>
Date: Wed, 17 Jun 2009 11:31:37 +0530

This was caused a bug in reset_backend().

if (qcnt >= qn + prepared_list.cnt)
{
    reset_prepared_list(&prepared_list);
    return 2;
}
send_deallocate(backend, &prepared_list, qcnt - qn);
return 1;

Problem is, send_deallocate -> SimpleQuery("DEALLOCATE") calls
del_prepared_list, which will decrement prepared_list.cnt. In short,
incrementing of qcnt *and* decrementing of prepared_list.cnt happen at
the same time. So deallocate is only called 1/2 times than it should
be.

Bug analysis and fix provided by Akio Ishida.

PostgreSQL 8.4 needs to include utils/binutils.h

Support pre 8.0 PostgreSQL which does not have
pg_config --pgxs option.
Patch provided by Enrico Pirozzi with slight modification by Tatsuo Ishii

Fix description of client_idle_limit

Fix is_select_query() to test "sql" parameter is NULL.  As of 2.2,
pgpool sets Portal->sql_string to NULL for SQL command PREPARE.
Usually this is ok, since in most cases SQL command EXECUTE follows
anyway. Problem is, some applications mix PREPARE with extended
protocol command "EXECUTE" and so on. Execute() seems to think this
never happens but it is not real. Someday we should extract actual
query string from PrepareStmt->query and set it to Portal->sql_string.

Fix pool_flush() so that it ignores error on frontend connection.
This is needed to continue processing with backend, otherwise we risk
data incositency.

Call pool_send_frontend_exits() before pool_discard_cp() when
resetting connection fails. This will avoid "unexpected EOF on client
connection" error on when pgpool client exits abnormaly

Add missing patches for this:

date: 2009/04/08 11:12:11;  author: t-ishii;  state: Exp;  lines: +15 -14
In master slave mode, sometimes DEALLOCATE fails. This is caused
by that the first PREPARE was not executed on the slave.
Patch contributed by Toshihiro Kitagawa.

In master slave mode, sometimes DEALLOCATE fails. This is caused
by that the first PREPARE was not executed on the slave.
Patch contributed by Toshihiro Kitagawa.

Add documents about configuration reloading.

Fix SimpleQuery() to properly check extended query related commands.
Before it ignores them if query is not NULL. This is problematic if
frontend == NULL, which could happen with queries defined in
reset_query_list. The bug had been there since 2.1 BTW.

- Own /usr/share/pgpool-II directory.
- Fix pid file path in init script, per pgcore #81.
- Fix spec file -- we don't use short_name macro in pgcore spec file.
- Create pgpool pid file directory, per pgcore #81.
- Fix stop/start routines, also improve init script a bit.
- Install conf files to a new directory (/etc/pgpool-II), and get rid
  of sample conf files.

Add a patch which configures sample conf file to match RPM and Red Hat defaults.

Fix need_insert_lock so that it returns false if the protocol version
is 2. insert_lock has not been working for V2 protocol anyway, so this
is ok.

Update usage function, doc and man page.

Add a comment to need_insert_lock() if the query being used to check
if the table has SERIAL column is valid for PostgreSQL 7.3 to 8.3.

Make excessive message level in read_kind_from_backend from LOG to
DEBUG.

Add support for long options name in pgpool command.

Fix release note for 2.2

Update Makefile.am

Add doc/load_balance.png, doc/load_balance.odp

Version 2.2

Version 2.2

Prpare for receiving parameter status packets.

If postgresql.conf was changed and reloaded, PostgreSQL sends
parameter status packets asynchronously even those changed parameters
are not one of session_authorization etc., which is marked as
GUC_REPORT in guc.c(GUC_REPORT means parameter status packet is sent
if its value is changed).

After receiving those packets, they are discarded. I think this is
harmless since most of changes are not affected to the frontend
behavior.

pgpool-II 2.2 RC2

pgpool 2.2 RC2