Fix assorted oversights in range selectivity estimation.
authorTom Lane <tgl@sss.pgh.pa.us>
Fri, 30 Jan 2015 17:30:41 +0000 (12:30 -0500)
committerTom Lane <tgl@sss.pgh.pa.us>
Fri, 30 Jan 2015 17:31:08 +0000 (12:31 -0500)
commitb6a164e5cb389a52b2187bbacdcdaab46e236418
treeebfdf7c940b028b9dbab129ad739d1198d733ae0
parentdc40ca696313ee8f7e75bb7628990e6e138b0e01
Fix assorted oversights in range selectivity estimation.

calc_rangesel() failed outright when comparing range variables to empty
constant ranges with < or >=, as a result of missing cases in a switch.
It also produced a bogus estimate for > comparison to an empty range.

On top of that, the >= and > cases were mislabeled throughout.  For
nonempty constant ranges, they managed to produce the right answers
anyway as a result of counterbalancing typos.

Also, default_range_selectivity() omitted cases for elem <@ range,
range &< range, and range &> range, so that rather dubious defaults
were applied for these operators.

In passing, rearrange the code in rangesel() so that the elem <@ range
case is handled in a less opaque fashion.

Report and patch by Emre Hasegeli, some additional work by me
src/backend/utils/adt/rangetypes_selfuncs.c
src/include/catalog/pg_operator.h
src/test/regress/expected/rangetypes.out
src/test/regress/sql/rangetypes.sql