OSDN Git Service

pg-rex/syncrep.git
14 years agoDocument the previous FETCH and MOVE changes.
Alvaro Herrera [Wed, 11 Nov 2009 20:07:57 +0000 (20:07 +0000)]
Document the previous FETCH and MOVE changes.

14 years agoSupport optional FROM/IN in FETCH and MOVE
Alvaro Herrera [Wed, 11 Nov 2009 19:25:42 +0000 (19:25 +0000)]
Support optional FROM/IN in FETCH and MOVE

The main motivation for this is that it's required for Informix compatibility
in ECPG.

This patch makes the ECPG and core grammars a bit closer to one another for
these productions.

Author: Zoltan Boszormenyi

14 years agoDo not build psql's flex module on its own, but instead include it in
Tom Lane [Tue, 10 Nov 2009 23:12:13 +0000 (23:12 +0000)]
Do not build psql's flex module on its own, but instead include it in
mainloop.c.  This ensures that postgres_fe.h is read before including
any system headers, which is necessary to avoid problems on some platforms
where we make nondefault selections of feature macros for stdio.h or
other headers.  We have had this policy for flex modules in the backend
for many years, but for some reason it was not applied to psql.
Per trouble report from Alexandra Roy and diagnosis by Albe Laurenz.

14 years agoRevert the temporary patch to work around Snow Leopard readdir() bug.
Tom Lane [Tue, 10 Nov 2009 18:53:38 +0000 (18:53 +0000)]
Revert the temporary patch to work around Snow Leopard readdir() bug.
Apple has fixed that bug in 10.6.2, and we should encourage users to
update to that version rather than trusting this cosmetic patch.
As was recently noted by Stephen Tyler, this patch was only masking
the problem in the context of DROP TABLESPACE, but the failure could
occur in other places such as pg_xlog cleanup.

14 years agointerval_abs():
Bruce Momjian [Tue, 10 Nov 2009 18:41:24 +0000 (18:41 +0000)]
interval_abs():

Add C comment about why there is no interval_abs():  it is unclear what
value to return:

    http://archives.postgresql.org/pgsql-general/2009-10/msg01031.php
    http://archives.postgresql.org/pgsql-general/2009-11/msg00041.php

14 years agoFix longstanding problems in VACUUM caused by untimely interruptions
Alvaro Herrera [Tue, 10 Nov 2009 18:00:06 +0000 (18:00 +0000)]
Fix longstanding problems in VACUUM caused by untimely interruptions

In VACUUM FULL, an interrupt after the initial transaction has been recorded
as committed can cause postmaster to restart with the following error message:
PANIC: cannot abort transaction NNNN, it was already committed
This problem has been reported many times.

In lazy VACUUM, an interrupt after the table has been truncated by
lazy_truncate_heap causes other backends' relcache to still point to the
removed pages; this can cause future INSERT and UPDATE queries to error out
with the following error message:
could not read block XX of relation 1663/NNN/MMMM: read only 0 of 8192 bytes
The window to this race condition is extremely narrow, but it has been seen in
the wild involving a cancelled autovacuum process.

The solution for both problems is to inhibit interrupts in both operations
until after the respective transactions have been committed.  It's not a
complete solution, because the transaction could theoretically be aborted by
some other error, but at least fixes the most common causes of both problems.

14 years agoDIAGNOSTICS/FOUND wording
Bruce Momjian [Tue, 10 Nov 2009 14:22:45 +0000 (14:22 +0000)]
DIAGNOSTICS/FOUND wording

Update wording of GET DIAGNOSTICS/FOUND, per David Fetter.

14 years agoMore incremental refactoring in plpgsql: get rid of gram.y dependencies on
Tom Lane [Tue, 10 Nov 2009 02:13:13 +0000 (02:13 +0000)]
More incremental refactoring in plpgsql: get rid of gram.y dependencies on
yytext.  This is a necessary change if we're going to have a lexer interface
layer that does lookahead, since yytext won't necessarily be in step with
what the grammar thinks is the current token.  yylval and yylloc should
be the only side-variables that we need to manage when doing lookahead.

14 years agoPL/pgSQL FOUND
Bruce Momjian [Tue, 10 Nov 2009 02:09:54 +0000 (02:09 +0000)]
PL/pgSQL FOUND

Document that GET DIAGNOSTICS is affected by EXECUTE, while FOUND is
not.

14 years agoRe-refactor the core scanner's API, in order to get out from under the problem
Tom Lane [Mon, 9 Nov 2009 18:38:48 +0000 (18:38 +0000)]
Re-refactor the core scanner's API, in order to get out from under the problem
of different parsers having different YYSTYPE unions that they want to use
with it.  I defined a new union core_YYSTYPE that is just the (very short)
list of semantic values returned by the core scanner.  I had originally
worried that this would require an extra interface layer, but actually we can
have parser.c's base_yylex (formerly filtered_base_yylex) take care of that at
no extra cost.  Names associated with the core scanner are now "core_yy_foo",
with "base_yy_foo" being used in the core Bison parser and the parser.c
interface layer.

This solves the last serious stumbling block to eliminating plpgsql's separate
lexer.  One restriction that will still be present is that plpgsql and the
core will have to agree on the token numbers assigned to tokens that can be
returned by the core lexer.  Since Bison doesn't seem willing to accept
external assignments of those numbers, we'll have to live with decreeing that
core and plpgsql grammars declare these tokens first and in the same order.

14 years agoFix WHERE CURRENT OF to work as designed within plpgsql. The argument
Tom Lane [Mon, 9 Nov 2009 02:36:59 +0000 (02:36 +0000)]
Fix WHERE CURRENT OF to work as designed within plpgsql.  The argument
can be the name of a plpgsql cursor variable, which formerly was converted
to $N before the core parser saw it, but that's no longer the case.
Deal with plain name references to plpgsql variables, and add a regression
test case that exposes the failure.

14 years agoModernize plpgsql's handling of parse locations, making it look a lot more
Tom Lane [Mon, 9 Nov 2009 00:26:55 +0000 (00:26 +0000)]
Modernize plpgsql's handling of parse locations, making it look a lot more
like the core parser's code.  In particular, track locations at the character
rather than line level during parsing, allowing many more parse-time error
conditions to be reported with precise error pointers rather than just
"near line N".

Also, exploit the fact that we no longer need to substitute $N for variable
references by making extracted SQL queries and expressions be exact copies
of subranges of the function text, rather than having random whitespace
changes within them.  This makes it possible to directly map parse error
positions from the core parser onto positions in the function text, which
lets us report them without the previous kluge of showing the intermediate
internal-query form.  (Later it might be good to do that for core
parse-analysis errors too, but this patch is just touching plpgsql's
lexer/parser, not what happens at runtime.)

In passing, make plpgsql's lexer use palloc not malloc.

These changes make plpgsql's parse-time error reports noticeably nicer
(as illustrated by the regression test changes), and will also simplify
the planned removal of plpgsql's separate lexer by reducing the impedance
mismatch between what it does and what the core lexer does.

14 years agoRemove ancient text file containing plpgsql installation instructions.
Tom Lane [Sat, 7 Nov 2009 17:21:34 +0000 (17:21 +0000)]
Remove ancient text file containing plpgsql installation instructions.
This was long ago superseded by the standard build process and main
SGML documentation.

14 years agoRearrange plpgsql parsing to simplify and speed it up a bit.
Tom Lane [Sat, 7 Nov 2009 00:52:26 +0000 (00:52 +0000)]
Rearrange plpgsql parsing to simplify and speed it up a bit.

* Pull the responsibility for %TYPE and %ROWTYPE out of the scanner,
letting read_datatype manage it instead.

* Avoid unnecessary scanner-driven lookups of plpgsql variables in
places where it's not needed, which is actually most of the time;
we do not need it in DECLARE sections nor in text that is a SQL
query or expression.

* Rationalize the set of token types returned by the scanner:
distinguishing T_SCALAR, T_RECORD, T_ROW seems to complicate the grammar
in more places than it simplifies it, so merge these into one
token type T_DATUM; but split T_ERROR into T_DBLWORD and T_TRIPWORD
for clarity and simplicity of later processing.

Some of this will need to be revisited again when we try to make
plpgsql use the core scanner, but this patch gets some of the bigger
stumbling blocks out of the way.

14 years agoKeep track of language's trusted flag in InlineCodeBlock. Needed to support DO blocks...
Andrew Dunstan [Fri, 6 Nov 2009 21:57:57 +0000 (21:57 +0000)]
Keep track of language's trusted flag in InlineCodeBlock. Needed to support DO blocks for languages that have both trusted and untrusted variants.

14 years agoChange plpgsql from using textual substitution to insert variable references
Tom Lane [Fri, 6 Nov 2009 18:37:55 +0000 (18:37 +0000)]
Change plpgsql from using textual substitution to insert variable references
into SQL expressions, to using the newly added parser callback hooks.

This allows us to do the substitutions in a more semantically-aware way:
a variable reference will only be recognized where it can validly go,
ie, a place where a column value or parameter would be legal, instead of
the former behavior that would replace any textual match including
table names and column aliases (leading to syntax errors later on).
A release-note-worthy fine point is that plpgsql variable names that match
fully-reserved words will now need to be quoted.

This commit preserves the former behavior that variable references take
precedence over any possible match to a column name.  The infrastructure
is in place to support the reverse precedence or throwing an error on
ambiguity, but those behaviors aren't accessible yet.

Most of the code changes here are associated with making the namespace
data structure persist so that it can be consulted at runtime, instead
of throwing it away at the end of initial function parsing.

The plpgsql scanner is still doing name lookups, but that behavior is
now irrelevant for SQL expressions.  A future commit will deal with
removing unnecessary lookups.

14 years agoDon't treat NEW and OLD as reserved words anymore. For the purposes of rules
Tom Lane [Thu, 5 Nov 2009 23:24:27 +0000 (23:24 +0000)]
Don't treat NEW and OLD as reserved words anymore.  For the purposes of rules
it works just as well to have them be ordinary identifiers, and this gets rid
of a number of ugly special cases.  Plus we aren't interfering with non-rule
usage of these names.

catversion bump because the names change internally in stored rules.

14 years agoreenable -> re-enable
Peter Eisentraut [Thu, 5 Nov 2009 20:13:06 +0000 (20:13 +0000)]
reenable -> re-enable

Pointed out by Debian's lintian.

14 years agoRemove plpgsql's RENAME declaration, which has bizarre and mostly nonfunctional
Tom Lane [Thu, 5 Nov 2009 16:58:36 +0000 (16:58 +0000)]
Remove plpgsql's RENAME declaration, which has bizarre and mostly nonfunctional
behavior, and is so little used that no one has been interested in fixing it.
To ensure that possible uses are covered, remove the ALIAS declaration's
arbitrary restriction that only $n identifiers can be aliased.

(We could alternatively make RENAME act just like ALIAS, but per discussion
having two different ways to do the same thing is probably more confusing than
helpful.)

14 years agoAllow binary-coercible cases in ri_HashCompareOp; there are some such cases
Tom Lane [Thu, 5 Nov 2009 04:38:29 +0000 (04:38 +0000)]
Allow binary-coercible cases in ri_HashCompareOp; there are some such cases
that are not handled by find_coercion_pathway, notably composite->RECORD.
Now that 8.4 supports composites as primary keys, it's worth dealing with
this case.

14 years agoRename some encoding conversion modules to keep pathnames in our source
Tom Lane [Wed, 4 Nov 2009 23:47:04 +0000 (23:47 +0000)]
Rename some encoding conversion modules to keep pathnames in our source
tarballs under 100 characters.  This should avoid failures with certain
untarring tools (WinZip and Midnight Commander have been mentioned as
likely suspects).  Per my proposal of yesterday.
catversion bumped since the initial contents of pg_proc change.

14 years agoMake expression locations for LIKE and SIMILAR TO constructs uniformly point
Tom Lane [Wed, 4 Nov 2009 23:15:08 +0000 (23:15 +0000)]
Make expression locations for LIKE and SIMILAR TO constructs uniformly point
at the first keyword of the expression, rather than drawing a rather
artificial distinction between the ESCAPE subclause and the rest.
Per gripe from Gokulakannan Somasundaram and subsequent discusssion.

14 years agoAdd support for invoking parser callback hooks via SPI and in cached plans.
Tom Lane [Wed, 4 Nov 2009 22:26:08 +0000 (22:26 +0000)]
Add support for invoking parser callback hooks via SPI and in cached plans.

As proof of concept, modify plpgsql to use the hooks.  plpgsql is still
inserting $n symbols textually, but the "back end" of the parsing process now
goes through the ParamRef hook instead of using a fixed parameter-type array,
and then execution only fetches actually-referenced parameters, using a hook
added to ParamListInfo.

Although there's a lot left to be done in plpgsql, this already cures the
"if (TG_OP = 'INSERT' and NEW.foo ...)"  problem, as illustrated by the
changed regression test.

14 years agoDisable triggering failover with a signal in pg_standby on Windows, because
Heikki Linnakangas [Wed, 4 Nov 2009 12:51:30 +0000 (12:51 +0000)]
Disable triggering failover with a signal in pg_standby on Windows, because
Windows doesn't do signal processing like other platforms do. It never
really worked, but recent changes to the signal handling made it crash.

This fixes bug #4961. Patch by Fujii Masao.

14 years agoAllow rewriting ALTER TABLE to skip WAL logging.
Heikki Linnakangas [Wed, 4 Nov 2009 12:24:23 +0000 (12:24 +0000)]
Allow rewriting ALTER TABLE to skip WAL logging.

Itagaki Takahiro, with small changes by me and Simon.

14 years agoBuild bzip2 tarball in dist target as well
Peter Eisentraut [Tue, 3 Nov 2009 21:28:10 +0000 (21:28 +0000)]
Build bzip2 tarball in dist target as well

14 years agoFix regression tests for psql \d view patch
Peter Eisentraut [Tue, 3 Nov 2009 14:52:10 +0000 (14:52 +0000)]
Fix regression tests for psql \d view patch

14 years agoImprove PL/Python elog output
Peter Eisentraut [Tue, 3 Nov 2009 11:05:03 +0000 (11:05 +0000)]
Improve PL/Python elog output

When the elog functions (plpy.info etc.) get a single argument, just print
that argument instead of printing the single-member tuple like ('foo',).

14 years agoIn psql, show view definition only with \d+, not with \d
Peter Eisentraut [Tue, 3 Nov 2009 10:34:47 +0000 (10:34 +0000)]
In psql, show view definition only with \d+, not with \d

The rationale is that view definitions tend to be long and obscure the
main information about the view.

14 years agoFix obscure segfault condition in PL/Python
Peter Eisentraut [Tue, 3 Nov 2009 09:35:18 +0000 (09:35 +0000)]
Fix obscure segfault condition in PL/Python

In PLy_output(), when the elog() call in the TRY branch throws an exception
(this can happen when a statement timeout kicks in, for example), the
PyErr_SetString() call in the CATCH branch can cause a segfault, because the
Py_XDECREF(so) call before it releases memory that is still used by the sv
variable that PyErr_SetString() uses as argument, because sv points into
memory owned by so.

Backpatched back to 8.0, where this code was introduced.

I also threw in a couple of volatile declarations for variables that are used
before and after the TRY.  I don't think they caused the crash that I
observed, but they could become issues.

14 years agoDept of second thoughts: after studying index_getnext() a bit more I realize
Tom Lane [Sun, 1 Nov 2009 22:30:54 +0000 (22:30 +0000)]
Dept of second thoughts: after studying index_getnext() a bit more I realize
that it can scribble on scan->xs_ctup.t_self while following HOT chains,
so we can't rely on that to stay valid between hashgettuple() calls.
Introduce a private variable in HashScanOpaque, instead.

14 years agoFix two serious bugs introduced into hash indexes by the 8.4 patch that made
Tom Lane [Sun, 1 Nov 2009 21:25:25 +0000 (21:25 +0000)]
Fix two serious bugs introduced into hash indexes by the 8.4 patch that made
hash indexes keep entries sorted by hash value.  First, the original plans for
concurrency assumed that insertions would happen only at the end of a page,
which is no longer true; this could cause scans to transiently fail to find
index entries in the presence of concurrent insertions.  We can compensate
by teaching scans to re-find their position after re-acquiring read locks.
Second, neither the bucket split nor the bucket compaction logic had been
fixed to preserve hashvalue ordering, so application of either of those
processes could lead to permanent corruption of an index, in the sense
that searches might fail to find entries that are present.

This patch fixes the split and compaction logic to preserve hashvalue
ordering, but it cannot do anything about pre-existing corruption.  We will
need to recommend reindexing all hash indexes in the 8.4.2 release notes.

To buy back the performance loss hereby induced in split and compaction,
fix them to use PageIndexMultiDelete instead of retail PageIndexDelete
operations.  We might later want to do something with qsort'ing the
page contents rather than doing a binary search for each insertion,
but that seemed more invasive than I cared to risk in a back-patch.

Per bug #5157 from Jeff Janes and subsequent investigation.

14 years agoEnsure the previous Perl interpreter selection is restored upon exit from
Tom Lane [Sat, 31 Oct 2009 18:11:59 +0000 (18:11 +0000)]
Ensure the previous Perl interpreter selection is restored upon exit from
plperl_call_handler, in both the normal and error-exit paths.  Per report
from Alexey Klyukin.

14 years agoImplement parser hooks for processing ColumnRef and ParamRef nodes, as per my
Tom Lane [Sat, 31 Oct 2009 01:41:31 +0000 (01:41 +0000)]
Implement parser hooks for processing ColumnRef and ParamRef nodes, as per my
recent proposal.  As proof of concept, remove knowledge of Params from the
core parser, arranging for them to be handled entirely by parser hook
functions.  It turns out we need an additional hook for that --- I had
forgotten about the code that handles inferring a parameter's type from
context.

This is a preliminary step towards letting plpgsql handle its variables
through parser hooks.  Additional work remains to be done to expose the
facility through SPI, but I think this is all the changes needed in the core
parser.

14 years agoMake the overflow guards in ExecChooseHashTableSize be more protective.
Tom Lane [Fri, 30 Oct 2009 20:58:45 +0000 (20:58 +0000)]
Make the overflow guards in ExecChooseHashTableSize be more protective.
The original coding ensured nbuckets and nbatch didn't exceed INT_MAX,
which while not insane on its own terms did nothing to protect subsequent
code like "palloc(nbatch * sizeof(BufFile *))".  Since enormous join size
estimates might well be planner error rather than reality, it seems best
to constrain the initial sizes to be not more than work_mem/sizeof(pointer),
thus ensuring the allocated arrays don't exceed work_mem.  We will allow
nbatch to get bigger than that during subsequent ExecHashIncreaseNumBatches
calls, but we should still guard against integer overflow in those palloc
requests.  Per bug #5145 from Bernt Marius Johnsen.

Although the given test case only seems to fail back to 8.2, previous
releases have variants of this issue, so patch all supported branches.

14 years agoRemove some leftovers of split tarball support
Peter Eisentraut [Thu, 29 Oct 2009 21:57:17 +0000 (21:57 +0000)]
Remove some leftovers of split tarball support

14 years agoUn-break EXPLAIN for Append plans. I messed this up a few days ago while
Tom Lane [Wed, 28 Oct 2009 18:51:56 +0000 (18:51 +0000)]
Un-break EXPLAIN for Append plans.  I messed this up a few days ago while
adding the ModifyTable node type --- I had been thinking ModifyTable should
replace Append as a special case in push_plan(), but actually both of them
have to be special-cased.

14 years agoFix \df to re-allow regexp special characters in the function name pattern.
Tom Lane [Wed, 28 Oct 2009 18:09:44 +0000 (18:09 +0000)]
Fix \df to re-allow regexp special characters in the function name pattern.
This has always worked, up until somebody's thinko here:
http://archives.postgresql.org/pgsql-committers/2009-04/msg00233.php
Per bug #5143 from Piotr Wolinski.

14 years agoFix AcquireRewriteLocks to be sure that it acquires the right lock strength
Tom Lane [Wed, 28 Oct 2009 17:36:50 +0000 (17:36 +0000)]
Fix AcquireRewriteLocks to be sure that it acquires the right lock strength
when FOR UPDATE is propagated down into a sub-select expanded from a view.
Similar bug to parser's isLockedRel issue that I fixed yesterday; likewise
seems not quite worth the effort to back-patch.

14 years agoWhen FOR UPDATE/SHARE is used with LIMIT, put the LockRows plan node
Tom Lane [Wed, 28 Oct 2009 14:55:47 +0000 (14:55 +0000)]
When FOR UPDATE/SHARE is used with LIMIT, put the LockRows plan node
underneath the Limit node, not atop it.  This fixes the old problem that such
a query might unexpectedly return fewer rows than the LIMIT says, due to
LockRows discarding updated rows.

There is a related problem that LockRows might destroy the sort ordering
produced by earlier steps; but fixing that by pushing LockRows below Sort
would create serious performance problems that are unjustified in many
real-world applications, as well as potential deadlock problems from locking
many more rows than expected.  Instead, keep the present semantics of applying
FOR UPDATE after ORDER BY within a single query level; but allow the user to
specify the other way by writing FOR UPDATE in a sub-select.  To make that
work, track whether FOR UPDATE appeared explicitly in sub-selects or got
pushed down from the parent, and don't flatten a sub-select that contained an
explicit FOR UPDATE.

14 years agoFix AfterTriggerSaveEvent to use a test and elog, not just Assert, to check
Tom Lane [Tue, 27 Oct 2009 20:14:27 +0000 (20:14 +0000)]
Fix AfterTriggerSaveEvent to use a test and elog, not just Assert, to check
that it's called within an AfterTriggerBeginQuery/AfterTriggerEndQuery pair.
The RI cascade triggers suppress that overhead on the assumption that they
are always run non-deferred, so it's possible to violate the condition if
someone mistakenly changes pg_trigger to mark such a trigger deferred.
We don't really care about supporting that, but throwing an error instead
of crashing seems desirable.  Per report from Marcelo Costa.

14 years agoMake FOR UPDATE/SHARE in the primary query not propagate into WITH queries;
Tom Lane [Tue, 27 Oct 2009 17:11:18 +0000 (17:11 +0000)]
Make FOR UPDATE/SHARE in the primary query not propagate into WITH queries;
for example in
  WITH w AS (SELECT * FROM foo) SELECT * FROM w, bar ... FOR UPDATE
the FOR UPDATE will now affect bar but not foo.  This is more useful and
consistent than the original 8.4 behavior, which tried to propagate FOR UPDATE
into the WITH query but always failed due to assorted implementation
restrictions.  Even though we are in process of removing those restrictions,
it seems correct on philosophical grounds to not let the outer query's
FOR UPDATE affect the WITH query.

In passing, fix isLockedRel which frequently got things wrong in
nested-subquery cases: "FOR UPDATE OF foo" applies to an alias foo in the
current query level, not subqueries.  This has been broken for a long time,
but it doesn't seem worth back-patching further than 8.4 because the actual
consequences are minimal.  At worst the parser would sometimes get
RowShareLock on a relation when it should be AccessShareLock or vice versa.
That would only make a difference if someone were using ExclusiveLock
concurrently, which no standard operation does, and anyway FOR UPDATE
doesn't result in visible changes so it's not clear that the someone would
notice any problem.  Between that and the fact that FOR UPDATE barely works
with subqueries at all in existing releases, I'm not excited about worrying
about it.

14 years agoFix documentation on the toast.fillfactor reloption: it doesn't exist.
Alvaro Herrera [Tue, 27 Oct 2009 13:58:28 +0000 (13:58 +0000)]
Fix documentation on the toast.fillfactor reloption: it doesn't exist.

Per note from Zoltan Boszormenyi.

14 years agoSimplify a few makefile rules since install-sh can now install multiple
Peter Eisentraut [Mon, 26 Oct 2009 21:33:01 +0000 (21:33 +0000)]
Simplify a few makefile rules since install-sh can now install multiple
files in one run.

14 years agoCheck errors in for loop
Peter Eisentraut [Mon, 26 Oct 2009 21:11:22 +0000 (21:11 +0000)]
Check errors in for loop

14 years agoFix range check in date_recv that tried to limit accepted values to only
Heikki Linnakangas [Mon, 26 Oct 2009 16:13:11 +0000 (16:13 +0000)]
Fix range check in date_recv that tried to limit accepted values to only
those accepted by date_in(). I confused julian day numbers and number of
days since the postgres epoch 2000-01-01 in the original patch.

I just noticed that it's still easy to get such out-of-range values into
the database using to_date or +- operators, but this patch doesn't do
anything about those functions.

Per report from James Pye.

14 years agoRe-implement EvalPlanQual processing to improve its performance and eliminate
Tom Lane [Mon, 26 Oct 2009 02:26:45 +0000 (02:26 +0000)]
Re-implement EvalPlanQual processing to improve its performance and eliminate
a lot of strange behaviors that occurred in join cases.  We now identify the
"current" row for every joined relation in UPDATE, DELETE, and SELECT FOR
UPDATE/SHARE queries.  If an EvalPlanQual recheck is necessary, we jam the
appropriate row into each scan node in the rechecking plan, forcing it to emit
only that one row.  The former behavior could rescan the whole of each joined
relation for each recheck, which was terrible for performance, and what's much
worse could result in duplicated output tuples.

Also, the original implementation of EvalPlanQual could not re-use the recheck
execution tree --- it had to go through a full executor init and shutdown for
every row to be tested.  To avoid this overhead, I've associated a special
runtime Param with each LockRows or ModifyTable plan node, and arranged to
make every scan node below such a node depend on that Param.  Thus, by
signaling a change in that Param, the EPQ machinery can just rescan the
already-built test plan.

This patch also adds a prohibition on set-returning functions in the
targetlist of SELECT FOR UPDATE/SHARE.  This is needed to avoid the
duplicate-output-tuple problem.  It seems fairly reasonable since the
other restrictions on SELECT FOR UPDATE are meant to ensure that there
is a unique correspondence between source tuples and result tuples,
which an output SRF destroys as much as anything else does.

14 years agoWhen querying a table with child tables, do not check permissions on the
Peter Eisentraut [Fri, 23 Oct 2009 05:24:52 +0000 (05:24 +0000)]
When querying a table with child tables, do not check permissions on the
child tables.  This was found to be useless and confusing in virtually all
cases, and also contrary to the SQL standard.

14 years agoRemove regex_flavor GUC, so that regular expressions are always "advanced"
Tom Lane [Wed, 21 Oct 2009 20:38:58 +0000 (20:38 +0000)]
Remove regex_flavor GUC, so that regular expressions are always "advanced"
style by default.  Per discussion, there seems to be hardly anything that
really relies on being able to change the regex flavor, so the ability to
select it via embedded options ought to be enough for any stragglers.
Also, if we didn't remove the GUC, we'd really be morally obligated to
mark the regex functions non-immutable, which'd possibly create performance
issues.

14 years agoRemove add_missing_from GUC and associated parser support for "implicit RTEs".
Tom Lane [Wed, 21 Oct 2009 20:22:38 +0000 (20:22 +0000)]
Remove add_missing_from GUC and associated parser support for "implicit RTEs".
Per recent discussion, add_missing_from has been deprecated for long enough to
consider removing, and it's getting in the way of planned parser refactoring.
The system now always behaves as though add_missing_from were OFF.

14 years agoFinalize 8.5alpha2 release notes, with updates from Josh Berkus
Peter Eisentraut [Wed, 21 Oct 2009 19:43:06 +0000 (19:43 +0000)]
Finalize 8.5alpha2 release notes, with updates from Josh Berkus

14 years agoPreliminary release notes for 8.5alpha2
Peter Eisentraut [Tue, 20 Oct 2009 19:52:58 +0000 (19:52 +0000)]
Preliminary release notes for 8.5alpha2

14 years agoTranslations update for 8.5alpha2
Peter Eisentraut [Tue, 20 Oct 2009 18:23:27 +0000 (18:23 +0000)]
Translations update for 8.5alpha2

14 years agoUpdate translation updating procedure. This pertains to some changes I
Peter Eisentraut [Tue, 20 Oct 2009 18:22:19 +0000 (18:22 +0000)]
Update translation updating procedure.  This pertains to some changes I
made to automatically exclude translations below the 80% minimum.

14 years agoFix typo in previous release as reported by Itagaki Takahiro, but missed
Magnus Hagander [Sat, 17 Oct 2009 05:14:52 +0000 (05:14 +0000)]
Fix typo in previous release as reported by Itagaki Takahiro, but missed
by me.

14 years agoWrite to the Windows eventlog in UTF16, converting the message encoding
Magnus Hagander [Sat, 17 Oct 2009 00:24:51 +0000 (00:24 +0000)]
Write to the Windows eventlog in UTF16, converting the message encoding
as necessary.

Itagaki Takahiro with some changes from me

14 years agoRewrite pam_passwd_conv_proc to be more robust: avoid assuming that the
Tom Lane [Fri, 16 Oct 2009 22:08:36 +0000 (22:08 +0000)]
Rewrite pam_passwd_conv_proc to be more robust: avoid assuming that the
pam_message array contains exactly one PAM_PROMPT_ECHO_OFF message.
Instead, deal with however many messages there are, and don't throw error
for PAM_ERROR_MSG and PAM_TEXT_INFO messages.  This logic is borrowed from
openssh 5.2p1, which hopefully has seen more real-world PAM usage than we
have.  Per bug #5121 from Ryan Douglas, which turned out to be caused by
the conv_proc being called with zero messages.  Apparently that is normal
behavior given the combination of Linux pam_krb5 with MS Active Directory
as the domain controller.

Patch all the way back, since this code has been essentially untouched
since 7.4.  (Surprising we've not heard complaints before.)

14 years agoFREEZE and VERBOSE options were in wrong order in the VACUUM command that
Heikki Linnakangas [Fri, 16 Oct 2009 10:38:25 +0000 (10:38 +0000)]
FREEZE and VERBOSE options were in wrong order in the VACUUM command that
vacuumdb produces. Per report by Thom Brown.

14 years agoFirst committed version of plpython_unicode_0.out did not actually contain the
Tom Lane [Thu, 15 Oct 2009 23:39:13 +0000 (23:39 +0000)]
First committed version of plpython_unicode_0.out did not actually contain the
required \200 bytes.  Let's see if this commit works, or if CVS is messing it up.

14 years agoMade ECPG more robust against applications freeing strings, based on
Michael Meskes [Thu, 15 Oct 2009 10:20:15 +0000 (10:20 +0000)]
Made ECPG more robust against applications freeing strings, based on
patch send in by Boszormenyi Zoltan <zb@cybertec.at>.

14 years agoAvoid using trivial usernames in foreign_data regression test.
Alvaro Herrera [Wed, 14 Oct 2009 23:36:43 +0000 (23:36 +0000)]
Avoid using trivial usernames in foreign_data regression test.

Author: Martin Pihlak

14 years agoSupport SQL-compliant triggers on columns, ie fire only if certain columns
Tom Lane [Wed, 14 Oct 2009 22:14:25 +0000 (22:14 +0000)]
Support SQL-compliant triggers on columns, ie fire only if certain columns
are named in the UPDATE's SET list.

Note: the schema of pg_trigger has not actually changed; we've just started
to use a column that was there all along.  catversion bumped anyway so that
this commit is included in the history of potentially interesting changes
to system catalog contents.

Itagaki Takahiro

14 years agoRename the new MAX_AUTH_TOKEN_LENGTH #define to PG_MAX_AUTH_MAX_TOKEN_LENGTH,
Heikki Linnakangas [Wed, 14 Oct 2009 22:09:46 +0000 (22:09 +0000)]
Rename the new MAX_AUTH_TOKEN_LENGTH #define to PG_MAX_AUTH_MAX_TOKEN_LENGTH,
to make it more obvious that it's a PostgreSQL internal limit, not something
that comes from system header files.

14 years agoIn the configure check for the Python distutils module, use a less obscure
Peter Eisentraut [Wed, 14 Oct 2009 21:59:15 +0000 (21:59 +0000)]
In the configure check for the Python distutils module, use a less obscure
shell construct to hide away the stderr output.  Python 3.1 actually core
dumps on the current invocation (http://bugs.python.org/issue7111), but the
new version also has the more general advantage of saving the error message
in config.log for analysis.

14 years agoAdd alternative expected file for unicode test for client encoding not UTF8
Peter Eisentraut [Wed, 14 Oct 2009 21:42:58 +0000 (21:42 +0000)]
Add alternative expected file for unicode test for client encoding not UTF8

14 years agoRaise the maximum authentication token (Kerberos ticket) size in GSSAPI
Heikki Linnakangas [Wed, 14 Oct 2009 07:27:13 +0000 (07:27 +0000)]
Raise the maximum authentication token (Kerberos ticket) size in GSSAPI
and SSPI athentication methods. While the old 2000 byte limit was more than
enough for Unix Kerberos implementations, tickets issued by Windows Domain
Controllers can be much larger.

Ian Turner

14 years agoReplace unmatched " by &quot; to avoid throwing off syntax highlighters.
Peter Eisentraut [Tue, 13 Oct 2009 22:46:13 +0000 (22:46 +0000)]
Replace unmatched " by &quot; to avoid throwing off syntax highlighters.

14 years agoAdd "\pset linestyle ascii/unicode" option to psql, allowing our traditional
Tom Lane [Tue, 13 Oct 2009 21:04:01 +0000 (21:04 +0000)]
Add "\pset linestyle ascii/unicode" option to psql, allowing our traditional
ASCII-art style of table output to be upgraded to use Unicode box drawing
characters if desired.  By default, psql will use the Unicode characters
whenever client_encoding is UTF8.

The patch forces linestyle=ascii in pg_regress usage, ensuring we don't
break the regression tests in Unicode locales.

Roger Leigh

14 years agoFix ts_stat's failure on empty tsvector.
Tom Lane [Tue, 13 Oct 2009 14:33:14 +0000 (14:33 +0000)]
Fix ts_stat's failure on empty tsvector.
Also insert a couple of Asserts that check for stack overflow.
Bogus coding appears to be new in 8.4 --- older releases had a much
simpler algorithm here.  Per bug #5111.

14 years agoAdd new PGC_S_DATABASE_USER enum value to several places missed by my patch
Alvaro Herrera [Tue, 13 Oct 2009 14:18:40 +0000 (14:18 +0000)]
Add new PGC_S_DATABASE_USER enum value to several places missed by my patch
last week.

Per note and patch from Jeff Davis.

14 years agoCode review for LIKE INCLUDING patch --- clean up some cosmetic and not
Tom Lane [Tue, 13 Oct 2009 00:53:08 +0000 (00:53 +0000)]
Code review for LIKE INCLUDING patch --- clean up some cosmetic and not
so cosmetic stuff.

14 years agoUse plurals (TABLES, FUNCTIONS, etc) in ALTER DEFAULT PRIVILEGES. We have
Tom Lane [Mon, 12 Oct 2009 23:41:45 +0000 (23:41 +0000)]
Use plurals (TABLES, FUNCTIONS, etc) in ALTER DEFAULT PRIVILEGES.  We have
the keywords as a consequence of the GRANT ALL patch, so we might as well
use them and make the ALTER commands read more naturally.

14 years agoSupport GRANT/REVOKE ON ALL TABLES/SEQUENCES/FUNCTIONS IN SCHEMA.
Tom Lane [Mon, 12 Oct 2009 20:39:42 +0000 (20:39 +0000)]
Support GRANT/REVOKE ON ALL TABLES/SEQUENCES/FUNCTIONS IN SCHEMA.

Petr Jelinek

14 years agoCREATE LIKE INCLUDING COMMENTS and STORAGE, and INCLUDING ALL shortcut. Itagaki Takahiro.
Andrew Dunstan [Mon, 12 Oct 2009 19:49:24 +0000 (19:49 +0000)]
CREATE LIKE INCLUDING COMMENTS and STORAGE, and INCLUDING ALL shortcut. Itagaki Takahiro.

14 years agoMove the handling of SELECT FOR UPDATE locking and rechecking out of
Tom Lane [Mon, 12 Oct 2009 18:10:51 +0000 (18:10 +0000)]
Move the handling of SELECT FOR UPDATE locking and rechecking out of
execMain.c and into a new plan node type LockRows.  Like the recent change
to put table updating into a ModifyTable plan node, this increases planning
flexibility by allowing the operations to occur below the top level of the
plan tree.  It's necessary in any case to restore the previous behavior of
having FOR UPDATE locking occur before ModifyTable does.

This partially refactors EvalPlanQual to allow multiple rows-under-test
to be inserted into the EPQ machinery before starting an EPQ test query.
That isn't sufficient to fix EPQ's general bogosity in the face of plans
that return multiple rows per test row, though.  Since this patch is
mostly about getting some plan node infrastructure in place and not about
fixing ten-year-old bugs, I will leave EPQ improvements for another day.

Another behavioral change that we could now think about is doing FOR UPDATE
before LIMIT, but that too seems like it should be treated as a followon
patch.

14 years agoImprove similar_escape() in two different ways:
Tom Lane [Sat, 10 Oct 2009 03:50:15 +0000 (03:50 +0000)]
Improve similar_escape() in two different ways:

* Stop escaping ? and {.  As of SQL:2008, SIMILAR TO is defined to have
POSIX-compatible interpretation of ? as well as {m,n} and related constructs,
so we should allow these things through to our regex engine.

* Escape ^ and $.  It appears that our regex engine will treat ^^ at the
beginning of the string the same as ^, and similarly for $$ at the end of
the string, which meant that SIMILAR TO was effectively ignoring ^ at the
start of the pattern and $ at the end.  Since these are not supposed to be
metacharacters, this is a bug.

The second part of this is arguably a back-patchable bug fix, but I'm
hesitant to do that because it might break applications that are expecting
something like "col SIMILAR TO '^foo$'" to work like a POSIX pattern.
Seems safer to only change it at a major version boundary.

Per discussion of an example from Doug Gorley.

14 years agoSplit the processing of INSERT/UPDATE/DELETE operations out of execMain.c.
Tom Lane [Sat, 10 Oct 2009 01:43:50 +0000 (01:43 +0000)]
Split the processing of INSERT/UPDATE/DELETE operations out of execMain.c.
They are now handled by a new plan node type called ModifyTable, which is
placed at the top of the plan tree.  In itself this change doesn't do much,
except perhaps make the handling of RETURNING lists and inherited UPDATEs a
tad less klugy.  But it is necessary preparation for the intended extension of
allowing RETURNING queries inside WITH.

Marko Tiikkaja

14 years agoUse pg_get_triggerdef in pg_dump
Peter Eisentraut [Fri, 9 Oct 2009 21:02:56 +0000 (21:02 +0000)]
Use pg_get_triggerdef in pg_dump

Add a variant of pg_get_triggerdef with a second argument "pretty" that
causes the output to be formatted in the way pg_dump used to do.  Use this
variant in pg_dump with server versions >= 8.5.

This insulates pg_dump from most future trigger feature additions, such as
the upcoming column triggers patch.

Author: Itagaki Takahiro <itagaki.takahiro@oss.ntt.co.jp>

14 years agoRemove very ancient tuple-counting infrastructure (IncrRetrieved() and
Tom Lane [Thu, 8 Oct 2009 22:34:57 +0000 (22:34 +0000)]
Remove very ancient tuple-counting infrastructure (IncrRetrieved() and
friends).  This code has all been ifdef'd out for many years, and doesn't
seem to have any prospect of becoming any more useful in the future.
EXPLAIN ANALYZE is what people use in practice, and I think if we did want
process-wide counters we'd be more likely to put in dtrace events for that
than try to resurrect this code.  Get rid of it so as to have one less detail
to worry about while refactoring execMain.c.

14 years agoAdd the new psql command \drds to the psql docs, help and tab completion.
Alvaro Herrera [Thu, 8 Oct 2009 16:34:01 +0000 (16:34 +0000)]
Add the new psql command \drds to the psql docs, help and tab completion.

I also thank Bernd Helmle for the documentation help on the previous settings
patch, which I forgot on the commit message.

14 years agoFix off-by-one bug in bitncmp(): When comparing a number of bits divisible by
Heikki Linnakangas [Thu, 8 Oct 2009 04:46:21 +0000 (04:46 +0000)]
Fix off-by-one bug in bitncmp(): When comparing a number of bits divisible by
8, bitncmp() may dereference a pointer one byte out of bounds.

Chris Mikkelson (bug #5101)

14 years agoUpdate plhandler.sgml to describe validators and inline handlers for
Tom Lane [Thu, 8 Oct 2009 04:41:07 +0000 (04:41 +0000)]
Update plhandler.sgml to describe validators and inline handlers for
procedural languages.

14 years agoSupport use of function argument names to identify which actual arguments
Tom Lane [Thu, 8 Oct 2009 02:39:25 +0000 (02:39 +0000)]
Support use of function argument names to identify which actual arguments
match which function parameters.  The syntax uses AS, for example
funcname(value AS arg1, anothervalue AS arg2)

Pavel Stehule

14 years agoMake it possibly to specify GUC params per user and per database.
Alvaro Herrera [Wed, 7 Oct 2009 22:14:26 +0000 (22:14 +0000)]
Make it possibly to specify GUC params per user and per database.

Create a new catalog pg_db_role_setting where they are now stored, and better
encapsulate the code that deals with settings into its realm.  The old
datconfig and rolconfig columns are removed.

psql has gained a \drds command to display the settings.

Backwards compatibility warning: while the backwards-compatible system views
still have the config columns, they no longer completely represent the
configuration for a user or database.

Catalog version bumped.

14 years agoFix snapshot management, take two.
Alvaro Herrera [Wed, 7 Oct 2009 16:27:18 +0000 (16:27 +0000)]
Fix snapshot management, take two.

Partially revert the previous patch I installed and replace it with a more
general fix: any time a snapshot is pushed as Active, we need to ensure that it
will not be modified in the future.  This means that if the same snapshot is
used as CurrentSnapshot, it needs to be copied separately.  This affects
serializable transactions only, because CurrentSnapshot has already been copied
by RegisterSnapshot and so PushActiveSnapshot does not think it needs another
copy.  However, CommandCounterIncrement would modify CurrentSnapshot, whereas
ActiveSnapshots must not have their command counters incremented.

I say "partially" because the regression test I added for the previous bug
has been kept.

(This restores 8.3 behavior, because before snapmgr.c existed, any snapshot set
as Active was copied.)

Per bug report from Stuart Bishop in
6bc73d4c0910042358k3d1adff3qa36f8df75198ecea@mail.gmail.com

14 years agoClean up the clean rules of the documentation
Peter Eisentraut [Tue, 6 Oct 2009 20:00:44 +0000 (20:00 +0000)]
Clean up the clean rules of the documentation

Most things should be cleaned by "make clean", except the parts that are
shipped in the tarball.  These rules had gotten a bit out of whack after
the various restructurings of the documentation build rules.

14 years agoChange CREATE TABLE so that column default expressions coming from different
Tom Lane [Tue, 6 Oct 2009 00:55:26 +0000 (00:55 +0000)]
Change CREATE TABLE so that column default expressions coming from different
inheritance parent tables are compared using equal(), instead of doing
strcmp() on the nodeToString representation.  The old implementation was
always a tad cheesy, and it finally fails completely as of 8.4, now that the
node tree might contain syntax location information.  equal() knows it's
supposed to ignore those fields, but strcmp() hardly can.  Per recent
report from Scott Ribe.

14 years agoReally unbreak maintainer-clean.
Alvaro Herrera [Tue, 6 Oct 2009 00:54:26 +0000 (00:54 +0000)]
Really unbreak maintainer-clean.

(Or rather, unbreak what the previous commit broke)

14 years agoUnbreak doc/src/sgml maintainer-clean rule on VPATH builds.
Alvaro Herrera [Mon, 5 Oct 2009 23:58:49 +0000 (23:58 +0000)]
Unbreak doc/src/sgml maintainer-clean rule on VPATH builds.

14 years agoCreate an ALTER DEFAULT PRIVILEGES command, which allows users to adjust
Tom Lane [Mon, 5 Oct 2009 19:24:49 +0000 (19:24 +0000)]
Create an ALTER DEFAULT PRIVILEGES command, which allows users to adjust
the privileges that will be applied to subsequently-created objects.

Such adjustments are always per owning role, and can be restricted to objects
created in particular schemas too.  A notable benefit is that users can
override the traditional default privilege settings, eg, the PUBLIC EXECUTE
privilege traditionally granted by default for functions.

Petr Jelinek

14 years agoDocument the purpose of the GUC listen_addresses.
Bruce Momjian [Sat, 3 Oct 2009 23:10:47 +0000 (23:10 +0000)]
Document the purpose of the GUC listen_addresses.

14 years agoFix assorted memory leaks in pg_hba.conf parsing. Over a sufficiently
Tom Lane [Sat, 3 Oct 2009 20:04:39 +0000 (20:04 +0000)]
Fix assorted memory leaks in pg_hba.conf parsing.  Over a sufficiently
large number of SIGHUP cycles, these would have run the postmaster out
of memory.  Noted while testing memory-leak scenario in postgresql.conf
configuration-change-printing patch.

14 years agoFix a couple of issues in recent patch to print updates to postgresql.conf
Tom Lane [Sat, 3 Oct 2009 18:04:57 +0000 (18:04 +0000)]
Fix a couple of issues in recent patch to print updates to postgresql.conf
settings: avoid calling superuser() in contexts where it's not defined,
don't leak the transient copies of GetConfigOption output, and avoid the
whole exercise in postmaster child processes.

I found that actually no current caller of GetConfigOption has any use for
its internal check of GUC_SUPERUSER_ONLY.  But rather than just remove
that entirely, it seemed better to add a parameter indicating whether to
enforce the check.

Per report from Simon and subsequent testing.

14 years agoFix an oversight in an 8.3-era patch: pgstat_initstats should allow stats
Tom Lane [Fri, 2 Oct 2009 22:49:50 +0000 (22:49 +0000)]
Fix an oversight in an 8.3-era patch: pgstat_initstats should allow stats
to be collected for sequences.

Report and fix by Akira Kurosawa

14 years agoMake sure that GIN fast-insert and regular code paths enforce the same
Tom Lane [Fri, 2 Oct 2009 21:14:04 +0000 (21:14 +0000)]
Make sure that GIN fast-insert and regular code paths enforce the same
tuple size limit.  Improve the error message for index-tuple-too-large
so that it includes the actual size, the limit, and the index name.
Sync with the btree occurrences of the same error.

Back-patch to 8.4 because it appears that the out-of-sync problem
is occurring in the field.

Teodor and Tom

14 years agoFix erroneous handling of shared dependencies (ie dependencies on roles)
Tom Lane [Fri, 2 Oct 2009 18:13:04 +0000 (18:13 +0000)]
Fix erroneous handling of shared dependencies (ie dependencies on roles)
in CREATE OR REPLACE FUNCTION.  The original code would update pg_shdepend
as if a new function was being created, even if it wasn't, with two bad
consequences: pg_shdepend might record the wrong owner for the function,
and any dependencies for roles mentioned in the function's ACL would be lost.
The fix is very easy: just don't touch pg_shdepend at all when doing a
function replacement.

Also update the CREATE FUNCTION reference page, which never explained
exactly what changes and doesn't change in a function replacement.
In passing, fix the CREATE VIEW reference page similarly; there's no
code bug there, but the docs didn't say what happens.

14 years agoEnsure that a cursor has an immutable snapshot throughout its lifespan.
Alvaro Herrera [Fri, 2 Oct 2009 17:57:30 +0000 (17:57 +0000)]
Ensure that a cursor has an immutable snapshot throughout its lifespan.

The old coding was using a regular snapshot, referenced elsewhere, that was
subject to having its command counter updated.  Fix by creating a private copy
of the snapshot exclusively for the cursor.

Backpatch to 8.4, which is when the bug was introduced during the snapshot
management rewrite.

14 years agoApplied patch by Boszormenyi Zoltan <zb@cybertec.at> to fix memory leak in decimal...
Michael Meskes [Thu, 1 Oct 2009 18:03:54 +0000 (18:03 +0000)]
Applied patch by Boszormenyi Zoltan <zb@cybertec.at> to fix memory leak in decimal handling.

14 years agoSupport "samehost" and "samenet" specifications in pg_hba.conf,
Tom Lane [Thu, 1 Oct 2009 01:58:58 +0000 (01:58 +0000)]
Support "samehost" and "samenet" specifications in pg_hba.conf,
by enumerating the machine's IP interfaces to look for a match.

Stef Walter

14 years agoFix bogus Assert, per buildfarm results.
Tom Lane [Wed, 30 Sep 2009 21:26:17 +0000 (21:26 +0000)]
Fix bogus Assert, per buildfarm results.