OSDN Git Service

pg-rex/syncrep.git
14 years agopsql -f -
Bruce Momjian [Tue, 1 Dec 2009 22:34:33 +0000 (22:34 +0000)]
psql -f -

Adjust psql -f - to behave like a normal file and honor the -1 flag.

Report from Robert Haas

14 years agoTeach the regular expression functions to do case-insensitive matching and
Tom Lane [Tue, 1 Dec 2009 21:00:24 +0000 (21:00 +0000)]
Teach the regular expression functions to do case-insensitive matching and
locale-dependent character classification properly when the database encoding
is UTF8.

The previous coding worked okay in single-byte encodings, or in any case for
ASCII characters, but failed entirely on multibyte characters.  The fix
assumes that the <wctype.h> functions use Unicode code points as the wchar
representation for Unicode, ie, wchar matches pg_wchar.

This is only a partial solution, since we're still stupid about non-ASCII
characters in multibyte encodings other than UTF8.  The practical effect
of that is limited, however, since those cases are generally Far Eastern
glyphs for which concepts like case-folding don't apply anyway.  Certainly
all or nearly all of the field reports of problems have been about UTF8.
A more general solution would require switching to the platform's wchar
representation for all regex operations; which is possible but would have
substantial disadvantages.  Let's try this and see if it's sufficient in
practice.

14 years agoRevert due to Tom's concerns:
Bruce Momjian [Tue, 1 Dec 2009 02:31:13 +0000 (02:31 +0000)]
Revert due to Tom's concerns:

Add ProcessUtility_hook() to handle all DDL to
contrib/pg_stat_statements.

14 years agoProcessUtility_hook:
Bruce Momjian [Tue, 1 Dec 2009 01:08:46 +0000 (01:08 +0000)]
ProcessUtility_hook:

Add ProcessUtility_hook() to handle all DDL to contrib/pg_stat_statements.

Itagaki Takahiro

14 years agohstore docs
Bruce Momjian [Mon, 30 Nov 2009 17:56:09 +0000 (17:56 +0000)]
hstore docs

Update hstore docs, mostly word-smithing.

David E. Wheeler

14 years agoTHREAD_SUPPORT
Bruce Momjian [Mon, 30 Nov 2009 16:50:38 +0000 (16:50 +0000)]
THREAD_SUPPORT

There is no reference to THREAD_SUPPORT outside configure, and it is
never set, so remove it.

14 years agoAvoid core dump on empty thesaurus dictionary.
Tom Lane [Mon, 30 Nov 2009 16:38:31 +0000 (16:38 +0000)]
Avoid core dump on empty thesaurus dictionary.
Per report from Robert Gravsjö.

14 years agoIn SRF example, move oldcontext variable definition into the FIRSTCALL
Peter Eisentraut [Mon, 30 Nov 2009 15:49:35 +0000 (15:49 +0000)]
In SRF example, move oldcontext variable definition into the FIRSTCALL
branch, which is how most actual code is actually structured.  Also fix
slight whitespace misalignment.

14 years agoProperly indent SGML.
Bruce Momjian [Mon, 30 Nov 2009 14:47:37 +0000 (14:47 +0000)]
Properly indent SGML.

14 years agoFix session-lifespan memory leak when a plperl function is redefined:
Tom Lane [Sun, 29 Nov 2009 21:02:16 +0000 (21:02 +0000)]
Fix session-lifespan memory leak when a plperl function is redefined:
we have to tell Perl it can release its compiled copy of the function
text.  Noted by Alexey Klyukin.

Back-patch to 8.2 --- the problem exists further back, but this patch
won't work without modification, and it's probably not worth the trouble.

14 years agoError when a specified connection service is not found, instead of ignoring it
Peter Eisentraut [Sun, 29 Nov 2009 20:14:53 +0000 (20:14 +0000)]
Error when a specified connection service is not found, instead of ignoring it

14 years agoAdd some opr_sanity checks that the lengths of the various argument-info
Tom Lane [Sun, 29 Nov 2009 18:53:54 +0000 (18:53 +0000)]
Add some opr_sanity checks that the lengths of the various argument-info
arrays in a pg_proc entry match.  Seems like an easy mistake to make when
manually adjusting these values in a pg_proc.h entry.

14 years agoRemove prefix "ERROR:" from some messages, to make everything consistent
Peter Eisentraut [Sun, 29 Nov 2009 18:53:44 +0000 (18:53 +0000)]
Remove prefix "ERROR:" from some messages, to make everything consistent

14 years agoMake pg_stat_activity.application_name visible to all users, rather than
Tom Lane [Sun, 29 Nov 2009 18:14:32 +0000 (18:14 +0000)]
Make pg_stat_activity.application_name visible to all users, rather than
being hidden when current_query is.  Relocate it to a column position
more consistent with that behavior.  Per discussion.

14 years agoAdd support for anonymous code blocks (DO blocks) to PL/Perl.
Tom Lane [Sun, 29 Nov 2009 03:02:27 +0000 (03:02 +0000)]
Add support for anonymous code blocks (DO blocks) to PL/Perl.

Joshua Tolley, reviewed by Brendan Jurd and Tim Bunce

14 years agoAdd support for an application_name parameter, which is displayed in
Tom Lane [Sat, 28 Nov 2009 23:38:08 +0000 (23:38 +0000)]
Add support for an application_name parameter, which is displayed in
pg_stat_activity and recorded in log entries.

Dave Page, reviewed by Andres Freund

14 years agofsync test tools
Bruce Momjian [Sat, 28 Nov 2009 16:21:31 +0000 (16:21 +0000)]
fsync test tools

Add link to exteran fsync testing script and our fsync test tool.

14 years agotest_fsync:
Bruce Momjian [Sat, 28 Nov 2009 15:04:54 +0000 (15:04 +0000)]
test_fsync:

Improve test descriptions displayed during test_fsync;  increase default
loops to 5k.

14 years agoEliminate a lot of list-management overhead within join_search_one_level
Tom Lane [Sat, 28 Nov 2009 00:46:19 +0000 (00:46 +0000)]
Eliminate a lot of list-management overhead within join_search_one_level
by adding a requirement that build_join_rel add new join RelOptInfos to the
appropriate list immediately at creation.  Per report from Robert Haas,
the list_concat_unique_ptr() calls that this change eliminates were taking
the lion's share of the runtime in larger join problems.  This doesn't do
anything to fix the fundamental combinatorial explosion in large join
problems, but it should push out the threshold of pain a bit further.

Note: because this changes the order in which joinrel lists are built,
it might result in changes in selected plans in cases where different
alternatives have exactly the same costs.  There is one example in the
regression tests.

14 years agoDocument ath vacuumdb --analyze does analyze _also_, not in place of
Bruce Momjian [Fri, 27 Nov 2009 17:41:26 +0000 (17:41 +0000)]
Document ath vacuumdb --analyze does analyze _also_, not in place of
vacuum.

14 years agoRemove */ characters from declare cursor statements before putting them into a
Michael Meskes [Fri, 27 Nov 2009 16:07:22 +0000 (16:07 +0000)]
Remove */ characters from declare cursor statements before putting them into a
comment.

14 years agoIf no result is given NOTFOUND should be returned. Check for empty result
Michael Meskes [Fri, 27 Nov 2009 13:32:17 +0000 (13:32 +0000)]
If no result is given NOTFOUND should be returned. Check for empty result
string too.

14 years agoAdded script to check if all rule re-definition in ecpg.addons are indeed used
Michael Meskes [Fri, 27 Nov 2009 10:00:40 +0000 (10:00 +0000)]
Added script to check if all rule re-definition in ecpg.addons are indeed used
in the build process. If not the build process will stop with an error message.

14 years agoFix missing end tag, per Jeff Davis.
Tom Lane [Thu, 26 Nov 2009 21:20:12 +0000 (21:20 +0000)]
Fix missing end tag, per Jeff Davis.

14 years agoAdded missing files.
Michael Meskes [Thu, 26 Nov 2009 15:55:57 +0000 (15:55 +0000)]
Added missing files.

14 years agoForgot to add dynamic cursors to Changelog.
Michael Meskes [Thu, 26 Nov 2009 15:40:43 +0000 (15:40 +0000)]
Forgot to add dynamic cursors to Changelog.

14 years agoSynced addon rules after some renamings.
Michael Meskes [Thu, 26 Nov 2009 15:39:26 +0000 (15:39 +0000)]
Synced addon rules after some renamings.

14 years agoAdded dynamic cursor names to ecpg. Almost the whole patch was done by
Michael Meskes [Thu, 26 Nov 2009 15:06:47 +0000 (15:06 +0000)]
Added dynamic cursor names to ecpg. Almost the whole patch was done by
Boszormenyi Zoltan, with only a minor tweak or two from me.

14 years agoSimplify psql's new linestyle behavior to default to linestyle=ascii all
Tom Lane [Wed, 25 Nov 2009 20:26:31 +0000 (20:26 +0000)]
Simplify psql's new linestyle behavior to default to linestyle=ascii all
the time, rather than hoping we can tell whether the terminal supports
UTF8 characters.  Per discussion.

14 years agoFix syntax in extract() examples
Peter Eisentraut [Tue, 24 Nov 2009 19:21:15 +0000 (19:21 +0000)]
Fix syntax in extract() examples

Author: Erik Rijkers <er@xs4all.nl>

14 years agoMade function better readable.
Michael Meskes [Tue, 24 Nov 2009 16:30:31 +0000 (16:30 +0000)]
Made function better readable.

14 years agoAdd PG_MODULE_MAGIC and some missing include files to examples
Peter Eisentraut [Mon, 23 Nov 2009 21:41:20 +0000 (21:41 +0000)]
Add PG_MODULE_MAGIC and some missing include files to examples

Author: Euler Taveira de Oliveira <euler@timbira.com>

14 years agoUse diff's -w switch only on Windows, to avoid problems with inconsistent
Tom Lane [Mon, 23 Nov 2009 16:02:24 +0000 (16:02 +0000)]
Use diff's -w switch only on Windows, to avoid problems with inconsistent
newline representations.  Per buildfarm results and subsequent discussion.
Sync up a couple of other places that had their own policies.

14 years agoAdd missing library to standalone libpq build on Win32.
Magnus Hagander [Mon, 23 Nov 2009 12:54:37 +0000 (12:54 +0000)]
Add missing library to standalone libpq build on Win32.

Hiroshi Saito

14 years agoFix an old bug in multixact and two-phase commit. Prepared transactions can
Heikki Linnakangas [Mon, 23 Nov 2009 09:58:36 +0000 (09:58 +0000)]
Fix an old bug in multixact and two-phase commit. Prepared transactions can
be part of multixacts, so allocate a slot for each prepared transaction in
the "oldest member" array in multixact.c. On PREPARE TRANSACTION, transfer
the oldest member value from the current backends slot to the prepared xact
slot. Also save and recover the value from the 2pc state file.

The symptom of the bug was that after a transaction prepared, a shared lock
still held by the prepared transaction was sometimes ignored by other
transactions.

Fix back to 8.1, where both 2PC and multixact were introduced.

14 years agoAssorted wordsmithing on the documentation of \pset --- try to make it
Tom Lane [Sun, 22 Nov 2009 22:06:30 +0000 (22:06 +0000)]
Assorted wordsmithing on the documentation of \pset --- try to make it
a bit more consistent and less obviously written by different people at
different times.

14 years agoAdjust expected-results spacing per buildfarm results.
Tom Lane [Sun, 22 Nov 2009 20:58:51 +0000 (20:58 +0000)]
Adjust expected-results spacing per buildfarm results.

14 years agoRemove -w (--ignore-all-space) option from pg_regress's diff calls.
Tom Lane [Sun, 22 Nov 2009 17:54:23 +0000 (17:54 +0000)]
Remove -w (--ignore-all-space) option from pg_regress's diff calls.

We have used -w for a long time as a means of reducing the reported diff
volume when one element of a result table isn't of the expected width.
However, most of the time the results just pass anyway, so this isn't as
important as it once was.  Meanwhile, the risk of missing potentially
significant deviations has gone up, particularly with psql's ability to
report error cursor positions.  So, let's switch over to space-sensitive
comparisons.  Per my proposal of yesterday.

(All the expected files that I can test here seem to be ready for this
already, but we'll see what the buildfarm thinks about others.)

14 years agoRemove superfluous curly brace, fixing compilation with OPTIMIZER_DEBUG.
Heikki Linnakangas [Sun, 22 Nov 2009 14:54:31 +0000 (14:54 +0000)]
Remove superfluous curly brace, fixing compilation with OPTIMIZER_DEBUG.

Jan Urbanski

14 years agoOoops, forgot to check the libxml cases for psql output wrapping change.
Tom Lane [Sun, 22 Nov 2009 06:01:09 +0000 (06:01 +0000)]
Ooops, forgot to check the libxml cases for psql output wrapping change.

14 years agoImprove psql's tabular display of wrapped-around data by inserting markers
Tom Lane [Sun, 22 Nov 2009 05:20:41 +0000 (05:20 +0000)]
Improve psql's tabular display of wrapped-around data by inserting markers
in the formerly-always-blank columns just to left and right of the data.
Different marking is used for a line break caused by a newline in the data
than for a straight wraparound.  A newline break is signaled by a "+" in the
right margin column in ASCII mode, or a carriage return arrow in UNICODE mode.
Wraparound is signaled by a dot in the right margin as well as the following
left margin in ASCII mode, or an ellipsis symbol in the same places in UNICODE
mode.  "\pset linestyle old-ascii" is added to make the previous behavior
available if anyone really wants it.

In passing, this commit also cleans up a few regression test files that
had unintended spacing differences from the current actual output.

Roger Leigh, reviewed by Gabrielle Roth and other members of PDXPUG.

14 years agoIgnore UTF-8-encoded Unicode byte-order mark at the beginning of a file if
Peter Eisentraut [Sat, 21 Nov 2009 23:59:12 +0000 (23:59 +0000)]
Ignore UTF-8-encoded Unicode byte-order mark at the beginning of a file if
the client encoding is UTF-8.

a limited version of a patch proposed by Itagaki Takahiro

14 years agoRefactor ecpg grammar so that it uses the core grammar's unreserved_keyword
Tom Lane [Sat, 21 Nov 2009 05:44:05 +0000 (05:44 +0000)]
Refactor ecpg grammar so that it uses the core grammar's unreserved_keyword
list, minus a few specific words that have to be treated specially.  This
replaces a hard-wired list of keywords that would have needed manual
maintenance, and was not getting it.  The 8.4 coding was already missing
these words, causing ecpg to incorrectly treat them as reserved words:
CALLED, CATALOG, DEFINER, ENUM, FOLLOWING, INVOKER, OPTIONS, PARTITION,
PRECEDING, RANGE, SECURITY, SERVER, UNBOUNDED, WRAPPER.  In HEAD we were
additionally missing COMMENTS, FUNCTIONS, SEQUENCES, TABLES.
Per gripe from Bosco Rama.

14 years agoAdd a WHEN clause to CREATE TRIGGER, allowing a boolean expression to be
Tom Lane [Fri, 20 Nov 2009 20:38:12 +0000 (20:38 +0000)]
Add a WHEN clause to CREATE TRIGGER, allowing a boolean expression to be
checked to determine whether the trigger should be fired.

For BEFORE triggers this is mostly a matter of spec compliance; but for AFTER
triggers it can provide a noticeable performance improvement, since queuing of
a deferred trigger event and re-fetching of the row(s) at end of statement can
be short-circuited if the trigger does not need to be fired.

Takahiro Itagaki, reviewed by KaiGai Kohei.

14 years agoTypo: dump -> restore
Peter Eisentraut [Thu, 19 Nov 2009 22:05:48 +0000 (22:05 +0000)]
Typo: dump -> restore

fixed in 8.4 and 8.5

Author: Guillaume Lelarge <guillaume@lelarge.info>

14 years agoFix memory leak in syslogger: logfile_rotate() would leak a copy of the
Tom Lane [Thu, 19 Nov 2009 02:45:33 +0000 (02:45 +0000)]
Fix memory leak in syslogger: logfile_rotate() would leak a copy of the
output filename if CSV logging was enabled and only one of the two possible
output files got rotated during a particular call (which would, in fact,
typically be the case during a size-based rotation).  This would amount to
about MAXPGPATH (1KB) per rotation, and it's been there since the CSV
code was put in, so it's surprising that nobody noticed it before.
Per bug #5196 from Thomas Poindessous.

14 years agoAdd a hook to CREATE/ALTER ROLE to allow an external module to check the
Tom Lane [Wed, 18 Nov 2009 21:57:56 +0000 (21:57 +0000)]
Add a hook to CREATE/ALTER ROLE to allow an external module to check the
strength of database passwords, and create a sample implementation of
such a hook as a new contrib module "passwordcheck".

Laurenz Albe, reviewed by Takahiro Itagaki

14 years agoProvide a parenthesized-options syntax for VACUUM, analogous to that recently
Tom Lane [Mon, 16 Nov 2009 21:32:07 +0000 (21:32 +0000)]
Provide a parenthesized-options syntax for VACUUM, analogous to that recently
adopted for EXPLAIN.  This will allow additional options to be implemented
in future without having to make them fully-reserved keywords.  The old syntax
remains available for existing options, however.

Itagaki Takahiro

14 years agoWhile doing the final setrefs.c pass over a plan tree, try to match up
Tom Lane [Mon, 16 Nov 2009 18:04:40 +0000 (18:04 +0000)]
While doing the final setrefs.c pass over a plan tree, try to match up
non-Var sort/group expressions using ressortgroupref labels instead of
depending entirely on equal()-ity of the upper node's tlist expressions
to the lower node's.  This avoids emitting the wrong outputs in cases
where there are textually identical volatile sort/group expressions,
as for example
select distinct random(),random() from generate_series(1,10);
Per report from Andrew Gierth.

Backpatch to 8.4.  Arguably this is wrong all the way back, but the only known
case where there's an observable problem is when using hash aggregation to
implement DISTINCT, which is new as of 8.4.  So for the moment I'll refrain
from backpatching further.

14 years agoMake text search parser accept underscores in XML attributes (bug #5075)
Peter Eisentraut [Sun, 15 Nov 2009 13:57:01 +0000 (13:57 +0000)]
Make text search parser accept underscores in XML attributes (bug #5075)

14 years agoImprove planning of Materialize nodes inserted atop the inner input of a
Tom Lane [Sun, 15 Nov 2009 02:45:35 +0000 (02:45 +0000)]
Improve planning of Materialize nodes inserted atop the inner input of a
mergejoin to shield it from doing mark/restore and refetches.  Put an explicit
flag in MergePath so we can centralize the logic that knows about this,
and add costing logic that considers using Materialize even when it's not
forced by the previously-existing considerations.  This is in response to
a discussion back in August that suggested that materializing an inner
indexscan can be helpful when the refetch percentage is high enough.

14 years agoMake unaccent's install/uninstall scripts look more like all the others.
Tom Lane [Sat, 14 Nov 2009 18:24:32 +0000 (18:24 +0000)]
Make unaccent's install/uninstall scripts look more like all the others.
Set search_path explicitly, don't use IF EXISTS, etc.

14 years agoAdd inheritable ACE when creating a restricted token for execution on
Magnus Hagander [Sat, 14 Nov 2009 15:39:36 +0000 (15:39 +0000)]
Add inheritable ACE when creating a restricted token for execution on
Win32.

Also refactor the code around it to be more clear.

Jesse Morris

14 years agoClean up a couple of bizarre code formatting choices in recent CREATE LIKE patch.
Tom Lane [Fri, 13 Nov 2009 23:49:23 +0000 (23:49 +0000)]
Clean up a couple of bizarre code formatting choices in recent CREATE LIKE patch.

14 years agoAvoid assuming that enum CreateStmtLikeOption is unsigned. Zdenek Kotala
Tom Lane [Fri, 13 Nov 2009 23:44:19 +0000 (23:44 +0000)]
Avoid assuming that enum CreateStmtLikeOption is unsigned.  Zdenek Kotala

14 years agoAdd control knobs for plpgsql's variable resolution behavior, and make the
Tom Lane [Fri, 13 Nov 2009 22:43:42 +0000 (22:43 +0000)]
Add control knobs for plpgsql's variable resolution behavior, and make the
default be "throw error on conflict", as per discussions.  The GUC variable
is plpgsql.variable_conflict, with values "error", "use_variable",
"use_column".  The behavior can also be specified per-function by inserting
one of
#variable_conflict error
#variable_conflict use_variable
#variable_conflict use_column
at the start of the function body.

The 8.5 release notes will need to mention using "use_variable" to retain
backward-compatible behavior, although we should encourage people to migrate
to the much less mistake-prone "error" setting.

Update the plpgsql documentation to match this and other recent changes.

14 years agoA better fix for the "ARRAY[...]::domain" problem. The previous patch worked,
Heikki Linnakangas [Fri, 13 Nov 2009 19:48:20 +0000 (19:48 +0000)]
A better fix for the "ARRAY[...]::domain" problem. The previous patch worked,
but the transformed ArrayExpr claimed to have a return type of "domain",
even though the domain constraint was only checked by the enclosing
CoerceToDomain node. With this fix, the ArrayExpr is correctly labeled with
the base type of the domain. Per gripe by Tom Lane.

14 years agoWhen you do "ARRAY[...]::domain", where domain is a domain over an array type,
Heikki Linnakangas [Fri, 13 Nov 2009 16:09:10 +0000 (16:09 +0000)]
When you do "ARRAY[...]::domain", where domain is a domain over an array type,
we need to check domain constraints. We used to do it correctly, but 8.4
introduced a separate code path for the "ARRAY[]::arraytype" case to infer
the type of an empty ARRAY construct from the cast target, and forgot to take
domains into account.

Per report from Florian G. Pflug.

14 years agoFix multicolumn GIN's wrong results with fastupdate enabled.
Teodor Sigaev [Fri, 13 Nov 2009 11:17:04 +0000 (11:17 +0000)]
Fix multicolumn GIN's wrong results with fastupdate enabled.
User-defined consistent functions believes the check array
contains at least one true element which was not a true for
scanning pending list.

Per report from Yury Don <yura@vpcit.ru>

14 years agoThe recent patch to log changes in postgresql.conf settings dumped core
Tom Lane [Thu, 12 Nov 2009 18:20:23 +0000 (18:20 +0000)]
The recent patch to log changes in postgresql.conf settings dumped core
if the initial value of a string variable was NULL, which is entirely
possible.  Noted while experimenting with custom_variable_classes.

14 years agoCheck for C/POSIX before assuming that nl_langinfo or win32_langinfo
Tom Lane [Thu, 12 Nov 2009 03:37:15 +0000 (03:37 +0000)]
Check for C/POSIX before assuming that nl_langinfo or win32_langinfo
will work.  Per buildfarm results.

14 years agoMake initdb behave sanely when the selected locale has codeset "US-ASCII".
Tom Lane [Thu, 12 Nov 2009 02:46:16 +0000 (02:46 +0000)]
Make initdb behave sanely when the selected locale has codeset "US-ASCII".
Per discussion, this should result in defaulting to SQL_ASCII encoding.
The original coding could not support that because it conflated selection
of SQL_ASCII encoding with not being able to determine the encoding.
Adjust pg_get_encoding_from_locale()'s API to distinguish these cases,
and fix callers appropriately.  Only initdb actually changes behavior,
since the other callers were perfectly content to consider these cases
equivalent.

Per bug #5178 from Boh Yap.  Not going to bother back-patching, since
no one has complained before and there's an easy workaround (namely,
specify the encoding you want).

14 years agoRemove pg_parse_string_token() --- not needed anymore.
Tom Lane [Thu, 12 Nov 2009 01:13:12 +0000 (01:13 +0000)]
Remove pg_parse_string_token() --- not needed anymore.

14 years agoRemove plpgsql's separate lexer (finally!), in favor of using the core lexer
Tom Lane [Thu, 12 Nov 2009 00:13:00 +0000 (00:13 +0000)]
Remove plpgsql's separate lexer (finally!), in favor of using the core lexer
directly.  This was a lot of trouble, but should be worth it in terms of
not having to keep the plpgsql lexer in step with core anymore.  In addition
the handling of keywords is significantly better-structured, allowing us to
de-reserve a number of words that plpgsql formerly treated as reserved.

14 years agoIn psql \du, separate the role attributes by comma instead of newline,
Peter Eisentraut [Wed, 11 Nov 2009 21:07:41 +0000 (21:07 +0000)]
In psql \du, separate the role attributes by comma instead of newline,
for an arguably more pleasant display.

14 years agoChange "name" nonterminal in cursor-related productions to cursor_name.
Alvaro Herrera [Wed, 11 Nov 2009 20:31:26 +0000 (20:31 +0000)]
Change "name" nonterminal in cursor-related productions to cursor_name.

This is a preparatory patch for allowing a dynamic cursor name be used in the
ECPG grammar.

Author: Zoltan Boszormenyi

14 years agoDocument the previous FETCH and MOVE changes.
Alvaro Herrera [Wed, 11 Nov 2009 20:07:57 +0000 (20:07 +0000)]
Document the previous FETCH and MOVE changes.

14 years agoSupport optional FROM/IN in FETCH and MOVE
Alvaro Herrera [Wed, 11 Nov 2009 19:25:42 +0000 (19:25 +0000)]
Support optional FROM/IN in FETCH and MOVE

The main motivation for this is that it's required for Informix compatibility
in ECPG.

This patch makes the ECPG and core grammars a bit closer to one another for
these productions.

Author: Zoltan Boszormenyi

14 years agoDo not build psql's flex module on its own, but instead include it in
Tom Lane [Tue, 10 Nov 2009 23:12:13 +0000 (23:12 +0000)]
Do not build psql's flex module on its own, but instead include it in
mainloop.c.  This ensures that postgres_fe.h is read before including
any system headers, which is necessary to avoid problems on some platforms
where we make nondefault selections of feature macros for stdio.h or
other headers.  We have had this policy for flex modules in the backend
for many years, but for some reason it was not applied to psql.
Per trouble report from Alexandra Roy and diagnosis by Albe Laurenz.

14 years agoRevert the temporary patch to work around Snow Leopard readdir() bug.
Tom Lane [Tue, 10 Nov 2009 18:53:38 +0000 (18:53 +0000)]
Revert the temporary patch to work around Snow Leopard readdir() bug.
Apple has fixed that bug in 10.6.2, and we should encourage users to
update to that version rather than trusting this cosmetic patch.
As was recently noted by Stephen Tyler, this patch was only masking
the problem in the context of DROP TABLESPACE, but the failure could
occur in other places such as pg_xlog cleanup.

14 years agointerval_abs():
Bruce Momjian [Tue, 10 Nov 2009 18:41:24 +0000 (18:41 +0000)]
interval_abs():

Add C comment about why there is no interval_abs():  it is unclear what
value to return:

    http://archives.postgresql.org/pgsql-general/2009-10/msg01031.php
    http://archives.postgresql.org/pgsql-general/2009-11/msg00041.php

14 years agoFix longstanding problems in VACUUM caused by untimely interruptions
Alvaro Herrera [Tue, 10 Nov 2009 18:00:06 +0000 (18:00 +0000)]
Fix longstanding problems in VACUUM caused by untimely interruptions

In VACUUM FULL, an interrupt after the initial transaction has been recorded
as committed can cause postmaster to restart with the following error message:
PANIC: cannot abort transaction NNNN, it was already committed
This problem has been reported many times.

In lazy VACUUM, an interrupt after the table has been truncated by
lazy_truncate_heap causes other backends' relcache to still point to the
removed pages; this can cause future INSERT and UPDATE queries to error out
with the following error message:
could not read block XX of relation 1663/NNN/MMMM: read only 0 of 8192 bytes
The window to this race condition is extremely narrow, but it has been seen in
the wild involving a cancelled autovacuum process.

The solution for both problems is to inhibit interrupts in both operations
until after the respective transactions have been committed.  It's not a
complete solution, because the transaction could theoretically be aborted by
some other error, but at least fixes the most common causes of both problems.

14 years agoDIAGNOSTICS/FOUND wording
Bruce Momjian [Tue, 10 Nov 2009 14:22:45 +0000 (14:22 +0000)]
DIAGNOSTICS/FOUND wording

Update wording of GET DIAGNOSTICS/FOUND, per David Fetter.

14 years agoMore incremental refactoring in plpgsql: get rid of gram.y dependencies on
Tom Lane [Tue, 10 Nov 2009 02:13:13 +0000 (02:13 +0000)]
More incremental refactoring in plpgsql: get rid of gram.y dependencies on
yytext.  This is a necessary change if we're going to have a lexer interface
layer that does lookahead, since yytext won't necessarily be in step with
what the grammar thinks is the current token.  yylval and yylloc should
be the only side-variables that we need to manage when doing lookahead.

14 years agoPL/pgSQL FOUND
Bruce Momjian [Tue, 10 Nov 2009 02:09:54 +0000 (02:09 +0000)]
PL/pgSQL FOUND

Document that GET DIAGNOSTICS is affected by EXECUTE, while FOUND is
not.

14 years agoRe-refactor the core scanner's API, in order to get out from under the problem
Tom Lane [Mon, 9 Nov 2009 18:38:48 +0000 (18:38 +0000)]
Re-refactor the core scanner's API, in order to get out from under the problem
of different parsers having different YYSTYPE unions that they want to use
with it.  I defined a new union core_YYSTYPE that is just the (very short)
list of semantic values returned by the core scanner.  I had originally
worried that this would require an extra interface layer, but actually we can
have parser.c's base_yylex (formerly filtered_base_yylex) take care of that at
no extra cost.  Names associated with the core scanner are now "core_yy_foo",
with "base_yy_foo" being used in the core Bison parser and the parser.c
interface layer.

This solves the last serious stumbling block to eliminating plpgsql's separate
lexer.  One restriction that will still be present is that plpgsql and the
core will have to agree on the token numbers assigned to tokens that can be
returned by the core lexer.  Since Bison doesn't seem willing to accept
external assignments of those numbers, we'll have to live with decreeing that
core and plpgsql grammars declare these tokens first and in the same order.

14 years agoFix WHERE CURRENT OF to work as designed within plpgsql. The argument
Tom Lane [Mon, 9 Nov 2009 02:36:59 +0000 (02:36 +0000)]
Fix WHERE CURRENT OF to work as designed within plpgsql.  The argument
can be the name of a plpgsql cursor variable, which formerly was converted
to $N before the core parser saw it, but that's no longer the case.
Deal with plain name references to plpgsql variables, and add a regression
test case that exposes the failure.

14 years agoModernize plpgsql's handling of parse locations, making it look a lot more
Tom Lane [Mon, 9 Nov 2009 00:26:55 +0000 (00:26 +0000)]
Modernize plpgsql's handling of parse locations, making it look a lot more
like the core parser's code.  In particular, track locations at the character
rather than line level during parsing, allowing many more parse-time error
conditions to be reported with precise error pointers rather than just
"near line N".

Also, exploit the fact that we no longer need to substitute $N for variable
references by making extracted SQL queries and expressions be exact copies
of subranges of the function text, rather than having random whitespace
changes within them.  This makes it possible to directly map parse error
positions from the core parser onto positions in the function text, which
lets us report them without the previous kluge of showing the intermediate
internal-query form.  (Later it might be good to do that for core
parse-analysis errors too, but this patch is just touching plpgsql's
lexer/parser, not what happens at runtime.)

In passing, make plpgsql's lexer use palloc not malloc.

These changes make plpgsql's parse-time error reports noticeably nicer
(as illustrated by the regression test changes), and will also simplify
the planned removal of plpgsql's separate lexer by reducing the impedance
mismatch between what it does and what the core lexer does.

14 years agoRemove ancient text file containing plpgsql installation instructions.
Tom Lane [Sat, 7 Nov 2009 17:21:34 +0000 (17:21 +0000)]
Remove ancient text file containing plpgsql installation instructions.
This was long ago superseded by the standard build process and main
SGML documentation.

14 years agoRearrange plpgsql parsing to simplify and speed it up a bit.
Tom Lane [Sat, 7 Nov 2009 00:52:26 +0000 (00:52 +0000)]
Rearrange plpgsql parsing to simplify and speed it up a bit.

* Pull the responsibility for %TYPE and %ROWTYPE out of the scanner,
letting read_datatype manage it instead.

* Avoid unnecessary scanner-driven lookups of plpgsql variables in
places where it's not needed, which is actually most of the time;
we do not need it in DECLARE sections nor in text that is a SQL
query or expression.

* Rationalize the set of token types returned by the scanner:
distinguishing T_SCALAR, T_RECORD, T_ROW seems to complicate the grammar
in more places than it simplifies it, so merge these into one
token type T_DATUM; but split T_ERROR into T_DBLWORD and T_TRIPWORD
for clarity and simplicity of later processing.

Some of this will need to be revisited again when we try to make
plpgsql use the core scanner, but this patch gets some of the bigger
stumbling blocks out of the way.

14 years agoKeep track of language's trusted flag in InlineCodeBlock. Needed to support DO blocks...
Andrew Dunstan [Fri, 6 Nov 2009 21:57:57 +0000 (21:57 +0000)]
Keep track of language's trusted flag in InlineCodeBlock. Needed to support DO blocks for languages that have both trusted and untrusted variants.

14 years agoChange plpgsql from using textual substitution to insert variable references
Tom Lane [Fri, 6 Nov 2009 18:37:55 +0000 (18:37 +0000)]
Change plpgsql from using textual substitution to insert variable references
into SQL expressions, to using the newly added parser callback hooks.

This allows us to do the substitutions in a more semantically-aware way:
a variable reference will only be recognized where it can validly go,
ie, a place where a column value or parameter would be legal, instead of
the former behavior that would replace any textual match including
table names and column aliases (leading to syntax errors later on).
A release-note-worthy fine point is that plpgsql variable names that match
fully-reserved words will now need to be quoted.

This commit preserves the former behavior that variable references take
precedence over any possible match to a column name.  The infrastructure
is in place to support the reverse precedence or throwing an error on
ambiguity, but those behaviors aren't accessible yet.

Most of the code changes here are associated with making the namespace
data structure persist so that it can be consulted at runtime, instead
of throwing it away at the end of initial function parsing.

The plpgsql scanner is still doing name lookups, but that behavior is
now irrelevant for SQL expressions.  A future commit will deal with
removing unnecessary lookups.

14 years agoDon't treat NEW and OLD as reserved words anymore. For the purposes of rules
Tom Lane [Thu, 5 Nov 2009 23:24:27 +0000 (23:24 +0000)]
Don't treat NEW and OLD as reserved words anymore.  For the purposes of rules
it works just as well to have them be ordinary identifiers, and this gets rid
of a number of ugly special cases.  Plus we aren't interfering with non-rule
usage of these names.

catversion bump because the names change internally in stored rules.

14 years agoreenable -> re-enable
Peter Eisentraut [Thu, 5 Nov 2009 20:13:06 +0000 (20:13 +0000)]
reenable -> re-enable

Pointed out by Debian's lintian.

14 years agoRemove plpgsql's RENAME declaration, which has bizarre and mostly nonfunctional
Tom Lane [Thu, 5 Nov 2009 16:58:36 +0000 (16:58 +0000)]
Remove plpgsql's RENAME declaration, which has bizarre and mostly nonfunctional
behavior, and is so little used that no one has been interested in fixing it.
To ensure that possible uses are covered, remove the ALIAS declaration's
arbitrary restriction that only $n identifiers can be aliased.

(We could alternatively make RENAME act just like ALIAS, but per discussion
having two different ways to do the same thing is probably more confusing than
helpful.)

14 years agoAllow binary-coercible cases in ri_HashCompareOp; there are some such cases
Tom Lane [Thu, 5 Nov 2009 04:38:29 +0000 (04:38 +0000)]
Allow binary-coercible cases in ri_HashCompareOp; there are some such cases
that are not handled by find_coercion_pathway, notably composite->RECORD.
Now that 8.4 supports composites as primary keys, it's worth dealing with
this case.

14 years agoRename some encoding conversion modules to keep pathnames in our source
Tom Lane [Wed, 4 Nov 2009 23:47:04 +0000 (23:47 +0000)]
Rename some encoding conversion modules to keep pathnames in our source
tarballs under 100 characters.  This should avoid failures with certain
untarring tools (WinZip and Midnight Commander have been mentioned as
likely suspects).  Per my proposal of yesterday.
catversion bumped since the initial contents of pg_proc change.

14 years agoMake expression locations for LIKE and SIMILAR TO constructs uniformly point
Tom Lane [Wed, 4 Nov 2009 23:15:08 +0000 (23:15 +0000)]
Make expression locations for LIKE and SIMILAR TO constructs uniformly point
at the first keyword of the expression, rather than drawing a rather
artificial distinction between the ESCAPE subclause and the rest.
Per gripe from Gokulakannan Somasundaram and subsequent discusssion.

14 years agoAdd support for invoking parser callback hooks via SPI and in cached plans.
Tom Lane [Wed, 4 Nov 2009 22:26:08 +0000 (22:26 +0000)]
Add support for invoking parser callback hooks via SPI and in cached plans.

As proof of concept, modify plpgsql to use the hooks.  plpgsql is still
inserting $n symbols textually, but the "back end" of the parsing process now
goes through the ParamRef hook instead of using a fixed parameter-type array,
and then execution only fetches actually-referenced parameters, using a hook
added to ParamListInfo.

Although there's a lot left to be done in plpgsql, this already cures the
"if (TG_OP = 'INSERT' and NEW.foo ...)"  problem, as illustrated by the
changed regression test.

14 years agoDisable triggering failover with a signal in pg_standby on Windows, because
Heikki Linnakangas [Wed, 4 Nov 2009 12:51:30 +0000 (12:51 +0000)]
Disable triggering failover with a signal in pg_standby on Windows, because
Windows doesn't do signal processing like other platforms do. It never
really worked, but recent changes to the signal handling made it crash.

This fixes bug #4961. Patch by Fujii Masao.

14 years agoAllow rewriting ALTER TABLE to skip WAL logging.
Heikki Linnakangas [Wed, 4 Nov 2009 12:24:23 +0000 (12:24 +0000)]
Allow rewriting ALTER TABLE to skip WAL logging.

Itagaki Takahiro, with small changes by me and Simon.

14 years agoBuild bzip2 tarball in dist target as well
Peter Eisentraut [Tue, 3 Nov 2009 21:28:10 +0000 (21:28 +0000)]
Build bzip2 tarball in dist target as well

14 years agoFix regression tests for psql \d view patch
Peter Eisentraut [Tue, 3 Nov 2009 14:52:10 +0000 (14:52 +0000)]
Fix regression tests for psql \d view patch

14 years agoImprove PL/Python elog output
Peter Eisentraut [Tue, 3 Nov 2009 11:05:03 +0000 (11:05 +0000)]
Improve PL/Python elog output

When the elog functions (plpy.info etc.) get a single argument, just print
that argument instead of printing the single-member tuple like ('foo',).

14 years agoIn psql, show view definition only with \d+, not with \d
Peter Eisentraut [Tue, 3 Nov 2009 10:34:47 +0000 (10:34 +0000)]
In psql, show view definition only with \d+, not with \d

The rationale is that view definitions tend to be long and obscure the
main information about the view.

14 years agoFix obscure segfault condition in PL/Python
Peter Eisentraut [Tue, 3 Nov 2009 09:35:18 +0000 (09:35 +0000)]
Fix obscure segfault condition in PL/Python

In PLy_output(), when the elog() call in the TRY branch throws an exception
(this can happen when a statement timeout kicks in, for example), the
PyErr_SetString() call in the CATCH branch can cause a segfault, because the
Py_XDECREF(so) call before it releases memory that is still used by the sv
variable that PyErr_SetString() uses as argument, because sv points into
memory owned by so.

Backpatched back to 8.0, where this code was introduced.

I also threw in a couple of volatile declarations for variables that are used
before and after the TRY.  I don't think they caused the crash that I
observed, but they could become issues.

14 years agoDept of second thoughts: after studying index_getnext() a bit more I realize
Tom Lane [Sun, 1 Nov 2009 22:30:54 +0000 (22:30 +0000)]
Dept of second thoughts: after studying index_getnext() a bit more I realize
that it can scribble on scan->xs_ctup.t_self while following HOT chains,
so we can't rely on that to stay valid between hashgettuple() calls.
Introduce a private variable in HashScanOpaque, instead.

14 years agoFix two serious bugs introduced into hash indexes by the 8.4 patch that made
Tom Lane [Sun, 1 Nov 2009 21:25:25 +0000 (21:25 +0000)]
Fix two serious bugs introduced into hash indexes by the 8.4 patch that made
hash indexes keep entries sorted by hash value.  First, the original plans for
concurrency assumed that insertions would happen only at the end of a page,
which is no longer true; this could cause scans to transiently fail to find
index entries in the presence of concurrent insertions.  We can compensate
by teaching scans to re-find their position after re-acquiring read locks.
Second, neither the bucket split nor the bucket compaction logic had been
fixed to preserve hashvalue ordering, so application of either of those
processes could lead to permanent corruption of an index, in the sense
that searches might fail to find entries that are present.

This patch fixes the split and compaction logic to preserve hashvalue
ordering, but it cannot do anything about pre-existing corruption.  We will
need to recommend reindexing all hash indexes in the 8.4.2 release notes.

To buy back the performance loss hereby induced in split and compaction,
fix them to use PageIndexMultiDelete instead of retail PageIndexDelete
operations.  We might later want to do something with qsort'ing the
page contents rather than doing a binary search for each insertion,
but that seemed more invasive than I cared to risk in a back-patch.

Per bug #5157 from Jeff Janes and subsequent investigation.

14 years agoEnsure the previous Perl interpreter selection is restored upon exit from
Tom Lane [Sat, 31 Oct 2009 18:11:59 +0000 (18:11 +0000)]
Ensure the previous Perl interpreter selection is restored upon exit from
plperl_call_handler, in both the normal and error-exit paths.  Per report
from Alexey Klyukin.

14 years agoImplement parser hooks for processing ColumnRef and ParamRef nodes, as per my
Tom Lane [Sat, 31 Oct 2009 01:41:31 +0000 (01:41 +0000)]
Implement parser hooks for processing ColumnRef and ParamRef nodes, as per my
recent proposal.  As proof of concept, remove knowledge of Params from the
core parser, arranging for them to be handled entirely by parser hook
functions.  It turns out we need an additional hook for that --- I had
forgotten about the code that handles inferring a parameter's type from
context.

This is a preliminary step towards letting plpgsql handle its variables
through parser hooks.  Additional work remains to be done to expose the
facility through SPI, but I think this is all the changes needed in the core
parser.