OSDN Git Service

pg-rex/syncrep.git
13 years agoPrevent invoking I/O conversion casts via functional/attribute notation.
Tom Lane [Sun, 7 Nov 2010 18:03:19 +0000 (13:03 -0500)]
Prevent invoking I/O conversion casts via functional/attribute notation.

PG 8.4 added a built-in feature for casting pretty much any data type to
string types (text, varchar, etc).  We allowed this to work in any of the
historically-allowed syntaxes: CAST(x AS text), x::text, text(x), or
x.text.  However, multiple complaints have shown that it's too easy to
invoke such casts unintentionally in the latter two styles, particularly
field selection.  To cure the problem with the narrowest possible change
of behavior, disallow use of I/O conversion casts from composite types to
string types via functional/attribute syntax.  The new functionality is
still available via cast syntax.

In passing, document the equivalence of functional and attribute syntax
in a more visible place.

13 years agoImplement an "S" option for psql's \dn command.
Tom Lane [Sun, 7 Nov 2010 01:41:14 +0000 (21:41 -0400)]
Implement an "S" option for psql's \dn command.

\dn without "S" now hides all pg_XXX schemas as well as information_schema.
Thus, in a bare database you'll only see "public".  ("public" is considered
a user schema, not a system schema, mainly because it's droppable.)
Per discussion back in late September.

13 years agoAdd support for detecting register-stack overrun on IA64.
Tom Lane [Sat, 6 Nov 2010 23:36:29 +0000 (19:36 -0400)]
Add support for detecting register-stack overrun on IA64.

Per recent investigation, the register stack can grow faster than the
regular stack depending on compiler and choice of options.  To avoid
crashes we must check both stacks in check_stack_depth().

Since this is poorly-tested code, committing only to HEAD for the
moment ... but we might want to consider back-patching later.

13 years agoMake get_stack_depth_rlimit() handle RLIM_INFINITY more sanely.
Tom Lane [Sat, 6 Nov 2010 20:50:18 +0000 (16:50 -0400)]
Make get_stack_depth_rlimit() handle RLIM_INFINITY more sanely.

Rather than considering this result as meaning "unknown", report LONG_MAX.
This won't change what superusers can set max_stack_depth to, but it will
cause InitializeGUCOptions() to set the built-in default to 2MB not 100kB.
The latter seems like a fairly unreasonable interpretation of "infinity".
Per my investigation of odd buildfarm results as well as an old complaint
from Heikki.

Since this should persuade all the buildfarm animals to use a reasonable
stack depth setting during "make check", revert previous patch that dumbed
down a recursive regression test to only 5 levels.

13 years agoInclude the current value of max_stack_depth in stack depth complaints.
Tom Lane [Thu, 4 Nov 2010 21:15:38 +0000 (17:15 -0400)]
Include the current value of max_stack_depth in stack depth complaints.

I'm mainly interested in finding out what it is on buildfarm machines,
but including the active value in the message seems like good practice
in any case.  Add the info to the HINT, not the ERROR string, so as not
to change the regression tests' expected output.

13 years agoAllow moddatetime's target column to be of type timestamptz.
Tom Lane [Thu, 4 Nov 2010 20:34:47 +0000 (16:34 -0400)]
Allow moddatetime's target column to be of type timestamptz.

Dirk Heinrichs

13 years agoUse appendStringInfoString() where appropriate in elog.c.
Tom Lane [Thu, 4 Nov 2010 19:28:35 +0000 (15:28 -0400)]
Use appendStringInfoString() where appropriate in elog.c.

The nominally equivalent call appendStringInfo(buf, "%s", str) can be
significantly slower when str is large.  In particular, the former usage in
EVALUATE_MESSAGE led to O(N^2) behavior when collecting a large number of
context lines, as I found out while testing recursive functions.  The other
changes are just neatnik-ism and seem unlikely to save anything meaningful,
but a cycle shaved is a cycle earned.

13 years agoReimplement planner's handling of MIN/MAX aggregate optimization.
Tom Lane [Thu, 4 Nov 2010 16:01:17 +0000 (12:01 -0400)]
Reimplement planner's handling of MIN/MAX aggregate optimization.

Per my recent proposal, get rid of all the direct inspection of indexes
and manual generation of paths in planagg.c.  Instead, set up
EquivalenceClasses for the aggregate argument expressions, and let the
regular path generation logic deal with creating paths that can satisfy
those sort orders.  This makes planagg.c a bit more visible to the rest
of the planner than it was originally, but the approach is basically a lot
cleaner than before.  A major advantage of doing it this way is that we get
MIN/MAX optimization on inheritance trees (using MergeAppend of indexscans)
practically for free, whereas in the old way we'd have had to add a whole
lot more duplicative logic.

One small disadvantage of this approach is that MIN/MAX aggregates can no
longer exploit partial indexes having an "x IS NOT NULL" predicate, unless
that restriction or something that implies it is specified in the query.
The previous implementation was able to use the added "x IS NOT NULL"
condition as an extra predicate proof condition, but in this version we
rely entirely on indexes that are considered usable by the main planning
process.  That seems a fair tradeoff for the simplicity and functionality
gained.

13 years agoReduce recursion depth in recently-added regression test.
Tom Lane [Wed, 3 Nov 2010 17:41:46 +0000 (13:41 -0400)]
Reduce recursion depth in recently-added regression test.

Some buildfarm members fail the test with the original depth of 10 levels,
apparently because they are running at the minimum max_stack_depth setting
of 100kB and using ~ 10k per recursion level.  While it might be
interesting to try to figure out why they're eating so much stack, it isn't
likely that any fix for that would be back-patchable.  So just change the
test to recurse only 5 levels.  The extra levels don't prove anything
correctness-wise anyway.

13 years agoUse only one hash entry for all instances of a pltcl trigger function.
Tom Lane [Wed, 3 Nov 2010 16:26:55 +0000 (12:26 -0400)]
Use only one hash entry for all instances of a pltcl trigger function.

Like plperl and unlike plpgsql, there isn't any cached state that could
depend on exactly which relation the trigger is being fired for.  So we
can use just one hash entry for all relations, which might save a little
something.

Alex Hunsaker

13 years agoPrint a make warning when using GNU make older than 3.80
Peter Eisentraut [Wed, 3 Nov 2010 15:30:59 +0000 (17:30 +0200)]
Print a make warning when using GNU make older than 3.80

A proposed patch will require GNU make 3.80 or newer.  We will let this patch
run for a while to see how much damage that would do to the buildfarm.

13 years agoFix adjust_semi_join to be more cautious about clauseless joins.
Tom Lane [Tue, 2 Nov 2010 22:45:36 +0000 (18:45 -0400)]
Fix adjust_semi_join to be more cautious about clauseless joins.

It was reporting that these were fully indexed (hence cheap), when of
course they're the exact opposite of that.  I'm not certain if the case
would arise in practice, since a clauseless semijoin is hard to produce
in SQL, but if it did happen we'd make some dumb decisions.

13 years agoFix buffer overrun in pg_upgrade.
Tom Lane [Tue, 2 Nov 2010 21:31:41 +0000 (17:31 -0400)]
Fix buffer overrun in pg_upgrade.

Problem reported, and cause identified, by Hernan Gonzalez.

13 years agoEnsure an index that uses a whole-row Var still depends on its table.
Tom Lane [Tue, 2 Nov 2010 21:15:07 +0000 (17:15 -0400)]
Ensure an index that uses a whole-row Var still depends on its table.

We failed to record any dependency on the underlying table for an index
declared like "create index i on t (foo(t.*))".  This would create trouble
if the table were dropped without previously dropping the index.  To fix,
simplify some overly-cute code in index_create(), accepting the possibility
that sometimes the whole-table dependency will be redundant.  Also document
this hazard in dependency.c.  Per report from Kevin Grittner.

In passing, prevent a core dump in pg_get_indexdef() if the index's table
can't be found.  I came across this while experimenting with Kevin's
example.  Not sure it's a real issue when the catalogs aren't corrupt, but
might as well be cautious.

Back-patch to all supported versions.

13 years agoSome cleanup in ecpg code:
Michael Meskes [Tue, 2 Nov 2010 17:12:01 +0000 (18:12 +0100)]
Some cleanup in ecpg code:

Use bool as type for booleans instead of int.
Do not implicitely cast size_t to int.
Make the compiler stop complaining about unused variables by adding an empty statement.

13 years agoBootstrap WAL to begin at segment logid=0 logseg=1 (000000010000000000000001)
Heikki Linnakangas [Tue, 2 Nov 2010 09:23:43 +0000 (11:23 +0200)]
Bootstrap WAL to begin at segment logid=0 logseg=1 (000000010000000000000001)
rather than 0/0, so that we can safely use 0/0 as an invalid value. This is a
more future-proof fix for the corner-case bug in streaming replication that
was fixed yesterday. We had a similar corner-case bug with log/seg 0/0 back in
February as well. Avoiding 0/0 as a valid value should prevent bugs like that
in the future. Per Tom Lane's idea.

Back-patch to 9.0. Since this only affects bootstrapping, it makes no
difference to existing installations. We don't need to worry about the
bug in existing installations, because if you've managed to get past the
initial base backup already, you won't hit the bug in the future either.

13 years agoAvoid using a local FunctionCallInfoData struct in ExecMakeFunctionResult
Tom Lane [Mon, 1 Nov 2010 17:54:21 +0000 (13:54 -0400)]
Avoid using a local FunctionCallInfoData struct in ExecMakeFunctionResult
and related routines.

We already had a redundant FunctionCallInfoData struct in FuncExprState,
but were using that copy only in set-returning-function cases, to avoid
keeping function evaluation state in the expression tree for the benefit
of plpgsql's "simple expression" logic.  But of course that didn't work
anyway.  Given the recent fixes in plpgsql there is no need to have two
separate behaviors here.  Getting rid of the local FunctionCallInfoData
structs should make things a little faster (because we don't need to do
InitFunctionCallInfoData each time), and it also makes for a noticeable
reduction in stack space consumption during recursive calls.

13 years agoFix corner-case bug in tracking of latest removed WAL segment during
Heikki Linnakangas [Mon, 1 Nov 2010 07:56:45 +0000 (09:56 +0200)]
Fix corner-case bug in tracking of latest removed WAL segment during
streaming replication. We used log/seg 0/0 to indicate that no WAL segments
have been removed since startup, but 0/0 is a valid value for the very first
WAL segment after initdb. To make that disambiguous, store
(latest removed WAL segment + 1) in the global variable.

Per report from Matt Chesler, also reproduced by Greg Smith.

13 years agoRevert removal of trigger flag from plperl function hash key.
Tom Lane [Sun, 31 Oct 2010 15:42:51 +0000 (11:42 -0400)]
Revert removal of trigger flag from plperl function hash key.

As noted by Jan Urbanski, this flag is in fact needed to ensure that the
function's input/result conversion functions are set up as expected.

Add a regression test to discourage anyone from making same mistake
in future.

13 years agoProvide hashing support for arrays.
Tom Lane [Sun, 31 Oct 2010 01:55:20 +0000 (21:55 -0400)]
Provide hashing support for arrays.

The core of this patch is hash_array() and associated typcache
infrastructure, which works just about exactly like the existing support
for array comparison.

In addition I did some work to ensure that the planner won't think that an
array type is hashable unless its element type is hashable, and similarly
for sorting.  This includes adding a datatype parameter to op_hashjoinable
and op_mergejoinable, and adding an explicit "hashable" flag to
SortGroupClause.  The lack of a cross-check on the element type was a
pre-existing bug in mergejoin support --- but it didn't matter so much
before, because if you couldn't sort the element type there wasn't any good
alternative to failing anyhow.  Now that we have the alternative of hashing
the array type, there are cases where we can avoid a failure by being picky
at the planner stage, so it's time to be picky.

The issue of exactly how to combine the per-element hash values to produce
an array hash is still open for discussion, but the rest of this is pretty
solid, so I'll commit it as-is.

13 years agoChange version number in release notes to 9.1alpha2
Peter Eisentraut [Sat, 30 Oct 2010 20:37:36 +0000 (23:37 +0300)]
Change version number in release notes to 9.1alpha2

13 years agoLast-minute updates to 9.1alpha2 release notes
Peter Eisentraut [Sat, 30 Oct 2010 19:34:20 +0000 (22:34 +0300)]
Last-minute updates to 9.1alpha2 release notes

13 years agoFix comparisons of pointers with zero to compare with NULL instead.
Tom Lane [Fri, 29 Oct 2010 19:51:52 +0000 (15:51 -0400)]
Fix comparisons of pointers with zero to compare with NULL instead.

Per C standard, these are semantically the same thing; but saying NULL
when you mean NULL is good for readability.

Marti Raudsepp, per results of INRIA's Coccinelle.

13 years agoOops, missed one fix for EquivalenceClass rearrangement.
Tom Lane [Fri, 29 Oct 2010 18:44:49 +0000 (14:44 -0400)]
Oops, missed one fix for EquivalenceClass rearrangement.

Now that we're expecting a mergeclause's left_ec/right_ec to persist from
the initial assignments, we can't just blithely zero these out when
transforming such a clause in adjust_appendrel_attrs.  But really it should
be okay to keep the parent's values, since a child table's derived Var
ought to be equivalent to the parent Var for all EquivalenceClass purposes.
(Indeed, I'm wondering whether we couldn't find a way to dispense with
add_child_rel_equivalences altogether.  But this is wrong in any case.)

13 years agoAvoid creation of useless EquivalenceClasses during planning.
Tom Lane [Fri, 29 Oct 2010 15:52:16 +0000 (11:52 -0400)]
Avoid creation of useless EquivalenceClasses during planning.

Zoltan Boszormenyi exhibited a test case in which planning time was
dominated by construction of EquivalenceClasses and PathKeys that had no
actual relevance to the query (and in fact got discarded immediately).
This happened because we generated PathKeys describing the sort ordering of
every index on every table in the query, and only after that checked to see
if the sort ordering was relevant.  The EC/PK construction code is O(N^2)
in the number of ECs, which is all right for the intended number of such
objects, but it gets out of hand if there are ECs for lots of irrelevant
indexes.

To fix, twiddle the handling of mergeclauses a little bit to ensure that
every interesting EC is created before we begin path generation.  (This
doesn't cost anything --- in fact I think it's a bit cheaper than before
--- since we always eventually created those ECs anyway.)  Then, if an
index column can't be found in any pre-existing EC, we know that that sort
ordering is irrelevant for the query.  Instead of creating a useless EC,
we can just not build a pathkey for the index column in the first place.
The index will still be considered if it's useful for non-order-related
reasons, but we will think of its output as unsorted.

13 years agoGive a more specific error message if you try to COMMIT, ROLLBACK or COPY
Heikki Linnakangas [Fri, 29 Oct 2010 08:41:28 +0000 (11:41 +0300)]
Give a more specific error message if you try to COMMIT, ROLLBACK or COPY
FROM STDIN in PL/pgSQL. We alread did this for dynamic EXECUTE statements,
ie. "EXECUTE 'COMMIT'", but not otherwise.

13 years agoAllow generic record arguments to plperl functions
Andrew Dunstan [Fri, 29 Oct 2010 00:48:12 +0000 (20:48 -0400)]
Allow generic record arguments to plperl functions

13 years agoAdd tab completion for psql \dg and \z
Peter Eisentraut [Thu, 28 Oct 2010 20:05:28 +0000 (23:05 +0300)]
Add tab completion for psql \dg and \z

Josh Kupershmidt

13 years agoMake \? output of \dg and \du the same
Peter Eisentraut [Thu, 28 Oct 2010 20:01:45 +0000 (23:01 +0300)]
Make \? output of \dg and \du the same

The previous wording might have suggested that \du only showed login roles
and \dg only group roles, but that is no longer the case.

proposed by Josh Kupershmidt

13 years agoSave a few cycles in plpgsql simple-expression initialization.
Tom Lane [Thu, 28 Oct 2010 17:29:13 +0000 (13:29 -0400)]
Save a few cycles in plpgsql simple-expression initialization.

Instead of using ExecPrepareExpr, call ExecInitExpr.  The net change here
is that we don't apply expression_planner() to the expression tree.  There
is no need to do so, because that tree is extracted from a fully planned
plancache entry, so all the needed work is already done.  This reduces
the setup costs by about a factor of 2 according to some simple tests.
Oversight noted while fooling around with the simple-expression code for
previous fix.

13 years agoFix plpgsql's handling of "simple" expression evaluation.
Tom Lane [Thu, 28 Oct 2010 17:00:54 +0000 (13:00 -0400)]
Fix plpgsql's handling of "simple" expression evaluation.

In general, expression execution state trees aren't re-entrantly usable,
since functions can store private state information in them.
For efficiency reasons, plpgsql tries to cache and reuse state trees for
"simple" expressions.  It can get away with that most of the time, but it
can fail if the state tree is dirty from a previous failed execution (as
in an example from Alvaro) or is being used recursively (as noted by me).

Fix by tracking whether a state tree is in use, and falling back to the
"non-simple" code path if so.  This results in a pretty considerable speed
hit when the non-simple path is taken, but the available alternatives seem
even more unpleasant because they add overhead in the simple path.  Per
idea from Heikki.

Back-patch to all supported branches.

13 years agoRelease notes for 9.1alpha2
Peter Eisentraut [Thu, 28 Oct 2010 14:42:58 +0000 (17:42 +0300)]
Release notes for 9.1alpha2

13 years agoRemove obsolete release-alpha.sgml
Peter Eisentraut [Thu, 28 Oct 2010 14:40:56 +0000 (17:40 +0300)]
Remove obsolete release-alpha.sgml

This was only used while the final release notes for 9.0 were being prepared.
The alpha release notes are now in release-9.1.sgml.

13 years agoRemove tabs from SGML
Peter Eisentraut [Thu, 28 Oct 2010 14:40:27 +0000 (17:40 +0300)]
Remove tabs from SGML

13 years agoRevert "Correct WAL space calculation formula in docs."
Robert Haas [Thu, 28 Oct 2010 01:24:02 +0000 (21:24 -0400)]
Revert "Correct WAL space calculation formula in docs."

This reverts commit 915116bc62db2aaec7001bde6610128f4cbd29f9.

Per discussion, the previous formula was in fact correct.

http://archives.postgresql.org/pgsql-docs/2010-10/msg00038.php

13 years agoReorganize OS-specific details about write caching into a list.
Robert Haas [Thu, 28 Oct 2010 01:19:11 +0000 (21:19 -0400)]
Reorganize OS-specific details about write caching into a list.

Along the way, clarify that sdparm can be used on Linux as well as FreeBSD.

13 years agoPrevious patch had no detectable virtue other than being a one-liner.
Tom Lane [Wed, 27 Oct 2010 19:26:24 +0000 (15:26 -0400)]
Previous patch had no detectable virtue other than being a one-liner.

Try to make the code look self-consistent again, so it doesn't confuse
future developers.

13 years agoFix long-standing segfault when accept() or one of the calls made right
Heikki Linnakangas [Wed, 27 Oct 2010 17:03:00 +0000 (20:03 +0300)]
Fix long-standing segfault when accept() or one of the calls made right
after accepting a connection fails, and the server is compiled with GSSAPI
support. Report and patch by Alexander V. Chernikov, bug #5731.

13 years agoFix up some oversights in psql's Unicode-escape support.
Tom Lane [Wed, 27 Oct 2010 02:23:04 +0000 (22:23 -0400)]
Fix up some oversights in psql's Unicode-escape support.

Original patch failed to include new exclusive states in a switch that
needed to include them; and also was guilty of very fuzzy thinking
about how to handle error cases.  Per bug #5729 from Alan Choi.

13 years agoNote that effective_io_concurrency only affects bitmap heap scans.
Robert Haas [Wed, 27 Oct 2010 01:44:14 +0000 (21:44 -0400)]
Note that effective_io_concurrency only affects bitmap heap scans.

Josh Kupershmidt

13 years agoAdd a client authentication hook.
Robert Haas [Wed, 27 Oct 2010 01:20:02 +0000 (21:20 -0400)]
Add a client authentication hook.

KaiGai Kohei, with minor cleanup of the comments by me.

13 years agoMinor fixups for psql's process_file() function.
Robert Haas [Tue, 26 Oct 2010 23:28:18 +0000 (19:28 -0400)]
Minor fixups for psql's process_file() function.

- Avoid closing stdin, since we didn't open it.  Previously multiple
inclusions of stdin would be terminated with a single quit, now a separate
quit is needed for each invocation. Previous behavior also accessed stdin
after it was fclose()d, which is undefined behavior per ANSI C.

- Properly restore pset.inputfile, since the caller expects to be able
to free that memory.

Marti Raudsepp

13 years agoNote explicitly that hash indexes are also not replicated because they're not
Heikki Linnakangas [Tue, 26 Oct 2010 19:50:31 +0000 (22:50 +0300)]
Note explicitly that hash indexes are also not replicated because they're not
WAL-logged. Make the notice about the lack of WAL-logging more visible by
making it a <caution>. Also remove the false statement from hot standby
caveats section that hash indexes are not used during hot standby.

13 years agoFix dumb typo in SECURITY LABEL error message.
Robert Haas [Tue, 26 Oct 2010 18:54:31 +0000 (14:54 -0400)]
Fix dumb typo in SECURITY LABEL error message.

Report by Peter Eisentraut.

13 years agoBefore removing backup_label and irrevocably changing pg_control file, check
Heikki Linnakangas [Tue, 26 Oct 2010 18:15:42 +0000 (21:15 +0300)]
Before removing backup_label and irrevocably changing pg_control file, check
that WAL file containing the checkpoint redo-location can be found. This
avoids making the cluster irrecoverable if the redo location is in an earlie
WAL file than the checkpoint record.

Report, analysis and patch by Jeff Davis, with small changes by me.

13 years agoAdd missing newlines at end of files
Peter Eisentraut [Tue, 26 Oct 2010 17:11:43 +0000 (20:11 +0300)]
Add missing newlines at end of files

13 years agoFix typos "are are".
Itagaki Takahiro [Tue, 26 Oct 2010 08:15:17 +0000 (17:15 +0900)]
Fix typos "are are".

13 years agoAdd .gitignore for contrib/uuid-ossp.
Itagaki Takahiro [Tue, 26 Oct 2010 03:25:34 +0000 (12:25 +0900)]
Add .gitignore for contrib/uuid-ossp.

13 years agoRefactor typenameTypeId()
Peter Eisentraut [Mon, 25 Oct 2010 18:40:46 +0000 (21:40 +0300)]
Refactor typenameTypeId()

Split the old typenameTypeId() into two functions: A new typenameTypeId() that
returns only a type OID, and typenameTypeIdAndMod() that returns type OID and
typmod.  This isolates call sites better that actually care about the typmod.

13 years agoFix overly-enthusiastic Assert in printing of Param reference expressions.
Tom Lane [Mon, 25 Oct 2010 18:25:10 +0000 (14:25 -0400)]
Fix overly-enthusiastic Assert in printing of Param reference expressions.

A NestLoopParam's value can only be a Var or Aggref, but this isn't the
case in general for SubPlan parameters, so print_parameter_expr had better
be prepared to cope.  Brain fade in my recent patch to print the referenced
expression instead of just printing $N for PARAM_EXEC Params.  Per report
from Pavel Stehule.

13 years agoFix inline_set_returning_function() to preserve the invalItems list properly.
Tom Lane [Mon, 25 Oct 2010 17:04:37 +0000 (13:04 -0400)]
Fix inline_set_returning_function() to preserve the invalItems list properly.

This avoids a possible crash when inlining a SRF whose argument list
contains a reference to an inline-able user function.  The crash is quite
reproducible with CLOBBER_FREED_MEMORY enabled, but would be less certain
in a production build.  Problem introduced in 9.0 by the named-arguments
patch, which requires invoking eval_const_expressions() before we can try
to inline a SRF.  Per report from Brendan Jurd.

13 years agofind -path is not portable, so use grep -v instead.
Alvaro Herrera [Mon, 25 Oct 2010 12:24:02 +0000 (09:24 -0300)]
find -path is not portable, so use grep -v instead.

Per previous failure of buildfarm member koi (which is no longer
failing, alas).

13 years agoWork around rounding misbehavior exposed by buildfarm.
Tom Lane [Mon, 25 Oct 2010 05:13:22 +0000 (01:13 -0400)]
Work around rounding misbehavior exposed by buildfarm.

13 years agoRemove unnecessary use of trigger flag to hash plperl functions
Andrew Dunstan [Mon, 25 Oct 2010 03:53:44 +0000 (23:53 -0400)]
Remove unnecessary use of trigger flag to hash plperl functions

13 years agoAllow new values to be added to an existing enum type.
Tom Lane [Mon, 25 Oct 2010 03:04:37 +0000 (23:04 -0400)]
Allow new values to be added to an existing enum type.

After much expenditure of effort, we've got this to the point where the
performance penalty is pretty minimal in typical cases.

Andrew Dunstan, reviewed by Brendan Jurd, Dean Rasheed, and Tom Lane

13 years agoSupport suffix matching of host names in pg_hba.conf
Peter Eisentraut [Sun, 24 Oct 2010 12:54:00 +0000 (15:54 +0300)]
Support suffix matching of host names in pg_hba.conf

A name starting with a dot can be used to match a suffix of the actual
host name (e.g., .example.com matches foo.example.com).

13 years agoCorrect a mistake in levenshtein_less_equal() multibyte character handling.
Robert Haas [Fri, 22 Oct 2010 19:27:39 +0000 (15:27 -0400)]
Correct a mistake in levenshtein_less_equal() multibyte character handling.

Spotted by Alexander Korotkov.

Along the way, remove a misleading comment line.

13 years agoAdd semicolon, missed in previous patch. And update the keyword list in
Heikki Linnakangas [Fri, 22 Oct 2010 15:38:31 +0000 (18:38 +0300)]
Add semicolon, missed in previous patch. And update the keyword list in
the docs to reflect that OFF is now unreserved. Spotted by Tom Lane.

13 years agoMake OFF keyword unreserved. It's not hard to imagine wanting to use 'off'
Heikki Linnakangas [Fri, 22 Oct 2010 14:37:38 +0000 (17:37 +0300)]
Make OFF keyword unreserved. It's not hard to imagine wanting to use 'off'
as a variable or column name, and it's not reserved in recent versions of
the SQL spec either. This became particularly annoying in 9.0, before that
PL/pgSQL replaced variable names in queries with parameter markers, so
it was possible to use OFF and many other backend parser keywords as
variable names. Because of that, backpatch to 9.0.

13 years agoMention limited usefulness of .pgpass database field.
Bruce Momjian [Thu, 21 Oct 2010 21:46:42 +0000 (21:46 +0000)]
Mention limited usefulness of .pgpass database field.

13 years agoImprove handling of domains over arrays.
Tom Lane [Thu, 21 Oct 2010 20:07:17 +0000 (16:07 -0400)]
Improve handling of domains over arrays.

This patch eliminates various bizarre behaviors caused by sloppy thinking
about the difference between a domain type and its underlying array type.
In particular, the operation of updating one element of such an array
has to be considered as yielding a value of the underlying array type,
*not* a value of the domain, because there's no assurance that the
domain's CHECK constraints are still satisfied.  If we're intending to
store the result back into a domain column, we have to re-cast to the
domain type so that constraints are re-checked.

For similar reasons, such a domain can't be blindly matched to an ANYARRAY
polymorphic parameter, because the polymorphic function is likely to apply
array-ish operations that could invalidate the domain constraints.  For the
moment, we just forbid such matching.  We might later wish to insert an
automatic downcast to the underlying array type, but such a change should
also change matching of domains to ANYELEMENT for consistency.

To ensure that all such logic is rechecked, this patch removes the original
hack of setting a domain's pg_type.typelem field to match its base type;
the typelem will always be zero instead.  In those places where it's really
okay to look through the domain type with no other logic changes, use the
newly added get_base_element_type function in place of get_element_type.
catversion bumped due to change in pg_type contents.

Per bug #5717 from Richard Huxton and subsequent discussion.

13 years agoRemove obsolete comment, per Josh Kupershmidt.
Tom Lane [Wed, 20 Oct 2010 21:05:15 +0000 (17:05 -0400)]
Remove obsolete comment, per Josh Kupershmidt.

13 years agoClean up pg_upgrade cache lookup code; remove useless NULL pointer tests.
Bruce Momjian [Wed, 20 Oct 2010 20:02:00 +0000 (20:02 +0000)]
Clean up pg_upgrade cache lookup code;  remove useless NULL pointer tests.

13 years agoIf pk is NULL, the backend would segfault when accessing ->algo and the
Heikki Linnakangas [Wed, 20 Oct 2010 19:20:33 +0000 (22:20 +0300)]
If pk is NULL, the backend would segfault when accessing ->algo and the
following NULL check was never reached.

This problem was found by Coccinelle (null_ref.cocci from coccicheck).

Marti Raudsepp

13 years agoDon't try to fetch database name when SetTransactionIdLimit() is executed
Tom Lane [Wed, 20 Oct 2010 16:48:51 +0000 (12:48 -0400)]
Don't try to fetch database name when SetTransactionIdLimit() is executed
outside a transaction.

This repairs brain fade in my patch of 2009-08-30: the reason we had been
storing oldest-database name, not OID, in ShmemVariableCache was of course
to avoid having to do a catalog lookup at times when it might be unsafe.

This error explains why Aleksandr Dushein is having trouble getting out of
an XID wraparound state in bug #5718, though not how he got into that state
in the first place.  I suspect pg_upgrade is at fault there.

13 years agoRemove AtStart_Cache() call in CommandCounterIncrement().
Alvaro Herrera [Mon, 18 Oct 2010 02:08:30 +0000 (23:08 -0300)]
Remove AtStart_Cache() call in CommandCounterIncrement().

This call was present in the aboriginal code from Berkeley, and has
never been touched; it may very well be that it was there to mask
effects of bugs in other places and it may no longer be necessary.
The removal has been foreseen in a code comment since 2007; this seems
to be a good time to test this hypothesis.

13 years agoFix ecpg test building process to not generate *.dSYM junk on Macs.
Tom Lane [Wed, 20 Oct 2010 04:54:58 +0000 (00:54 -0400)]
Fix ecpg test building process to not generate *.dSYM junk on Macs.

The trick is to not try to build executables directly from .c files,
but to always build the intermediate .o files.  For obscure reasons,
Darwin's version of gcc will leave debug cruft behind in the first
case but not the second.  Per complaint from Robert Haas.

13 years agoAdd some caveats to the contrib/isn docs.
Robert Haas [Wed, 20 Oct 2010 02:46:55 +0000 (22:46 -0400)]
Add some caveats to the contrib/isn docs.

13 years agoUpdates to contrib/isn ISBN tables.
Robert Haas [Wed, 20 Oct 2010 02:24:33 +0000 (22:24 -0400)]
Updates to contrib/isn ISBN tables.

Jan Otto, reviewed by Peter Geoghegan

13 years agoRename pg_upgrade 'log' to 'log_opts', to avoid platform naming conflict.
Bruce Momjian [Wed, 20 Oct 2010 02:31:17 +0000 (02:31 +0000)]
Rename pg_upgrade 'log' to 'log_opts', to avoid platform naming conflict.

13 years agoFurther speed up pg_upgrade lookups.
Bruce Momjian [Wed, 20 Oct 2010 02:05:43 +0000 (02:05 +0000)]
Further speed up pg_upgrade lookups.

13 years agoUpdate storage.sgml to describe the 9.0 tablespace directory layout.
Tom Lane [Wed, 20 Oct 2010 01:52:59 +0000 (21:52 -0400)]
Update storage.sgml to describe the 9.0 tablespace directory layout.

13 years agoFix for new pg_upgrade cache code.
Bruce Momjian [Wed, 20 Oct 2010 01:24:31 +0000 (01:24 +0000)]
Fix for new pg_upgrade cache code.

13 years agoCache most recent relfilenode lookups, for speed, after report of
Bruce Momjian [Wed, 20 Oct 2010 00:55:16 +0000 (00:55 +0000)]
Cache most recent relfilenode lookups, for speed, after report of
pg_upgrade slowness for 150k tables.

13 years agoIn pg_upgrade, use cached copy of directory listing, rather than calling
Bruce Momjian [Wed, 20 Oct 2010 00:33:19 +0000 (00:33 +0000)]
In pg_upgrade, use cached copy of directory listing, rather than calling
scandir() with a pattern for every table.

Optimization after report of pg_upgrade slowness with 150k tables.

13 years agoPgindent run on pg_upgrade source after restructuring.
Bruce Momjian [Tue, 19 Oct 2010 22:37:04 +0000 (22:37 +0000)]
Pgindent run on pg_upgrade source after restructuring.

13 years agoRestructure the pg_upgrade code to use several global structures rather
Bruce Momjian [Tue, 19 Oct 2010 21:38:16 +0000 (21:38 +0000)]
Restructure the pg_upgrade code to use several global structures rather
than packing everything into 'ctx' and passing that to every function.

13 years agoFix incorrect generation of whole-row variables in planner.
Tom Lane [Tue, 19 Oct 2010 19:08:37 +0000 (15:08 -0400)]
Fix incorrect generation of whole-row variables in planner.

A couple of places in the planner need to generate whole-row Vars, and were
cutting corners by setting vartype = RECORDOID in the Vars, even in cases
where there's an identifiable named composite type for the RTE being
referenced.  While we mostly got away with this, it failed when there was
also a parser-generated whole-row reference to the same RTE, because the
two Vars weren't equal() due to the difference in vartype.  Fix by
providing a subroutine the planner can call to generate whole-row Vars
the same way the parser does.

Per bug #5716 from Andrew Tipton.  Back-patch to 9.0 where one of the bogus
calls was introduced (the other one is new in HEAD).

13 years agoIn pg_upgrade, rename SHELL_EXT to SCRIPT_EXT, for clarity.
Bruce Momjian [Tue, 19 Oct 2010 15:57:55 +0000 (15:57 +0000)]
In pg_upgrade, rename SHELL_EXT to SCRIPT_EXT, for clarity.

13 years agoAdd removal of PG_VERSION to optional old cluster deletion script.
Bruce Momjian [Tue, 19 Oct 2010 15:52:43 +0000 (15:52 +0000)]
Add removal of PG_VERSION to optional old cluster deletion script.
Backpatch to 9.0.X.

13 years agoAdd mention of using tools/fsync to test fsync methods. Restructure
Bruce Momjian [Tue, 19 Oct 2010 14:56:33 +0000 (14:56 +0000)]
Add mention of using tools/fsync to test fsync methods. Restructure
recent wal_sync_method doc paragraph to be clearer.

13 years agoAdd levenshtein_less_equal, optimized version for small distances.
Robert Haas [Tue, 19 Oct 2010 13:51:06 +0000 (09:51 -0400)]
Add levenshtein_less_equal, optimized version for small distances.

Alexander Korotkov, heavily revised by me.

13 years agoUnbreak comments on composite type attributes.
Robert Haas [Tue, 19 Oct 2010 11:21:58 +0000 (07:21 -0400)]
Unbreak comments on composite type attributes.

Report and diagnosis by Peter Eisentraut.

13 years agoIn pg_upgrade, rename macro EXEC_EXT to SHELL_EXT for clarity.
Bruce Momjian [Tue, 19 Oct 2010 02:55:54 +0000 (02:55 +0000)]
In pg_upgrade, rename macro EXEC_EXT to SHELL_EXT for clarity.

Backpatch to 9.0.X.

13 years agoSupport key word 'all' in host column of pg_hba.conf
Peter Eisentraut [Mon, 18 Oct 2010 19:14:47 +0000 (22:14 +0300)]
Support key word 'all' in host column of pg_hba.conf

13 years agoDocument the tablespace directory "should" be empty, rather than "must"
Bruce Momjian [Mon, 18 Oct 2010 18:15:58 +0000 (18:15 +0000)]
Document the tablespace directory "should" be empty, rather than "must"
be empty.  Because of binary migration usage, it might not be empty.

13 years agoChange example pg_hba.conf in docs to match altered pg_hba.conf.sample
Robert Haas [Mon, 18 Oct 2010 16:17:06 +0000 (12:17 -0400)]
Change example pg_hba.conf in docs to match altered pg_hba.conf.sample

Peter Eisentraut's recent patch to allow host names in pg_hba.conf
changed the contents of pg_hba.conf.sample

Fujii Masao

13 years agoFix a passel of inappropriately-named global functions in GIN.
Tom Lane [Mon, 18 Oct 2010 01:43:26 +0000 (21:43 -0400)]
Fix a passel of inappropriately-named global functions in GIN.

The GIN code has absolutely no business exporting GIN-specific functions
with names as generic as compareItemPointers() or newScanKey(); that's
just trouble waiting to happen.  I got annoyed about this again just now
and decided to fix it.  This commit ensures that all global symbols
defined in access/gin/ have names including "gin" or "Gin".  There were a
couple of cases, like names involving "PostingItem", where arguably the
names were already sufficiently nongeneric; but I figured as long as I was
risking creating merge problems for unapplied GIN patches I might as well
impose a uniform policy.

I didn't touch any static symbol names.  There might be some places
where it'd be appropriate to rename some static functions to match
siblings that are exported, but I'll leave that for another time.

13 years agoImprove GIN indexscan cost estimation.
Tom Lane [Mon, 18 Oct 2010 00:52:32 +0000 (20:52 -0400)]
Improve GIN indexscan cost estimation.

The better estimate requires more statistics than we previously stored:
in particular, counts of "entry" versus "data" pages within the index,
as well as knowledge of the number of distinct key values.  We collect
this information during initial index build and update it during VACUUM,
storing the info in new fields on the index metapage.  No initdb is
required because these fields will read as zeroes in a pre-existing
index, and the new gincostestimate code is coded to behave (reasonably)
sanely if they are zeroes.

Teodor Sigaev, reviewed by Jan Urbanski, Tom Lane, and Itagaki Takahiro.

13 years agoFix msvc build for localized versions of Visual C++
Magnus Hagander [Sun, 17 Oct 2010 14:36:54 +0000 (16:36 +0200)]
Fix msvc build for localized versions of Visual C++

Look only at the non-localized part of the output from "vcbuild /?",
which is used to determine the version of Visual Studio in use. Different
languages seem to localize different amounts of the string, but we assume
the part "Microsoft Visual C++" won't be modified.

13 years agoFix recent changes to not break non-IPV6-aware systems.
Tom Lane [Sat, 16 Oct 2010 14:12:16 +0000 (10:12 -0400)]
Fix recent changes to not break non-IPV6-aware systems.

13 years agoDocument that translate() removes characters in "from" that don't have
Alvaro Herrera [Sat, 16 Oct 2010 04:11:38 +0000 (01:11 -0300)]
Document that translate() removes characters in "from" that don't have
a corresponding "to" character.

Author: Josh Kupershmidt

13 years agoAllow WITH clauses to be attached to INSERT, UPDATE, DELETE statements.
Tom Lane [Fri, 15 Oct 2010 23:53:59 +0000 (19:53 -0400)]
Allow WITH clauses to be attached to INSERT, UPDATE, DELETE statements.

This is not the hoped-for facility of using INSERT/UPDATE/DELETE inside
a WITH, but rather the other way around.  It seems useful in its own
right anyway.

Note: catversion bumped because, although the contents of stored rules
might look compatible, there's actually a subtle semantic change.
A single Query containing a WITH and INSERT...VALUES now represents
writing the WITH before the INSERT, not before the VALUES.  While it's
not clear that that matters to anyone, it seems like a good idea to
have it cited in the git history for catversion.h.

Original patch by Marko Tiikkaja, with updating and cleanup by
Hitoshi Harada.

13 years agoSupport host names in pg_hba.conf
Peter Eisentraut [Fri, 15 Oct 2010 19:53:39 +0000 (22:53 +0300)]
Support host names in pg_hba.conf

Peter Eisentraut, reviewed by KaiGai Kohei and Tom Lane

13 years agoChange references to SQL/XML:2003 to :2008 and renumber sections accordingly
Peter Eisentraut [Fri, 15 Oct 2010 18:18:47 +0000 (21:18 +0300)]
Change references to SQL/XML:2003 to :2008 and renumber sections accordingly

13 years agoDocument the DISTINCT noise word in the UNION/INTERSECT/EXCEPT constructs.
Tom Lane [Fri, 15 Oct 2010 19:48:45 +0000 (15:48 -0400)]
Document the DISTINCT noise word in the UNION/INTERSECT/EXCEPT constructs.

I also rearranged the order of the sections to match the logical order
of processing steps: the distinct-elimination implied by SELECT DISTINCT
happens before, not after, any UNION/INTERSECT/EXCEPT combination.

Per a suggestion from Hitoshi Harada.

13 years agoAllow pg_ctl to register the service in either AUTO or DEMAND start type
Alvaro Herrera [Fri, 15 Oct 2010 17:30:03 +0000 (14:30 -0300)]
Allow pg_ctl to register the service in either AUTO or DEMAND start type

Author: Quan Zongliang
Documentation updates by David Fetter

13 years agoFix low-risk potential denial of service against RADIUS login.
Magnus Hagander [Fri, 15 Oct 2010 14:59:10 +0000 (16:59 +0200)]
Fix low-risk potential denial of service against RADIUS login.

Corrupt RADIUS responses were treated as errors and not ignored
(which the RFC2865 states they should be). This meant that a
user with unfiltered access to the network of the PostgreSQL
or RADIUS server could send a spoofed RADIUS response
to the PostgreSQL server causing it to reject a valid login,
provided the attacker could also guess (or brute-force) the
correct port number.

Fix is to simply retry the receive in a loop until the timeout
has expired or a valid (signed by the correct RADIUS server)
packet arrives.

Reported by Alan DeKok in bug #5687.

13 years agoCorrect WAL space calculation formula in docs.
Simon Riggs [Fri, 15 Oct 2010 09:17:12 +0000 (10:17 +0100)]
Correct WAL space calculation formula in docs.

Error pointed out by Fujii Masao, though not his patch.

13 years agoImprove comment about ignoring 128 error code on Windows:
Bruce Momjian [Fri, 15 Oct 2010 01:57:41 +0000 (01:57 +0000)]
Improve comment about ignoring 128 error code on Windows:

     * Microsoft reports it is related to mutex failure:
     *   http://archives.postgresql.org/pgsql-hackers/2010-09/msg00790.php