OSDN Git Service

pg-rex/syncrep.git
14 years agoImplement "join removal" for cases where the inner side of a left join
Tom Lane [Thu, 17 Sep 2009 20:49:29 +0000 (20:49 +0000)]
Implement "join removal" for cases where the inner side of a left join
is unique and is not referenced above the join.  In this case the inner
side doesn't affect the query result and can be thrown away entirely.
Although perhaps nobody would ever write such a thing by hand, it's
a reasonably common case in machine-generated SQL.

The current implementation only recognizes the case where the inner side
is a simple relation with a unique index matching the query conditions.
This is enough for the use-cases that have been shown so far, but we
might want to try to handle other cases later.

Robert Haas, somewhat rewritten by Tom

14 years agoerrcontext support in PL/Perl
Peter Eisentraut [Wed, 16 Sep 2009 06:06:12 +0000 (06:06 +0000)]
errcontext support in PL/Perl

Author: Alexey Klyukin <alexk@commandprompt.com>

14 years agoFix two distinct errors in creation of GIN_INSERT_LISTPAGE xlog records.
Tom Lane [Tue, 15 Sep 2009 20:31:30 +0000 (20:31 +0000)]
Fix two distinct errors in creation of GIN_INSERT_LISTPAGE xlog records.
In practice these mistakes were always masked when full_page_writes was on,
because XLogInsert would always choose to log the full page, and then
ginRedoInsertListPage wouldn't try to do anything.  But with full_page_writes
off a WAL replay failure was certain.

The GIN_INSERT_LISTPAGE record type could probably be eliminated entirely
in favor of using XLOG_HEAP_NEWPAGE, but I refrained from doing that now
since it would have required a significantly more invasive patch.

In passing do a little bit of code cleanup, including making the accounting
for free space on GIN list pages more precise.  (This wasn't a bug as the
errors were always in the conservative direction.)

Per report from Simon.  Back-patch to 8.4 which contains the identical code.

14 years agoApplied patch by Boszormenyi Zoltan <zb@cybertec.at> to add missing ";" to rule in...
Michael Meskes [Tue, 15 Sep 2009 08:44:57 +0000 (08:44 +0000)]
Applied patch by Boszormenyi Zoltan <zb@cybertec.at> to add missing ";" to rule in pgc.l.

14 years agoFix possible buffer overrun and/or unportable behavior in pg_md5_encrypt()
Tom Lane [Tue, 15 Sep 2009 02:31:15 +0000 (02:31 +0000)]
Fix possible buffer overrun and/or unportable behavior in pg_md5_encrypt()
if salt_len == 0.  This seems to be mostly academic, since nearly all calling
code paths guarantee nonempty salt; the only case that doesn't is
PQencryptPassword where the caller could mistakenly pass an empty username.
So, fix it but don't bother backpatching.  Per ljb.

14 years agoPrint builds don't actually depend on html target (anymore).
Peter Eisentraut [Mon, 14 Sep 2009 13:23:48 +0000 (13:23 +0000)]
Print builds don't actually depend on html target (anymore).

14 years agoWrite psql's ~/.psql_history file using history_truncate_file() and
Tom Lane [Sun, 13 Sep 2009 22:18:22 +0000 (22:18 +0000)]
Write psql's ~/.psql_history file using history_truncate_file() and
append_history(), if libreadline is new enough to have those functions
(they seem to be present at least since 4.2; but libedit may not have them).
This gives significantly saner behavior when two or more sessions overlap in
their use of the history file; although having two sessions exit at just the
same time is still perilous to your history.  The behavior of \s remains
unchanged, ie, overwrite whatever was there.
Per bug #5052 from Marek Wójtowicz.

14 years agoFix Unicode support in PL/Python
Peter Eisentraut [Sun, 13 Sep 2009 22:07:06 +0000 (22:07 +0000)]
Fix Unicode support in PL/Python

Check calls of PyUnicode_AsEncodedString() for NULL return, probably
because the encoding name is not known.  Add special treatment for
SQL_ASCII, which Python definitely does not know.

Since using SQL_ASCII produces errors in the regression tests when
non-ASCII characters are involved, we have to put back various regression
test result variants.

14 years agoDocument that autovacuum_max_workers can only be set at server start
Peter Eisentraut [Sun, 13 Sep 2009 19:52:29 +0000 (19:52 +0000)]
Document that autovacuum_max_workers can only be set at server start

per Joshua Tolley

14 years agoDon't error out if recycling or removing an old WAL segment fails at the end
Heikki Linnakangas [Sun, 13 Sep 2009 18:32:08 +0000 (18:32 +0000)]
Don't error out if recycling or removing an old WAL segment fails at the end
of checkpoint. Although the checkpoint has been written to WAL at that point
already, so that all data is safe, and we'll retry removing the WAL segment at
the next checkpoint, if such a failure persists we won't be able to remove any
other old WAL segments either and will eventually run out of disk space. It's
better to treat the failure as non-fatal, and move on to clean any other WAL
segment and continue with any other end-of-checkpoint cleanup.

We don't normally expect any such failures, but on Windows it can happen with
some anti-virus or backup software that lock files without FILE_SHARE_DELETE
flag.

Also, the loop in pgrename() to retry when the file is locked was broken. If a
file is locked on Windows, you get ERROR_SHARE_VIOLATION, not
ERROR_ACCESS_DENIED, at least on modern versions. Fix that, although I left
the check for ERROR_ACCESS_DENIED in there as well (presumably it was correct
in some environment), and added ERROR_LOCK_VIOLATION to be consistent with
similar checks in pgwin32_open(). Reduce the timeout on the loop from 30s to
10s, on the grounds that since it's been broken, we've effectively had a
timeout of 0s and no-one has complained, so a smaller timeout is actually
closer to the old behavior. A longer timeout would mean that if recycling a
WAL file fails because it's locked for some reason, InstallXLogFileSegment()
will hold ControlFileLock for longer, potentially blocking other backends, so
a long timeout isn't totally harmless.

While we're at it, set errno correctly in pgrename().

Backpatch to 8.2, which is the oldest version supported on Windows. The xlog.c
changes would make sense on other platforms and thus on older versions as
well, but since there's no such locking issues on other platforms, it's not
worth it.

14 years agoplug dblink resource leak
Joe Conway [Sat, 12 Sep 2009 23:20:52 +0000 (23:20 +0000)]
plug dblink resource leak

dblink generates orphaned connections when called with a connection string,
fail_on_error = true, and an ERROR occurs. Discovery and patch by
Tatsuhito Kasahara. Introduced in 8.4.

14 years agoAdd Unicode support in PL/Python
Peter Eisentraut [Sat, 12 Sep 2009 22:13:12 +0000 (22:13 +0000)]
Add Unicode support in PL/Python

PL/Python now accepts Unicode objects where it previously only accepted string
objects (for example, as return value).  Unicode objects are converted to the
PostgreSQL server encoding as necessary.

This change is also necessary for future Python 3 support, which treats all
strings as Unicode objects.

Since this removes the error conditions that the plpython_unicode test file
tested for, the alternative result files are no longer necessary.

14 years agoRewrite the planner's handling of materialized plan types so that there is
Tom Lane [Sat, 12 Sep 2009 22:12:09 +0000 (22:12 +0000)]
Rewrite the planner's handling of materialized plan types so that there is
an explicit model of rescan costs being different from first-time costs.
The costing of Material nodes in particular now has some visible relationship
to the actual runtime behavior, where before it was essentially fantasy.
This also fixes up a couple of places where different materialized plan types
were treated differently for no very good reason (probably just oversights).

A couple of the regression tests are affected, because the planner now chooses
to put the other relation on the inside of a nestloop-with-materialize.
So far as I can see both changes are sane, and the planner is now more
consistently following the expectation that it should prefer to materialize
the smaller of two relations.

Per a recent discussion with Robert Haas.

14 years agoImprove GRANT reference page's description of object ownership
Tom Lane [Sat, 12 Sep 2009 16:26:06 +0000 (16:26 +0000)]
Improve GRANT reference page's description of object ownership
privileges by mentioning the possibility of granting membership in
the owning role.

14 years agoInstall a hopefully-temporary workaround for Snow Leopard readdir() bug.
Tom Lane [Sat, 12 Sep 2009 15:51:52 +0000 (15:51 +0000)]
Install a hopefully-temporary workaround for Snow Leopard readdir() bug.
If Apple doesn't fix that reasonably soon, we'll have to consider
back-patching a workaround; but for now, just hack it in HEAD so that
we can get buildfarm reports on HEAD from OS X machines.
Per Jan Otto.

14 years agoRemove TODO file; it has been added to the main Todo list in the wiki.
Peter Eisentraut [Sat, 12 Sep 2009 15:21:27 +0000 (15:21 +0000)]
Remove TODO file; it has been added to the main Todo list in the wiki.

14 years agoFix assertion failure when a SELECT DISTINCT ON expression is volatile.
Tom Lane [Sat, 12 Sep 2009 00:04:59 +0000 (00:04 +0000)]
Fix assertion failure when a SELECT DISTINCT ON expression is volatile.
In this case we generate two PathKey references to the expression (one for
DISTINCT and one for ORDER BY) and they really need to refer to the same
EquivalenceClass.  However get_eclass_for_sort_expr was being overly paranoid
and creating two different EC's.  Correct behavior is to use the SortGroupRef
index to decide whether two references to volatile expressions that are
equal() (ie textually equivalent) should be considered the same.

Backpatch to 8.4.  Possibly this should be changed in 8.3 as well, but
I'll refrain in the absence of evidence of a visible failure in that branch.

Per bug #5049.

14 years agoIncrease the maximum value of extra_float_digits to 3, and have pg_dump
Tom Lane [Fri, 11 Sep 2009 19:17:04 +0000 (19:17 +0000)]
Increase the maximum value of extra_float_digits to 3, and have pg_dump
use that value when the backend is new enough to allow it.  This responds
to bug report from Keh-Cheng Chu pointing out that although 2 extra digits
should be sufficient to dump and restore float8 exactly, it is possible to
need 3 extra digits for float4 values.

14 years agoRemove claim that this chapter discusses rules and triggers.
Peter Eisentraut [Fri, 11 Sep 2009 12:53:24 +0000 (12:53 +0000)]
Remove claim that this chapter discusses rules and triggers.

per Bruno Guimarães Carneiro

14 years agoAdd note that the logging collector can block backends in high load situations.
Alvaro Herrera [Thu, 10 Sep 2009 15:02:46 +0000 (15:02 +0000)]
Add note that the logging collector can block backends in high load situations.

14 years agopgbench has #defines for number of branches, tellers, and accounts. There
Tatsuo Ishii [Thu, 10 Sep 2009 13:59:57 +0000 (13:59 +0000)]
pgbench has #defines for number of branches, tellers, and accounts.  There
are used to populate the tables with -i, but when running actual benchmark
it has values separately hard-coded in the query metacommands.  This patch
makes the metacommands obtain their values from the relevant #defines.

Patch provided by Jeff Janes.

14 years agoOn Windows, when a file is deleted and another process still has an open
Heikki Linnakangas [Thu, 10 Sep 2009 09:42:10 +0000 (09:42 +0000)]
On Windows, when a file is deleted and another process still has an open
file handle on it, the file goes into "pending deletion" state where it
still shows up in directory listing, but isn't accessible otherwise. That
confuses RemoveOldXLogFiles(), making it think that the file hasn't been
archived yet, while it actually was, and it was deleted along with the .done
file.

Fix that by renaming the file with ".deleted" extension before deleting it.
Also check the return value of rename() and unlink(), so that if the removal
fails for any reason (e.g another process is holding the file locked), we
don't delete the .done file until the WAL file is really gone.

Backpatch to 8.2, which is the oldest version supported on Windows.

14 years agoFix/improve bytea and boolean support in PL/Python
Peter Eisentraut [Wed, 9 Sep 2009 19:00:09 +0000 (19:00 +0000)]
Fix/improve bytea and boolean support in PL/Python

Before, PL/Python converted data between SQL and Python by going
through a C string representation.  This broke for bytea in two ways:

- On input (function parameters), you would get a Python string that
  contains bytea's particular external representation with backslashes
  etc., instead of a sequence of bytes, which is what you would expect
  in a Python environment.  This problem is exacerbated by the new
  bytea output format.

- On output (function return value), null bytes in the Python string
  would cause truncation before the data gets stored into a bytea
  datum.

This is now fixed by converting directly between the PostgreSQL datum
and the Python representation.

The required generalized infrastructure also allows for other
improvements in passing:

- When returning a boolean value, the SQL datum is now true if and
  only if Python considers the value that was passed out of the
  PL/Python function to be true.  Previously, this determination was
  left to the boolean data type input function.  So, now returning
  'foo' results in true, because Python considers it true, rather than
  false because PostgreSQL considers it false.

- On input, we can convert the integer and float types directly to
  their Python equivalents without having to go through an
  intermediate string representation.

original patch by Caleb Welton, with updates by myself

14 years agoFix bug with WITH RECURSIVE immediately inside WITH RECURSIVE. 99% of the
Tom Lane [Wed, 9 Sep 2009 03:32:52 +0000 (03:32 +0000)]
Fix bug with WITH RECURSIVE immediately inside WITH RECURSIVE.  99% of the
code was already okay with this, but the hack that obtained the output
column types of a recursive union in advance of doing real parse analysis
of the recursive union forgot to handle the case where there was an inner
WITH clause available to the non-recursive term.  Best fix seems to be to
refactor so that we don't need the "throwaway" parse analysis step at all.
Instead, teach the transformSetOperationStmt code to set up the CTE's output
column information after it's processed the non-recursive term normally.
Per report from David Fetter.

14 years agoRemove any -arch switches given in ExtUtils::Embed's ldopts from our
Tom Lane [Tue, 8 Sep 2009 18:15:55 +0000 (18:15 +0000)]
Remove any -arch switches given in ExtUtils::Embed's ldopts from our
perl_embed_ldflags setting.  On OS X it seems that ExtUtils::Embed is
trying to force a universal binary to be built, but you need to specify
that a lot further upstream if you want Postgres built that way; the only
result of including -arch in perl_embed_ldflags is some warnings at the
plperl.so link step.  Per my complaint and Jan Otto's suggestion.

14 years agoAdd a boolean GUC parameter "bonjour" to control whether a Bonjour-enabled
Tom Lane [Tue, 8 Sep 2009 17:08:36 +0000 (17:08 +0000)]
Add a boolean GUC parameter "bonjour" to control whether a Bonjour-enabled
build actually attempts to advertise itself via Bonjour.  Formerly it always
did so, which meant that packagers had to decide for their users whether
this behavior was wanted or not.  The default is "off" to be on the safe
side, though this represents a change in the default behavior of a
Bonjour-enabled build.  Per discussion.

14 years agoReplace use of the long-deprecated Bonjour API DNSServiceRegistrationCreate
Tom Lane [Tue, 8 Sep 2009 16:08:26 +0000 (16:08 +0000)]
Replace use of the long-deprecated Bonjour API DNSServiceRegistrationCreate
with the not-so-deprecated DNSServiceRegister.  This patch shouldn't change
any user-visible behavior, it just gets rid of a deprecation warning in
--with-bonjour builds.  The new code will fail on OS X releases before 10.3,
but it seems unlikely that anyone will want to run Postgres 8.5 on 10.2.

14 years agoRemove outside-the-scanner references to "yyleng".
Tom Lane [Tue, 8 Sep 2009 04:25:00 +0000 (04:25 +0000)]
Remove outside-the-scanner references to "yyleng".

It seems the flex developers have decided to change yyleng from int to size_t.
This has already happened in the latest release of OS X, and will start
happening elsewhere once the next release of flex appears.  Rather than trying
to divine how it's declared in any particular build, let's just remove the one
existing not-very-necessary external usage.

Back-patch to all supported branches; not so much because users in the field
are likely to care about building old branches with cutting-edge flex, as
to keep OSX-based buildfarm members from having problems with old branches.

14 years agoChange our WIN32 API version to be 5.01 (Windows XP), to bring in the proper
Magnus Hagander [Mon, 7 Sep 2009 11:22:12 +0000 (11:22 +0000)]
Change our WIN32 API version to be 5.01 (Windows XP), to bring in the proper
IPV6 headers in newer SDKs.

14 years agoUpdate the tznames reference files, and add IDT (Israel Daylight Time)
Tom Lane [Sun, 6 Sep 2009 15:25:23 +0000 (15:25 +0000)]
Update the tznames reference files, and add IDT (Israel Daylight Time)
to the Default timezone abbreviation set.

Back-port the the current file set to all branches that contain tznames.
This includes adding SGT to the Default set in pre-8.4 releases.

Joachim Wieland

14 years agoAdd a note warning that COPY BINARY is very datatype-specific.
Tom Lane [Sat, 5 Sep 2009 23:58:01 +0000 (23:58 +0000)]
Add a note warning that COPY BINARY is very datatype-specific.
Per a complaint from Gordon Shannon.

14 years agoPut back "ifeq ($(PORTNAME), solaris)", this time with some documentation
Tom Lane [Sat, 5 Sep 2009 21:14:04 +0000 (21:14 +0000)]
Put back "ifeq ($(PORTNAME), solaris)", this time with some documentation
of why it's not as broken as it appears on first glance.

14 years agoRevert ill-considered restriction of dtrace support to Solaris only.
Tom Lane [Fri, 4 Sep 2009 23:11:05 +0000 (23:11 +0000)]
Revert ill-considered restriction of dtrace support to Solaris only.

14 years agoRemove pgstat's discrimination against MsgVacuum and MsgAnalyze messages.
Tom Lane [Fri, 4 Sep 2009 22:32:33 +0000 (22:32 +0000)]
Remove pgstat's discrimination against MsgVacuum and MsgAnalyze messages.

Formerly, these message types would be discarded unless there was already
a stats hash table entry for the target table.  However, the intent of
saving hash table space for unused tables was subverted by the fact that
the physical I/O done by the vacuum or analyze would result in an immediately
following tabstat message, which would create the hash table entry anyway.
All that we had left was surprising loss of statistical data, as in a recent
complaint from Jaime Casanova.

It seems unlikely that a real database would have many tables that go totally
untouched over the long haul, so the consensus is that this "optimization"
serves little purpose anyhow.  Remove it, and just create the hash table
entry on demand in all cases.

14 years agoTigthen binary receive functions so that they reject values that the text
Heikki Linnakangas [Fri, 4 Sep 2009 11:20:23 +0000 (11:20 +0000)]
Tigthen binary receive functions so that they reject values that the text
input functions don't accept either. While the backend can handle such
values fine, they can cause trouble in clients and in pg_dump/restore.

This is followup to the original issue on time datatype reported by Andrew
McNamara a while ago. Like that one, none of these seem worth
back-patching.

14 years agoFix encoding handling in xml binary input function. If the XML header didn't
Heikki Linnakangas [Fri, 4 Sep 2009 10:49:29 +0000 (10:49 +0000)]
Fix encoding handling in xml binary input function. If the XML header didn't
specify an encoding explicitly, we used to treat it as being in database
encoding when we parsed it, but then perform a UTF-8 -> database encoding
conversion on it, which was completely bogus. It's now consistently treated as
UTF-8.

14 years agoFinal updates of release notes for 8.4.1, 8.3.8, 8.2.14, 8.1.18, 8.0.22,
Tom Lane [Thu, 3 Sep 2009 22:13:47 +0000 (22:13 +0000)]
Final updates of release notes for 8.4.1, 8.3.8, 8.2.14, 8.1.18, 8.0.22,
7.4.26.

14 years agoMake LOAD of an already-loaded library into a no-op, instead of attempting
Tom Lane [Thu, 3 Sep 2009 22:11:07 +0000 (22:11 +0000)]
Make LOAD of an already-loaded library into a no-op, instead of attempting
to unload and re-load the library.

The difficulty with unloading a library is that we haven't defined safe
protocols for doing so.  In particular, there's no safe mechanism for
getting out of a "hook" function pointer unless libraries are unloaded
in reverse order of loading.  And there's no mechanism at all for undefining
a custom GUC variable, so GUC would be left with a pointer to an old value
that might or might not still be valid, and very possibly wouldn't be in
the same place anymore.

While the unload and reload behavior had some usefulness in easing
development of new loadable libraries, it's of no use whatever to normal
users, so just disabling it isn't giving up that much.  Someday we might
care to expend the effort to develop safe unload protocols; but even if
we did, there'd be little certainty that every third-party loadable module
was following them, so some security restrictions would still be needed.

Back-patch to 8.2; before that, LOAD was superuser-only anyway.

Security: unprivileged users could crash backend.  CVE not assigned yet

14 years agoDisallow RESET ROLE and RESET SESSION AUTHORIZATION inside security-definer
Tom Lane [Thu, 3 Sep 2009 22:08:05 +0000 (22:08 +0000)]
Disallow RESET ROLE and RESET SESSION AUTHORIZATION inside security-definer
functions.

This extends the previous patch that forbade SETting these variables inside
security-definer functions.  RESET is equally a security hole, since it
would allow regaining privileges of the caller; furthermore it can trigger
Assert failures and perhaps other internal errors, since the code is not
expecting these variables to change in such contexts.  The previous patch
did not cover this case because assign hooks don't really have enough
information, so move the responsibility for preventing this into guc.c.

Problem discovered by Heikki Linnakangas.

Security: no CVE assigned yet, extends CVE-2007-6600

14 years agoInstall a workaround for a longstanding gcc bug that allows SIGFPE traps
Tom Lane [Thu, 3 Sep 2009 18:48:14 +0000 (18:48 +0000)]
Install a workaround for a longstanding gcc bug that allows SIGFPE traps
to occur for division by zero, even though the code is carefully avoiding
that.  All available evidence is that the only functions affected are
int24div, int48div, and int28div, so patch just those three functions to
include a "return" after the ereport() call.

Backpatch to 8.4 so that the fix can be tested in production builds.
For older branches our recommendation will continue to be to use -O1
on affected platforms (which are mostly non-mainstream anyway).

14 years agoFixed incorrect memory management.
Michael Meskes [Thu, 3 Sep 2009 10:24:48 +0000 (10:24 +0000)]
Fixed incorrect memory management.

14 years agoRemoved some variables no longer needed.
Michael Meskes [Thu, 3 Sep 2009 09:59:20 +0000 (09:59 +0000)]
Removed some variables no longer needed.

14 years agoDo not set connection values if no connection is open.
Michael Meskes [Thu, 3 Sep 2009 09:09:01 +0000 (09:09 +0000)]
Do not set connection values if no connection is open.

14 years agoUpdate time zone data files to tzdata release 2009l: DST law changes in
Tom Lane [Thu, 3 Sep 2009 04:44:35 +0000 (04:44 +0000)]
Update time zone data files to tzdata release 2009l: DST law changes in
Egypt, Mauritius, Bangladesh.

14 years agoRemove initdb's rather gratuitous check to see if the backend created a
Tom Lane [Thu, 3 Sep 2009 01:40:11 +0000 (01:40 +0000)]
Remove initdb's rather gratuitous check to see if the backend created a
flat password file, because it never will anymore.  We had managed to
miss this during the recent flat-file-ectomy because it only happens if
--pwfile or --pwprompt is specified to initdb.  Apparently, few hackers
use those.  Reported by Erik Rijkers.

14 years agoRevert Makefile modification that broke the MSVC build.
Magnus Hagander [Wed, 2 Sep 2009 19:14:14 +0000 (19:14 +0000)]
Revert Makefile modification that broke the MSVC build.

14 years agoFix subquery pullup to wrap a PlaceHolderVar around the entire RowExpr
Tom Lane [Wed, 2 Sep 2009 17:52:24 +0000 (17:52 +0000)]
Fix subquery pullup to wrap a PlaceHolderVar around the entire RowExpr
that's generated for a whole-row Var referencing the subquery, when the
subquery is in the nullable side of an outer join.  The previous coding
instead put PlaceHolderVars around the elements of the RowExpr.  The effect
was that when the outer join made the subquery outputs go to null, the
whole-row Var produced ROW(NULL,NULL,...) rather than just NULL.  There
are arguments afoot about whether those things ought to be semantically
indistinguishable, but for the moment they are not entirely so, and the
planner needs to take care that its machinations preserve the difference.
Per bug #5025.

Making this feasible required refactoring ResolveNew() to allow more caller
control over what is substituted for a Var.  I chose to make ResolveNew()
a wrapper around a new general-purpose function replace_rte_variables().
I also fixed the ancient bogosity that ResolveNew might fail to set
a query's hasSubLinks field after inserting a SubLink in it.  Although
all current callers make sure that happens anyway, we've had bugs of that
sort before, and it seemed like a good time to install a proper solution.

Back-patch to 8.4.  The problem can be demonstrated clear back to 8.0,
but the fix would be too invasive in earlier branches; not to mention
that people may be depending on the subtly-incorrect behavior.  The
8.4 series is new enough that fixing this probably won't cause complaints,
but it might in older branches.  Also, 8.4 shows the incorrect behavior
in more cases than older branches do, because it is able to flatten
subqueries in more cases.

14 years agoFix pg_ctl's readfile() to not go into infinite loop on an empty file
Tom Lane [Wed, 2 Sep 2009 02:40:52 +0000 (02:40 +0000)]
Fix pg_ctl's readfile() to not go into infinite loop on an empty file
(could happen if either postgresql.conf or postmaster.opts is empty).
It's been broken since the C version was written for 8.0, so patch
all the way back.

initdb's copy of the function is broken in the same way, but it's
less important there since the input files should never be empty.
Patch that in HEAD only, and also fix some cosmetic differences that
crept into that copy of the function.

Per report from Corry Haines and Jeff Davis.

14 years agoForce VACUUM to recalculate oldestXmin even when we haven't changed our
Tom Lane [Tue, 1 Sep 2009 04:46:49 +0000 (04:46 +0000)]
Force VACUUM to recalculate oldestXmin even when we haven't changed our
own database's datfrozenxid, if the current value is old enough to be
forcing autovacuums or warning messages.  This ensures that a bogus
value is replaced as soon as possible.  Per a comment from Heikki.

14 years agoActually, we need to bump the format identifier on twophase files
Tom Lane [Tue, 1 Sep 2009 04:15:45 +0000 (04:15 +0000)]
Actually, we need to bump the format identifier on twophase files
because of readjustment of 2PC rmgr IDs for flatfile removal.

14 years agoBump catversion for flat-file-ectomy. Also remove a missed dead extern
Tom Lane [Tue, 1 Sep 2009 03:53:08 +0000 (03:53 +0000)]
Bump catversion for flat-file-ectomy.  Also remove a missed dead extern
declaration.

14 years agoRemove flatfiles.c, which is now obsolete.
Alvaro Herrera [Tue, 1 Sep 2009 02:54:52 +0000 (02:54 +0000)]
Remove flatfiles.c, which is now obsolete.

Recent commits have removed the various uses it was supporting.  It was a
performance bottleneck, according to bug report #4919 by Lauris Ulmanis; seems
it slowed down user creation after a billion users.

14 years agoMove processing of startup-packet switches and GUC settings into InitPostgres,
Tom Lane [Tue, 1 Sep 2009 00:09:42 +0000 (00:09 +0000)]
Move processing of startup-packet switches and GUC settings into InitPostgres,
to fix the problem that SetClientEncoding needs to be done before
InitializeClientEncoding, as reported by Zdenek Kotala.  We get at least
the small consolation of being able to remove the bizarre API detail that
had InitPostgres returning whether user is a superuser.

14 years agoChange the autovacuum launcher to read pg_database directly, rather than
Tom Lane [Mon, 31 Aug 2009 19:41:00 +0000 (19:41 +0000)]
Change the autovacuum launcher to read pg_database directly, rather than
via the "flat files" facility.  This requires making it enough like a backend
to be able to run transactions; it's no longer an "auxiliary process" but
more like the autovacuum worker processes.  Also, its signal handling has
to be brought into line with backends/workers.  In particular, since it
now has to handle procsignal.c processing, the special autovac-launcher-only
signal conditions are moved to SIGUSR2.

Alvaro, with some cleanup from Tom

14 years agoTrack the current XID wrap limit (or more accurately, the oldest unfrozen
Tom Lane [Mon, 31 Aug 2009 02:23:23 +0000 (02:23 +0000)]
Track the current XID wrap limit (or more accurately, the oldest unfrozen
XID) in checkpoint records.  This eliminates the need to recompute the value
from scratch during database startup, which is one of the two remaining
reasons for the flatfile code to exist.  It should also simplify life for
hot-standby operation.

To avoid bloating the checkpoint records unreasonably, I switched from
tracking the oldest database by name to tracking it by OID.  This turns
out to save cycles in general (everywhere but the warning-generating
paths, which we hardly care about) and also helps us deal with the case
that the oldest database got dropped instead of being vacuumed.  The prior
coding might go for a long time without updating the wrap limit in that case,
which is bad because it might result in a lot of useless autovacuum activity.

14 years agoRemove some useless assignments of the result of fread(). Quiets warnings
Tom Lane [Sun, 30 Aug 2009 17:18:52 +0000 (17:18 +0000)]
Remove some useless assignments of the result of fread().  Quiets warnings
from clang static checker, and makes the code more readable anyway IMO.

14 years agoRemove duplicate variable initializations identified by clang static checker.
Tom Lane [Sun, 30 Aug 2009 16:53:31 +0000 (16:53 +0000)]
Remove duplicate variable initializations identified by clang static checker.
One of these represents a nontrivial bug (a promptly-leaked palloc), so
backpatch.

Greg Stark

14 years agoRemove the use of the pg_auth flat file for client authentication.
Tom Lane [Sat, 29 Aug 2009 19:26:52 +0000 (19:26 +0000)]
Remove the use of the pg_auth flat file for client authentication.
(That flat file is now completely useless, but removal will come later.)

To do this, postpone client authentication into the startup transaction
that's run by InitPostgres.  We still collect the startup packet and do
SSL initialization (if needed) at the same time we did before.  The
AuthenticationTimeout is applied separately to startup packet collection
and the actual authentication cycle.  (This is a bit annoying, since it
means a couple extra syscalls; but the signal handling requirements inside
and outside a transaction are sufficiently different that it seems best
to treat the timeouts as completely independent.)

A small security disadvantage is that if the given database name is invalid,
this will be reported to the client before any authentication happens.
We could work around that by connecting to database "postgres" instead,
but consensus seems to be that it's not worth introducing such surprising
behavior.

Processing of all command-line switches and GUC options received from the
client is now postponed until after authentication.  This means that
PostAuthDelay is much less useful than it used to be --- if you need to
investigate problems during InitPostgres you'll have to set PreAuthDelay
instead.  However, allowing an unauthenticated user to set any GUC options
whatever seems a bit too risky, so we'll live with that.

14 years agoRemove handling of CVS entries for TODO/FAQ, because they are removed
Bruce Momjian [Sat, 29 Aug 2009 17:09:20 +0000 (17:09 +0000)]
Remove handling of CVS entries for TODO/FAQ, because they are removed
now.

14 years agoDerived files that are shipped in the distribution used to be built in the
Peter Eisentraut [Fri, 28 Aug 2009 20:26:19 +0000 (20:26 +0000)]
Derived files that are shipped in the distribution used to be built in the
source directory even for out-of-tree builds.  They are now alsl built in
the build tree.  This should be more convenient for certain developers'
workflows, and shouldn't really break anything else.

14 years agoRemove useless code that propagated FrontendProtocol to a backend via a
Tom Lane [Fri, 28 Aug 2009 18:23:53 +0000 (18:23 +0000)]
Remove useless code that propagated FrontendProtocol to a backend via a
PostgresMain switch.  In point of fact, FrontendProtocol is already set
in a backend process, since ProcessStartupPacket() is executed inside
the backend --- it hasn't been run by the postmaster for many years.
And if it were, we'd still certainly want FrontendProtocol to be set before
we get as far as PostgresMain, so that startup errors get reported in the
right protocol.

-v might have some future use in standalone backends, so I didn't go so
far as to remove the switch outright.

Also, initialize FrontendProtocol to 0 not PG_PROTOCOL_LATEST.  The only
likely result of presetting it like that is to mask failure-to-set-it
mistakes.

14 years agoNon-Windows EXEC_BACKEND path was broken by recent write_inheritable_socket
Tom Lane [Fri, 28 Aug 2009 17:42:54 +0000 (17:42 +0000)]
Non-Windows EXEC_BACKEND path was broken by recent write_inheritable_socket
change ... it's got to return true.

14 years agoModify the definition of window-function PARTITION BY and ORDER BY clauses
Tom Lane [Thu, 27 Aug 2009 20:08:03 +0000 (20:08 +0000)]
Modify the definition of window-function PARTITION BY and ORDER BY clauses
so that their elements are always taken as simple expressions over the
query's input columns.  It originally seemed like a good idea to make them
act exactly like GROUP BY and ORDER BY, right down to the SQL92-era behavior
of accepting output column names or numbers.  However, that was not such a
great idea, for two reasons:

1. It permits circular references, as exhibited in bug #5018: the output
column could be the one containing the window function itself.  (We actually
had a regression test case illustrating this, but nobody thought twice about
how confusing that would be.)

2. It doesn't seem like a good idea for, eg, "lead(foo) OVER (ORDER BY foo)"
to potentially use two completely different meanings for "foo".

Accordingly, narrow down the behavior of window clauses to use only the
SQL99-compliant interpretation that the expressions are simple expressions.

14 years agoFix broken markup
Alvaro Herrera [Thu, 27 Aug 2009 20:05:28 +0000 (20:05 +0000)]
Fix broken markup

Jan Urbański

14 years agoMake the .DEF file generation rules safe against tabs in exports.txt.
Tom Lane [Thu, 27 Aug 2009 17:55:53 +0000 (17:55 +0000)]
Make the .DEF file generation rules safe against tabs in exports.txt.
Per bug #5016, although I think the MSVC build scripts may need a similar fix.

14 years agoFix handling of autovacuum reloptions.
Alvaro Herrera [Thu, 27 Aug 2009 17:18:44 +0000 (17:18 +0000)]
Fix handling of autovacuum reloptions.

In the original coding, setting a single reloption would cause default
values to be used for all the other reloptions.  This is a problem
particularly for autovacuum reloptions.

Itagaki Takahiro

14 years agoMake it reasonably safe to use pg_ctl to start the postmaster from a boot-time
Tom Lane [Thu, 27 Aug 2009 16:59:38 +0000 (16:59 +0000)]
Make it reasonably safe to use pg_ctl to start the postmaster from a boot-time
script.

To do this, have pg_ctl pass down its parent shell's PID in an environment
variable PG_GRANDPARENT_PID, and teach CreateLockFile() to disregard that PID
as a false match if it finds it in postmaster.pid.  This allows us to cope
with one level of postgres-owned shell process even with pg_ctl in the way,
so it's just as safe as starting the postmaster directly.  You still have to
be careful about how you write the initscript though.

Adjust the comments in contrib/start-scripts/ to not deprecate use of
pg_ctl.  Also, fix the ROTATELOGS option in the OSX script, which was
indulging in exactly the sort of unsafe coding that renders this fix
pointless :-(.  A pipe inside the "sudo" will probably result in more
than one postgres-owned process hanging around.

14 years agoexports.txt needs to use spaces as separators, not tabs, to work properly
Magnus Hagander [Thu, 27 Aug 2009 16:49:41 +0000 (16:49 +0000)]
exports.txt needs to use spaces as separators, not tabs, to work properly
with the sed rules.

14 years agoRemove some unnecessary variable assignments, per results of "clang"
Tom Lane [Thu, 27 Aug 2009 15:59:22 +0000 (15:59 +0000)]
Remove some unnecessary variable assignments, per results of "clang"
static checker.  Paul Matthews

14 years agoIn the checkpoint written at the end of archive recovery, the WAL page header
Heikki Linnakangas [Thu, 27 Aug 2009 07:15:41 +0000 (07:15 +0000)]
In the checkpoint written at the end of archive recovery, the WAL page header
was incorrectly initialized with timeline ID 0. That rendered the WAL page
unrecoverable, making a subsequent archive recovery stop at that point.
ThisTimeLineID needs to be initialized before calling AdvanceXLInsertBuffer().

This fixes bug #5011 reported by James Bardin. Backpatch to 8.4, as the bug
was introduced by the changes to use of bgwriter for writing the
end-of-archive-recovery checkpoint. Patch by Tom Lane.

14 years agoUpdate release notes for 7.4.26, 8.0.22, 8.1.18, 8.2.14, 8.3.8, 8.4.1.
Bruce Momjian [Thu, 27 Aug 2009 01:27:34 +0000 (01:27 +0000)]
Update release notes for 7.4.26, 8.0.22, 8.1.18, 8.2.14, 8.3.8, 8.4.1.

14 years agoUpdate of install-sh, mkinstalldirs, and associated configury
Peter Eisentraut [Wed, 26 Aug 2009 22:24:44 +0000 (22:24 +0000)]
Update of install-sh, mkinstalldirs, and associated configury

Update install-sh to that from Autoconf 2.63, plus our Darwin-specific
changes (which I simplified a bit).  install-sh is now able to install
multiple files in one run, so we could simplify our makefiles sometime.

install-sh also now has a -d option to create directories, so we don't need
mkinstalldirs anymore.

Use AC_PROG_MKDIR_P in configure.in, so we can use mkdir -p when available
instead of install-sh -d.  For consistency with the rest of the world,
the corresponding make variable has been renamed from $(mkinstalldirs) to
$(MKDIR_P).

14 years agoAdd -Wno-error to CFLAGS from gram.o as long as it's broken.
Peter Eisentraut [Wed, 26 Aug 2009 22:15:59 +0000 (22:15 +0000)]
Add -Wno-error to CFLAGS from gram.o as long as it's broken.

14 years agoCorrect my overly enthusiastic CSS simplification.
Peter Eisentraut [Wed, 26 Aug 2009 21:18:29 +0000 (21:18 +0000)]
Correct my overly enthusiastic CSS simplification.

14 years agoUpdate the documentation CSS stylesheet to current web site style
Peter Eisentraut [Wed, 26 Aug 2009 13:56:24 +0000 (13:56 +0000)]
Update the documentation CSS stylesheet to current web site style

14 years agoEnhanced error context support in PL/Python
Peter Eisentraut [Tue, 25 Aug 2009 12:44:59 +0000 (12:44 +0000)]
Enhanced error context support in PL/Python

Extract the "while creating return value" and "while modifying trigger
row" parts of some error messages into another layer of error context.
This will simplify the upcoming patch to improve data type support, but
it can stand on its own.

14 years agoUse generic attribute management in PL/Python
Peter Eisentraut [Tue, 25 Aug 2009 08:14:42 +0000 (08:14 +0000)]
Use generic attribute management in PL/Python

Switch the implementation of the plan and result types to generic attribute
management, as described at <http://docs.python.org/extending/newtypes.html>.
This modernizes and simplifies the code a bit and prepares for Python 3.1,
where the old way doesn't work anymore.

14 years agoMake PL/Python tests more compatible with Python 3
Peter Eisentraut [Mon, 24 Aug 2009 20:25:25 +0000 (20:25 +0000)]
Make PL/Python tests more compatible with Python 3

This changes a bunch of incidentially used constructs in the PL/Python
regression tests to equivalent constructs in cases where Python 3 no longer
supports the old syntax.  Support for older Python versions is unchanged.

14 years agoTry to make silent_mode behave somewhat reasonably.
Tom Lane [Mon, 24 Aug 2009 20:08:32 +0000 (20:08 +0000)]
Try to make silent_mode behave somewhat reasonably.

Instead of sending stdout/stderr to /dev/null after forking away from the
terminal, send them to postmaster.log within the data directory.  Since
this opens the door to indefinite logfile bloat, recommend even more
strongly that log output be redirected when using silent_mode.

Move the postmaster's initial calls of load_hba() and load_ident() down
to after we have started the log collector, if we are going to.  This
is so that errors reported by them will appear in the "usual" place.

Reclassify silent_mode as a LOGGING_WHERE, not LOGGING_WHEN, parameter,
since it's got absolutely nothing to do with the latter category.

In passing, fix some obsolete references to -S ... this option hasn't
had that switch letter for a long time.

Back-patch to 8.4, since as of 8.4 load_hba() and load_ident() are more
picky (and thus more likely to fail) than they used to be.  This entire
change was driven by a complaint about those errors disappearing into
the bit bucket.

14 years agoSmall correction to previous patch: we shouldn't ReleasePostmasterChildSlot
Tom Lane [Mon, 24 Aug 2009 18:09:37 +0000 (18:09 +0000)]
Small correction to previous patch: we shouldn't ReleasePostmasterChildSlot
for a dead_end child, because we didn't AssignPostmasterChildSlot.

14 years agoAvoid calling kill() in a postmaster signal handler.
Alvaro Herrera [Mon, 24 Aug 2009 17:23:02 +0000 (17:23 +0000)]
Avoid calling kill() in a postmaster signal handler.

This causes problems when the system load is high, per report from Zdenek
Kotala in <1250860954.1239.114.camel@localhost>; instead of calling kill
directly, have the signal handler set a flag which is checked in ServerLoop.
This way, the handler can return before being called again by a subsequent
signal sent from the autovacuum launcher.  Also, increase the sleep in the
launcher in this failure path to 1 second.

Backpatch to 8.3, which is when the signalling between autovacuum
launcher/postmaster was introduced.

Also, add a couple of ReleasePostmasterChildSlot calls in error paths; this
part backpatched to 8.4 which is when the child slot stuff was introduced.

14 years agoFix inclusions of readline/editline header files so that we only attempt to
Tom Lane [Mon, 24 Aug 2009 16:18:13 +0000 (16:18 +0000)]
Fix inclusions of readline/editline header files so that we only attempt to
#include the version of history.h that is in the same directory as the
readline.h we are using.  This avoids problems in some scenarios where both
readline and editline are installed.  Report and patch by Zdenek Kotala.

14 years agoRemove unused variable.
Alvaro Herrera [Mon, 24 Aug 2009 14:15:09 +0000 (14:15 +0000)]
Remove unused variable.

Per Grzegorz Jaskiewicz report from LLVM static checker

14 years agoRun the "tablespace" regression test first not last. The former placement
Tom Lane [Mon, 24 Aug 2009 03:10:16 +0000 (03:10 +0000)]
Run the "tablespace" regression test first not last.  The former placement
renders useless one of the few test methodologies we have for WAL replay,
which is to intentionally crash the system just after completing the
regression tests and see if it recovers to the expected database state.
The reason is that DROP TABLESPACE forces a checkpoint, so there's essentially
no WAL available for replay after the tests complete.

14 years agoFix a violation of WAL coding rules in the recent patch to include an
Tom Lane [Mon, 24 Aug 2009 02:18:32 +0000 (02:18 +0000)]
Fix a violation of WAL coding rules in the recent patch to include an
"all tuples visible" flag in heap page headers.  The flag update *must*
be applied before calling XLogInsert, but heap_update and the tuple
moving routines in VACUUM FULL were ignoring this rule.  A crash and
replay could therefore leave the flag incorrectly set, causing rows
to appear visible in seqscans when they should not be.  This might explain
recent reports of data corruption from Jeff Ross and others.

In passing, do a bit of editorialization on comments in visibilitymap.c.

14 years agoMake TRUNCATE do truncate-in-place when processing a relation that was created
Tom Lane [Sun, 23 Aug 2009 19:23:41 +0000 (19:23 +0000)]
Make TRUNCATE do truncate-in-place when processing a relation that was created
or previously truncated in the current (sub)transaction.  This is safe since
if the (sub)transaction later rolls back, we'd just discard the rel's current
physical file anyway.  This avoids unreasonable growth in the number of
transient files when a relation is repeatedly truncated.  Per a performance
gripe a couple weeks ago from Todd Cook.

14 years agoTweak ExecIndexEvalRuntimeKeys to forcibly detoast any toasted comparison
Tom Lane [Sun, 23 Aug 2009 18:26:08 +0000 (18:26 +0000)]
Tweak ExecIndexEvalRuntimeKeys to forcibly detoast any toasted comparison
values before they get passed to the index access method.  This avoids
repeated detoastings that will otherwise ensue as the comparison value
is examined by various index support functions.  We have seen a couple of
reports of cases where repeated detoastings result in an order-of-magnitude
slowdown, so it seems worth adding a bit of extra logic to prevent this.

I had previously proposed trying to avoid duplicate detoastings in general,
but this fix takes care of what seems the most important case in practice
with very little effort or risk.

Back-patch to 8.4 so that the PostGIS folk won't have to wait a year to
have this fix in a production release.  (The issue exists further back,
of course, but the code's diverged enough to make backpatching further a
higher-risk action.  Also it appears that the possible gains may be limited
in prior releases because of different handling of lossy operators.)

14 years agoInclude resjunk columns in EXPLAIN VERBOSE output lists. Per discussion.
Tom Lane [Sat, 22 Aug 2009 02:06:32 +0000 (02:06 +0000)]
Include resjunk columns in EXPLAIN VERBOSE output lists.  Per discussion.

14 years agoRemove tabs from SGML.
Bruce Momjian [Thu, 20 Aug 2009 12:12:37 +0000 (12:12 +0000)]
Remove tabs from SGML.

14 years agoFix version_stamp.pl to allow 'alphaN' version stamps. Not sure how
Tom Lane [Wed, 19 Aug 2009 15:03:56 +0000 (15:03 +0000)]
Fix version_stamp.pl to allow 'alphaN' version stamps.  Not sure how
Peter did that without fixing this ...

14 years agoAlter release note item about PL/pgSQL functions and dropped columns.
Peter Eisentraut [Wed, 19 Aug 2009 08:18:48 +0000 (08:18 +0000)]
Alter release note item about PL/pgSQL functions and dropped columns.
per Pavel Stehule

14 years agoUpdate alpha release notes to current.
Peter Eisentraut [Wed, 19 Aug 2009 07:54:21 +0000 (07:54 +0000)]
Update alpha release notes to current.

14 years agoAllow mixing of traditional and SQL:2008 LIMIT/OFFSET syntax. Being rigid
Tom Lane [Tue, 18 Aug 2009 23:40:20 +0000 (23:40 +0000)]
Allow mixing of traditional and SQL:2008 LIMIT/OFFSET syntax.  Being rigid
about it doesn't simplify the grammar at all, and it does invite confusion
among those who only read the SELECT syntax summary and not the full details.
Per gripe from Jaime Casanova.

14 years agoPick up REGRESS_OPTS from contrib makefiles. Along the way, fix ordering of makefile...
Andrew Dunstan [Tue, 18 Aug 2009 22:36:56 +0000 (22:36 +0000)]
Pick up REGRESS_OPTS from contrib makefiles. Along the way, fix ordering of makefile tests to mimic gmake.

14 years agoFix overflow for INTERVAL 'x ms' where x is more than a couple million,
Tom Lane [Tue, 18 Aug 2009 21:23:14 +0000 (21:23 +0000)]
Fix overflow for INTERVAL 'x ms' where x is more than a couple million,
and integer datetimes are in use.  Per bug report from Hubert Depesz
Lubaczewski.

Alex Hunsaker

14 years agoRemove duplicate from release notes, and reorganize slightly.
Peter Eisentraut [Tue, 18 Aug 2009 16:54:12 +0000 (16:54 +0000)]
Remove duplicate from release notes, and reorganize slightly.

14 years agoPrint the actual DB encoding in the unaccent regression test.
Tom Lane [Tue, 18 Aug 2009 16:00:50 +0000 (16:00 +0000)]
Print the actual DB encoding in the unaccent regression test.
This is to help make it more obvious what the problem is, if the
encoding isn't what the test expects.

14 years agoFix some *other* compiler warnings from a different gcc version.
Tom Lane [Tue, 18 Aug 2009 15:57:26 +0000 (15:57 +0000)]
Fix some *other* compiler warnings from a different gcc version.

14 years agoFix copy-and-pasteo that might explain some of the buildfarm's
Tom Lane [Tue, 18 Aug 2009 15:51:16 +0000 (15:51 +0000)]
Fix copy-and-pasteo that might explain some of the buildfarm's
indigestion about this module.

14 years agoSuppress compiler warnings about uninitialized variables.
Tom Lane [Tue, 18 Aug 2009 15:37:04 +0000 (15:37 +0000)]
Suppress compiler warnings about uninitialized variables.