OSDN Git Service

pg-rex/syncrep.git
13 years agoGeneralize concept of temporary relations to "relation persistence".
Robert Haas [Mon, 13 Dec 2010 17:34:26 +0000 (12:34 -0500)]
Generalize concept of temporary relations to "relation persistence".

This commit replaces pg_class.relistemp with pg_class.relpersistence;
and also modifies the RangeVar node type to carry relpersistence rather
than istemp.  It also removes removes rd_istemp from RelationData and
instead performs the correct computation based on relpersistence.

For clarity, we add three new macros: RelationNeedsWAL(),
RelationUsesLocalBuffers(), and RelationUsesTempNamespace(), so that we
can clarify the purpose of each check that previous depended on
rd_istemp.

This is intended as infrastructure for the upcoming unlogged tables
patch, as well as for future possible work on global temporary tables.

13 years agoReset all database-level stats in pgstat_recv_resetcounter().
Tom Lane [Sun, 12 Dec 2010 20:09:53 +0000 (15:09 -0500)]
Reset all database-level stats in pgstat_recv_resetcounter().

We were failing to zero out some pg_stat_database counters that have
been added since the initial pgstats coding.  This is a bug, but not
back-patching the fix since changing this behavior in a minor release
seems a cure worse than the disease.

Report and patch by Tomas Vondra.

13 years agoMake S_IRGRP etc available in mingw builds as well as MSVC.
Tom Lane [Sun, 12 Dec 2010 18:43:44 +0000 (13:43 -0500)]
Make S_IRGRP etc available in mingw builds as well as MSVC.

(Hm, I wonder whether BCC defines them either...)

Also label dangling endifs a bit better in this area.

13 years agoClean up some copied-and-pasted code in pg_upgrade.
Tom Lane [Sat, 11 Dec 2010 19:17:46 +0000 (14:17 -0500)]
Clean up some copied-and-pasted code in pg_upgrade.

1. Don't reimplement S_ISDIR() and S_ISREG() badly.
2. Don't reimplement access() badly.

This code appears to have been copied from ancient versions of the
corresponding backend routines, and not patched to incorporate subsequent
fixes (see my commits of 2008-03-31 and 2010-01-14 respectively).
It might be a good idea to change it to just *call* those routines,
but for now I'll just transpose these fixes over.

13 years agoProvide a complete set of file-permission-bit macros in win32.h.
Tom Lane [Sat, 11 Dec 2010 18:11:18 +0000 (13:11 -0500)]
Provide a complete set of file-permission-bit macros in win32.h.

My previous patch exposed the fact that we didn't have these.  Those
hard-wired octal constants were actually wrong on Windows, not just
inconsistent.

13 years agoAllow bidirectional copy messages in streaming replication mode.
Robert Haas [Sat, 11 Dec 2010 14:27:37 +0000 (09:27 -0500)]
Allow bidirectional copy messages in streaming replication mode.

Fujii Masao.  Review by Alvaro Herrera, Tom Lane, and myself.

13 years agoAdd required new port files to MSVC builds.
Magnus Hagander [Sat, 11 Dec 2010 13:06:38 +0000 (14:06 +0100)]
Add required new port files to MSVC builds.

13 years agoMinor documentation cleanup.
Robert Haas [Sat, 11 Dec 2010 04:22:50 +0000 (23:22 -0500)]
Minor documentation cleanup.

Fujii Masao

13 years agoMove a couple of initdb's subroutines into src/port/.
Tom Lane [Sat, 11 Dec 2010 00:42:44 +0000 (19:42 -0500)]
Move a couple of initdb's subroutines into src/port/.

mkdir_p and check_data_dir will be useful in CREATE TABLESPACE, since we
have agreed that that command should handle subdirectory creation just like
initdb creates the PGDATA directory.  Push them into src/port/ so that they
are available to both initdb and the backend.  Rename to pg_mkdir_p and
pg_check_dir, just to be on the safe side.  Add FreeBSD's copyright notice
to pgmkdirp.c, since that's where the code came from originally (this
really should have been in initdb.c).  Very marginal code/comment cleanup.

13 years agoUse symbolic names not octal constants for file permission flags.
Tom Lane [Fri, 10 Dec 2010 22:35:33 +0000 (17:35 -0500)]
Use symbolic names not octal constants for file permission flags.

Purely cosmetic patch to make our coding standards more consistent ---
we were doing symbolic some places and octal other places.  This patch
fixes all C-coded uses of mkdir, chmod, and umask.  There might be some
other calls I missed.  Inconsistency noted while researching tablespace
directory permissions issue.

13 years agoFix efficiency problems in tuplestore_trim().
Tom Lane [Fri, 10 Dec 2010 16:33:38 +0000 (11:33 -0500)]
Fix efficiency problems in tuplestore_trim().

The original coding in tuplestore_trim() was only meant to work efficiently
in cases where each trim call deleted most of the tuples in the store.
Which, in fact, was the pattern of the original usage with a Material node
supporting mark/restore operations underneath a MergeJoin.  However,
WindowAgg now uses tuplestores and it has considerably less friendly
trimming behavior.  In particular it can attempt to trim one tuple at a
time off a large tuplestore.  tuplestore_trim() had O(N^2) runtime in this
situation because of repeatedly shifting its tuple pointer array.  Fix by
avoiding shifting the array until a reasonably large number of tuples have
been deleted.  This can waste some pointer space, but we do still reclaim
the tuples themselves, so the percentage wastage should be pretty small.

Per Jie Li's report of slow percent_rank() evaluation.  cume_dist() and
ntile() would certainly be affected as well, along with any other window
function that has a moving frame start and requires reading substantially
ahead of the current row.

Back-patch to 8.4, where window functions were introduced.  There's no
need to tweak it before that.

13 years agoEliminate O(N^2) behavior in parallel restore with many blobs.
Tom Lane [Thu, 9 Dec 2010 18:03:11 +0000 (13:03 -0500)]
Eliminate O(N^2) behavior in parallel restore with many blobs.

With hundreds of thousands of TOC entries, the repeated searches in
reduce_dependencies() become the dominant cost.  Get rid of that searching
by constructing reverse-dependency lists, which we can do in O(N) time
during the fix_dependencies() preprocessing.  I chose to store the reverse
dependencies as DumpId arrays for consistency with the forward-dependency
representation, and keep the previously-transient tocsByDumpId[] array
around to locate actual TOC entry structs quickly from dump IDs.

While this fixes the slow case reported by Vlad Arkhipov, there is still
a potential for O(N^2) behavior with sufficiently many tables:
fix_dependencies itself, as well as mark_create_done and
inhibit_data_for_failed_table, are doing repeated searches to deal with
table-to-table-data dependencies.  Possibly this work could be extended
to deal with that, although the latter two functions are also used in
non-parallel restore where we currently don't run fix_dependencies.

Another TODO is that we fail to parallelize restore of multiple blobs
at all.  This appears to require changes in the archive format to fix.

Back-patch to 9.0 where the problem was reported.  8.4 has potential issues
as well; but since it doesn't create a separate TOC entry for each blob,
it's at much less risk of having enough TOC entries to cause real problems.

13 years agoSelf review of previous patch. Fix assumption that xmax >= xmin.
Simon Riggs [Thu, 9 Dec 2010 10:20:49 +0000 (10:20 +0000)]
Self review of previous patch. Fix assumption that xmax >= xmin.

13 years agoReduce spurious Hot Standby conflicts from never-visible records.
Simon Riggs [Thu, 9 Dec 2010 09:41:47 +0000 (09:41 +0000)]
Reduce spurious Hot Standby conflicts from never-visible records.
Hot Standby conflicts only with tuples that were visible at
some point. So ignore tuples from aborted transactions or for
tuples updated/deleted during the inserting transaction when
generating the conflict transaction ids.

Following detailed analysis and test case by Noah Misch.
Original report covered btree delete records, correctly observed
by Heikki Linnakangas that this applies to other cases also.
Fix covers all sources of cleanup records via common code.

13 years agoForce default wal_sync_method to be fdatasync on Linux.
Tom Lane [Thu, 9 Dec 2010 01:01:09 +0000 (20:01 -0500)]
Force default wal_sync_method to be fdatasync on Linux.

Recent versions of the Linux system header files cause xlogdefs.h to
believe that open_datasync should be the default sync method, whereas
formerly fdatasync was the default on Linux.  open_datasync is a bad
choice, first because it doesn't actually outperform fdatasync (in fact
the reverse), and second because we try to use O_DIRECT with it, causing
failures on certain filesystems (e.g., ext4 with data=journal option).
This part of the patch is largely per a proposal from Marti Raudsepp.
More extensive changes are likely to follow in HEAD, but this is as much
change as we want to back-patch.

Also clean up confusing code and incorrect documentation surrounding the
fsync_writethrough option.  Those changes shouldn't result in any actual
behavioral change, but I chose to back-patch them anyway to keep the
branches looking similar in this area.

In 9.0 and HEAD, also do some copy-editing on the WAL Reliability
documentation section.

Back-patch to all supported branches, since any of them might get used
on modern Linux versions.

13 years agoOptimize commit_siblings in two ways to improve group commit.
Simon Riggs [Wed, 8 Dec 2010 18:48:03 +0000 (18:48 +0000)]
Optimize commit_siblings in two ways to improve group commit.
First, avoid scanning the whole ProcArray once we know there
are at least commit_siblings active; second, skip the check
altogether if commit_siblings = 0.

Greg Smith

13 years agoFix bugs in the hot standby known-assigned-xids tracking logic. If there's
Heikki Linnakangas [Tue, 7 Dec 2010 08:23:30 +0000 (09:23 +0100)]
Fix bugs in the hot standby known-assigned-xids tracking logic. If there's
an old transaction running in the master, and a lot of transactions have
started and finished since, and a WAL-record is written in the gap between
the creating the running-xacts snapshot and WAL-logging it, recovery will fail
with "too many KnownAssignedXids" error. This bug was reported by
Joachim Wieland on Nov 19th.

In the same scenario, when fewer transactions have started so that all the
xids fit in KnownAssignedXids despite the first bug, a more serious bug
arises. We incorrectly initialize the clog code with the oldest still running
transaction, and when we see the WAL record belonging to a transaction with
an XID larger than one that committed already before the checkpoint we're
recovering from, we zero the clog page containing the already committed
transaction, leading to data loss.

In hindsight, trying to track xids in the known-assigned-xids array before
seeing the running-xacts record was too complicated. To fix that, hold
XidGenLock while the running-xacts snapshot is taken and WAL-logged. That
ensures that no transaction can begin or end in that gap, so that in recvoery
we know that the snapshot contains all transactions running at that point in
WAL.

13 years agoAdd a stack overflow check to copyObject().
Tom Lane [Tue, 7 Dec 2010 03:55:43 +0000 (22:55 -0500)]
Add a stack overflow check to copyObject().

There are some code paths, such as SPI_execute(), where we invoke
copyObject() on raw parse trees before doing parse analysis on them.  Since
the bison grammar is capable of building heavily nested parsetrees while
itself using only minimal stack depth, this means that copyObject() can be
the front-line function that hits stack overflow before anything else does.
Accordingly, it had better have a check_stack_depth() call.  I did a bit of
performance testing and found that this slows down copyObject() by only a
few percent, so the hit ought to be negligible in the context of complete
processing of a query.

Per off-list report from Toshihide Katayama.  Back-patch to all supported
branches.

13 years agoAllow the low level COPY routines to read arbitrary numbers of fields.
Andrew Dunstan [Mon, 6 Dec 2010 20:31:55 +0000 (15:31 -0500)]
Allow the low level COPY routines to read arbitrary numbers of fields.
This doesn't involve any user-visible change in behavior, but will be
useful when the COPY routines are exposed to allow their use by Foreign
Data Wrapper routines, which will be able to use these routines to read
irregular CSV files, for example.

13 years agoFix two typos, by Fujii Masao.
Heikki Linnakangas [Mon, 6 Dec 2010 11:36:26 +0000 (12:36 +0100)]
Fix two typos, by Fujii Masao.

13 years agoPut only single space after "Sort Method:", for consistency
Peter Eisentraut [Mon, 6 Dec 2010 11:35:47 +0000 (13:35 +0200)]
Put only single space after "Sort Method:", for consistency

13 years agoReduce memory consumption inside inheritance_planner().
Tom Lane [Sun, 5 Dec 2010 20:10:28 +0000 (15:10 -0500)]
Reduce memory consumption inside inheritance_planner().

Avoid eating quite so much memory for large inheritance trees, by
reclaiming the space used by temporary copies of the original parsetree and
range table, as well as the workspace needed during planning.  The cost is
needing to copy the finished plan trees out of the child memory context.
Although this looks like it ought to slow things down, my testing shows
it actually is faster, apparently because fewer interactions with malloc()
are needed and/or we can do the work within a more readily cacheable amount
of memory.  That result might be platform-dependent, but I'll take it.

Per a gripe from John Papandriopoulos, in which it was pointed out that the
memory consumption actually grew as O(N^2) for sufficiently many child
tables, since we were creating N copies of the N-element range table.

13 years agoFix two small bugs in new gistget.c logic.
Tom Lane [Sat, 4 Dec 2010 18:47:08 +0000 (13:47 -0500)]
Fix two small bugs in new gistget.c logic.

1. Complain, rather than silently doing nothing, if an "invalid" tuple
is found on a leaf page.  Per off-list discussion with Heikki.

2. Fix oversight in code that removes a GISTSearchItem from the search
queue: we have to reset lastHeap if this was the last heap item in the
parent GISTSearchTreeItem.  Otherwise subsequent additions will do the
wrong thing.  This was probably masked in early testing because in typical
cases the parent item would now be completely empty and would be deleted on
next call.  You'd need a queued non-leaf page at exactly the same distance
as a heap tuple to expose the bug.

13 years agoMake output width consistent for all ways of invoking a regression test
Peter Eisentraut [Sat, 4 Dec 2010 15:34:48 +0000 (17:34 +0200)]
Make output width consistent for all ways of invoking a regression test

run_schedule() and run_single_test() were using different output widths, which
would show up in bigcheck/bigtest, for example.

13 years agoUpdate comment to match later code changes.
Tom Lane [Sat, 4 Dec 2010 08:21:49 +0000 (03:21 -0500)]
Update comment to match later code changes.

13 years agoAdd KNNGIST support to contrib/pg_trgm.
Tom Lane [Sat, 4 Dec 2010 05:16:21 +0000 (00:16 -0500)]
Add KNNGIST support to contrib/pg_trgm.

Teodor Sigaev, with some revision by Tom

13 years agoAdd external documentation for KNNGIST.
Tom Lane [Sat, 4 Dec 2010 04:49:06 +0000 (23:49 -0500)]
Add external documentation for KNNGIST.

13 years agoPut back gistgettuple's check for backwards scan request.
Tom Lane [Sat, 4 Dec 2010 03:43:01 +0000 (22:43 -0500)]
Put back gistgettuple's check for backwards scan request.

On reflection it's a bad idea for the KNNGIST patch to have removed that.
We don't want it silently returning incorrect answers.

13 years agoKNNGIST, otherwise known as order-by-operator support for GIST.
Tom Lane [Sat, 4 Dec 2010 01:52:18 +0000 (20:52 -0500)]
KNNGIST, otherwise known as order-by-operator support for GIST.

This commit represents a rather heavily editorialized version of
Teodor's builtin_knngist_itself-0.8.2 and builtin_knngist_proc-0.8.1
patches.  I redid the opclass API to add a separate Distance method
instead of turning the Consistent method into an illogical mess,
fixed some bit-rot in the rbtree interfaces, and generally worked over
the code style and comments.

There's still no non-code documentation to speak of, but I'll work on
that separately.  Some contrib-module changes are also yet to come
(right now, point <-> point is the only KNN-ified operator).

Teodor Sigaev and Tom Lane

13 years agoClarify that LOCK TABLE requires a table-level privilege.
Robert Haas [Fri, 3 Dec 2010 14:29:14 +0000 (09:29 -0500)]
Clarify that LOCK TABLE requires a table-level privilege.

13 years agoRemove now-outdated mention of quotes being required in recovery.conf.
Robert Haas [Fri, 3 Dec 2010 14:00:18 +0000 (09:00 -0500)]
Remove now-outdated mention of quotes being required in recovery.conf.

Noted by Itagaki Takahiro.

13 years agoUse GUC lexer for recovery.conf parsing.
Robert Haas [Fri, 3 Dec 2010 13:44:15 +0000 (08:44 -0500)]
Use GUC lexer for recovery.conf parsing.

This eliminates some crufty, special-purpose code and, as a non-trivial
side benefit, allows recovery.conf parameters to be unquoted.

Dimitri Fontaine, with review and cleanup by Alvaro Herrera, Itagaki
Takahiro, and me.

13 years agoRemove misleading comments. Move _Clone and _DeClone functions before
Heikki Linnakangas [Fri, 3 Dec 2010 12:58:24 +0000 (14:58 +0200)]
Remove misleading comments. Move _Clone and _DeClone functions before
the "END OF FORMAT CALLBACKS" comment, because they are format callbacks too.

13 years agoRemove unnecessary string null-termination in pg_convert.
Itagaki Takahiro [Fri, 3 Dec 2010 03:00:27 +0000 (12:00 +0900)]
Remove unnecessary string null-termination in pg_convert.
We can directly verify the unterminated input with pg_verify_mbstr_len.

13 years agoCreate core infrastructure for KNNGIST.
Tom Lane [Fri, 3 Dec 2010 01:50:48 +0000 (20:50 -0500)]
Create core infrastructure for KNNGIST.

This is a heavily revised version of builtin_knngist_core-0.9.  The
ordering operators are no longer mixed in with actual quals, which would
have confused not only humans but significant parts of the planner.
Instead, ordering operators are carried separately throughout planning and
execution.

Since the API for ambeginscan and amrescan functions had to be changed
anyway, this commit takes the opportunity to rationalize that a bit.
RelationGetIndexScan no longer forces a premature index_rescan call;
instead, callers of index_beginscan must call index_rescan too.  Aside from
making the AM-side initialization logic a bit less peculiar, this has the
advantage that we do not make a useless extra am_rescan call when there are
runtime key values.  AMs formerly could not assume that the key values
passed to amrescan were actually valid; now they can.

Teodor Sigaev and Tom Lane

13 years agoMove private struct declaration to compress_io.c
Alvaro Herrera [Thu, 2 Dec 2010 20:38:49 +0000 (17:38 -0300)]
Move private struct declaration to compress_io.c

Keep only the typedef in the header file.

13 years agoRemove trailing whitespace
Alvaro Herrera [Thu, 2 Dec 2010 20:38:31 +0000 (17:38 -0300)]
Remove trailing whitespace

13 years agoRemove useless struct declaration
Alvaro Herrera [Thu, 2 Dec 2010 20:25:18 +0000 (17:25 -0300)]
Remove useless struct declaration

13 years agoSilence compiler
Alvaro Herrera [Thu, 2 Dec 2010 20:21:53 +0000 (17:21 -0300)]
Silence compiler

13 years agoRefactor the pg_dump zlib code from pg_backup_custom.c to a separate file,
Heikki Linnakangas [Thu, 2 Dec 2010 19:39:03 +0000 (21:39 +0200)]
Refactor the pg_dump zlib code from pg_backup_custom.c to a separate file,
to make it easier to reuse that code. There is no user-visible changes.

This is in preparation for the patch to add a new archive format, a directory,
to perform a custom-like dump but with each table being dumped to a separate
file (that in turn is a prerequisite for parallel pg_dump). This also makes it
easier to add new compression methods in the future, and makes the
pg_backup_custom.c code easier to read, when the compression-related code is
factored out.

Joachim Wieland, with heavy editorialization by me.

13 years agoPrevent inlining a SQL function with multiple OUT parameters.
Tom Lane [Wed, 1 Dec 2010 05:53:18 +0000 (00:53 -0500)]
Prevent inlining a SQL function with multiple OUT parameters.

There were corner cases in which the planner would attempt to inline such
a function, which would result in a failure at runtime due to loss of
information about exactly what the result record type is.  Fix by disabling
inlining when the function's recorded result type is RECORD.  There might
be some sub-cases where inlining could still be allowed, but this is a
simple and backpatchable fix, so leave refinements for another day.
Per bug #5777 from Nate Carson.

Back-patch to all supported branches.  8.1 happens to avoid a core-dump
here, but it still does the wrong thing.

13 years agoSimplify and speed up mapping of index opfamilies to pathkeys.
Tom Lane [Mon, 29 Nov 2010 17:29:42 +0000 (12:29 -0500)]
Simplify and speed up mapping of index opfamilies to pathkeys.

Formerly we looked up the operators associated with each index (caching
them in relcache) and then the planner looked up the btree opfamily
containing such operators in order to build the btree-centric pathkey
representation that describes the index's sort order.  This is quite
pointless for btree indexes: we might as well just use the index's opfamily
information directly.  That saves syscache lookup cycles during planning,
and furthermore allows us to eliminate the relcache's caching of operators
altogether, which may help in reducing backend startup time.

I added code to plancat.c to perform the same type of double lookup
on-the-fly if it's ever faced with a non-btree amcanorder index AM.
If such a thing actually becomes interesting for production, we should
replace that logic with some more-direct method for identifying the
corresponding btree opfamily; but it's not worth spending effort on now.

There is considerably more to do pursuant to my recent proposal to get rid
of sort-operator-based representations of sort orderings, but this patch
grabs some of the low-hanging fruit.  I'll look at the remainder of that
work after the current commitfest.

13 years agoBe consistent about writing "[, ...]" instead "[,...]" in the docs.
Heikki Linnakangas [Mon, 29 Nov 2010 09:49:51 +0000 (11:49 +0200)]
Be consistent about writing "[, ...]" instead "[,...]" in the docs.

Christoph Berg.

13 years agoFix typo.
Robert Haas [Mon, 29 Nov 2010 01:46:11 +0000 (20:46 -0500)]
Fix typo.

Fujii Masao

13 years agoMove call to GetTopTransactionId() earlier in LockAcquire(),
Simon Riggs [Mon, 29 Nov 2010 01:08:02 +0000 (01:08 +0000)]
Move call to GetTopTransactionId() earlier in LockAcquire(),
removing an infrequently occurring race condition in Hot Standby.
An xid must be assigned before a lock appears in shared memory,
rather than immediately after, else GetRunningTransactionLocks()
may see InvalidTransactionId, causing assertion failures during
lock processing on standby.

Bug report and diagnosis by Fujii Masao, fix by me.

13 years agoPoint out in default_tablespace's description that CREATE DATABASE ignores it.
Tom Lane [Sat, 27 Nov 2010 21:08:32 +0000 (16:08 -0500)]
Point out in default_tablespace's description that CREATE DATABASE ignores it.

Per gripe from Andreas Scherbaum.

13 years agoIn libpq/Makefile, use OBJS += as a way to break up long link lines into
Bruce Momjian [Sat, 27 Nov 2010 16:02:44 +0000 (11:02 -0500)]
In libpq/Makefile, use OBJS += as a way to break up long link lines into
something that can be documented.

13 years agoNew contrib module, auth_delay.
Robert Haas [Sat, 27 Nov 2010 12:22:25 +0000 (07:22 -0500)]
New contrib module, auth_delay.

KaiGai Kohei, with a few changes by me.

13 years agoA bit more wordsmithing on the PQping documentation.
Tom Lane [Sat, 27 Nov 2010 07:42:22 +0000 (02:42 -0500)]
A bit more wordsmithing on the PQping documentation.

13 years agoOn further testing, PQping also needs an explicit check for AUTH_REQ.
Tom Lane [Sat, 27 Nov 2010 07:11:45 +0000 (02:11 -0500)]
On further testing, PQping also needs an explicit check for AUTH_REQ.

The pg_fe_sendauth code might fail if it can't handle the authentication
request message type --- if so, ping should still say the server is up.

13 years agoRewrite PQping to be more like what we agreed to last week.
Tom Lane [Sat, 27 Nov 2010 06:30:34 +0000 (01:30 -0500)]
Rewrite PQping to be more like what we agreed to last week.

Basically, we want to distinguish all cases where the connection was
not made from those where it was.  A convenient proxy for this is to
see if we got a message with a SQLSTATE code back from the postmaster.
This presumes that the postmaster will always send us a SQLSTATE in
a failure message, which is true for 7.4 and later postmasters in
every case except fork failure.  (We could possibly complicate the
postmaster code to do something about that, but it seems not worth
the trouble, especially since pg_ctl's response for that case should
be to keep waiting anyway.)

If we did get a SQLSTATE from the postmaster, there are basically only
two cases, as per last week's discussion: ERRCODE_CANNOT_CONNECT_NOW
and everything else.  Any other error code implies that the postmaster
is in principle willing to accept connections, it just didn't like or
couldn't handle this particular request.  We want to make a special
case for ERRCODE_CANNOT_CONNECT_NOW so that "pg_ctl start -w" knows
it should keep waiting.

In passing, pick names for the enum constants that are a tad less
likely to present collision hazards in future.

13 years agoClean up IPv4 vs IPv6 bogosity in connectFailureMessage().
Tom Lane [Sat, 27 Nov 2010 00:16:39 +0000 (19:16 -0500)]
Clean up IPv4 vs IPv6 bogosity in connectFailureMessage().

Newly added code was supposing that "struct sockaddr_in" applies to IPv6.

13 years agoFix portability issues in new src/port/inet_net_ntop.c file.
Tom Lane [Fri, 26 Nov 2010 22:59:10 +0000 (17:59 -0500)]
Fix portability issues in new src/port/inet_net_ntop.c file.

1. Don't #include postgres.h in a frontend build.

2. Don't assume that the backend's symbol PGSQL_AF_INET6 has anything to do
with the constant that will be used by system library functions (because,
in point of fact, it usually doesn't).  Fortunately, PGSQL_AF_INET is equal
to AF_INET, so we can just cater for both sets of values in one case
construct without fear of conflict.

13 years agoAdd more ALTER <object> .. SET SCHEMA commands.
Robert Haas [Fri, 26 Nov 2010 22:27:23 +0000 (17:27 -0500)]
Add more ALTER <object> .. SET SCHEMA commands.

This adds support for changing the schema of a conversion, operator,
operator class, operator family, text search configuration, text search
dictionary, text search parser, or text search template.

Dimitri Fontaine, with assorted corrections and other kibitzing.

13 years agoRemove bogus use of PGDLLIMPORT.
Tom Lane [Fri, 26 Nov 2010 22:05:29 +0000 (17:05 -0500)]
Remove bogus use of PGDLLIMPORT.

That macro should be attached to extern declarations, not actual
definitions of variables.

13 years agoFix significant memory leak in contrib/xml2 functions.
Tom Lane [Fri, 26 Nov 2010 20:20:51 +0000 (15:20 -0500)]
Fix significant memory leak in contrib/xml2 functions.

Most of the functions that execute XPath queries leaked the data structures
created by libxml2.  This memory would not be recovered until end of
session, so it mounts up pretty quickly in any serious use of the feature.
Per report from Pavel Stehule, though this isn't his patch.

Back-patch to all supported branches.

13 years agoAdd inet_net_ntop.c as needed by MSVC, per Magnus.
Bruce Momjian [Fri, 26 Nov 2010 19:39:13 +0000 (14:39 -0500)]
Add inet_net_ntop.c as needed by MSVC, per Magnus.

13 years agoUse conn->raddr consistently for non-connect libpq error reporting.
Bruce Momjian [Fri, 26 Nov 2010 18:26:13 +0000 (13:26 -0500)]
Use conn->raddr consistently for non-connect libpq error reporting.

13 years agoUpdate comment that says we only report last libpq connection failure,
Bruce Momjian [Fri, 26 Nov 2010 16:52:03 +0000 (11:52 -0500)]
Update comment that says we only report last libpq connection failure,
per Peter.

13 years agoUse only addr_cur when reporting connection failures in libpq.
Bruce Momjian [Fri, 26 Nov 2010 16:49:35 +0000 (11:49 -0500)]
Use only addr_cur when reporting connection failures in libpq.

13 years agoAbandon use of Makefile variables in libpq/Makefile because MSVC scrapes
Bruce Momjian [Fri, 26 Nov 2010 16:10:26 +0000 (11:10 -0500)]
Abandon use of Makefile variables in libpq/Makefile because MSVC scrapes
the OBJS lines from that file.

Cleanup where possible.

13 years agoIn libpq/Makefile, merge PERM_PGPORT and OPT_PGPORT into a single
Bruce Momjian [Fri, 26 Nov 2010 15:22:09 +0000 (10:22 -0500)]
In libpq/Makefile, merge PERM_PGPORT and OPT_PGPORT into a single
Makefile variable PGPORT, for clarity.

13 years agoImprove pg_ctl "cannot connect" spacing, per Tom, and wording.
Bruce Momjian [Fri, 26 Nov 2010 15:04:18 +0000 (10:04 -0500)]
Improve pg_ctl "cannot connect" spacing, per Tom, and wording.

13 years agoImprove pg_ctl "cannot connect" warning, per suggestion from Magnus.
Bruce Momjian [Thu, 25 Nov 2010 19:38:20 +0000 (14:38 -0500)]
Improve pg_ctl "cannot connect" warning, per suggestion from Magnus.

13 years agoFor libpq/Makefile OPT_PGPORT, remove .o extension after we test
Bruce Momjian [Thu, 25 Nov 2010 18:19:31 +0000 (13:19 -0500)]
For libpq/Makefile OPT_PGPORT, remove .o extension after we test
configure's LIBOBJS.  Should fix buildfarm failures.

13 years agoAdd PQping and PQpingParams to libpq to allow detection of the server's
Bruce Momjian [Thu, 25 Nov 2010 18:09:38 +0000 (13:09 -0500)]
Add PQping and PQpingParams to libpq to allow detection of the server's
status, including a status where the server is running but refuses a
postgres connection.

Have pg_ctl use this new function.  This fixes the case where pg_ctl
reports that the server is not running (cannot connect) but in fact it
is running.

13 years agoFix getaddrinfo() in pgport to use proper parameters, as detected by
Bruce Momjian [Thu, 25 Nov 2010 17:56:59 +0000 (12:56 -0500)]
Fix getaddrinfo() in pgport to use proper parameters, as detected by
Win32 buildfarm members.

13 years agoRestructure how libpq includes external C files, for clarity.
Bruce Momjian [Thu, 25 Nov 2010 17:51:06 +0000 (12:51 -0500)]
Restructure how libpq includes external C files, for clarity.

13 years agoObject access hook framework, with post-creation hook.
Robert Haas [Thu, 25 Nov 2010 16:48:49 +0000 (11:48 -0500)]
Object access hook framework, with post-creation hook.

After a SQL object is created, we provide an opportunity for security
or logging plugins to get control; for example, a security label provider
could use this to assign an initial security label to newly created
objects.  The basic infrastructure is (hopefully) reusable for other types
of events that might require similar treatment.

KaiGai Kohei, with minor adjustments.

13 years agoDon't raise "identifier will be truncated" messages in dblink
Itagaki Takahiro [Thu, 25 Nov 2010 10:40:58 +0000 (19:40 +0900)]
Don't raise "identifier will be truncated" messages in dblink
except creating new connections.

13 years agoAdd inet_net_ntop.c to .gitignore.
Robert Haas [Thu, 25 Nov 2010 05:12:25 +0000 (00:12 -0500)]
Add inet_net_ntop.c to .gitignore.

13 years agoRemove belt-and-suspenders guards against buffer pin leaks.
Robert Haas [Thu, 25 Nov 2010 05:06:46 +0000 (00:06 -0500)]
Remove belt-and-suspenders guards against buffer pin leaks.

Forcibly releasing all leftover buffer pins should be unnecessary now
that we have a robust ResourceOwner mechanism, and it significantly
increases the cost of process shutdown.  Instead, in an assert-enabled
build, assert that no pins are held; in a non-assert-enabled build, do
nothing.

13 years agoProperly add new inet_net_ntop file to libpq Makefile.
Bruce Momjian [Thu, 25 Nov 2010 02:58:47 +0000 (21:58 -0500)]
Properly add new inet_net_ntop file to libpq Makefile.

13 years agoDocument that a CHECKPOINT before taking a file system snapshot can
Bruce Momjian [Wed, 24 Nov 2010 23:41:28 +0000 (18:41 -0500)]
Document that a CHECKPOINT before taking a file system snapshot can
reduce recovery time.

13 years agoWhen reporting the server as not responding, if the hostname was
Bruce Momjian [Wed, 24 Nov 2010 22:04:19 +0000 (17:04 -0500)]
When reporting the server as not responding, if the hostname was
supplied, also print the IP address.  This allows IPv4 and IPv6 failures
to be distinguished.  Also useful when a hostname resolves to multiple
IP addresses.

Also, remove use of inet_ntoa() and use our own inet_net_ntop() in all
places, including in libpq, because it is thread-safe.

13 years agoCreate the system catalog infrastructure needed for KNNGIST.
Tom Lane [Wed, 24 Nov 2010 19:20:39 +0000 (14:20 -0500)]
Create the system catalog infrastructure needed for KNNGIST.

This commit adds columns amoppurpose and amopsortfamily to pg_amop, and
column amcanorderbyop to pg_am.  For the moment all the entries in
amcanorderbyop are "false", since the underlying support isn't there yet.

Also, extend the CREATE OPERATOR CLASS/ALTER OPERATOR FAMILY commands with
[ FOR SEARCH | FOR ORDER BY sort_operator_family ] clauses to allow the new
columns of pg_amop to be populated, and create pg_dump support for dumping
that information.

I also added some documentation, although it's perhaps a bit premature
given that the feature doesn't do anything useful yet.

Teodor Sigaev, Robert Haas, Tom Lane

13 years agoAdd index entries for more functions
Peter Eisentraut [Tue, 23 Nov 2010 22:00:34 +0000 (00:00 +0200)]
Add index entries for more functions

Also, move index entries into the tables, closer to the function description,
for easier editing in the future.  Resort some tables to be more alphabetical.
Remove the entries for count, max, min, and sum in the tutorial area, because
that was felt to be confusing.

Thom Brown

13 years agoPropagate ALTER TYPE operations to typed tables
Peter Eisentraut [Tue, 23 Nov 2010 20:50:17 +0000 (22:50 +0200)]
Propagate ALTER TYPE operations to typed tables

This adds RESTRICT/CASCADE flags to ALTER TYPE ... ADD/DROP/ALTER/
RENAME ATTRIBUTE to control whether to alter typed tables as well.

13 years agoRemove useless whitespace at end of lines
Peter Eisentraut [Tue, 23 Nov 2010 20:27:50 +0000 (22:27 +0200)]
Remove useless whitespace at end of lines

13 years agoCentralize some ALTER <whatever> .. SET SCHEMA checks.
Robert Haas [Tue, 23 Nov 2010 00:46:15 +0000 (19:46 -0500)]
Centralize some ALTER <whatever> .. SET SCHEMA checks.

Any flavor of ALTER <whatever> .. SET SCHEMA fails if (1) the object
is already in the new schema, (2) either the old or new schema is
a temp schema, or (3) either the old or new schema is the TOAST schema.

Extraced from a patch by Dimitri Fontaine, with additional hacking by me.

13 years agoRemove GucContext parameter from ParseConfigFile
Alvaro Herrera [Mon, 22 Nov 2010 22:00:31 +0000 (19:00 -0300)]
Remove GucContext parameter from ParseConfigFile

13 years agoPut back accidentally-deleted quote_literal() regression tests.
Robert Haas [Mon, 22 Nov 2010 01:46:54 +0000 (20:46 -0500)]
Put back accidentally-deleted quote_literal() regression tests.

13 years agoBump catversion. Should have done this as part of format(text) patch.
Robert Haas [Sun, 21 Nov 2010 11:34:42 +0000 (06:34 -0500)]
Bump catversion.  Should have done this as part of format(text) patch.

13 years agoAdd new SQL function, format(text).
Robert Haas [Sat, 20 Nov 2010 05:21:17 +0000 (00:21 -0500)]
Add new SQL function, format(text).

Currently, three conversion format specifiers are supported: %s for a
string, %L for an SQL literal, and %I for an SQL identifier.  The latter
two are deliberately designed not to overlap with what sprintf() already
supports, in case we want to add more of sprintf()'s functionality here
later.

Patch by Pavel Stehule, heavily revised by me.  Reviewed by Jeff Janes
and, in earlier versions, by Itagaki Takahiro and Tom Lane.

13 years agoFurther cleanup of indxpath logic related to IndexOptInfo.opfamily array.
Tom Lane [Sat, 20 Nov 2010 20:07:16 +0000 (15:07 -0500)]
Further cleanup of indxpath logic related to IndexOptInfo.opfamily array.

We no longer need the terminating zero entry in opfamily[], so get rid of
it.  Also replace assorted ad-hoc looping logic with simple for and foreach
constructs.  This code is now noticeably more readable than it was an hour
ago; credit to Robert for seeing that it could be simplified.

13 years agoMinor cleanup of indxpath.c.
Robert Haas [Sat, 20 Nov 2010 18:57:27 +0000 (13:57 -0500)]
Minor cleanup of indxpath.c.

Eliminate some superfluous notational complexity around
match_clause_to_indexcol(), and rip out the DoneMatchingIndexKeys
crock.

13 years agoAssorted further cleanup for integer-conversion patch.
Tom Lane [Sat, 20 Nov 2010 17:09:36 +0000 (12:09 -0500)]
Assorted further cleanup for integer-conversion patch.

Avoid depending on LL notation, which is likely to not work in pre-C99
compilers; don't pointlessly use INT32_MIN/INT64_MIN in code that has
the numerical value hard-wired into it anyway; remove some gratuitous
style inconsistencies between pg_ltoa and pg_lltoa; fix int2 test case
so it actually tests int2.

13 years agoExpose quote_literal_cstr() from core.
Robert Haas [Sat, 20 Nov 2010 15:04:48 +0000 (10:04 -0500)]
Expose quote_literal_cstr() from core.

This eliminates the need for inefficient implementions of this
functionality in both contrib/dblink and contrib/tablefunc, so remove
them.  The upcoming patch implementing an in-core format() function
will also require this functionality.

In passing, add some regression tests.

13 years agoUpdate int8-exp-three-digits.out to match new contents of int8.out.
Robert Haas [Sat, 20 Nov 2010 12:06:52 +0000 (07:06 -0500)]
Update int8-exp-three-digits.out to match new contents of int8.out.

13 years agoAttempt to fix breakage caused by signed integer conversion patch.
Robert Haas [Sat, 20 Nov 2010 06:07:04 +0000 (01:07 -0500)]
Attempt to fix breakage caused by signed integer conversion patch.

Use INT_MIN rather than INT32_MIN as we do elsewhere in the code, and
try to work around nonexistence of INT64_MIN if necessary.  Adjust the
new regression tests to something hopefully saner, per observation by
Tom Lane.

13 years agoFix leakage of cost_limit when multiple autovacuum workers are active.
Tom Lane [Sat, 20 Nov 2010 03:28:20 +0000 (22:28 -0500)]
Fix leakage of cost_limit when multiple autovacuum workers are active.

When using default autovacuum_vac_cost_limit, autovac_balance_cost relied
on VacuumCostLimit to contain the correct global value ... but after the
first time through in a particular worker process, it didn't, because we'd
trashed it in previous iterations.  Depending on the state of other autovac
workers, this could result in a steady reduction of the effective
cost_limit setting as a particular worker processed more and more tables,
causing it to go slower and slower.  Spotted by Simon Poole (bug #5759).
Fix by saving and restoring the GUC variables in the loop in do_autovacuum.

In passing, improve a few comments.

Back-patch to 8.3 ... the cost rebalancing code has been buggy since it was
put in.

13 years agoSpeed up conversion of signed integers to C strings.
Robert Haas [Sat, 20 Nov 2010 03:13:11 +0000 (22:13 -0500)]
Speed up conversion of signed integers to C strings.

A hand-coded implementation turns out to be much faster than calling
printf().  In passing, add a few more regresion tests.

Andres Freund, with assorted, mostly cosmetic changes.

13 years agoImprove relation width estimation for subqueries.
Tom Lane [Fri, 19 Nov 2010 22:31:50 +0000 (17:31 -0500)]
Improve relation width estimation for subqueries.

As per the ancient comment for set_rel_width, it really wasn't much good
for relations that aren't plain tables: it would never find any stats and
would always fall back on datatype-based estimates, which are often pretty
silly.  Fix that by copying up width estimates from the subquery planning
process.

At some point we might want to do this for CTEs too, but that would be a
significantly more invasive patch because the sub-PlannerInfo is no longer
accessible by the time it's needed.  I refrained from doing anything about
that, partly for fear of breaking the unmerged CTE-related patches.

In passing, also generate less bogus width estimates for whole-row Vars.

Per a gripe from Jon Nelson.

13 years agoImprove plpgsql's error reporting for no-such-column cases.
Tom Lane [Thu, 18 Nov 2010 22:06:57 +0000 (17:06 -0500)]
Improve plpgsql's error reporting for no-such-column cases.

Given a column reference foo.bar, where there is a composite plpgsql
variable foo but it doesn't contain a column bar, the pre-9.0 coding would
immediately throw a "record foo has no field bar" error.  In 9.0 the parser
hook instead falls through to let the core parser see if it can resolve the
reference.  If not, you get a complaint about "missing FROM-clause entry
for table foo", which while in some sense correct isn't terribly helpful.
Complicate things a bit so that we can throw the old error message if
neither the core parser nor the hook are able to resolve the column
reference, while not changing the behavior in any other case.
Per bug #5757 from Andrey Galkin.

13 years agoAdd pg_describe_object function
Alvaro Herrera [Thu, 18 Nov 2010 19:33:48 +0000 (16:33 -0300)]
Add pg_describe_object function

This function is useful to obtain textual descriptions of objects as
stored in pg_depend.

13 years agoDept of second thoughts: don't try to push LIMIT below a SRF.
Tom Lane [Thu, 18 Nov 2010 16:53:49 +0000 (11:53 -0500)]
Dept of second thoughts: don't try to push LIMIT below a SRF.

If we have Limit->Result->Sort, the Result might be projecting a tlist
that contains a set-returning function.  If so, it's possible for the
SRF to sometimes return zero rows, which means we could need to fetch
more than N rows from the Sort in order to satisfy LIMIT N.
So top-N sorting cannot be used in this scenario.

13 years agoMinor corrections to dummy_seclabel documentation.
Robert Haas [Thu, 18 Nov 2010 15:28:00 +0000 (10:28 -0500)]
Minor corrections to dummy_seclabel documentation.

Problems noted by Thom Brown.

13 years agoRemove unused parameter. Patch by Shigeru Hanada.
Heikki Linnakangas [Thu, 18 Nov 2010 08:04:02 +0000 (10:04 +0200)]
Remove unused parameter. Patch by Shigeru Hanada.

13 years agoFurther fallout from the MergeAppend patch.
Tom Lane [Thu, 18 Nov 2010 05:30:10 +0000 (00:30 -0500)]
Further fallout from the MergeAppend patch.

Fix things so that top-N sorting can be used in child Sort nodes of a
MergeAppend node, when there is a LIMIT and no intervening joins or
grouping.  Actually doing this on the executor side isn't too bad,
but it's a bit messier to get the planner to cost it properly.
Per gripe from Robert Haas.

In passing, fix an oversight in the original top-N-sorting patch:
query_planner should not assume that a LIMIT can be used to make an
explicit sort cheaper when there will be grouping or aggregation in
between.  Possibly this should be back-patched, but I'm not sure the
mistake is serious enough to be a real problem in practice.

13 years agoDocument the dummy_seclabel contrib module.
Robert Haas [Thu, 18 Nov 2010 01:46:19 +0000 (20:46 -0500)]
Document the dummy_seclabel contrib module.

KaiGai Kohei, with editing and markup fixes by me.