While fixing plperl and pltcl, I realized plpgsql wasn't doing
subtransactions quite right either: the ReleaseCurrentSubTransaction
call should occur inside the PG_TRY, so that the proper path is taken
if an error occurs during subtransaction commit.  This assumes that
AbortSubTransaction can cope with the state left behind if
CommitSubTransaction fails partway through, but we were already
requiring that.

Suppress remaining compile warnings, and add a comment about why
it's not really broken.  Andrew Dunstan

Fix plperl and pltcl error handling per my previous proposal.  SPI
operations are now run as subtransactions, so that errors in them
can be reported as ordinary Perl or Tcl errors and caught by the
normal error handling convention of those languages.  Also do some
minor code cleanup in pltcl.c: extract a large chunk of duplicated
code in pltcl_SPI_execute and pltcl_SPI_execute_plan into a shared
subroutine.

Fix typo.

Patch of 2004-03-30 corrected date_part(timestamp) for extracting
the year from a BC date, but failed to make the same fix in
date_part(timestamptz).

Fix typo, per Bruno Wolff.

Fix up makefile dependencies for pg_config_paths.h.

Avoid scanning the relcache during AtEOSubXact_RelationCache when there
is nothing to do, which is most of the time.  This is another simple
improvement to cut subtransaction entry/exit overhead.

Reduce the default size of the local lock hash table.  There's usually
no need for it to be nearly as big as the global hash table, and since
it's not in shared memory it can grow if it does need to be bigger.
By reducing the size, we speed up hash_seq_search(), which saves a
significant fraction of subtransaction entry/exit overhead.

Fix plperl's elog() function to convert elog(ERROR) into Perl croak(),
rather than longjmp'ing clear out of Perl and thereby leaving Perl in
a broken state.  Also some minor prettification of error messages.
Still need to do something with spi_exec_query() error handling.

Fix one more place where we were expecting lcons() to be nondestructive
to the original List; per report from Sebastian BÎck.  I think this is
the last such bug --- I examined every lcons() call in the backend and
the rest seem OK --- but it's nervous-making that we're still finding
'em so many months after the List rewrite went in.

On some HPUX versions/hardware, it seems we need to include libgcc.a in
the regression test shared libraries.

Fix unportable isdigit() call --- must cast arg to unsigned char.

Move pgstat_report_tabstat() call so that stats are not reported to the
collector until the transaction commits.  Per recent discussion, this
should avoid confusing autovacuum when an updating transaction runs for
a long time.

Make sure we produce a useful error message for the case where the
postgresql.crt file simply isn't there, too.

Improve error reporting for SSL connection failures.  Remove redundant
free operations in client_cert_cb --- openssl will also attempt to free
these structures, resulting in core dumps.

Fix incorrect documentation of plperl's method for accessing the number
of rows processed by a SPI query (David Fetter); also some other minor
editorial cleanup (Tom Lane).

Clean up rpath handling for HPUX --- we can't use the cc-style rpath
switch syntax when calling ld directly.

Set rpath for plperl and plpython to ensure we can find the .so files
for the languages even when not installed in a standard directory.
pltcl may need this treatment as well, but we don't have the right path
conveniently available, so I'll leave it alone as long as there aren't
actual reports of trouble.

Modify the platform-specific makefiles so that macro 'rpath' is defined
in terms of macro 'rpathdir', as I proposed a few weeks ago.  In itself
this commit shouldn't change the behavior at all, but it opens the door
to using special rpaths for the PL shared libraries, as seems to be
needed for plperl in particular.

Fix memory clobber problem reported by John Hansen: plperl_safe_init()
may expand the Perl stack, therefore we must SPAGAIN to reload the local
stack pointer after calling it.  Also a couple other marginal readability
improvements.

Whoops, missed converting the other sleep() call to pg_usleep().

Translation update

Force pg_database updates out to disk immediately after ALTER DATABASE;
this is to avoid scenarios where incoming backends find no live copies
of a database's row because the only live copy is in an as-yet-unwritten
shared buffer, which they can't see.  Also, use FlushRelationBuffers()
for forcing out pg_database, instead of the much more expensive BufferSync().
There's no need to write out pages belonging to other relations.

Include <getopt.h> if available, to avoid warnings on Windows.

Rename vacuum_cost_limit switch from -N to -l to avoid conflict with
existing Windows-only switch.

Remove ill-considered suppression of gcc warnings in plperl, and fix
some of the bugs exposed thereby.  The remaining 'might be used uninitialized'
warnings look like live bugs, but I am not familiar enough with Perl/C hacking
to tell how to fix them.

Fix off-by-one memory allocation, as reported by Rod Taylor.  Also
avoid repalloc'ing twice when once is sufficient.

Set DEFAULT_EDITOR to notepad.exe on Windows, as per recent discussion.

Some further editorial adjustment of PITR recovery procedure description.

Force LANG=en on Windows, since system may fail to default to English.

Add installcheck-parallel regression test target.  Magnus Hagander

Use pg_usleep() not sleep(), per Andrew Dunstan.

Miscellaneous Cygwin build fixes from Reini Urban.

Add variant regression file to support BSDen that underflow to plus zero instead
of minus zero.  Per Andrew Dunstan.

Install include/port header files, and fix PGXS build to use them.
Fabien COELHO

Adjust SHLIB_LINK for cygwin case.
Reini Urban

Add options to pg_autovacuum to support setting the cost-based-vacuum
parameters differently from their default values.  Matthew T. O'Connor

Be sure length limit passed to snprintf matches what malloc was given.
Just paranoia ...

Minor adjustment of message style.

Win32 build cleanups, from Andrew Dunstan.

Remove debugging printf from #ifdef WIN32 section.

Micro-optimization of markpos() and restrpos() in btree and hash indexes.
Rather than using ReadBuffer() to increment the reference count on an
already-pinned buffer, we should use IncrBufferRefCount() as it is
faster and does not require acquiring the BufMgrLock.

Document a limitation of COPY's new CSV mode. Doc patch from Andrew
Dunstan, editorializing by Neil Conway.

Don't allow pg_start_backup() to be invoked if archive_command has not
been defined. Patch from Gavin Sherry, editorializing by Neil Conway.

Fix Win32 problems with signals and sockets, by making the forkexec code
even uglier than it was already :-(.  Also, on Windows only, use temporary
shared memory segments instead of ordinary files to pass over critical
variable values from postmaster to child processes.  Magnus Hagander

Prevent a backend crash when processing CREATE TABLE commands with
more than 65K columns, or when the created table has more than 65K columns
due to adding inherited columns from parent relations. Fix a similar
crash when processing SELECT queries with more than 65K target list
entries. In all three cases we would eventually detect the error and
elog, but the check was being made too late.

Translation update

Adjust safety restrictions for plperl functions.  Andrew Dunstan's
patch, but allow srand and disallow sprintf as per subsequent discussion.

Suppress duplicate rules for lib$(NAME).a on WIN32 and Cygwin.
Andrew Dunstan

Use dynamically-sized buffers in pgwin32_is_service().
Magnus Hagander

Rethink plpgsql's way of handling SPI execution during an exception block.
We don't really want to start a new SPI connection, just keep using the old
one; otherwise we have memory management problems as illustrated by
John Kennedy's bug report of today.  This requires a bit of a hack to
ensure the SPI stack state is properly restored, but then again what we
were doing before was a hack too, strictly speaking.  Add a regression
test to cover this case.

Trivial wording improvement.

Add index entries for all GUC configuration parameters.

Don't quote the value of EDITOR on Unix, only on Windows.  Per discussion.

Replace "--" and "---" with "&mdash;" as appropriate, for better-looking
output.

Fix typo, other minor improvements.

Use English-style quotes in error messages, per Serguei Mokhov.

Remove replicaiton FAQ item.

Remove GUC USERLIMIT variable category, making the affected variables
plain SUSET instead.  Also delay processing of options received in
client connection request until after we know if the user is a superuser,
so that SUSET values can be set that way by legitimate superusers.
Per recent discussion.

Improvements to the PITR docs. Initial patch from Gavin Sherry, additional
improvements by Neil Conway.

There is no need for ReadBuffer() call sites to check that the returned
buffer is valid, as ReadBuffer() will elog on error. Most of the call
sites of ReadBuffer() got this right, but this patch fixes those call
sites that did not.

Not entirely sure when this broke, but libpq's VC++ build is currently
lacking pqsignal which is now required. This was found and fixed for
VC++ by Shachar Shemesh, I simply duplicated the fix for the Borland
makefile (untested, as I don't have that compiler).

Dave Page

Update:

< * Eliminate WAL logging for CREATE INDEX/REINDEX/CREATE TABLE AS when
<   not doing WAL archiving
> * Eliminate WAL logging for CREATE TABLE AS when not doing WAL archiving

Remove now-redundant description of Postgres file layout, in favor of
referencing the Database File Layout chapter I just added to the main
documentation.

Add some real documentation about the overall filesystem layout used by
a Postgres database.  Update page.sgml to match 8.0 tuple header layout.

Fix obsolete comments.

Add:

> * Eliminate WAL logging for CREATE INDEX/REINDEX/CREATE TABLE AS when
>   not doing WAL archiving

> I think in addition the system global name "sharemem.1" should be made more
> pg specific, like "PostgreSQL.1". I have not done this since a new compile
> would not detect a running old beta. But now would be the time (or never).

Zeugswetter Andreas

Remember to close the file on failure (pretty much redundant, really,
since this path will lead to postmaster exit anyway...)

Un-break custom_variable_classes kluge ... mea culpa.

pg_restore --help improvements, from Tom Lane:

!       printf(_("  -d, --dbname=NAME        connect to database name\n"));

!       printf(_("  -C, --create             create the target database\n"));

Cleanup:

>
284d284
<
286a287
>
405a407
>
415a418
>
431a435
>
440a445
>
452a458
>
520c526
< * ECPG (?)
> * ECPG
846a853
>
857a865
>

Fix a handful of typos in the release notes introduced by Bruce's recent
commit. Per Gavin Sherry.

Cleaups:

< * Allow GRANT/REVOKE permissions to be given to all schema objects with one
> * Allow GRANT/REVOKE permissions to be applied to all schema objects with one
60c60
<   specifications.  This is because new databases are created by copying
>   specifications.  This is because new databases are created by copying
63c63
<   directory would create a new database with tables that had incorrect
>   directory would create a new database with tables that had incorrect
72c72
<
>
85c85
<   By not showing commented-out variables, we discourage people from
>   By not showing commented-out variables, we discourage people from
91c91
< * Allow point-in-time recovery to archive partially filled write-ahead
> * Allow point-in-time recovery to archive partially filled write-ahead
102c102
<   Currently all schemas are owned by the super-user because they are
>   Currently all schemas are owned by the super-user because they are
128c128
< * Allow INET subnet tests with non-constants to be indexed
> * Allow INET subnet tests using non-constants to be indexed
143,144c143,144
< * Allow to_char to print localized month names
< * Allow functions to have a search path specified at creation time
> * Allow to_char() to print localized month names
> * Allow functions to have a schema search path specified at creation time
146c146
< * Add GUC variable to allow output of interval values in ISO8601 format
> * Add a GUC variable to allow output of interval values in ISO8601 format
154,155c154,155
< * Prevent inet cast to cidr if the unmasked bits are not zero, or
<   zero bits
> * Prevent INET cast to CIDR if the unmasked bits are not zero, or
>   zero the bits
158c158
<  o Allow nulls in arrays
>  o Allow NULLs in arrays
160,161c160,161
<  o Delay resolution of array expression type so assignment coercion
<    can be performed on empty array expressions
>  o Delay resolution of array expression's data type so assignment
>    coercion can be performed on empty array expressions
218,219c218,219
<   key, foreign key  [inheritance]
< * UNIQUE INDEX on base column not honored on inserts/updates from
>   key, foreign key
> * UNIQUE INDEX on base column not honored on INSERTs/UPDATEs from
221c221
<   (dup) should fail [inheritance]
>   (dup) should fail
246c246
< * Fetch heap pages matching index entries in sequential order [performance]
> * Fetch heap pages matching index entries in sequential order
307c307
<   functionality in DELETE.  It's been agreed that the keyword should
>   functionality in DELETE.  It's been agreed that the keyword should
318c318
< * Allow PREPARE to automatically determine parameter types based on the SQL
> * Allow PREPARE to automatically determine parameter types based on the SQL
340,342d339
< * Allow CREATE TABLE foo (f1 INT CHECK (f1 > 0) CHECK (f1 < 10)) to work
<   by searching for non-conflicting constraint names, and prefix with
<   table name?
347c344
<   new database.
>   a new database.
350,351d346
< * Ignore temporary tables from other sessions when processing
<   inheritance?
354,355c349,351
< * Add a session mode to warn about non-standard SQL usage in queries
< * Add MERGE command that does UPDATE/DELETE, or on failure, INSERT (rules, triggers?)
> * Add a GUC variable to warn about non-standard SQL usage in queries
> * Add MERGE command that does UPDATE/DELETE, or on failure, INSERT (rules,
>   triggers?)
357,359c353,356
< * Add NOVICE output level for helpful messages like automatic sequence/index creation
< * Add COMMENT ON for all cluster global objects (users, groups,
<   databases and tablespaces)
> * Add NOVICE output level for helpful messages like automatic sequence/index
>   creation
> * Add COMMENT ON for all cluster global objects (users, groups, databases
>   and tablespaces)
363c360
<   When enabled, this would allow errors in multi-statement transactions
>   When enabled, this would allow errors in multi-statement transactions
417c414
<  o Allow COPY to optionally include column headings as the first line
>  o Allow COPY to optionally include column headings in the first line
450c447
<
>
462c459
<  o Handle references to temporary tables that are created, destroyed,
>  o Handle references to temporary tables that are created, destroyed,
464c461
<
>
469d465
<  o Improve PL/PgSQL exception handling using savepoints
488c484
<
>
503d498
<
518c513
<  o Add pg_dumpall custom format dumps.
>  o Add pg_dumpall custom format dumps.
520c515
<    This is probably best done by combining pg_dump and pg_dumpall
>    This is probably best done by combining pg_dump and pg_dumpall
532d526
<  o Improve error handling (?)
555c549
<   Adding shared locks requires recording the table/rows numbers in a
>   Adding shared locks requires recording the table/rows numbers in a
643c637
<   Posix_fadvise() can control both sequential/random file caching and
>   Posix_fadvise() can control both sequential/random file caching and
703c697
<   from distributted.net, http://www1.distributed.net/source,
>   from distributted.net, http://www1.distributed.net/source,
729c723
< * Add connection pooling [pool]
> * Add connection pooling
755d748
<
759c752
<
>
768c761
<   so an abrupt operating system restart might lose a few seconds of
>   so an abrupt operating system restart might lose a few seconds of
785c778
< * Add utility to compute accurate random_page_cost value
> * Create utility to compute accurate random_page_cost value
787,789d779
< * Allow sorting, temp files, temp tables to use multiple work directories
<
<   This allows the I/O load to be spread across multiple disk drives.
795a786
>
808,809c799,800
<
< * Use mmap() rather than SYSV shared memory or to write WAL files (?) [mmap]
>
> * Use mmap() rather than SYSV shared memory or to write WAL files (?)
812,813c803,804
<   portability issues. Anonymous mmap (or mmap to /dev/zero) is required
<   to prevent I/O overhead.
>   portability issues. Anonymous mmap (or mmap to /dev/zero) is required
>   to prevent I/O overhead.
817,819c808,810
<   Doing I/O to large tables would consume a lot of address space or
<   require frequent mapping/unmapping.  Extending the file also causes
<   mapping problems that might require mapping only individual pages,
>   Doing I/O to large tables would consume a lot of address space or
>   require frequent mapping/unmapping.  Extending the file also causes
>   mapping problems that might require mapping only individual pages,
821c812
<   way to _prevent_ I/O to disk from the dirty shared buffers so changes
>   way to _prevent_ I/O to disk from the dirty shared buffers so changes
826c817
<   tuple overhead
>   per-tuple overhead
829,831c820,822
<   This would involve using multiple threads or processes to do optimization,
<   sorting, or execution of single query.  The major advantage of such a
<   feature would be to allow multiple CPUs to work together to process a
>   This would involve using multiple threads or processes to do optimization,
>   sorting, or execution of single query.  The major advantage of such a
>   feature would be to allow multiple CPUs to work together to process a
834c825
< * Research the use of larger pages sizes
> * Research the use of larger page sizes
842a834
> * Move some /contrib modules out to their own project sites
845d836
< * Improve access-permissions check on data directory in Cygwin (Tom)
847,848c838
< * Clarify use of 'application' and 'command' tags in SGML docs
< * Better document ability to build only certain interfaces (Marc)
> * Improve documentation to build only interfaces (Marc)
852,853d841
< * Research interaction of setitimer() and sleep() used by statement_timeout
< * Rename /scripts directory because they are all C programs now
856,857d843
< * Allow binaries to be statically linked so they are more easily relocated
< * Move some /contrib modules out to their own project sites
862c848
<  o Remove per-backend parameter file and move into shared memory?
>  o Remove per-backend parameter file and move into shared memory
877,878c863,864
<  o Update clients to use data types, typmod, schema.table.column names of
<    result sets using new query protocol
>  o Update clients to use data types, typmod, schema.table.column names
>    of result sets using new query protocol
900d885
< * Kris is Kris Jurka
910c895
< * Simon is Simon Riggs
> * Simon is Simon Riggs <simon@2ndquadrant.com>
913d897
< * Teodor is

Remove obsolete comment from btbuild() and hashbuild(): we no longer use
a global variable to control building indexes.

Add character set declaration to HTML files, so they have a chance to
validate and display correctly.

Fix some spacing problems.

Add SGML markup to 8.0 release notes.

List VALUE as a keyword.

Fix sgml markup tags.

Update release notes to match CVS.

Done:

<
< * psql tab completion
<
<  o Provide a list of conversions after ALTER CONVERSION?
<  o Support for ALTER SEQUENCE clauses
<  o Add RENAME TO to ALTER TRIGGER
<  o Support for ALTER USER
<  o Fix ALTER (GROUP|DOMAIN|...) <sth> DROP
<  o Support for ALTER LANGUAGE <sth> RENAME TO
<  o Improve support for COPY
<  o Improve support for ALTER TABLE

Remove performance TODO.detail.  In TODO.

Add bitmap info:

<   heap page to find matching rows.
>   heap page to find matching rows, or perhaps use a mixed solution where
>   tids are recorded for pages with only a few matches and per-page bitmaps
>   are used for more dense pages.  Another idea is to use a 32-bit bitmap
>   for every page and set a bit based on the item number mod(32).

Allow planner to fold "stable" functions to constants when forming
selectivity estimates, per recent discussion.

Put in place some defenses against being fooled by accidental match of
shared memory segment ID.  If we can't access the existing shmem segment,
it must not be relevant to our data directory.  If we can access it,
then attach to it and check for an actual match to the data directory.
This should avoid some cases of failure-to-restart-after-boot without
introducing any significant risk of failing to detect a still-running
old backend.

Add:

>
> * Research the use of larger pages sizes

Get rid of perror(), substitute some better phrased error messages.
malloc() doesn't set errno, so most uses were buggy anyway.

Update bitmap index description:

<   Such indexes could be more compact if there are only a few unique values.
>   Such indexes could be more compact if there are only a few distinct values.
>   Such indexes can also be compressed.  Keeping such indexes updated can be
>   costly.

Translation updates

Clarify some strings

Translation update

Clarify some error messages

Translation update

Delete the `remove-old-headers' target, as it is no longer useful. Patch
from Alvaro Herrera.

This patch makes some cleanups to contrib/ to silence some sparse
warnings:

- remove pointless "extern" keyword from some function definitions in
contrib/tsearch2

- use "NULL" not "0" as NULL pointer in contrib/tsearch,
contrib/tsearch2, contrib/pgbench, and contrib/vacuumlo

Fix typo:

<   Such indexes could be more compact if there are few unique value.
>   Such indexes could be more compact if there are only a few unique values.

Update mmap details:

<   portability issues. Anonymous mmap is required to prevent I/O
<   overhead.
>   portability issues. Anonymous mmap (or mmap to /dev/zero) is required
>   to prevent I/O overhead.
>
> * Consider mmap()'ing files into a backend?
>
>   Doing I/O to large tables would consume a lot of address space or
>   require frequent mapping/unmapping.  Extending the file also causes
>   mapping problems that might require mapping only individual pages,
>   leading to thousands of mappings.  Another problem is that there is no
>   way to _prevent_ I/O to disk from the dirty shared buffers so changes
>   could hit disk before WAL is written.

Remove mmap TODO.detail, now in TODO.