Don't allow walsender to send WAL data until it's been safely fsync'd on the
master.  Otherwise a subsequent crash could cause the master to lose WAL that
has already been applied on the slave, resulting in the slave being out of
sync and soon corrupt.  Per recent discussion and an example from Robert Haas.

Fujii Masao

Fix typo, init => int, per KOIZUMI Satoru.

Document that receive location can rewind if replication restarts.

Fujii Masao, with some further wordsmithing by me.

Remove prototype of GetOldestWALSendPointer(), that is marked as NOT_USED.

Fix pg_upgrade to remove malloc(0) call.

Update doc description for 9.0 release note item:

      Have <command>SELECT</> and <command>CREATE TABLE AS</> return
      row counts to the client

9.0 release notes updates.

Josh Berkus

Remove perl symbol table additions for plperl functions, and mention of it
in the release notes, as it is not apparently providing anything useful.

Add notes that CREATE/DROP CONVERSION is similar to CREATE/DROP
TRANSLATION in the SQL standard.

Refactor sprintf calls with computed format strings into multiple calls with
constant format strings, so that the compiler can more easily check the
formats for correctness.

Fix storage of getopt() return, should be 'int', for pg_upgrade.

Steve Singer

Change the interpretation of the primary_key_attnums parameter of
dblink_build_sql_insert() and related functions.  Now the column numbers
are treated as logical not physical column numbers.  This will provide saner
behavior in the presence of dropped columns; furthermore, if we ever get
around to allowing rearrangement of logical column ordering, the original
definition would become nearly untenable from a usability standpoint.
Per recent discussion of dblink's handling of dropped columns.
Not back-patched for fear of breaking existing applications.

Clarify SELECT FOR UPDATE behavior in docs.

Remove hstore's text[] => text[] operator.

This is not yet in any released version, so we still have the option to
backtrack.  Instead, document hstore(text[], text[]).  Per discussion.

Fix dblink_build_sql_insert() and related functions to handle dropped
columns correctly.  In passing, get rid of some dead logic in the
underlying get_sql_insert() etc functions --- there is no caller that
will pass null value-arrays to them.

Per bug report from Robert Voinea.

Document new 9.0 behavior of ANALYZE on inheritance hierarchies.

In particular, note that autovacuum does not yet understand that it might
need to vacuum inheritance parents as a result of changes to the child
tables.

Consolidate and improve checking of key-column-attnum arguments for
dblink_build_sql_insert() and related functions.  In particular, be sure to
reject references to dropped and out-of-range column numbers.  The numbers
are still interpreted as physical column numbers, though, for backward
compatibility.

This patch replaces Joe's patch of 2010-02-03, which handled only some aspects
of the problem.

Unbreak MSVC builds for pg_archivecleanup by linking with libpgport

Add new GUC categories corresponding to sections in docs, and move
description for vacuum_defer_cleanup_age to the correct category.
Sections in postgresql.conf are also sorted in the same order with docs.

Per gripe by Fujii Masao, suggestion by Heikki Linnakangas, and patch by me.

Properly define pg_upgrade global variable, per bug report from Chris
Ruprecht on Mac (64 bit).

Rearrange dblink's dblink_build_sql_insert() and related routines to open and
lock the target relation just once per SQL function call.  The original coding
obtained and released lock several times per call.  Aside from saving a
not-insignificant number of cycles, this eliminates possible race conditions
if someone tries to modify the relation's schema concurrently.  Also
centralize locking and permission-checking logic.

Problem noted while investigating a trouble report from Robert Voinea --- his
problem is still to be fixed, though.

Fix doc plperl doc with is -> are change.

Docs for pg_archivecleanup

Files for pg_archivecleanup

New contrib module for use as an archive_cleanup_command, or as a
standalone utility for removing files from archive.

Fix typo in Japanese translation for psql "Use \d+ to list them."

If a corrupt WAL record is received by streaming replication, disconnect
and retry. If the record is genuinely corrupt in the master database,
there's little hope of recovering, but it's better than simply retrying
to apply the corrupt WAL record in a tight loop without even trying to
retransmit it, which is what we used to do.

Fix misplaced modifier.

As suggested by Ian Barwick.

Fix typo.

Remove max_standby_delay message from ps display of recovery process
in waiting status. The parameter is not so interesting in ps display
because it is referable in postgresql.conf.

Fix ALTER LARGE OBJECT and GRANT ... ON LARGE OBJECT for large OIDs.

The previous coding failed for OIDs too large to be represented by
a signed integer.

postgres.txt should get cleaned by 'make clean'.

Update pg_upgrade C comment about cwd.

Add missing --use-existing --help mention from regression binary.

Jan Urba?ski

Remove lynx -stdin flag for postgres.text.

Have pg_upgrade create its output files in the current directory, rather
than in a subdirectory of the $HOME directory, or $TMP in Windows.

Add SGML Makefile rule for single-page text, postgres.txt.

Add space between after ">" in ">$@" in SGML Makefile, for clarity.

Add target to build HTML documentation as single page

Fix typo/bug, found by Clang compiler

Update Python version information

Add a regression test case for bug #5497

Add missing 'Z' letter to getopt_long call --- the newly added
--analyze-only switch did not work in its short form -Z.

Josh Berkus

Use "replication" as the database name when constructing a connection
string for a streaming replication connection. It's ignored by the
server, but allows libpq to pick up the password from .pgpass where
"replication" is specified as the database name.

Patch by Fujii Masao per Tom's suggestion, with some wording changes by me.

Update text of 9.0 release notes

Josh Berkus

Rename restartpoint_command to archive_cleanup_command.

Make TriggerFile variable static. It's not used outside xlog.c.

Fujii Masao

Return NULL instead of 0/0 in pg_last_xlog_receive_location() and
pg_last_xlog_replay_location(). Per Robert Haas's suggestion, after
Itagaki Takahiro pointed out an issue in the docs. Also, some wording
changes in the docs by me.

Fix quite-bogus handling of arrays in plpython datum-to-PyObject
conversion.  Per bug #5497 from David Gardner.

Quote all string values in EXPLAIN (FORMAT YAML) output.

While my previous attempt seems to always produce valid YAML, it
doesn't always produce YAML that means what it appears to mean,
because of tokens like "0xa" and "true", which without quotes will
be interpreted as integer or Boolean literals.  So, instead, just
quote everything that's not known to be a number, as we do for
JSON.

Dean Rasheed, with some changes to the comments by me.

Remove stray word from comment.

Update ALTER TABLE docs to account for exclusion and deferrable uniqueness
constraints

Dean Rasheed

Add index entry for ::, per complaint from John Gage.

In standby mode, respect checkpoint_segments in addition to
checkpoint_timeout to trigger restartpoints. We used to deliberately only
do time-based restartpoints, because if checkpoint_segments is small we
would spend time doing restartpoints more often than really necessary.
But now that restartpoints are done in bgwriter, they're not as
disruptive as they used to be. Secondly, because streaming replication
stores the streamed WAL files in pg_xlog, we want to clean it up more
often to avoid running out of disk space when checkpoint_timeout is large
and checkpoint_segments small.

Patch by Fujii Masao, with some minor changes by me.

Make the walwriter close it's handle to an old xlog segment if it's no longer
the current one. Not doing this would leave the walwriter with a handle to a
deleted file if there was nothing for it to do for a long period of time,
preventing the file from  being completely removed.

Reported by Tollef Fog Heen, and thanks to Heikki for some hand-holding with
the patch.

Avoid "identifier will be truncated" warning in dblink
when connection string is longer than NAMEDATALEN.
The previous fix for long connection name broke the behavior.

Attempt to fix EXPLAIN (FORMAT YAML) quoting to behave sanely.

The previous code failed to quote in many cases where quoting was necessary -
YAML has loads of special characters, including -:[]{},"'|*& - so quote much
more aggressively, and only refrain from quoting things where it seems fairly
clear that it isn't necessary.

Per report from Dean Rasheed.

Fix connection leak in dblink when dblink_connect() or dblink_connect_u()
end with "duplicate connection name" errors.

Backported to release 7.4.

Fix typo in the header comment. Per request from Masao Fujii.

Make procedural language handler reference C-language function docs.

Based on suggestions from Jonathan Leto and Joshua Tolley.

Avoid useless snprintf() call when update_process_title is turned off.
Fujii Masao

Add missed function dblink_connect_u(text[,text]) to uninstall script

Ensure default-only storage parameters for TOAST relations
to be initialized with proper values. Affected parameters are
fillfactor, analyze_threshold, and analyze_scale_factor.

Especially uninitialized fillfactor caused inefficient page usage
because we built a StdRdOptions struct in which fillfactor is zero
if any reloption is set for the toast table.

In addition, we disallow toast.autovacuum_analyze_threshold and
toast.autovacuum_analyze_scale_factor because we didn't actually
support them; they are always ignored.

Report by Rumko on pgsql-bugs on 12 May 2010.
Analysis by Tom Lane and Alvaro Herrera. Patch by me.

Backpatch to 8.4.

Replace "slave" to "standby" in documentation for consistent terminology.
Almost all of the terms in docs and messages were replaced, but still
remains in a few comments and README files in codes.

Improve our explanation of the OVERLAPS operator.
Per gripe from Frank van Vugt.

Added variable handling for RETURNING clause to ecpg.

While the values were correctly returned they were not moved into C variables
as they should be.

Closes: #5489

tag 9.0beta2

Adjust misleading comment in walsender.c.  We try to send all WAL data that's
been written out from shared memory, but the previous phrasing might be read
to say that we send only what's been fsync'd.

Add current WAL end (as seen by walsender, ie, GetWriteRecPtr() result)
and current server clock time to SR data messages.  These are not currently
used on the slave side but seem likely to be useful in future, and it'd be
better not to change the SR protocol after release.  Per discussion.
Also do some minor code review and cleanup on walsender.c, and improve the
protocol documentation.

Remove link that breaks HISTORY file generation.

Translation updates for 9.0beta2

Fix some inconsistent quoting of wal_level values in messages

When referring to postgresql.conf syntax, then it's without quotes
(wal_level=archive); in narrative it's with double quotes.  But never
single quotes.

Add comments about definitions that may affect PG_CONTROL_VERSION,
per recent unintended-initdb-forcing fiasco

Fix CREATE TRIGGER release mention, WHERE -> WHEN.

Fix reference to nonexistent configure option

--enable-ssl -> --with-openssl

Update 9.0 release notes to current.

Bump PG_CONTROL_VERSION to account for the incompatible change committed earlier.

Markup fix.

Document regexp_matches() better and show example of single-row usage.

Document use of C++ for extension use.

Fix dblink to treat connection names longer than NAMEDATALEN-2 (62 bytes).
Now long names are adjusted with truncate_identifier() and NOTICE messages
are raised if names are actually truncated.

Backported to release 8.0.

On clean shutdown during recovery, don't warn about possible corruption.

Fujii Masao.  Review by Heikki Linnakangas and myself.

Document that citext operators must be in the current search path.

Clarify array generate_subscripts() documentation example.

Tim Landscheidt

Document that && geometric operator is true even if only a point
overlaps.

David Fetter

Fix obsolete comments that I neglected to update in a previous patch.

Fujii Masao

Update C++ release note item wording.

Comment out C++ docs for later user.  Tone down C++ compatibility in 9.0
release notes.

Mention palloc/pfree for C++ memory allocation in docs.

Fix SGML markup for tag title.

Add documentation section "Using C++ for Extensibility".

Craig Ringer

Show schema name for REINDEX.

Greg Sabino Mullane

Overflow box is on page after listed page number, per Alvaro.

Update TeX overflow documentation page pattern mask, in docs.

Document how to find TeX overflow boxes in our documentation build, per
details from Alvaro Herrera.

Add error hint that PL/pgSQL "EXECUTE of SELECT ... INTO" can be
performed by "EXECUTE ... INTO".

Jaime Casanova

Add note about database ownership to REASSIGN OWNED command documentation,
per Josh Berkus.  Add ALTER DATABASE to the "see also" section, too.

Reword fsync and full_page_writes docs to be clearer about when to turn
them off.

Josh Berkus, with slight wording changes by me.

Send all outstanding WAL before exiting when smart shutdown is requested.
This was broken by my previous patch to send WAL in smaller batches.

Patch by Fujii Masao.

Fix misuse of Lossy Counting (LC) algorithm in compute_tsvector_stats().

We must filter out hashtable entries with frequencies less than those
specified by the algorithm, else we risk emitting junk entries whose
actual frequency is much less than other lexemes that did not get
tabulated.  This is bad enough by itself, but even worse is that
tsquerysel() believes that the minimum frequency seen in pg_statistic is a
hard upper bound for lexemes not included, and was thus underestimating
the frequency of non-MCEs.

Also, set the threshold frequency to something with a little bit of theory
behind it, to wit assume that the input distribution is approximately
Zipfian.  This might need adjustment in future, but some preliminary
experiments suggest that it's not too unreasonable.

Back-patch to 8.4, where this code was introduced.

Jan Urbanski, with some editorialization by Tom