Update FAQ for 8.2.4.

Release note updates for 8.2.4, 8.1.9, 8.0.13, 7.4.17, 7.3.19.

Remove tabs from SGML source files.

Enable configurable log of autovacuum actions.  Initial patch from Simon
Riggs, additional code and docs by me.  Per discussion.

Enable building of 64-bit libpq using visual studio 8 and the
win32.mak file.
Enable building with kerberos support using the win32.mak file.

Hiroshi Saito + me

Item not done, per Pavel:

<  o -Add MOVE
<  o -Add support for SCROLL cursors
>  o Add support for MOVE and SCROLL cursors

Change default build to release, to be consistent with unix build.
Make it possible to set the default from builenv.bat.

Per request from Dave Page

Silence mingw compiler warning

Update docs/error message for CSV quote/escape --- must be ASCII.
Backpatch doc change to 8.2.X.

Update error message for COPY with a multi-byte delimiter.

Document that the COPY delimiter must be an ASCII byte, rather than a
multi-byte value.  It can also be a single-byte encoded character if
the client and server versions match.

Backpatch to 8.2.X.

Update TODO for plpgsql cursors:

<  o -Add support for WITH HOLD and SCROLL cursors
>  o -Add support for SCROLL cursors
>  o Add support for WITH HOLD cursors

Fix condition for whether end_heap_rewrite must fsync, per Heikki.

Also done for PL/pgSQL:

<  o Add support for WITH HOLD and SCROLL cursors
>  o -Add support for WITH HOLD and SCROLL cursors

Done:

<  o Add MOVE
>  o -Add MOVE

Add warning about TODO item:

<   Currently all schemas are owned by the super-user because they are
<   copied from the template1 database.
>   Currently all schemas are owned by the super-user because they are copied
>   from the template1 database.  However, since all objects are inherited
>   from the template database, it is not clear that setting schemas to the db
>   owner is correct.

Don't assume rd_smgr stays open across all of a rewriteheap operation;
doing so can result in crash if an sinval reset occurs meanwhile.
I believe this explains intermittent buildfarm failures in cluster test.

Not easy, per Alvaro:

< * %Set proper permissions on non-system schemas during db creation
> * Set proper permissions on non-system schemas during db creation

Rewrite choose_bitmap_and() to make it more robust in the presence of
competing alternatives for indexes to use in a bitmap scan.  The former
coding took estimated selectivity as an overriding factor, causing it to
sometimes choose indexes that were much slower to scan than ones with a
slightly worse selectivity.  It was also too narrow-minded about which
combinations of indexes to consider ANDing.  The rewrite makes it pay more
attention to index scan cost than selectivity; this seems sane since it's
impossible to have very bad selectivity with low cost, whereas the reverse
isn't true.  Also, we now consider each index alone, as well as adding
each index to an AND-group led by each prior index, for a total of about
O(N^2) rather than O(N) combinations considered.  This makes the results
much less dependent on the exact order in which the indexes are
considered.  It's still a lot cheaper than an O(2^N) exhaustive search.
A prefilter step eliminates all but the cheapest of those indexes using
the same set of WHERE conditions, to keep the effective value of N down in
scenarios where the DBA has created lots of partially-redundant indexes.

Fix erroneous column counts in some documentation tables.  Brian Gough

And remove 'em again ...

Temporarily re-add derived files, in hopes of straightening out their CVS status.

Don't write timing output in quiet mode.

Merlin Moncure

Tweak clean_encoding_name() API to avoid need to cast away const.
Kris Jurka

Fix pg_dump to not crash if -t or a similar switch is used to select a serial
sequence for dumping without also selecting its owning table.  Make it not try
to emit ALTER SEQUENCE OWNED BY in this situation.
Per report from Michael Nolan.

Enable IPV6 for all MSVC builds, including the VC6 libpq-only build.

Per request from Hiroshi Saito.

Add a multi-worker capability to autovacuum.  This allows multiple worker
processes to be running simultaneously.  Also, now autovacuum processes do not
count towards the max_connections limit; they are counted separately from
regular processes, and are limited by the new GUC variable
autovacuum_max_workers.

The launcher now has intelligence to launch workers on each database every
autovacuum_naptime seconds, limited only on the max amount of worker slots
available.

Also, the global worker I/O utilization is limited by the vacuum cost-based
delay feature.  Workers are "balanced" so that the total I/O consumption does
not exceed the established limit.  This part of the patch was contributed by
ITAGAKI Takahiro.

Per discussion.

Make plancache store cursor options so it can pass them to planner during
a replan.  I had originally thought this was not necessary, but the new
SPI facilities create a path whereby queries planned with non-default
options can get into the cache, so it is necessary.

Support scrollable cursors (ie, 'direction' clause in FETCH) in plpgsql.
Pavel Stehule, reworked a bit by Tom.

Expose more cursor-related functionality in SPI: specifically, allow
access to the planner's cursor-related planning options, and provide new
FETCH/MOVE routines that allow access to the full power of those commands.
Small refactoring of planner(), pg_plan_query(), and pg_plan_queries()
APIs to make it convenient to pass the planning options down from SPI.

This is the core-code portion of Pavel Stehule's patch for scrollable
cursor support in plpgsql; I'll review and apply the plpgsql changes
separately.

Avoid running build_index_pathkeys() in situations where there cannot
possibly be any useful pathkeys --- to wit, queries with neither any
join clauses nor any ORDER BY request.  It's nearly free to check for
this case and it saves a useful fraction of the planning time for simple
queries.

Add --with-libxslt configure option

Make JOHAB client only encoding per discussions in pgsql-hackers
"Server-side support of all encodings" around 2007/3/26.
initdb required.

Fix description how to create conversion function.

revert change to build xml2 until a better fix is found

Update TODO:

<  o Consider reducing on-disk varlena length from four to two
<    because a heap row cannot be more than 64k in length
>  o Consider reducing on-disk varlena length from four bytes to
>    two because a heap row cannot be more than 64k in length

Allow \timing in psql to have a better resolution than ~15ms on Windows.

ITAGAKI Takahiro

Update Win32 FAQ HTML version to match corrected text version.

Enable building contrib/xml2 if configured using --with-libxml.
If this breaks things due to missing libxslt, then I'll have to
revert it, but let's see if it breaks the buildfarm.

Workarounds in case libxslt is missing include:
. don't configure with libxml, or
. don't build contrib modules from the contrib Makefile (use the individual module Makefiles instead), or
. change the xml2 Makefile

Add O_DIRECT support on Windows.

ITAGAKI Takahiro

Minor fixes for the EXPLAIN reference page. Mention the fact that
EXPLAIN ANALYZE can sometimes be significantly slower than running
the same query normally, and make some minor markup improvements.

Fixes for RESET SESSION patch, per Alvaro. Fix a typo in the RESET
ref page (sorry, my fault!), and simplify the coding of
ResetTempTableNamespace().

Done:

> * -Add RESET SESSION command to reset all session state

Rearrange mdsync() looping logic to avoid the problem that a sufficiently
fast flow of new fsync requests can prevent mdsync() from ever completing.
This was an unforeseen consequence of a patch added in Mar 2006 to prevent
the fsync request queue from overflowing.  Problem identified by Heikki
Linnakangas and independently by ITAGAKI Takahiro; fix based on ideas from
Takahiro-san, Heikki, and Tom.

Back-patch as far as 8.1 because a previous back-patch introduced the problem
into 8.1 ...

Cancel pending fsync requests during WAL replay of DROP DATABASE, per bug
report from David Darville.  Back-patch as far as 8.1, which may or may not
have the problem but it seems a safe change anyway.

Install debugger symbols (in their own directory)

Enable IPV6 when building with MSVC.

RESET SESSION, plus related new DDL commands. Patch from Marko Kreen,
reviewed by Neil Conway. This patch adds the following DDL command
variants: RESET SESSION, RESET TEMP, RESET PLANS, CLOSE ALL, and
DEALLOCATE ALL. RESET SESSION is intended for use by connection
pool software and the like, in order to reset a client session
to something close to its initial state.

Note that while most of these command variants can be executed
inside a transaction block (but are not transaction-aware!),
RESET SESSION cannot. While this is inconsistent, it is intended
to catch programmer mistakes: RESET SESSION in an open transaction
block is probably unintended.

Update text, per Greg Stark:

<  o Allow single-byte header storage for arrays
>  o Allow single-byte header storage for array elements

Code review for btree page split WAL reduction patch.  Make it actually work
(original code *always* created a full-page image for the left page, thus
leaving the intended savings unrealized), avoid risk of not having enough room
on the page during xlog restore, squeeze out another couple bytes in the xlog
record, clean up neglected comments.

Add:

>  o Allow single-byte header storage for arrays

Add:

>  o Have WITH CONSTRAINTS also create constraint indexes
>    http://archives.postgresql.org/pgsql-patches/2007-04/msg00149.php

Minor tweaking of index special-space definitions so that the various
index types can be reliably distinguished by examining the special space
on an index page.  Per my earlier proposal, plus the realization that
there's no need for btree's vacuum cycle ID to cycle through every possible
16-bit value.  Restricting its range a little costs nearly nothing and
eliminates the possibility of collisions.
Memo to self: remember to make bitmap indexes play along with this scheme,
assuming that patch ever gets accepted.

Add URL for:

* Simplify ability to create partitioned tables
>   http://archives.postgresql.org/pgsql-hackers/2007-04/msg00151.php

Add cancel handlers so it's possible to Ctrl-C clusterdb, reindexdb
and vacuumdb.
ITAGAKI Takahiro, with minor fixes from me.

Done:

>  o -Make CLUSTER preserve recently-dead tuples per MVCC requirements

Minor editorialization on CLUSTER reference page.

Make CLUSTER MVCC-safe.  Heikki Linnakangas

Add -F option to set fillfactor for tellers, accounts and branches.
Patch contributed by Pavan Deolasee. Along with Japanese doc
modification by Tatsuo Ishii.

Done:

>  o -Add more logical syntax CLUSTER table USING index;

Support syntax "CLUSTER table USING index", which is more logical.

Holger Schurig

Add note that TRUNCATE is not MVCC-safe.

Add the usage count statistics to the information available in
contrib/pgbuffercache.

Greg Smith

Slight wording improvement.

Fix a few typos in the docs.

Remove example of SQL-standard syntax for GRANT/REVOKE --- was causing
confusion.

In docs, Symetric -> Symmetric.

Michael Fuhr

Done:

> * -Allow use of indexes to search for NULLs

Done:

        o -Support a smaller header for short variable-length fields

Don't remove the 'alias' field from flattened rangetable entries;
there are some corner cases where this is needed by ruleutils.c for
proper display of variables during EXPLAIN.

Make 'col IS NULL' clauses be indexable conditions.

Teodor Sigaev, with some kibitzing from Tom Lane.

Fix some now-obsolete comments about the space used by various data
types.

Only run contrib check if there is a Makefile

Enhance pgbench -l option to add timestamp. Patch contributed by Greg
Smith. Along with Japanese doc updation by Tasuo Ishii.

> This patch changes the way pgbench outputs its latency log files so that
> every transaction gets a timestamp and notes which transaction type was
> executed.  It's a one-line change that just dumps some additional
> information that was already sitting in that area of code. I also made a
> couple of documentation corrections and clarifications on some of the more
> confusing features of pgbench.
>
> It's straightforward to parse log files in this format to analyze what
> happened during the test at a higher level than was possible with the
> original format.  You can find some rough sample code to convert this
> latency format into CVS files and then into graphs at
> http://www.westnet.com/~gsmith/content/postgresql/pgbench.htm which I'll
> be expanding on once I get all my little patches sent in here.

Various pgbench enhancements. Patch contributed by ITAGAKI Takahiro.

Also tweak README.pgbench/README.pgbench_jis:
  Remove history after pgbench was added to PostgreSQL contrib module.
  Those info was not only redundant since it has already been in CVS
  log, but also incomplete.
--------------------------------------------------------------------------
The attached is a patch to optimize contrib/pgbench using new 8.3 features.

- Use DROP IF EXISTS to suppress errors for initial loadings.
- Use a combination of TRUNCATE and COPY to reduce WAL on creating
  the accounts table.

Also, there are some cosmetic changes.

- Change the output of -v option from "starting full vacuum..."
  to "starting vacuum accounts..." in reflection of the fact.
- Shape duplicated error checks into executeStatement().

There is a big performance win in "COPY with no WAL" feature.
Thanks for the efforts!
--------------------------------------------------------------------------

Now that core functionality is depending on autoconf's AC_C_BIGENDIAN to be
right, there seems precious little reason to have a pile of hand-maintained
endianness definitions in src/include/port/*.h.  Get rid of those, and make
the couple of places that used them depend on WORDS_BIGENDIAN instead.

Support varlena fields with single-byte headers and unaligned storage.

This commit breaks any code that assumes that the mere act of forming a tuple
(without writing it to disk) does not "toast" any fields.  While all available
regression tests pass, I'm not totally sure that we've fixed every nook and
cranny, especially in contrib.

Greg Stark with some help from Tom Lane

Update XML error message text for missing libxml; update regression
output to match.

Continue running contrib regression tests if one fails, and exit
with errorlevel 1 is >= 1 checks failed.

Make sure list of tests is cleared out before getting the new list
of tests. Per Andrew Dunstan.

Add URL for:

* Reduce WAL traffic so only modified values are written rather than
  entire rows
>
>   http://archives.postgresql.org/pgsql-hackers/2007-03/msg01589.php
>

Improve documentation/warning when --with-libxml is not used in the
installation.

improve test headings

Re-add FAQ item 3.7 which was accidentally removed in previous commit:

    <H3 id="item3.7">3.7) What computer hardware should I use?</H3>

Don't install files for xml2 when building without libxml.

Remove plpython casts C source code casts:

It removes last remaining casts inside struct definitions.
Such usage is bad practice, as it hides problems from compiler.

Reason for the cast is popular practice in some circles
to define functions as foo(MyObj *) instead of foo(PyObject *)
thus avoiding a local variable inside functions and make
direct calling easier.  As pl/python does not use such style,
the casts were unnecessary from the start.

Marko Kreen

Don't install files for sslinfo when building without openssl.
Per Andrew Dunstan.

Document how to identify an invalid index after a failed CREATE INDEX
CONCURRENTLY.

Gregory Stark

Remove the CheckpointStartLock in favor of having backends show whether they
are in their commit critical sections via flags in the ProcArray.  Checkpoint
can watch the ProcArray to determine when it's safe to proceed.  This is
a considerably better solution to the original problem of race conditions
between checkpoint and transaction commit: it speeds up commit, since there's
one less lock to fool with, and it prevents the problem of checkpoint being
delayed indefinitely when there's a constant flow of commits.  Heikki, with
some kibitzing from Tom.

Done:

>  o -Allow PL/PythonU to return boolean rather than 1/0

Allow pl/pythonu >= version 2.3 to return boolean, rather than 1/0.

Marko Kreen

Allow PL/PythonU to compile on Python 2.5.  Change needed because of API
changes in Python.

Marko Kreen

Update comment for new thread_test location.

Decouple the values of TOAST_TUPLE_THRESHOLD and TOAST_MAX_CHUNK_SIZE.
Add the latter to the values checked in pg_control, since it can't be changed
without invalidating toast table content.  This commit in itself shouldn't
change any behavior, but it lays some necessary groundwork for experimentation
with these toast-control numbers.

Note: while TOAST_TUPLE_THRESHOLD can now be changed without initdb, some
thought still needs to be given to needs_toast_table() in toasting.c before
unleashing random changes.

Update:

< * Add transaction_idle_timeout GUC so locks are not held for long
> * Add idle_in_transaction_timeout GUC so locks are not held for long

Update:

< * Add idle_timeout GUC so locks are not held for log periods of time
> * Add transaction_idle_timeout GUC so locks are not held for long
>   periods of time

Add:

> * Allow all data types to cast to and from TEXT
>
>   http://archives.postgresql.org/pgsql-hackers/2007-04/msg00017.php
>
>

Add:

>
> * Add idle_timeout GUC so locks are not held for log periods of time

Add URL for:

        o Allow UPDATE tab SET ROW (col, ...) = (SELECT...)
<
>    http://archives.postgresql.org/pgsql-hackers/2007-03/msg00865.php

Add URL for:

        o Allow commenting of variables in postgresql.conf to restore them
          to defaults
>    http://archives.postgresql.org/pgsql-patches/2007-03/msg00180.php