Add pg_conversion system catalog. Update description for multibyte support.

Done:

> * -Allow UPDATE/DELETE on inherited table

Initial restructuring to add jdbc3 support.  There was a significant amount
of duplicated code between the jdbc1 and jdbc2.  This checkin restructures
the code so that the duplication is removed so that the jdbc3 support
can be added without adding yet another copy of everything.  Also many
classes were renamed to avoid confusion with multiple different objects
having the same name.  The timestamp tests were also updated to add support
for testing timestamp without time zone in addition to timestamp with time zone

 Modified Files:
  jdbc/Makefile jdbc/build.xml jdbc/example/ImageViewer.java
  jdbc/example/basic.java jdbc/example/blobtest.java
  jdbc/example/threadsafe.java
  jdbc/org/postgresql/Driver.java.in
  jdbc/org/postgresql/Field.java
  jdbc/org/postgresql/core/QueryExecutor.java
  jdbc/org/postgresql/fastpath/Fastpath.java
  jdbc/org/postgresql/jdbc1/CallableStatement.java
  jdbc/org/postgresql/jdbc1/DatabaseMetaData.java
  jdbc/org/postgresql/jdbc1/PreparedStatement.java
  jdbc/org/postgresql/jdbc2/Array.java
  jdbc/org/postgresql/jdbc2/CallableStatement.java
  jdbc/org/postgresql/jdbc2/DatabaseMetaData.java
  jdbc/org/postgresql/jdbc2/PreparedStatement.java
  jdbc/org/postgresql/jdbc2/UpdateableResultSet.java
  jdbc/org/postgresql/largeobject/LargeObjectManager.java
  jdbc/org/postgresql/largeobject/PGblob.java
  jdbc/org/postgresql/largeobject/PGclob.java
  jdbc/org/postgresql/test/jdbc2/BlobTest.java
  jdbc/org/postgresql/test/jdbc2/ConnectionTest.java
  jdbc/org/postgresql/test/jdbc2/DatabaseMetaDataTest.java
  jdbc/org/postgresql/test/jdbc2/TimestampTest.java
  jdbc/org/postgresql/test/jdbc2/UpdateableResultTest.java
  jdbc/org/postgresql/util/Serialize.java
 Added Files:
  jdbc/org/postgresql/PGConnection.java
  jdbc/org/postgresql/PGStatement.java
  jdbc/org/postgresql/jdbc1/AbstractJdbc1Connection.java
  jdbc/org/postgresql/jdbc1/AbstractJdbc1ResultSet.java
  jdbc/org/postgresql/jdbc1/AbstractJdbc1Statement.java
  jdbc/org/postgresql/jdbc1/Jdbc1Connection.java
  jdbc/org/postgresql/jdbc1/Jdbc1ResultSet.java
  jdbc/org/postgresql/jdbc1/Jdbc1Statement.java
  jdbc/org/postgresql/jdbc2/AbstractJdbc2Connection.java
  jdbc/org/postgresql/jdbc2/AbstractJdbc2ResultSet.java
  jdbc/org/postgresql/jdbc2/AbstractJdbc2Statement.java
  jdbc/org/postgresql/jdbc2/Jdbc2Connection.java
  jdbc/org/postgresql/jdbc2/Jdbc2ResultSet.java
  jdbc/org/postgresql/jdbc2/Jdbc2Statement.java
 Removed Files:
  jdbc/org/postgresql/Connection.java
  jdbc/org/postgresql/ResultSet.java
  jdbc/org/postgresql/Statement.java
  jdbc/org/postgresql/jdbc1/Connection.java
  jdbc/org/postgresql/jdbc1/ResultSet.java
  jdbc/org/postgresql/jdbc1/Statement.java
  jdbc/org/postgresql/jdbc2/Connection.java
  jdbc/org/postgresql/jdbc2/ResultSet.java
  jdbc/org/postgresql/jdbc2/Statement.java

Add unique index on pg_cast.oid, and document pg_cast table.

Fix typo.

Add CREATE CONVERSION/DROP CONVERSOION reference manual

Fixed some minor typos.

Re-Committed old file.

Schema TODO.detail file not needed anymore.

Tweak CreateTrigger() so that the OID used in the name of an
RI_ConstraintTrigger is the same OID assigned to the pg_trigger row.
This reduces consumption of OIDs and may ease debugging.

Mark items as done:

> * -Add GUC parameter for DATESTYLE
>  o -Allow specification of column names
>  o -Change syntax to WITH DELIMITER, (keep old syntax around?)
>  o -Remove SET KSQO option now that OR processing is improved (Tom)
>  o -Allow SHOW to output as a query result, like EXPLAIN
> * -Add SQL92 schemas (Tom)

Code review for SHOW output changes; fix horology expected files for
new SHOW output format.

Synced parser yet again.

Michael

Fix regression tests for new SHOW output.

Fix problems caused by code drift of API for without-oids.

The attached patch fixes 2 trivial warnings generated by bison 1.35,
as a result of Peter's recent CREATE CAST changes.

Neil Conway

I can't remember who said they were working on schema related psql
changes, but I kept finding myself wishing I could see what schema a
table or view exists in when I use \dt, \dv, etc. So, here is a patch
which does just that.

It sorts on "Schema" first, and "Name" second.

It also changes the test for system objects to key off the namespace
name starting with 'pg_' instead of the object name.

Sample output:

test=# create schema testschema;
CREATE SCHEMA
test=# create view testschema.ts_view as select 1;
CREATE VIEW
test=# \dv
                  List of relations
         Name        |   Schema   | Type |  Owner
--------------------+------------+------+----------
  __testpassbyval    | public     | view | postgres
  fooview            | public     | view | postgres
  master_pg_proc     | public     | view | postgres
  rmt_pg_proc        | public     | view | postgres
  vw_dblink_get_pkey | public     | view | postgres
  vw_dblink_replace  | public     | view | postgres
  ts_view            | testschema | view | postgres
(7 rows)

Joe Conway

> 2. This patch includes the same Table Function API fixes that I
>    submitted on July 9:
>
>    http://archives.postgresql.org/pgsql-patches/2002-07/msg00056.php
>
>    Please disregard that one *if* this one is applied. If this one is
>    rejected please go ahead with the July 9th patch.

The July 9th Table Function API patch mentioned above is now in CVS, so
here is an updated version of the guc patch which should apply cleanly
against CVS tip.

Joe Conway

Hello, i noticed that win32 native stopped working/compiling after the SSL merge
.
So i took the opportunity to fix some stuff:

1. Made the thing compile (typos & needed definitions) with the new pqsecure_* s
tuff, and added fe-secure.c to the win32.mak makefile.
2. Fixed some MULTIBYTE compile errors (when building without MB support).
3. Made it do that you can build with debug info: "nmake -f win32.mak DEBUG=1".
4. Misc small compiler speedup changes.

The resulting .dll has been tested in production, and everything seems ok.
I CC:ed -hackers because i'm not sure about two things:

1. In libpq-int.h I typedef ssize_t as an int because Visual C (v6.0)
doesn't de fine ssize_t. Is that ok, or is there any standard about what
type should be use d for ssize_t?

2. To keep the .dll api consistent regarding MULTIBYTE I just return -1
in fe-connect.c:PQsetClientEncoding() instead of taking away the whole
function. I wonder if i should do any compares with the
conn->client_encoding and return 0 if not hing would have changed (if so
how do i check that?).

Regards

Magnus Naeslund

Add new configure files for missing-oid patch.

Patch problems caused by code drift since OID patch creation.

Manually apply part of oid patch that didn't apply cleanly.

oid is needed, it is added at the end of the struct (after the null
bitmap, if present).

Per Tom Lane's suggestion the information whether a tuple has an oid
or not is carried in the tuple descriptor.  For debugging reasons
tdhasoid is of type char, not bool.  There are predefined values for
WITHOID, WITHOUTOID and UNDEFOID.

This patch has been generated against a cvs snapshot from last week
and I don't expect it to apply cleanly to current sources.  While I
post it here for public review, I'm working on a new version against a
current snapshot.  (There's been heavy activity recently; hope to
catch up some day ...)

This is a long patch;  if it is too hard to swallow, I can provide it
in smaller pieces:

Part 1:  Accessor macros
Part 2:  tdhasoid in TupDesc
Part 3:  Regression test
Part 4:  Parameter withoid to heap_addheader
Part 5:  Eliminate t_oid from HeapTupleHeader

Part 2 is the most hairy part because of changes in the executor and
even in the parser;  the other parts are straightforward.

Up to part 4 the patched postmaster stays binary compatible to
databases created with an unpatched version.  Part 5 is small (100
lines) and finally breaks compatibility.

Manfred Koizar

The attached patch fixes a build problem with GEQO when using the
PX recombination operator, changes some elog() messages from LOG
to DEBUG1, puts some debugging functions inside the appropriate
#ifdef (not enabled by default), and makes a few other minor
cleanups.

BTW, the elog() change is motivated by at least one user who
has sent a concerned email to -general asking exactly what the
"ERX recombination operator" is, and what it is doing to their
DBMS.

Neil Conway

Add new vacuum regression test files.

This patch fixes a regression caused by my recent changes to heap
tuple header.  The fix is based on the thought that HEAP_MOVED_IN is
not needed any more as soon as HEAP_XMIN_COMMITTED has been set.  So
in tqual.c and vacuum.c the HEAP_MOVED bits are cleared when
HEAP_XMIN_COMMITTED is set.

Vacuum robustness is enhanced by rearranging ifs, so that we have a
chance to elog(ERROR, ...) before an assertion fails.

A new regression test is included.

Manfred Koizar

Apply patches from Neil Conway.

> Hi Tatsuo,
>
> I've attached a patch for the version of pgbench in CVS. It includes the
> following changes:
>
>     - fix some spelling mistakes, indentation stuff, etc.
>
>     - minor code cleanup -- (void) args instead of (), etc.
>
>     - allocate the state array dynamically, so that it is only as
>     large as needed. This reduces the memory consumption of pgbench
>     slightly, and makes a larger MAXCLIENTS setting possible
>
>     - (the only controversial change) add an option "-l" to log
>     transaction latencies to a file. The "transaction latency"
>     is the time between when the BEGIN is issued and the transaction
>     commits. This is written to a file, along with the client #
>     and the transaction #. The data in the file can then be used
>     for things like:
>
>         - consistency analysis: is the TPS the same through the
>         entire run of pgbench, or does it change?
>
>         - more detailed stats: what is the average latency, worse-case
>         latency, best-case latency?
>
>         - graphs: feed the data to gnuplot, graph latency versus. time
>
>         - etc.
>
>     I was going to store this data in memory and write it to disk
>     at the end of the pgbench run, but that isn't feasible because
>     the data can be very large: for example, ~70MB if benchmarking
>     128 clients doing 100,000 transactions each.
>
> Cheers,
>
> Neil

Small performance improvement --- use indexscan not heapscan to find
pg_statistic rows to delete while dropping a relation.

Make note that ALTER TABLE can change table owner these days.

Complete TODO item:

* -Add BSD-licensed qsort() for Solaris

Done:

> * -Add BSD-licensed qsort() for Solaris

Another "$@" cleanup with new syntax, ${1+"$@"}.

Fix "$@" to ${1:+"$@"} for older shells.

Oops. Too much ifdef out.

Temporary ifdef out migrating functions to avoid compiler warnings.

Done:

> * -HOLDER/HOLDERTAB rename to PROCLOCK/PROCLOCKTAG (Bruce)

Complete TODO item:

* -HOLDER/HOLDERTAB rename to PROCLOCK/PROCLOCKTAG

pg_cast table, and standards-compliant CREATE/DROP CAST commands, plus
extension to create binary compatible casts.  Includes dependency tracking
as well.

pg_proc.proimplicit is now defunct, but will be removed in a separate
commit.

pg_dump provides a migration path from the previous scheme to declare
casts.  Dumping binary compatible casts is currently impossible, though.

Done:

> * -Merge LockMethodCtl and LockMethodTable into one shared structure (Bruce)

Complete TODO item:

* Merge LockMethodCtl and LockMethodTable into one shared structure (Bruce)

Create directory before installing files.

New depend code doesn't need sequence drop.

Sic transit src/utils.

Back out BETWEEN node patch, was causing initdb failure.

 New depend code auto-drops sequence, fix copy2.out.

Implement DROP SCHEMA.  It lacks support for dropping conversions and
operator classes, both of which are schema-local and so should really
be droppable.

Fix copy-and-pasteo (CASCADE/RESTRICT in wrong place).

Fix typo (PG_UNICODE -> PG_UTF8)

Done:

> * -Make sure all block numbers are unsigned to increase maximum table size

Unique and primary key constraints are both dumped using ALTER TABLE
statements.  Unique indexes with CREATE INDEX.

Basically, pg_constraint left outer'd to pg_index.

Rod Taylor

REVOKE ALL ON FUNCTION nonexistant() FROM PUBLIC;

Used to report that GRANT could not find function nonexistant.

Rod Taylor

Fix for PgTransaction class to make these visible to C apps:

   ExecStatusType BeginTransaction();
   ExecStatusType EndTransaction();

Piotr Klaban

Here (finally ;-)) is a doc patch covering the Table Function C API. It
reflects the changes in the tablefunc-fix patch that I sent in the other
day. It also refers to "see contrib/tablefunc for more examples", which
is next on my list of things to finish and submit.

Joe Conway

The attached patch fixes a tiny memory leak in psql, when using
the 'expanded' output mode (\x).

Neil Conway

here are the copy2.sql and copy2.out files for the new regression
tests

Brent Verner

The attached patch (against HEAD) implements

  COPY x (a,d,c,b) from stdin;
  COPY x (a,c) to stdout;

as well as the corresponding changes to pg_dump to use the new
functionality.  This functionality is not available when using
the BINARY option.  If a column is not specified in the COPY FROM
statement, its default values will be used.

In addition to this functionality, I tweaked a couple of the
error messages emitted by the new COPY <options> checks.

Brent Verner

You made a tiny little type in a comment in parsenodes.h (abotu instead
of about).

Christopher Kings-Lynne

Finished the Between patch Christopher started.

Implements between (symmetric / asymmetric) as a node.

Executes the left or right expression once, makes a Const out of the
resulting Datum and executes the >=, <= portions out of the Const sets.

Of course, the parser does a fair amount of preparatory work for this to
happen.

Rod Taylor

Here is a patch for the Table Function API. It fixes a bug found by Neil

Conway (BuildTupleFromCStrings sets NULL for pass-by-value types when
intended value is 0). It also implements some other improvements
suggested by Neil.

Joe Conway

Contrib port/ usage is same as others so no need for rules.

Add comment to file about port files.

Fix breakage for pltcl modules. pg_get_enconv_by_encoding() has been
changed since CREATE CONVERSION supported.

Move libc replacement files from src/backend/port to src/port.

Make src/backend/port/*.c file location dependent only on configure.in.

I have committed many support files for CREATE CONVERSION. Default
conversion procs and conversions are added in initdb. Currently
supported conversions are:

UTF-8(UNICODE) <--> SQL_ASCII, ISO-8859-1 to 16, EUC_JP, EUC_KR,
    EUC_CN, EUC_TW, SJIS, BIG5, GBK, GB18030, UHC,
    JOHAB, TCVN

EUC_JP <--> SJIS
EUC_TW <--> BIG5
MULE_INTERNAL <--> EUC_JP, SJIS, EUC_TW, BIG5

Note that initial contents of pg_conversion system catalog are created
in the initdb process. So doing initdb required is ideal, it's
possible to add them to your databases by hand, however. To accomplish
this:

psql -f your_postgresql_install_path/share/conversion_create.sql your_database

So I did not bump up the version in cataversion.h.

TODO:
Add more conversion procs
Add [CASCADE|RESTRICT] to DROP CONVERSION
Add tuples to pg_depend
Add regression tests
Write docs
Add SQL99 CONVERT command?
--
Tatsuo Ishii

Done, not sure when, reported by Neil Conway:

> * -Report failure to find readline or zlib at end of configure run

Improve getopt_long search, per Peter:

AC_SEARCH_LIBS(getopt_long, [getopt])

Add more dependency insertions --- this completes the basic pg_depend
functionality.  Of note: dropping a table that has a SERIAL column
defined now drops the associated sequence automatically.

fixed bug in support for timestamp without time zone reported by Yuva Chandolu (ychandolu@ebates.com)

Oops, sometimes strtol isn't called in pg_atoi, so we do need that badp
check.

Fix tid to in/out as unsigned.

Add initdb code to set up initial contents of pg_depend, pinning all
objects created during initdb (except for the system views, which I
think do not need to be pinned).

> pgsql-bugs@postgresql.org wrote:
>  > David Clark (dclarknospam@opsi.co.za) reports a bug with a severity
>  > Table 3-7 SQL Literal escaped octets shows the input escape
>  > representation for a single quote as '\\'' , but the third paragraph
>  > below table 3-8 SQL Output Escaped Octets says that the single quote
>  > must be input as '\''
>
> Nice catch. '\'' is correct as shown in the example in Table 3-7.
>
>  >
>  > Also in the same paragraph mentioned above it says input for the
>  > single quote must be '\'' (or '\\134') shouldn't this be (or '\\047')
>
> Also a bug. Should be '\\047', as you pointed out.
>

Here's a patch to fix the binary string doc errors.

Joe Conway

Add conversion procs for CREATE CONVERSION

Fix typo

Add FindDefaultConversionProc

Add code to extract dependencies from an expression tree, and use it
to build dependencies for rules, constraint expressions, and default
expressions.  Repair some problems in the original design of
recursiveDeletion() exposed by more complex dependency sets.  Fix
regression tests that were deleting things in illegal sequences.

Add DLLINIT mention in port/Makefile.

Move few remaining src/utils files to backend/port so everything is in
one place.  Everything may be moved to src/utils eventually.

Add DLLINIT variable to simplify makfiles.

Add mention of TOAST storage for character columns.

Mark 'line' as 'not implemented' in SGML and psql \dT, per Thomas
Lockhart.  initdb not forced.

This fixes 2 inaccuracies in the recently added SQL99 feature list docs.
UNIQUE and DISTINCT predicates are both listed as implemented -- AFAIK,
neither is.

I also included another trivial patch which adds the default location
of the DSSSL stylesheets on my system (Debian unstable, docbook-dsssl
1.76) to the list of paths that configure looks for.

Neil Conway

Add comment for isbn,issn data type, from Pete St. Onge

Item not needed:

< * Use our own getopt() for FreeBSD/OpenBSD to allow --xxx flags (Bruce)

Remove indenting of Makefile comments, per Peter.\

Remove utils/getopt.c file, not needed, it only allowed "--flag"
warnings, and we now look for getopt_long in libgetopt.a.

Add search for libgetopt.a in hopes of finding getopt_long().

Remove certain Makefile dependencies by using full pathnames in
configure.in.

Use the dependency mechanism to manage column defaults.  We need this
so that dependencies in default expressions (on operators, functions,
etc) can be expressed properly.

Fix make_ctags for exhuberant tags.

Fix a bug about the handling of '.' in parse.c.

Improve relcache.c error reporting for the next guy who has to debug
this thing.

Fix \? and \pset pager handling.  \? wasn't honoring pager before.

Add COMMENT ON CONSTRAINT facility (from Rod Taylor's pg_constraint patch).
Fix comment.c to not depend on parser token values, per discussion awhile
back.

Remove no-longer-appropriate notes about lack of CASCADE/RESTRICT behavior.

In DeleteAttributeTuples, use a single indexscan instead of the multiple
scans that will most likely be caused by SearchSysCache probes.  Also,
share some code between index deletion and table deletion.

Fix testing of partial-index predicates to work correctly in cases where
varno of index's relation is not 1.  This embarrassing oversight pointed
out by Dmitry Tkach 12-Jul-02.

Mark as done, per Rod:

> o -Add ALTER TABLE DROP non-CHECK CONSTRAINT
> * -Allow psql \d to show foreign keys
> * -Auto-destroy sequence on DROP of table with SERIAL; perhaps a separate
> * -Prevent column dropping if column is used by foreign key
> * -Automatically drop constraints/functions when object is dropped
> * -Make foreign key constraints clearer in dump file
> * -Make foreign keys easier to identify

Both done:

o -Add SET or BEGIN timeout parameter to cancel query
> * -Add pg_depend table for dependency recording; use sysrelid, oid,

Add SET statement_timeout capability.  Timeout is in ms.  A value of
zero turns off the timer.