docs/pg_bigm_en.html

   1 <html>
   2 <head>
   3 <title>pg_bigm 1.0 Document</title>
   4
   5 <link rel="stylesheet" type="text/css" href="style.css">
   6 <meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
   7 </head>
   8
   9 <body>
  10   <div id="navigation">
  11     <ul>
  12       <li><a href="index_en.html">Home</a></li>
  13       <li><a href="http://en.osdn.jp/projects/pgbigm/releases/?package_id=13634">Download</a></li>
  14       <li><a href="pg_bigm_en.html">Document</a></li>
  15       <li><a href="index_en.html#community">Community</a></li>
  16       <li><a href="index_en.html#development">Development</a></li>
  17       <li><a href="pg_bigm.html">日本語</a></li>
  18     </ul>
  19   </div>
  20
  21 <h1 id="pg_bigm">Document (Release 1.0)</h1>
  22
  23 <div class="index">
  24 <ol>
  25 <li><a href="#description">Overview</a></li>
  26 <li><a href="#pg_trgm">Comparison with pg_trgm</a></li>
  27 <li><a href="#requirement">Tested platforms</a></li>
  28 <li><a href="#install">Install</a></li>
  29 <li><a href="#uninstall">Uninstall</a></li>
  30 <li><a href="#fulltext_search">Full text search</a></li>
  31 <li><a href="#functions">Functions</a></li>
  32 <li><a href="#parametares">Parameters</a></li>
  33 <li><a href="#limitations">Limitations</a></li>
  34 <li><a href="#release_notes">Release Notes</a></li>
  35 </ol>
  36 </div>
  37
  38 <h2 id="description">Overview</h2>
  39 <p>The pg_bigm module provides full text search capability in <a href="http://www.postgresql.org/">PostgreSQL</a>. This module allows a user to create <b>2-gram</b> (bigram) index for faster full text search.</p>
  40 <p>The <a href="http://en.osdn.jp/projects/pgbigm/">pg_bigm project</a> provides the following one module.</p>
  41
  42 <table>
  43 <thead>
  44 <tr>
  45 <th>Module</th><th>Description</th><th>Source Archive File Name</th>
  46 </tr>
  47 </thead>
  48 <tbody>
  49 <tr><td>pg_bigm</td>
  50   <td nowrap>Module that provides full text search capability in PostgreSQL</td>
  51   <td>pg_bigm-x.y-YYYYMMDD.tar.gz</td></tr>
  52 </tbody>
  53 </table>
  54
  55 <p>
  56 The x.y and YYYYMMDD parts of the source archive file name are replaced with its release version number and date, respectively.
  57 For example, x.y is 1.1 and YYYYMMDD is 20131122 if the file of the version 1.1 was released on November 22, 2013.
  58 </p>
  59 <p>The license of pg_bigm is <a href="http://opensource.org/licenses/postgresql">The PostgreSQL License</a> (same as BSD license).</p>
  60
  61 <h2 id="pg_trgm">Comparison with pg_trgm</h2>
  62 <p>The <a href="http://www.postgresql.jp/document/current/html/pgtrgm.html">pg_trgm</a> contrib module which provides full text search capability using 3-gram (trigram) model is included in PostgreSQL. The pg_bigm was developed based on the pg_trgm. They have the following differences:</p>
  63
  64 <table>
  65 <thead>
  66 <tr>
  67 <th>Functionalities and Features</th><th>pg_trgm</th><th>pg_bigm</th>
  68 </tr>
  69 </thead>
  70 <tbody>
  71 <tr><td>Phrase matching method for full text search</td>
  72   <td nowrap>3-gram</td>
  73   <td>2-gram</td></tr>
  74 <tr><td>Available index</td>
  75   <td nowrap>GIN and GiST</td>
  76   <td>GIN only</td></tr>
  77 <tr><td>Available text search operators</td>
  78   <td nowrap>LIKE (~~), ILIKE (~~*), ~, ~*</td>
  79   <td>LIKE only</td></tr>
  80 <tr><td>Full text search for non-alphabetic language<br>(e.g., Japanese)</td>
  81   <td nowrap>Not supported (*1)</td>
  82   <td>Supported</td></tr>
  83 <tr><td>Full text search with 1-2 characters keyword</td>
  84   <td nowrap>Slow (*2)</td>
  85   <td>Fast</td></tr>
  86 <tr><td>Similarity search</td>
  87   <td nowrap>Supported</td>
  88   <td>Not supported</td></tr>
  89 <tr><td>Maximum indexed column size</td>
  90   <td nowrap>238,609,291 Bytes (~228MB)</td>
  91   <td nowrap>107,374,180 Bytes (~102MB)</td></tr>
  92 </tbody>
  93 </table>
  94
  95 <ul>
  96 <li>(*1) You can use full text search for non-alphabetic language by commenting out KEEPONLYALNUM macro variable in contrib/pg_trgm/pg_trgm.h and rebuilding pg_trgm module. But pg_bigm provides faster non-alphabetic search than such a modified pg_trgm.</li>
  97 <li>(*2) Because, in this search, only sequential scan or index full scan (not normal index scan) can run.</li>
  98 </ul>
  99
 100 <p>pg_bigm cannot coexist with pg_trgm in the same database. Please don't load pg_trgm into the database that you want to use pg_bigm in.</p>
 101
 102 <h2 id="requirement">Tested platforms</h2>
 103 <p>pg_bigm has been built and tested on the following platforms:</p>
 104 <table>
 105 <thead>
 106 <tr>
 107 <th>Category</th><th>Module Name</th>
 108 </tr>
 109 </thead>
 110 <tbody>
 111 <tr>
 112   <td>OS</td>
 113   <td nowrap>Red Hat Enterprise Linux 6.1 x86_64</td>
 114 </tr>
 115 <tr>
 116   <td>DBMS</td>
 117   <td nowrap>PostgreSQL 9.1, 9.2</td>
 118 </tr>
 119 </tbody>
 120 </table>
 121
 122 <p>pg_bigm requires PostgreSQL 9.1 or later.</p>
 123
 124 <h2 id="install">Install</h2>
 125
 126 <h3 id="pg_install">Install PostgreSQL</h3>
 127 <p>From the <a href="http://www.postgresql.org/">official site of PostgreSQL</a> download the source archive file "postgresql-X.Y.Z.tar.gz (please replace X.Y.Z with actual version number)" of PostgreSQL, and then build and install it.</p>
 128 <pre>
 129 $ tar zxf postgresql-X.Y.Z.tar.gz
 130 $ cd postgresql-X.Y.Z
 131 $ ./configure --prefix=/opt/pgsql-X.Y.Z
 132 $ make
 133 $ su
 134 # make install
 135 # exit</pre>
 136 <ul>
 137 <li>--prefix : Specify the PostgreSQL installation directory. This is optional. By default, PostgreSQL is installed in /usr/local/pgsql.</li>
 138 </ul>
 139 <p>If PostgreSQL is installed from RPM, the postgresql-devel package must be installed to build pg_bigm.</p>
 140
 141 <h3 id="bigm_install">Install pg_bigm</h3>
 142 <p>Download the source archive file of pg_bigm from <a href="http://en.osdn.jp/projects/pgbigm/releases/?package_id=13634">here</a>, and then build and install it.</p>
 143 <pre>
 144 $ tar zxf pg_bigm-x.y-YYYYMMDD.tar.gz
 145 $ cd pg_bigm-x.y-YYYYMMDD
 146 $ make USE_PGXS=1 PG_CONFIG=/opt/pgsql-X.Y.Z/bin/pg_config
 147 $ su
 148 # make USE_PGXS=1 PG_CONFIG=/opt/pgsql-X.Y.Z/bin/pg_config install
 149 # exit
 150 </pre>
 151 <ul>
 152 <li>USE_PGXS : USE_PGXS=1 must be always specified when building pg_bigm.</li>
 153 <li>PG_CONFIG : Specify the path to <a href="http://www.postgresql.org/docs/current/static/app-pgconfig.html">pg_config</a> (which exists in the bin directory of PostgreSQL installation). If the PATH environment variable contains the path to pg_config, PG_CONFIG doesn't need to be specified.</li>
 154 </ul>
 155
 156 <h3 id="bigm_register">Load pg_bigm</h3>
 157 <p>Create the database cluster, modify postgresql.conf, start PostgreSQL server and then load pg_bigm into the database.</p>
 158 <pre>
 159 $ initdb -D $PGDATA --locale=C --encoding=UTF8
 160
 161 $ vi $PGDATA/postgresql.conf
 162 shared_preload_libraries = 'pg_bigm'
 163 custom_variable_classes = 'pg_bigm'
 164
 165 $ pg_ctl -D $PGDATA start
 166 $ psql -d &lt;database name&gt;
 167 =# CREATE EXTENSION pg_bigm;
 168 =# \dx pg_bigm
 169                     List of installed extensions
 170   Name   | Version | Schema |              Description
 171 ---------+---------+--------+---------------------------------------
 172  pg_bigm | 1.0     | public | text index searching based on bigrams
 173 (1 row)
 174 </pre>
 175
 176 <ul>
 177 <li>Replace $PGDATA with the path to database cluster.</li>
 178 <li>pg_bigm supports all PostgreSQL encoding and locale.</li>
 179 <li>In postgresql.conf, pg_bigm must be added into <a href="http://www.postgresql.org/docs/current/static/runtime-config-resource.html#GUC-SHARED-PRELOAD-LIBRARIES">shared_preload_libraries</a> and <a href="http://www.postgresql.org/docs/current/static/runtime-config-custom.html#GUC-CUSTOM-VARIABLE-CLASSES">custom_variable_classes</a>.
 180   <ul>
 181     <li>In PostgreSQL 9.2 or later, you need to set only shared_preload_libraries because custom_variable_classes doesn't exist.</li>
 182   </ul>
 183 </li>
 184 <li><a href="http://www.postgresql.org/docs/current/static/sql-createextension.html">CREATE EXTENSION</a> pg_bigm needs to be executed in all the databases that you want to use pg_bigm in.</li>
 185 <li>pg_bigm cannot coexist with pg_trgm in the same database. Please don't load pg_trgm into the database that you want to use pg_bigm in.</li>
 186 </ul>
 187
 188
 189 <h2 id="uninstall">Uninstall</h2>
 190
 191 <h3 id="bigm_uninstall">Delete pg_bigm</h3>
 192 <p>Unload pg_bigm from the database and then uninstall it.</p>
 193 <pre>
 194 $ psql -d &lt;database name&gt;
 195 =# DROP EXTENSION pg_bigm CASCADE;
 196 =# \q
 197
 198 $ pg_ctl -D $PGDATA stop
 199 $ su
 200
 201 # cd &lt;pg_bigm source directory&gt;
 202 # make USE_PGXS=1 PG_CONFIG=/opt/pgsql-X.Y.Z/bin/pg_config uninstall
 203 # exit
 204 </pre>
 205
 206 <ul>
 207 <li>pg_bigm needs to be unloaded from all the databases that it was loaded into.</li>
 208 <li><a href="http://www.postgresql.org/docs/current/static/sql-dropextension.html">DROP EXTENSION</a> pg_bigm needs to be executed with CASCADE option to delete all the database objects which depend on pg_bigm, e.g., pg_bigm full text search index.</li>
 209 </ul>
 210
 211 <h3 id="delete_conf">Reset postgresql.conf</h3>
 212 <p>Delete the following pg_bigm related settings from postgresql.conf.</p>
 213 <ul>
 214 <li>shared_preload_libraries</li>
 215 <li>custom_variable_classes</li>
 216 <li>pg_bigm.* (parameters which begin with pg_bigm)</li>
 217 </ul>
 218
 219 <h2 id="fulltext_search">Full text search</h2>
 220
 221 <h3 id="create_index">Create Index</h3>
 222 <p>You can create an index for full text search by using GIN index.</p>
 223 <p>The following example creates the table <i>pg_tools</i> which stores the name and description of PostgreSQL related tool, inserts four records into the table, and then creates the full text search index on the <i>description</i> column.</p>
 224
 225 <pre>
 226 =# CREATE TABLE pg_tools (tool text, description text);
 227
 228 =# INSERT INTO pg_tools VALUES ('pg_hint_plan', 'Tool that allows a user to specify an optimizer HINT to PostgreSQL');
 229 =# INSERT INTO pg_tools VALUES ('pg_dbms_stats', 'Tool that allows a user to stabilize planner statistics in PostgreSQL');
 230 =# INSERT INTO pg_tools VALUES ('pg_bigm', 'Tool that provides 2-gram full text search capability in PostgreSQL');
 231 =# INSERT INTO pg_tools VALUES ('pg_trgm', 'Tool that provides 3-gram full text search capability in PostgreSQL');
 232
 233 =# CREATE INDEX pg_tools_idx ON pg_tools USING gin (description gin_bigm_ops);
 234 </pre>
 235
 236 <ul>
 237 <li><b>gin</b> must be used as an index method. GiST is not available for pg_bigm.</li>
 238 <li><b>gin_bigm_ops</b> must be used as an operator class.</li>
 239 </ul>
 240
 241 <p>You can also create multicolumn pg_bigm index and specify GIN related parameters then, as follows.</p>
 242
 243 <pre>
 244 =# CREATE INDEX pg_tools_multi_idx ON pg_tools USING gin (tool gin_bigm_ops, description gin_bigm_ops) WITH (FASTUPDATE = off);
 245 </pre>
 246
 247 <h3 id="do_fulltext_search">Execute full text search</h3>
 248 <p>You can execute full text search by using LIKE pattern matching.</p>
 249 <pre>
 250 =# SELECT * FROM pg_tools WHERE description LIKE '%search%';
 251   tool   |                             description
 252 ---------+---------------------------------------------------------------------
 253  pg_bigm | Tool that provides 2-gram full text search capability in PostgreSQL
 254  pg_trgm | Tool that provides 3-gram full text search capability in PostgreSQL
 255 (2 rows)
 256 </pre>
 257 <ul>
 258 <li>The search keyword must be specified as the pattern string that LIKE operator can handle properly, as discussed in <a href="#likequery">likequery</a>.</li>
 259 </ul>
 260
 261 <h2 id="functions">Functions</h2>
 262 <h3 id="likequery">likequery</h3>
 263 <p>likequery is a function that converts the search keyword (argument #1) into the pattern string that LIKE operator can handle properly.</p>
 264 <ul>
 265 <li>Argument #1 (text) - search keyword</li>
 266 <li>Return value (text) - pattern string that was converted from argument #1 so that LIKE operator can handle properly</li>
 267 </ul>
 268
 269 <p>If the argument #1 is NULL, the return value is also NULL.</p>
 270
 271 <p>This function does the conversion as follows:</p>
 272 <ul>
 273 <li>appends % (single-byte percent) into both the beginning and the end of the search keyword.</li>
 274 <li>escapes the characters % (single-byte percent), _ (single-byte underscore) and \ (single-byte backslash) in the search keyword by using \ (single-byte backslash).</li>
 275 </ul>
 276
 277 <p>In pg_bigm, full text search is performed by using LIKE pattern matching. Therefore, the search keyword needs to be converted into the pattern string that LIKE operator can handle properly. Usually a client application should be responsible for this conversion. But, you can save the effort of implementing such a conversion logic in the application by using likequery function.</p>
 278
 279 <pre>
 280 =# SELECT likequery('pg_bigm has improved the full text search performance by 200%');
 281                              likequery
 282 -------------------------------------------------------------------
 283  %pg\_bigm has improved the full text search performance by 200\%%
 284 (1 row)
 285 </pre>
 286
 287 <p>Using likequery, you can rewrite the full text search query which was used in the example in "Execute full text search" into:</p>
 288 <pre>
 289 =# SELECT * FROM pg_tools WHERE description LIKE likequery('search');
 290   tool   |                             description
 291 ---------+---------------------------------------------------------------------
 292  pg_bigm | Tool that provides 2-gram full text search capability in PostgreSQL
 293  pg_trgm | Tool that provides 3-gram full text search capability in PostgreSQL
 294 (2 rows)
 295 </pre>
 296
 297 <h3 id="show_bigm">show_bigm</h3>
 298 <p>show_bigm returns an array of all the 2-grams in the given string (argument #1).</p>
 299
 300 <ul>
 301 <li>Argument #1 (text) - character string</li>
 302 <li>Return value (text[]) - an array of all the 2-grams in argument #1</li>
 303 </ul>
 304
 305 <p>A 2-gram that show_bigm returns is a group of two consecutive characters taken from a string that blank character has been appended into the beginning and the end. For example, the 2-grams of the string "ABC" are "(blank)A" "AB" "BC" "C(blank)".</p>
 306
 307 <pre>
 308 =# SELECT show_bigm('full text search');
 309                             show_bigm
 310 ------------------------------------------------------------------
 311  {" f"," s"," t",ar,ch,ea,ex,fu,"h ","l ",ll,rc,se,"t ",te,ul,xt}
 312 (1 row)
 313 </pre>
 314
 315 <h3 id="pg_gin_pending_stats">pg_gin_pending_stats</h3>
 316 <p>pg_gin_pending_stats is a function that returns the number of pages and tuples in the pending list of GIN index (argument #1).</p>
 317
 318 <ul>
 319 <li>Argument #1 (regclass) - Name or OID of GIN index</li>
 320 <li>Return value #1 (integer) - Number of pages in the pending list</li>
 321 <li>Return value #2 (bigint) - Number of tuples in the pending list</li>
 322 </ul>
 323
 324 <p>
 325 Note that the return value #1 and #2 are 0 if the argument #1 is the GIN index built with FASTUPDATE option disabled because it doesn't have a pending list.
 326 Please see <a href="http://www.postgresql.org/docs/current/static/gin-implementation.html#GIN-FAST-UPDATE">GIN Fast Update Technique</a> for details of the pending list and FASTUPDATE option.
 327 </p>
 328
 329 <pre>
 330 =# SELECT * FROM pg_gin_pending_stats('pg_tools_idx');
 331  pages | tuples
 332 -------+--------
 333      1 |      4
 334 (1 row)
 335 </pre>
 336
 337 <h2 id="parametares">Parameters</h2>
 338 <h3 id="last_update">pg_bigm.last_update</h3>
 339 <p>pg_bigm.last_update is a parameter that reports the last updated date of the pg_bigm module. This parameter is read-only. You cannot change the value of this parameter at all.</p>
 340
 341 <pre>
 342 =# SHOW pg_bigm.last_update;
 343  pg_bigm.last_update
 344 ---------------------
 345  2013.11.22
 346 (1 row)
 347 </pre>
 348
 349 <h3 id="enable_recheck">pg_bigm.enable_recheck</h3>
 350 <p>pg_bigm.enable_recheck is a parameter that specifies whether to perform Recheck which is an internal process of full text search. The default value is on, i.e., Recheck is performed. Not only superuser but also any user can change this parameter value in postgresql.conf or by using SET command. This parameter must be enabled if you want to obtain the correct search result.</p>
 351
 352 <p>PostgreSQL and pg_bigm internally perform the following processes to get the search results:</p>
 353
 354 <ul>
 355 <li>retrieve the result candidates from full text search index.</li>
 356 <li>choose the correct search results from the candidates.</li>
 357 </ul>
 358
 359 <p>The latter process is called Recheck. The result candidates retrieved from full text search index may contain wrong results. Recheck process gets rid of such wrong results.</p>
 360
 361 <p>For example, imagine the case where two character strings "He is awaiting trial" and "It was a trivial mistake" are stored in a table. The correct search result with the keyword "trial" is "He is awaiting trial". However, "It was a trivial mistake" is also retrieved as the result candidate from the full text search index because it contains all the 2-grams ("al", "ia", "ri", "tr") of the search keyword "trial". Recheck process tests whether each candidate contains the search keyword itself, and then chooses only the correct results.</p>
 362
 363 <p>How Recheck narrows down the search result can be observed in the result of EXPLAIN ANALYZE.</p>
 364
 365 <pre>
 366 =# CREATE TABLE tbl (doc text);
 367 =# INSERT INTO tbl VALUES('He is awaiting trial');
 368 =# INSERT INTO tbl VALUES('It was a trivial mistake');
 369 =# CREATE INDEX tbl_idx ON tbl USING gin (doc gin_bigm_ops);
 370 =# SET enable_seqscan TO off;
 371 =# EXPLAIN ANALYZE SELECT * FROM tbl WHERE doc LIKE likequery('trial');
 372                                                    QUERY PLAN
 373 -----------------------------------------------------------------------------------------------------------------
 374  Bitmap Heap Scan on tbl  (cost=12.00..16.01 rows=1 width=32) (actual time=0.041..0.044 rows=1 loops=1)
 375    Recheck Cond: (doc ~~ '%trial%'::text)
 376    Rows Removed by Index Recheck: 1
 377    -&gt;  Bitmap Index Scan on tbl_idx  (cost=0.00..12.00 rows=1 width=0) (actual time=0.028..0.028 rows=2 loops=1)
 378          Index Cond: (doc ~~ '%trial%'::text)
 379  Total runtime: 0.113 ms
 380 (6 rows)
 381 </pre>
 382
 383 <p>In this example, you can see that Bitmap Index Scan retrieved two rows from the full text search index but Bitmap Heap Scan returned only one row after Recheck process.</p>
 384
 385 <p>It is possible to skip Recheck process and get the result candidates retrieved from the full text search index as the final results, by disabling this parameter. In the following example, wrong result "It was a trivial mistake" is also returned because the parameter is disabled.</p>
 386
 387 <pre>
 388 =# SELECT * FROM tbl WHERE doc LIKE likequery('trial');
 389          doc
 390 ----------------------
 391  He is awaiting trial
 392 (1 row)
 393
 394 =# SET pg_bigm.enable_recheck = off;
 395 =# SELECT * FROM tbl WHERE doc LIKE likequery('trial');
 396            doc
 397 --------------------------
 398  He is awaiting trial
 399  It was a trivial mistake
 400 (2 rows)
 401 </pre>
 402
 403 <p>This parameter must be enabled if you want to obtain the correct search result. On the other hand, you may need to set it to off, for example, for evaluation of Recheck performance overhead or debugging, etc.</p>
 404
 405 <h3 id="gin_key_limit">pg_bigm.gin_key_limit</h3>
 406 <p>pg_bigm.gin_key_limit is a parameter that specifies the maximum number of 2-grams of the search keyword to be used for full text search. If it's set to zero (default), all the 2-grams of the search keyword are used for full text search. Not only superuser but also any user can change this parameter value in postgresql.conf or by using SET command.</p>
 407
 408 <p>PostgreSQL and pg_bigm basically use all the 2-grams of search keyword to scan GIN index. However, in current implementation of GIN index, the more 2-grams are used, the more performance overhead of GIN index scan is increased. In the system that large search keyword is often used, full text search is likely to be slow. This performance issue can be solved by using this parameter and limiting the maximum number of 2-grams to be used.</p>
 409
 410 <p>On the other hand, the less 2-grams are used, the more wrong results are included in the result candidates retrieved from full text search index. Please note that this can increase the workload of Recheck and decrease the performance.</p>
 411
 412 <h2 id="limitations">Limitations</h2>
 413 <h3 id="indexed_column_size">Indexed Column Size</h3>
 414
 415 <p>The size of the column indexed by bigm GIN index cannot exceed 107,374,180 Bytes (~102MB). Any attempt to enter larger values will result in an error. </p>
 416
 417 <pre>
 418 =# CREATE TABLE t1 (description text);
 419 =# CREATE INDEX t1_idx ON t1 USING gin (description gin_bigm_ops);
 420 =# INSERT INTO t1 SELECT repeat('A', 107374181);
 421 ERROR:  out of memory
 422 </pre>
 423
 424 <p>pg_trgm also has this limitation. However, the maximum size in the case of trgm indexed column is 238,609,291 Bytes (~228MB).</p>
 425
 426 <h2 id="release_notes">Release Notes</h2>
 427 <ul>
 428 <li><a href="release-1-0_en.html">Version 1.0</a></li>
 429 </ul>
 430
 431 <hr>
 432 <div align="right">Copyright (c) 2017-2023, pg_bigm Development Group</div>
 433 <div align="right">Copyright (c) 2012-2016, NTT DATA Corporation</div>
 434
 435 </body>
 436 </html>