third-party/mecab-0.996/tests/cost-train/seed/char.def

   1 #
   2 #   Japanese charcter category map
   3 #
   4 #   $Id: char.def,v 1.4 2006/07/05 16:54:13 taku-ku Exp $;
   5 #
   6
   7 ###################################################################################
   8 #
   9 #  CHARACTER CATEGORY DEFINITION
  10 #
  11 #  CATEGORY_NAME INVOKE GROUP LENGTH
  12 #
  13 #   - CATEGORY_NAME: Name of category. you have to define DEFAULT class.
  14 #   - INVOKE: 1/0:   always invoke unknown word processing, evan when the word can be found in the lexicon
  15 #   - GROUP:  1/0:   make a new word by grouping the same chracter category
  16 #   - LENGTH: n:     1 to n length new words are added
  17 #
  18 DEFAULT        0 1 0  # DEFAULT is a mandatory category!
  19 SPACE          0 1 0
  20 KANJI          0 0 2
  21 SYMBOL         1 1 0
  22 NUMERIC        1 1 0
  23 ALPHA          1 1 0
  24 HIRAGANA       0 1 2
  25 KATAKANA       1 1 2
  26 KANJINUMERIC   1 1 0
  27 GREEK          1 1 0
  28 CYRILLIC       1 1 0
  29
  30 ###################################################################################
  31 #
  32 # CODE(UCS2) TO CATEGORY MAPPING
  33 #
  34
  35 # SPACE
  36 0x0020 SPACE  # DO NOT REMOVE THIS LINE, 0x0020 is reserved for SPACE
  37 0x00D0 SPACE
  38 0x0009 SPACE
  39 0x000B SPACE
  40 0x000A SPACE
  41
  42 # ASCII
  43 0x0021..0x002F SYMBOL
  44 0x0030..0x0039 NUMERIC
  45 0x003A..0x0040 SYMBOL
  46 0x0041..0x005A ALPHA
  47 0x005B..0x0060 SYMBOL
  48 0x0061..0x007A ALPHA
  49 0x007B..0x007E SYMBOL
  50
  51 # Latin
  52 0x00A1..0x00BF SYMBOL # Latin 1
  53 0x00C0..0x00FF ALPHA  # Latin 1
  54 0x0100..0x017F ALPHA  # Latin Extended A
  55 0x0180..0x0236 ALPHA  # Latin Extended B
  56 0x1E00..0x1EF9 ALPHA  # Latin Extended Additional
  57
  58 # CYRILLIC
  59 0x0400..0x04F9 CYRILLIC
  60 0x0500..0x050F CYRILLIC # Cyrillic supplementary
  61
  62 # GREEK
  63 0x0374..0x03FB GREEK # Greek and Coptic
  64
  65 # HIRAGANA
  66 0x3041..0x309F  HIRAGANA
  67
  68 # KATAKANA
  69 0x30A1..0x30FF  KATAKANA
  70 0x31F0..0x31FF  KATAKANA  # Small KU .. Small RO
  71 # 0x30FC          KATAKANA HIRAGANA  # ¡¼
  72 0x30FC          KATAKANA
  73
  74 # Half KATAKANA
  75 0xFF66..0xFF9D  KATAKANA
  76 0xFF9E..0xFF9F  KATAKANA
  77
  78 # KANJI
  79 0x2E80..0x2EF3  KANJI # CJK Raidcals Supplement
  80 0x2F00..0x2FD5  KANJI
  81 0x3005          KANJI
  82 0x3007          KANJI
  83 0x3400..0x4DB5  KANJI # CJK Unified Ideographs Extention
  84 0x4E00..0x9FA5  KANJI
  85 0xF900..0xFA2D  KANJI
  86 0xFA30..0xFA6A  KANJI
  87
  88 # KANJI-NUMERIC (°ì Æó »° »Í ¸Þ Ï» ¼· È¬ ¶å ½½ É´ Àé Ëü ²¯ Ãû)
  89 0x4E00 KANJINUMERIC KANJI
  90 0x4E8C KANJINUMERIC KANJI
  91 0x4E09 KANJINUMERIC KANJI
  92 0x56DB KANJINUMERIC KANJI
  93 0x4E94 KANJINUMERIC KANJI
  94 0x516D KANJINUMERIC KANJI
  95 0x4E03 KANJINUMERIC KANJI
  96 0x516B KANJINUMERIC KANJI
  97 0x4E5D KANJINUMERIC KANJI
  98 0x5341 KANJINUMERIC KANJI
  99 0x767E KANJINUMERIC KANJI
 100 0x5343 KANJINUMERIC KANJI
 101 0x4E07 KANJINUMERIC KANJI
 102 0x5104 KANJINUMERIC KANJI
 103 0x5146 KANJINUMERIC KANJI
 104
 105 # ZENKAKU
 106 0xFF10..0xFF19 NUMERIC
 107 0xFF21..0xFF3A ALPHA
 108 0xFF41..0xFF5A ALPHA
 109 0xFF01..0xFF0F SYMBOL
 110 0xFF1A..0xFF1F SYMBOL
 111 0xFF3B..0xFF40 SYMBOL
 112 0xFF5B..0xFF65 SYMBOL
 113 0xFFE0..0xFFEF SYMBOL # HalfWidth and Full width Form
 114
 115 # OTHER SYMBOLS
 116 0x2000..0x206F  SYMBOL # General Punctuation
 117 0x2070..0x209F  NUMERIC # Superscripts and Subscripts
 118 0x20A0..0x20CF  SYMBOL # Currency Symbols
 119 0x20D0..0x20FF  SYMBOL # Combining Diaritical Marks for Symbols
 120 0x2100..0x214F  SYMBOL # Letterlike Symbols
 121 0x2150..0x218F  NUMERIC # Number forms
 122 0x2100..0x214B  SYMBOL # Letterlike Symbols
 123 0x2190..0x21FF  SYMBOL # Arrow
 124 0x2200..0x22FF  SYMBOL # Mathematical Operators
 125 0x2300..0x23FF  SYMBOL # Miscellaneuos Technical
 126 0x2460..0x24FF  SYMBOL # Enclosed NUMERICs
 127 0x2501..0x257F  SYMBOL # Box Drawing
 128 0x2580..0x259F  SYMBOL # Block Elements
 129 0x25A0..0x25FF  SYMBOL # Geometric Shapes
 130 0x2600..0x26FE  SYMBOL # Miscellaneous Symbols
 131 0x2700..0x27BF  SYMBOL # Dingbats
 132 0x27F0..0x27FF  SYMBOL # Supplemental Arrows A
 133 0x27C0..0x27EF  SYMBOL # Miscellaneous Mathematical Symbols-A
 134 0x2800..0x28FF  SYMBOL # Braille Patterns
 135 0x2900..0x297F  SYMBOL # Supplemental Arrows B
 136 0x2B00..0x2BFF  SYMBOL # Miscellaneous Symbols and Arrows
 137 0x2A00..0x2AFF  SYMBOL # Supplemental Mathematical Operators
 138 0x3300..0x33FF  SYMBOL
 139 0x3200..0x32FE  SYMBOL # ENclosed CJK Letters and Months
 140 0x3000..0x303F  SYMBOL # CJK Symbol and Punctuation
 141 0xFE30..0xFE4F  SYMBOL # CJK Compatibility Forms
 142 0xFE50..0xFE6B  SYMBOL # Small Form Variants
 143
 144 # added 2006/3/13
 145 0x3007 SYMBOL KANJINUMERIC
 146
 147 # END OF TABLE