src/ltj-otf.lua

   1 --
   2 -- luatexja/ltj-otf.lua
   3 --
   4 require('unicode')
   5 require('lualibs')
   6
   7 luatexja.load_module('base');      local ltjb = luatexja.base
   8 luatexja.load_module('jfont');     local ltjf = luatexja.jfont
   9 luatexja.load_module('rmlgbm');    local ltjr = luatexja.rmlgbm
  10 luatexja.load_module('charrange'); local ltjc = luatexja.charrange
  11
  12 local id_glyph = node.id('glyph')
  13 local id_whatsit = node.id('whatsit')
  14 local sid_user = node.subtype('user_defined')
  15
  16 local node_new = node.new
  17 local node_remove = node.remove
  18 local node_next = node.next
  19 local node_free = node.free
  20 local has_attr = node.has_attribute
  21 local set_attr = node.set_attribute
  22 local unset_attr = node.unset_attribute
  23 local node_insert_after = node.insert_after
  24 local identifiers = fonts.hashes.identifiers
  25
  26 local attr_curjfnt = luatexbase.attributes['ltj@curjfnt']
  27 local attr_yablshift = luatexbase.attributes['ltj@yablshift']
  28 local attr_ykblshift = luatexbase.attributes['ltj@ykblshift']
  29
  30 local ltjf_font_metric_table = ltjf.font_metric_table
  31 local ltjf_find_char_class = ltjf.find_char_class
  32 local ltjr_cidfont_data = ltjr.cidfont_data
  33 local ltjc_is_ucs_in_japanese_char = ltjc.is_ucs_in_japanese_char
  34
  35 luatexja.userid_table.OTF = luatexbase.newuserwhatsitid('char_by_cid',  'luatexja')
  36 luatexja.userid_table.VSR = luatexbase.newuserwhatsitid('replace_vs',  'luatexja')
  37 local OTF, VSR = luatexja.userid_table.OTF, luatexja.userid_table.VSR
  38
  39 local function get_ucs_from_rmlgbm(c)
  40    local v = ltjr_cidfont_data["Adobe-Japan1"].resources.unicodes["Japan1." .. tostring(c)]
  41    if not v then -- AJ1 範囲外
  42       return 0
  43    elseif v<0xF0000 then -- 素直に Unicode にマップ可能
  44       return v
  45    else
  46       local w = ltjr_cidfont_data["Adobe-Japan1"].characters[v]. tounicode
  47       -- must be non-nil!
  48       local i = string.len(w)
  49       if i==4 then -- UCS2
  50          return tonumber(w,16)
  51       elseif i==8 then
  52          i,w = tonumber(string.sub(w,1,4),16), tonumber(string.sub(w,-4),16)
  53          if (w>=0xD800) and (w<=0xDB7F) and (i>=0xDC00) and (i<=0xDFFF) then -- Surrogate pair
  54             return (w-0xD800)*0x400 + (i-0xDC00)
  55          else
  56             return 0
  57          end
  58       end
  59    end
  60 end
  61
  62 -- Append a whatsit node to the list.
  63 -- This whatsit node will be extracted to a glyph_node
  64 local function append_jglyph(char)
  65    local p = node_new(id_whatsit,sid_user)
  66    local v = tex.attribute[attr_curjfnt]
  67    p.user_id=OTF; p.type=100; p.value=char
  68    set_attr(p, attr_yablshift, tex.attribute[attr_ykblshift])
  69    node.write(p)
  70 end
  71
  72 local function cid(key)
  73    if key==0 then return append_jglyph(char) end
  74    local curjfnt = identifiers[tex.attribute[attr_curjfnt]]
  75    if not curjfnt.cidinfo or
  76       curjfnt.cidinfo.ordering ~= "Japan1" and
  77       curjfnt.cidinfo.ordering ~= "GB1" and
  78       curjfnt.cidinfo.ordering ~= "CNS1" and
  79       curjfnt.cidinfo.ordering ~= "Korea1" then
  80 --      ltjb.package_warning('luatexja-otf',
  81 --                         'Current Japanese font (or other CJK font) "'
  82 --                            ..curjfnt.psname..'" is not a CID-Keyed font (Adobe-Japan1 etc.)')
  83       return append_jglyph(get_ucs_from_rmlgbm(key))
  84    end
  85    local char = curjfnt.resources.unicodes[curjfnt.cidinfo.ordering..'.'..tostring(key)]
  86    if not char then
  87       ltjb.package_warning('luatexja-otf',
  88                            'Current Japanese font (or other CJK font) "'
  89                               ..curjfnt.psname..'" does not have the specified CID character ('
  90                               ..tostring(key)..')',
  91                            'Use a font including the specified CID character.')
  92       char = 0
  93    end
  94    return append_jglyph(char)
  95 end
  96
  97 local function extract(head)
  98    local p = head
  99    local v
 100    while p do
 101       if p.id==id_whatsit then
 102          if p.subtype==sid_user then
 103             local puid = p.user_id
 104             if puid==OTF or puid==VSR then
 105                local g = node_new(id_glyph)
 106                g.subtype = 0; g.char = p.value
 107                v = has_attr(p, attr_curjfnt); g.font = v
 108                set_attr(g, attr_curjfnt,
 109                         puid==OTF and v or 0)
 110                -- VSR yields ALchar
 111                v = has_attr(p, attr_yablshift)
 112                if v then
 113                   set_attr(g, attr_yablshift, v)
 114                else
 115                   unset_attr(g, attr_yablshift)
 116                end
 117                head = node_insert_after(head, p, g)
 118                head = node_remove(head, p)
 119                node_free(p); p = g
 120             end
 121          end
 122       end
 123       p = node_next(p)
 124    end
 125    return head
 126 end
 127
 128 luatexbase.add_to_callback('hpack_filter',
 129    function (head) return extract(head) end,'ltj.hpack_filter_otf',
 130    luatexbase.priority_in_callback('pre_linebreak_filter',
 131                                    'ltj.pre_linebreak_filter'))
 132 luatexbase.add_to_callback('pre_linebreak_filter',
 133    function (head) return extract(head) end, 'ltj.pre_linebreak_filter_otf',
 134    luatexbase.priority_in_callback('pre_linebreak_filter',
 135                                    'ltj.pre_linebreak_filter'))
 136
 137
 138 -- additional callbacks
 139 -- 以下は，LuaTeX-ja に用意された callback のサンプルになっている．
 140 --   JFM の文字クラスの指定の所で，"AJ1-xxx" 形式での指定を可能とした．
 141 --   これらの文字指定は，和文フォント定義ごとに，それぞれのフォントの
 142 --   CID <-> グリフ 対応状況による変換テーブルが用意される．
 143
 144 -- 和文フォント読み込み時に，CID -> unicode 対応をとっておく．
 145 local function cid_to_char(fmtable, fn)
 146    local fi = identifiers[fn]
 147    if fi.cidinfo and fi.cidinfo.ordering == "Japan1" then
 148       fmtable.cid_char_type = {}
 149       for i, v in pairs(fmtable.chars) do
 150          local j = string.match(i, "^AJ1%-([0-9]*)")
 151          if j then
 152             j = tonumber(fi.resources.unicodes['Japan1.'..tostring(j)])
 153             if j then
 154                fmtable.cid_char_type[j] = v
 155             end
 156          end
 157       end
 158    end
 159    return fmtable
 160 end
 161 luatexbase.add_to_callback("luatexja.define_jfont",
 162                            cid_to_char, "ltj.otf.define_jfont", 1)
 163 --  既に読み込まれているフォントに対しても，同じことをやらないといけない
 164 for fn, v in pairs(ltjf_font_metric_table) do
 165    ltjf_font_metric_table[fn] = cid_to_char(v, fn)
 166 end
 167
 168
 169 local function cid_set_char_class(arg, fmtable, char)
 170    if arg~=0 then return arg
 171    elseif fmtable.cid_char_type then
 172       return fmtable.cid_char_type[char] or 0
 173    else return 0
 174    end
 175 end
 176 luatexbase.add_to_callback("luatexja.find_char_class",
 177                            cid_set_char_class, "ltj.otf.find_char_class", 1)
 178
 179 -------------------- IVS
 180 local font_ivs_table = {} -- key: fontnumber
 181 local enable_ivs
 182 do
 183    local is_ivs_enabled = false
 184    local ivs -- temp table
 185    local sort = table.sort
 186    local uniq_flag
 187    local function add_ivs_table(tg, unitable, glyphmax)
 188       for i = 0, glyphmax-1 do
 189          if tg[i] then
 190             local gv = tg[i]
 191             if gv.altuni then
 192                for _,at in pairs(gv.altuni) do
 193                   local bu, vsel = at.unicode, at.variant
 194                   if vsel then
 195                      if vsel>=0xE0100 then vsel = vsel - 0xE0100 end
 196                      if not ivs[bu] then ivs[bu] = {} end
 197                      uniq_flag = true
 198                      for i,_ in pairs(ivs[bu]) do
 199                         if i==vs then uniq_flag = false; break end
 200                      end
 201                      if uniq_flag then
 202                         ivs[bu][vsel] = unitable[gv.name]
 203                      end
 204                   end
 205                end
 206             end
 207          end
 208       end
 209    end
 210    local function make_ivs_table(id, fname)
 211       ivs = {}
 212       local fl = fontloader.open(fname)
 213       local unicodes = id.resources.unicodes
 214       if fl.glyphs then
 215          add_ivs_table(fl.glyphs, id.resources.unicodes, fl.glyphmax)
 216       end
 217       if fl.subfonts then
 218          for _,v in pairs(fl.subfonts) do
 219             add_ivs_table(v.glyphs, id.resources.unicodes, v.glyphmax)
 220          end
 221       end
 222       fontloader.close(fl)
 223       return ivs
 224    end
 225
 226 -- loading and saving
 227    local font_ivs_basename = {} -- key: basename
 228    local cache_ver = 4
 229    local checksum = file.checksum
 230
 231    local function prepare_ivs_data(n, id)
 232       -- test if already loaded
 233       if type(id)=='number' then -- sometimes id is an integer
 234          font_ivs_table[n] = font_ivs_table[id]; return
 235       elseif not id then return
 236       end
 237       local fname = id.filename
 238       local bname = file.basename(fname)
 239       if not fname then
 240          font_ivs_table[n] = {}; return
 241       elseif font_ivs_basename[bname] then
 242          font_ivs_table[n] = font_ivs_basename[bname]; return
 243       end
 244
 245       -- if the cache is present, read it
 246       local newsum = checksum(fname) -- MD5 checksum of the fontfile
 247       local v = "ivs_" .. string.lower(file.nameonly(fname))
 248       local dat = ltjb.load_cache(v,
 249          function (t) return (t.version~=cache_ver) or (t.chksum~=newsum) end
 250       )
 251       -- if the cache is not found or outdated, save the cache
 252       if dat then
 253          font_ivs_basename[bname] = dat[1] or {}
 254       else
 255          dat = make_ivs_table(id, fname)
 256          font_ivs_basename[bname] = dat or {}
 257          ltjb.save_cache( v,
 258                           {
 259                              chksum = checksum(fname),
 260                              version = cache_ver,
 261                              dat,
 262                           })
 263       end
 264       font_ivs_table[n] = font_ivs_basename[bname]
 265    end
 266
 267 -- 組版時
 268    local function ivs_jglyph(char, bp, pf, uid)
 269       local p = node_new(id_whatsit,sid_user)
 270       p.user_id=uid; p.type=100; p.value=char
 271       set_attr(p, attr_curjfnt, pf)
 272       set_attr(p, attr_yablshift, has_attr(bp, attr_ykblshift) or 0)
 273       return p
 274    end
 275
 276    local function do_ivs_repr(head)
 277       local p = head
 278       while p do
 279          local pid = p.id
 280          if pid==id_glyph then
 281             local pf = p.font
 282             local q = node_next(p) -- the next node of p
 283             if q and q.id==id_glyph then
 284                local qc = q.char
 285                if (qc>=0xFE00 and qc<=0xFE0F) or (qc>=0xE0100 and qc<0xE01F0) then
 286                   -- q is a variation selector
 287                   if qc>=0xE0100 then qc = qc - 0xE0100 end
 288                   local pt = font_ivs_table[pf]
 289                   pt = pt and pt[p.char];  pt = pt and  pt[qc]
 290                   head = node_remove(head,q)
 291                   if pt then
 292                      local np = ivs_jglyph(pt, p, pf,
 293                                            (has_attr(p,attr_curjfnt) or 0)==pf and OTF or VSR)
 294                      head = node_insert_after(head, p, np)
 295                      head = node_remove(head,p)
 296                      p = np
 297                   end
 298                end
 299             end
 300          end
 301          p = node_next(p)
 302       end
 303       return head
 304    end
 305
 306    -- font define
 307    local function font_callback(name, size, id, fallback)
 308       local d = fallback(name, size, id)
 309       prepare_ivs_data(id, d)
 310       return d
 311    end
 312
 313    enable_ivs = function ()
 314       if is_ivs_enabled then
 315          ltjb.package_warning('luatexja-otf',
 316                               'luatexja.otf.enable_ivs() was already called, so this call is ignored', '')
 317       else
 318          luatexbase.add_to_callback('hpack_filter',
 319                                     function (head) return do_ivs_repr(head) end,'do_ivs', 1)
 320          luatexbase.add_to_callback('pre_linebreak_filter',
 321                                     function (head) return do_ivs_repr(head) end, 'do_ivs', 1)
 322          local ivs_callback = function (name, size, id)
 323             return font_callback(
 324                name, size, id,
 325                function (name, size, id) return luatexja.font_callback(name, size, id) end
 326             )
 327          end
 328          luatexbase.add_to_callback('define_font',ivs_callback,"luatexja.ivs_font_callback", 1)
 329          for i=1,font.nextid()-1 do
 330             if identifiers[i] then prepare_ivs_data(i, identifiers[i]) end
 331          end
 332          is_ivs_enabled = true
 333       end
 334    end
 335 end
 336
 337 luatexja.otf = {
 338   append_jglyph = append_jglyph,
 339   enable_ivs = enable_ivs,  -- 隠し機能: IVS
 340   font_ivs_table = font_ivs_table,
 341   cid = cid,
 342 }
 343
 344 -- EOF