src/ltj-jfmglue.lua

   1 --
   2 -- luatexja/ltj-jfmglue.lua
   3 --
   4 luatexbase.provides_module({
   5   name = 'luatexja.jfmglue',
   6   date = '2014/02/02',
   7   description = 'Insertion process of JFM glues and kanjiskip',
   8 })
   9 module('luatexja.jfmglue', package.seeall)
  10 local err, warn, info, log = luatexbase .errwarinf(_NAME)
  11
  12 luatexja.load_module('base');      local ltjb = luatexja.base
  13 luatexja.load_module('stack');     local ltjs = luatexja.stack
  14 luatexja.load_module('jfont');     local ltjf = luatexja.jfont
  15 luatexja.load_module('direction'); local ltjd = luatexja.direction
  16 local pairs = pairs
  17
  18 local Dnode = node.direct or node
  19
  20 local nullfunc = function(n) return n end
  21 local to_node = (Dnode ~= node) and Dnode.tonode or nullfunc
  22 local to_direct = (Dnode ~= node) and Dnode.todirect or nullfunc
  23
  24 local setfield = (Dnode ~= node) and Dnode.setfield or function(n, i, c) n[i] = c end
  25 local getfield = (Dnode ~= node) and Dnode.getfield or function(n, i) return n[i] end
  26 local getid = (Dnode ~= node) and Dnode.getid or function(n) return n.id end
  27 local getfont = (Dnode ~= node) and Dnode.getfont or function(n) return n.font end
  28 local getlist = (Dnode ~= node) and Dnode.getlist or function(n) return n.head end
  29 local getchar = (Dnode ~= node) and Dnode.getchar or function(n) return n.char end
  30 local getsubtype = (Dnode ~= node) and Dnode.getsubtype or function(n) return n.subtype end
  31
  32 local has_attr = Dnode.has_attribute
  33 local set_attr = Dnode.set_attribute
  34 local insert_before = Dnode.insert_before
  35 local insert_after = Dnode.insert_after
  36 local node_next = (Dnode ~= node) and Dnode.getnext or node.next
  37 local round = tex.round
  38 local ltjd_make_dir_whatsit = ltjd.make_dir_whatsit
  39 local ltjf_font_metric_table = ltjf.font_metric_table
  40 local ltjf_find_char_class = ltjf.find_char_class
  41 local node_new = Dnode.new
  42 local node_copy = Dnode.copy
  43 local node_remove = Dnode.remove
  44 local node_tail = Dnode.tail
  45 local node_free = Dnode.free
  46 local node_end_of_math = Dnode.end_of_math
  47
  48 local id_glyph = node.id('glyph')
  49 local id_hlist = node.id('hlist')
  50 local id_vlist = node.id('vlist')
  51 local id_rule = node.id('rule')
  52 local id_ins = node.id('ins')
  53 local id_mark = node.id('mark')
  54 local id_adjust = node.id('adjust')
  55 local id_disc = node.id('disc')
  56 local id_whatsit = node.id('whatsit')
  57 local id_math = node.id('math')
  58 local id_glue = node.id('glue')
  59 local id_kern = node.id('kern')
  60 local id_penalty = node.id('penalty')
  61
  62 local id_glue_spec = node.id('glue_spec')
  63 local id_jglyph    = 512 -- Japanese character
  64 local id_box_like  = 256 -- vbox, shifted hbox
  65 local id_pbox      = 257 -- already processed nodes (by \unhbox)
  66 local id_pbox_w    = 258 -- cluster which consists of a whatsit
  67 local sid_user = node.subtype('user_defined')
  68
  69 local sid_start_link = node.subtype('pdf_start_link')
  70 local sid_start_thread = node.subtype('pdf_start_thread')
  71 local sid_end_link = node.subtype('pdf_end_link')
  72 local sid_end_thread = node.subtype('pdf_end_thread')
  73
  74 local ITALIC       = luatexja.icflag_table.ITALIC
  75 local PACKED       = luatexja.icflag_table.PACKED
  76 local KINSOKU      = luatexja.icflag_table.KINSOKU
  77 local FROM_JFM     = luatexja.icflag_table.FROM_JFM
  78 local PROCESSED    = luatexja.icflag_table.PROCESSED
  79 local IC_PROCESSED = luatexja.icflag_table.IC_PROCESSED
  80 local BOXBDD       = luatexja.icflag_table.BOXBDD
  81 local PROCESSED_BEGIN_FLAG = luatexja.icflag_table.PROCESSED_BEGIN_FLAG
  82 local kanji_skip
  83 local xkanji_skip
  84 local table_current_stack
  85 local list_dir
  86
  87 local attr_curjfnt = luatexbase.attributes['ltj@curjfnt']
  88 local attr_dir = luatexbase.attributes['ltj@dir']
  89 local attr_icflag = luatexbase.attributes['ltj@icflag']
  90
  91 local function get_attr_icflag(p)
  92    return (has_attr(p, attr_icflag) or 0)%PROCESSED_BEGIN_FLAG
  93 end
  94
  95 -------------------- Helper functions
  96
  97 local function copy_attr(new, old)
  98   -- 仕様が決まるまで off にしておく
  99 end
 100
 101 -- This function is called only for acquiring `special' characters.
 102 local function fast_find_char_class(c,m)
 103    return m.chars[c] or 0
 104 end
 105
 106 -- 文字クラスの決定
 107 local slow_find_char_class
 108 do
 109    local start_time_measure = ltjb.start_time_measure
 110    local stop_time_measure = ltjb.stop_time_measure
 111    slow_find_char_class = function (c, m, oc)
 112       start_time_measure('slow_find_chr')
 113       local cls = ltjf_find_char_class(oc, m)
 114       if not c and  cls==0 then
 115          stop_time_measure('slow_find_chr')
 116          return ltjf_find_char_class(-c, m), oc
 117       else
 118          stop_time_measure('slow_find_chr')
 119          return cls, oc
 120       end
 121    end
 122 end
 123
 124 local zero_glue = node_new(id_glue)
 125 spec_zero_glue = to_node(node_new(id_glue_spec))
 126   -- must be public, since mentioned from other sources
 127 local spec_zero_glue = to_direct(spec_zero_glue)
 128 setfield(spec_zero_glue, 'width', 0)
 129 setfield(spec_zero_glue, 'stretch', 0)
 130 setfield(spec_zero_glue, 'shrink', 0)
 131 setfield(spec_zero_glue, 'stretch_order', 0)
 132 setfield(spec_zero_glue, 'shrink_order', 0)
 133 setfield(zero_glue, 'spec', spec_zero_glue)
 134
 135 local function skip_table_to_spec(n)
 136    local g, st = node_new(id_glue_spec), ltjs.fast_get_stack_skip(n)
 137    setfield(g, 'width', st.width)
 138    setfield(g, 'stretch', st.stretch)
 139    setfield(g, 'shrink', st.shrink)
 140    setfield(g, 'stretch_order', st.stretch_order)
 141    setfield(g, 'shrink_order', st.shrink_order)
 142    return g
 143 end
 144
 145
 146 -- penalty 値の計算
 147 local function add_penalty(p,e)
 148    local pp = getfield(p, 'penalty')
 149    if pp>=10000 then
 150       if e<=-10000 then pp = 0 end
 151    elseif pp<=-10000 then
 152       if e>=10000 then pp = 0 end
 153    else
 154       pp = pp + e
 155       if pp>=10000 then      setfield(p, 'penalty', 10000)
 156       elseif pp<=-10000 then setfield(p, 'penalty', -10000)
 157       else                   setfield(p, 'penalty', pp) end
 158    end
 159    return
 160 end
 161
 162 -- 「異なる JFM」の間の調整方法
 163 diffmet_rule = math.two_paverage
 164 function math.two_add(a,b) return a+b end
 165 function math.two_average(a,b) return (a+b)*0.5 end
 166 function math.two_paverage(a,b) return (a+b)/2 end
 167 function math.two_pleft(a,b) return a end
 168 function math.two_pright(a,b) return b end
 169
 170 local head -- the head of current list
 171
 172 local Np, Nq, Bp
 173 local widow_Bp, widow_Np -- \jcharwidowpenalty 挿入位置管理用
 174
 175 local ihb_flag -- JFM グルー挿入抑止用 flag
 176                -- on: \inhibitglue 指定時，hlist の周囲
 177
 178 -------------------- hlist 内の文字の検索
 179
 180 local first_char, last_char, find_first_char
 181 do
 182 local ltjd_glyph_from_packed = ltjd.glyph_from_packed
 183 local function check_box(box_ptr, box_end)
 184    local p = box_ptr; local found_visible_node = false
 185    if not p then
 186       find_first_char = false; last_char = nil
 187       return true
 188    end
 189    while p and p~=box_end do
 190       local pid = getid(p)
 191       if pid==id_kern and getsubtype(p)==2 then
 192          p = node_next(node_next(node_next(p))); pid = getid(p) -- p must be glyph_node
 193        end
 194       if pid==id_glyph then
 195          repeat
 196             if find_first_char then
 197                first_char = p; find_first_char = false
 198             end
 199             last_char = p; found_visible_node = true; p=node_next(p)
 200             if (not p) or p==box_end then
 201                return found_visible_node
 202             end
 203          until getid(p)~=id_glyph
 204          pid = getid(p) -- p must be non-nil
 205       end
 206       if pid==id_kern then
 207          local pa = get_attr_icflag(p)
 208          if pa==IC_PROCESSED then
 209             -- do nothing
 210          elseif getsubtype(p)==2 then
 211             p = node_next(node_next(p));
 212             -- Note that another node_next will be executed outside this if-statement.
 213          else
 214             found_visible_node = true
 215             find_first_char = false; last_char = nil
 216          end
 217       elseif pid==id_hlist then
 218          if PACKED == get_attr_icflag(p) then
 219             local s = ltjd_glyph_from_packed(p)
 220             if find_first_char then
 221                first_char = s; find_first_char = false
 222             end
 223             last_char = s; found_visible_node = true
 224          else
 225             if getfield(p, 'shift')==0 then
 226                if check_box(getlist(p), nil) then found_visible_node = true end
 227             else
 228                find_first_char = false; last_char = nil
 229             end
 230          end
 231       elseif pid==id_math then
 232          if find_first_char then
 233             first_char = p; find_first_char = false
 234          end
 235          last_char = p; found_visible_node = true
 236          --elseif pid==id_rule and get_attr_icflag(p)==PACKED then -- do nothing
 237       elseif not (pid==id_ins   or pid==id_mark
 238                   or pid==id_adjust or pid==id_whatsit
 239                   or pid==id_penalty) then
 240          found_visible_node = true
 241          find_first_char = false; last_char = nil
 242       end
 243       p = node_next(p)
 244    end
 245    return found_visible_node
 246 end
 247
 248 function check_box_high(Nx, box_ptr, box_end)
 249    first_char = nil;  last_char = nil;  find_first_char = true
 250    if check_box(box_ptr, box_end) then
 251       local first_char = first_char
 252       if first_char then
 253          if getid(first_char)==id_glyph then
 254             if getfont(first_char) == (has_attr(first_char, attr_curjfnt) or -1) then
 255                set_np_xspc_jachar(Nx, first_char)
 256             else
 257                set_np_xspc_alchar(Nx, getchar(first_char),first_char, 1)
 258             end
 259          else -- math_node
 260             set_np_xspc_alchar(Nx, -1,first_char)
 261          end
 262       end
 263    end
 264    return last_char
 265 end
 266 end
 267 -------------------- Np の計算と情報取得
 268
 269 luatexbase.create_callback("luatexja.jfmglue.whatsit_getinfo", "data",
 270                            function (Np, lp, Nq)
 271                               if Np.nuc then return Np
 272                               else
 273                                  return Np  -- your code
 274                               end
 275                            end)
 276 luatexbase.create_callback("luatexja.jfmglue.whatsit_after", "data",
 277                            function (stat, Nq, Np) return false end)
 278
 279 -- calc next Np
 280 do
 281
 282 local function set_attr_icflag_processed(p)
 283    if get_attr_icflag(p)<= ITALIC then
 284       set_attr(p, attr_icflag, PROCESSED)
 285    end
 286 end
 287
 288 local function check_next_ickern(lp)
 289    if lp and getid(lp) == id_kern and ITALIC == get_attr_icflag(lp) then
 290       set_attr(lp, attr_icflag, IC_PROCESSED)
 291       Np.last = lp; return node_next(lp)
 292    else
 293       Np.last = Np.nuc; return lp
 294    end
 295 end
 296
 297 local function calc_np_pbox(lp, last)
 298    local first, lpa, nc = (not Np.first), KINSOKU, nil
 299    Np.first = Np.first or lp; Np.id = id_pbox
 300    set_attr(lp, attr_icflag, get_attr_icflag(lp));
 301    while lp ~=last and (lpa>=PACKED) and (lpa<BOXBDD) do
 302       if getid(lp)==id_hlist or getid(lp)==id_vlist then
 303          head, lp, nc = ltjd_make_dir_whatsit(head, lp, list_dir, 'jfm pbox')
 304          if first then Np.first = nc end
 305       else
 306          nc, lp = lp, node_next(lp)
 307       end
 308       first, lpa = false, (lp and has_attr(lp, attr_icflag) or 0)
 309      -- get_attr_icflag() ではいけない！
 310    end
 311    Np.nuc = nc
 312    return check_next_ickern(lp)
 313 end
 314
 315
 316 local calc_np_auxtable = {
 317    [id_glyph] = function (lp)
 318       Np.first, Np.nuc = (Np.first or lp), lp;
 319       Np.id = (getfont(lp) == (has_attr(lp, attr_curjfnt) or -1))
 320          and id_jglyph or id_glyph
 321       return true, check_next_ickern(node_next(lp));
 322    end,
 323    [id_hlist] = function(lp)
 324       local op, flag
 325       head, lp, op, flag = ltjd_make_dir_whatsit(head, lp, list_dir, 'jfm hlist')
 326       set_attr(op, attr_icflag, PROCESSED)
 327       Np.first = Np.first or op; Np.last = op; Np.nuc = op;
 328       Np.id = (flag or getfield(op, 'shift')~=0) and id_box_like or id_hlist
 329       return true, lp
 330    end,
 331    [id_vlist] =  function(lp)
 332       local op
 333       head, lp, op = ltjd_make_dir_whatsit(head, lp, list_dir, 'jfm:' .. getid(lp))
 334       Np.first = Np.first or op; Np.last = op; Np.nuc = op;
 335       Np.id = id_box_like;
 336       return true, lp
 337    end,
 338    box_like = function(lp)
 339       Np.first = Np.first or lp; Np.last = lp; Np.nuc = lp;
 340       Np.id = id_box_like;
 341       return true, node_next(lp)
 342    end,
 343    skip = function(lp)
 344       set_attr(lp, attr_icflag, PROCESSED)
 345       return false, node_next(lp)
 346    end,
 347    [id_whatsit] = function(lp)
 348       local lps = getsubtype(lp)
 349       if lps==sid_user then
 350          if getfield(lp, 'user_id')==luatexja.userid_table.IHB then
 351             local lq = node_next(lp);
 352             head = node_remove(head, lp); node_free(lp); ihb_flag = true
 353             return false, lq;
 354          else
 355             set_attr(lp, attr_icflag, PROCESSED)
 356             luatexbase.call_callback("luatexja.jfmglue.whatsit_getinfo",
 357                                      Np, lp, Nq)
 358             if Np.nuc then
 359                Np.id = id_pbox_w; Np.first = Np.nuc; Np.last = Np.nuc;
 360                return true, node_next(lp)
 361             else
 362                return false, node_next(lp)
 363             end
 364          end
 365       else
 366          -- we do special treatment for these whatsit nodes.
 367          if lps == sid_start_link or lps == sid_start_thread then
 368             Np.first = lp
 369          elseif lps == sid_end_link or lps == sid_end_thread then
 370             Np.first, Nq.last = nil, lp;
 371          end
 372          set_attr(lp, attr_icflag, PROCESSED)
 373          return false, node_next(lp)
 374       end
 375    end,
 376    [id_math] = function(lp)
 377       Np.first, Np.nuc = (Np.first or lp), lp;
 378       set_attr(lp, attr_icflag, PROCESSED)
 379       lp  = node_end_of_math(lp)
 380       set_attr(lp, attr_icflag, PROCESSED)
 381       Np.last, Np.id = lp, id_math;
 382       return true, node_next(lp);
 383    end,
 384    discglue = function(lp)
 385       Np.first, Np.nuc, Np.last = (Np.first or lp), lp, lp;
 386       Np.id = getid(lp); set_attr(lp, attr_icflag, PROCESSED)
 387       return true, node_next(lp)
 388    end,
 389    [id_kern] = function(lp)
 390       Np.first = Np.first or lp
 391       if getsubtype(lp)==2 then
 392          set_attr(lp, attr_icflag, PROCESSED); lp = node_next(lp)
 393          set_attr(lp, attr_icflag, PROCESSED); lp = node_next(lp)
 394          set_attr(lp, attr_icflag, PROCESSED); lp = node_next(lp)
 395          set_attr(lp, attr_icflag, PROCESSED); Np.nuc = lp
 396          Np.id = (getfont(lp) == (has_attr(lp, attr_curjfnt) or -1)) and id_jglyph or id_glyph
 397          return true, check_next_ickern(node_next(lp));
 398       else
 399          Np.id = id_kern; set_attr(lp, attr_icflag, PROCESSED)
 400          Np.last = lp; return true, node_next(lp)
 401       end
 402    end,
 403    [id_penalty] = function(lp)
 404       Bp[#Bp+1] = lp; set_attr(lp, attr_icflag, PROCESSED)
 405       return false, node_next(lp)
 406    end,
 407 }
 408 calc_np_auxtable[id_rule]   = calc_np_auxtable.box_like
 409 calc_np_auxtable[13]        = calc_np_auxtable.box_like
 410 calc_np_auxtable[id_ins]    = calc_np_auxtable.skip
 411 calc_np_auxtable[id_mark]   = calc_np_auxtable.skip
 412 calc_np_auxtable[id_adjust] = calc_np_auxtable.skip
 413 calc_np_auxtable[id_disc]   = calc_np_auxtable.discglue
 414 calc_np_auxtable[id_glue]   = calc_np_auxtable.discglue
 415
 416 function calc_np(lp, last)
 417    local k
 418    -- We assume lp = node_next(Np.last)
 419    Np, Nq, ihb_flag = Nq, Np, nil
 420    -- We clear `predefined' entries of Np before pairs() loop,
 421    -- because using only pairs() loop is slower.
 422    Np.post, Np.pre, Np.xspc = nil, nil, nil
 423    Np.first, Np.id, Np.last, Np.met, Np.class= nil, nil, nil, nil
 424    Np.auto_kspc, Np.auto_xspc, Np.char, Np.nuc = nil, nil, nil, nil
 425    for k in pairs(Np) do Np[k] = nil end
 426
 427    for k = 1,#Bp do Bp[k] = nil end
 428    while lp ~= last  do
 429       local lpa = has_attr(lp, attr_icflag) or 0
 430        -- unbox 由来ノードの検出
 431       if lpa>=PACKED then
 432          if lpa%PROCESSED_BEGIN_FLAG == BOXBDD then
 433             local lq = node_next(lp)
 434             head = node_remove(head, lp); node_free(lp); lp = lq
 435          else
 436             return calc_np_pbox(lp, last)
 437          end -- id_pbox
 438       else
 439          k, lp = calc_np_auxtable[getid(lp)](lp)
 440          if k then return lp end
 441       end
 442    end
 443    Np = nil; return lp
 444 end
 445
 446 end
 447 local calc_np = calc_np
 448
 449 -- extract informations from Np
 450 -- We think that "Np is a Japanese character" if Np.met~=nil,
 451 --            "Np is an alphabetic character" if Np.pre~=nil,
 452 --            "Np is not a character" otherwise.
 453 after_hlist = nil -- global
 454 local after_alchar, extract_np
 455 do
 456   local PRE  = luatexja.stack_table_index.PRE
 457   local POST = luatexja.stack_table_index.POST
 458   local KCAT = luatexja.stack_table_index.KCAT
 459   local XSP  = luatexja.stack_table_index.XSP
 460   local dir_tate = luatexja.dir_table.dir_tate
 461
 462 -- 和文文字のデータを取得
 463    local attr_jchar_class = luatexbase.attributes['ltj@charclass']
 464    local attr_orig_char = luatexbase.attributes['ltj@origchar']
 465    local attr_autospc = luatexbase.attributes['ltj@autospc']
 466    local attr_autoxspc = luatexbase.attributes['ltj@autoxspc']
 467    function set_np_xspc_jachar(Nx, x)
 468       local m = ltjf_font_metric_table[getfont(x)]
 469       local cls, c
 470       if list_dir == dir_tate then
 471          local c1, c2 = getchar(x), has_attr(x, attr_orig_char)
 472          c = has_attr(x, attr_dir) or c1 or c2
 473          cls = ltjf_find_char_class(c, m)
 474          if cls==0 then cls = slow_find_char_class(c2, m, c1) end
 475       else
 476          cls, c = slow_find_char_class(has_attr(x, attr_orig_char), m, getchar(x))
 477       end
 478       Nx.met, Nx.char = m, c; Nx.class = cls;
 479       if cls~=0 then set_attr(x, attr_jchar_class, cls) end
 480       Nx.pre  = table_current_stack[PRE + c]  or 0
 481       Nx.post = table_current_stack[POST + c] or 0
 482       Nx.xspc = table_current_stack[XSP  + c] or 3
 483       Nx.kcat = table_current_stack[KCAT + c] or 0
 484       Nx.auto_kspc, Nx.auto_xspc = (has_attr(x, attr_autospc)==1), (has_attr(x, attr_autoxspc)==1)
 485    end
 486    local set_np_xspc_jachar = set_np_xspc_jachar
 487
 488 -- 欧文文字のデータを取得
 489    local floor = math.floor
 490    function set_np_xspc_alchar(Nx, c,x, lig)
 491       if c~=-1 then
 492          local f = (lig ==1) and nullfunc or node_tail
 493          local xc, xs = getfield(x, 'components'), getsubtype(x)
 494          while xc and xs and xs%4>=2 do
 495             x = f(xc); xc, xs = getfield(x, 'components'), getsubtype(x)
 496          end
 497          c = getchar(x)
 498          Nx.pre  = table_current_stack[PRE + c]  or 0
 499          Nx.post = table_current_stack[POST + c] or 0
 500          Nx.xspc = table_current_stack[XSP  + c] or 3
 501          Nx.char = 'jcharbdd'
 502       else
 503          Nx.pre, Nx.post, Nx.char = 0, 0, -1
 504          Nx.xspc = table_current_stack[XSP - 1] or 3
 505       end
 506       Nx.met = nil
 507       Nx.auto_xspc = (has_attr(x, attr_autoxspc)==1)
 508    end
 509    local set_np_xspc_alchar = set_np_xspc_alchar
 510
 511 -- Np の情報取得メインルーチン
 512    extract_np = function ()
 513       local x, i = Np.nuc, Np.id;
 514       if i ==  id_jglyph then return set_np_xspc_jachar(Np, x)
 515       elseif i == id_glyph then return set_np_xspc_alchar(Np, getchar(x), x, 1)
 516       elseif i == id_hlist then Np.last_char = check_box_high(Np, getlist(x), nil)
 517       elseif i == id_pbox then Np.last_char = check_box_high(Np, Np.first, node_next(Np.last))
 518       elseif i == id_disc then Np.last_char = check_box_high(Np, getfield(x, 'replace'), nil)
 519       elseif i == id_math then return set_np_xspc_alchar(Np, -1, x)
 520       end
 521    end
 522
 523    -- change the information for the next loop
 524    -- (will be done if Nx is an alphabetic character or a hlist)
 525    after_hlist = function (Nx)
 526       local s = Nx.last_char
 527       if s then
 528          if getid(s)==id_glyph then
 529             if getfont(s) == (has_attr(s, attr_curjfnt) or -1) then
 530                set_np_xspc_jachar(Nx, s)
 531             else
 532                set_np_xspc_alchar(Nx, getchar(s), s, 2)
 533             end
 534          else
 535             set_np_xspc_alchar(Nx, -1, s)
 536          end
 537       else
 538          Nx.pre, Nx.met = nil, nil
 539       end
 540    end
 541
 542    after_alchar = function (Nx)
 543       local x = Nx.nuc
 544       return set_np_xspc_alchar(Nx, getchar(x), x, 2)
 545    end
 546
 547 end
 548
 549 -------------------- 最下層の処理
 550
 551 -- change penalties (or create a new penalty, if needed)
 552 local function handle_penalty_normal(post, pre, g)
 553    local a = (pre or 0) + (post or 0)
 554    if #Bp == 0 then
 555       if (a~=0 and not(g and getid(g)==id_kern)) then
 556          local p = node_new(id_penalty)
 557          if a<-10000 then a = -10000 elseif a>10000 then a = 10000 end
 558          setfield(p, 'penalty', a)
 559          head = insert_before(head, Np.first, p)
 560          Bp[1]=p;
 561          set_attr(p, attr_icflag, KINSOKU)
 562       end
 563    else for _, v in pairs(Bp) do add_penalty(v,a) end
 564    end
 565 end
 566
 567 local function handle_penalty_always(post, pre, g)
 568    local a = (pre or 0) + (post or 0)
 569    if #Bp == 0 then
 570       if not (g and getid(g)==id_glue) or a~=0 then
 571          local p = node_new(id_penalty)
 572          if a<-10000 then a = -10000 elseif a>10000 then a = 10000 end
 573          setfield(p, 'penalty', a)
 574          head = insert_before(head, Np.first, p)
 575          Bp[1]=p
 576          set_attr(p, attr_icflag, KINSOKU)
 577       end
 578    else for _, v in pairs(Bp) do add_penalty(v,a) end
 579    end
 580 end
 581
 582 local function handle_penalty_suppress(post, pre, g)
 583    local a = (pre or 0) + (post or 0)
 584    if #Bp == 0 then
 585       if g and getid(g)==id_glue then
 586          local p = node_new(id_penalty)
 587          setfield(p, 'penalty', 10000); head = insert_before(head, Np.first, p)
 588          Bp[1]=p
 589          set_attr(p, attr_icflag, KINSOKU)
 590       end
 591    else for _, v in pairs(Bp) do add_penalty(v,a) end
 592    end
 593 end
 594
 595 -- 和文文字間の JFM glue を node 化
 596 local function new_jfm_glue(m, bc, ac)
 597 -- bc, ac: char classes
 598    local g, d = m.char_type[bc][ac], 0
 599    local n
 600    if g then
 601       n,d = node_copy(g[2]), g[3]
 602       if g[1] then
 603          local f = node_new(id_glue)
 604          set_attr(f, attr_icflag, g[4])
 605          setfield(f, 'spec', n)
 606          return f, d
 607       end
 608    end
 609    return n, d
 610 end
 611
 612 -- Nq.last (kern w) .... (glue/kern g) Np.first
 613 local function real_insert(g)
 614    if g then
 615       head  = insert_before(head, Np.first, g)
 616       Np.first = g
 617    end
 618 end
 619
 620
 621 -------------------- 和文文字間空白量の決定
 622
 623 -- get kanjiskip
 624 local get_kanjiskip
 625 local get_kanjiskip_normal, get_kanjiskip_jfm
 626 do
 627    local KANJI_SKIP   = luatexja.icflag_table.KANJI_SKIP
 628    local KANJI_SKIP_JFM   = luatexja.icflag_table.KANJI_SKIP_JFM
 629    get_kanjiskip_normal = function ()
 630       if Np.auto_kspc or Nq.auto_kspc then
 631          return node_copy(kanji_skip)
 632       else
 633          local g = node_copy(zero_glue)
 634          set_attr(g, attr_icflag, KANJI_SKIP)
 635          return g
 636       end
 637    end
 638
 639    get_kanjiskip_jfm = function ()
 640       local g
 641       if Np.auto_kspc or Nq.auto_kspc then
 642          g = node_new(id_glue); --copy_attr(g, Nq.nuc)
 643          local gx = node_new(id_glue_spec);
 644          setfield(gx, 'stretch_order', 0); setfield(gx, 'shrink_order', 0)
 645          local pm, qm = Np.met, Nq.met
 646          local bk = qm.kanjiskip or {0, 0, 0}
 647          if (pm.char_type==qm.char_type) and (qm.var==pm.var) then
 648             setfield(gx, 'width', bk[1])
 649             setfield(gx, 'stretch', bk[2])
 650             setfield(gx, 'shrink', bk[3])
 651          else
 652             local ak = pm.kanjiskip or {0, 0, 0}
 653             setfield(gx, 'width', round(diffmet_rule(bk[1], ak[1])))
 654             setfield(gx, 'stretch', round(diffmet_rule(bk[2], ak[2])))
 655             setfield(gx, 'shrink', -round(diffmet_rule(-bk[3], -ak[3])))
 656          end
 657          setfield(g, 'spec', gx)
 658       else
 659          g =  node_copy(zero_glue)
 660       end
 661       set_attr(g, attr_icflag, KANJI_SKIP_JFM)
 662       return g
 663    end
 664 end
 665
 666 local calc_ja_ja_aux
 667 do
 668    local bg_ag = 2*id_glue - id_glue
 669    local bg_ak = 2*id_glue - id_kern
 670    local bk_ag = 2*id_kern - id_glue
 671    local bk_ak = 2*id_kern - id_kern
 672
 673    calc_ja_ja_aux = function (gb,ga, db, da)
 674       local rbb, rab = (1-db)/2, (1-da)/2 -- 「前の文字」由来のグルーの割合
 675       local rba, raa = (1+db)/2, (1+da)/2 -- 「前の文字」由来のグルーの割合
 676       if diffmet_rule ~= math.two_pleft and diffmet_rule ~= math.two_pright
 677           and diffmet_rule ~= math.two_paverage then
 678          rbb, rab, rba, raa = 1,0,0,1
 679       end
 680       if not gb then
 681          if ga then
 682             gb = node_new(id_kern); setfield(gb, 'kern', 0)
 683          else return nil end
 684       elseif not ga then
 685          ga = node_new(id_kern); setfield(ga, 'kern', 0)
 686       end
 687
 688       local k = 2*getid(gb) - getid(ga)
 689       if k == bg_ag then
 690          local bs, as = getfield(gb, 'spec'), getfield(ga, 'spec')
 691          -- 両方とも glue．
 692          local bd, ad = getfield(bs, 'width'), getfield(as, 'width')
 693          setfield(bs, 'width', round(diffmet_rule(rbb*bd + rba*ad, rab*bd + raa*ad)))
 694          bd, ad = getfield(bs, 'stretch'), getfield(as, 'stretch')
 695          setfield(bs, 'stretch', round(diffmet_rule(rbb*bd + rba*ad, rab*bd + raa*ad)))
 696          bd, ad = getfield(bs, 'shrink'), getfield(as, 'shrink')
 697          setfield(bs, 'shrink', -round(diffmet_rule(-rbb*bd - rba*ad, -rab*bd - raa*ad)))
 698          node_free(ga)
 699          return gb
 700       elseif k == bk_ak then
 701          -- 両方とも kern．
 702          local bd, ad = getfield(gb, 'kern'), getfield(ga, 'kern')
 703          setfield(gb, 'kern', round(diffmet_rule(rbb*bd + rba*ad, rab*bd + raa*ad)))
 704          node_free(ga)
 705          return gb
 706       elseif k == bk_ag then
 707          local as = getfield(ga, 'spec')
 708          -- gb: kern, ga: glue
 709          local bd, ad = getfield(gb, 'kern'), getfield(as, 'width')
 710          setfield(as, 'width', round(diffmet_rule(rbb*bd + rba*ad, rab*bd + raa*ad)))
 711          ad = getfield(as, 'stretch')
 712          setfield(bs, 'stretch', round(diffmet_rule(rba*ad, raa*ad)))
 713          ad = getfield(as, 'shrink')
 714          setfield(bs, 'shrink', -round(diffmet_rule(-rba*ad, -raa*ad)))
 715          node_free(gb)
 716          return ga
 717       else
 718          local bs = getfield(gb, 'spec')
 719          -- gb: glue, ga: kern
 720          local bd, ad = getfield(bs, 'width'), getfield(ga, 'kern')
 721          setfield(bs, 'width', round(diffmet_rule(rbb*bd + rba*ad, rab*bd + raa*ad)))
 722          bd = getfield(bs, 'stretch')
 723          setfield(bs, 'stretch', round(diffmet_rule(rbb*bd, rab*bd)))
 724          bd = getfield(bs, 'shrink')
 725          setfield(bs, 'shrink', -round(diffmet_rule(-rbb*bd, -rab*bd)))
 726          node_free(ga)
 727          return gb
 728       end
 729    end
 730 end
 731
 732 local function calc_ja_ja_glue()
 733    if  ihb_flag then return nil
 734    else
 735       local qm, pm = Nq.met, Np.met
 736       if (qm.char_type==pm.char_type) and (qm.var==pm.var) then
 737          return new_jfm_glue(qm, Nq.class, Np.class)
 738       else
 739          local npn, nqn = Np.nuc, Nq.nuc
 740          local gb, db = new_jfm_glue(qm, Nq.class,
 741                                      slow_find_char_class(has_attr(npn, attr_orig_char),
 742                                                           qm, getchar(npn)))
 743          local ga, da = new_jfm_glue(pm,
 744                                      slow_find_char_class(has_attr(nqn, attr_orig_char),
 745                                                           pm, getchar(nqn)),
 746                                Np.class)
 747          return calc_ja_ja_aux(gb, ga, db, da);
 748       end
 749    end
 750 end
 751
 752 -------------------- 和欧文間空白量の決定
 753
 754 -- get xkanjiskip
 755 local get_xkanjiskip
 756 local get_xkanjiskip_normal, get_xkanjiskip_jfm
 757 do
 758    local XKANJI_SKIP   = luatexja.icflag_table.XKANJI_SKIP
 759    local XKANJI_SKIP_JFM   = luatexja.icflag_table.XKANJI_SKIP_JFM
 760    get_xkanjiskip_normal = function (Nn)
 761       if (Nq.xspc>=2) and (Np.xspc%2==1) and (Nq.auto_xspc or Np.auto_xspc) then
 762          local f = node_copy(xkanji_skip)
 763          return f
 764       else
 765          local g = node_copy(zero_glue)
 766          set_attr(g, attr_icflag, XKANJI_SKIP)
 767          return g
 768       end
 769    end
 770    get_xkanjiskip_jfm = function (Nn)
 771       local g
 772       if (Nq.xspc>=2) and (Np.xspc%2==1) and (Nq.auto_xspc or Np.auto_xspc) then
 773          g = node_new(id_glue)
 774          local gx = node_new(id_glue_spec);
 775          setfield(gx, 'stretch_order', 0); setfield(gx, 'shrink_order', 0)
 776          local bk = Nn.met.xkanjiskip or {0, 0, 0}
 777          setfield(gx, 'width', bk[1])
 778          setfield(gx, 'stretch', bk[2])
 779          setfield(gx, 'shrink', bk[3])
 780          setfield(g, 'spec', gx)
 781       else
 782          g = node_copy(zero_glue)
 783       end
 784       set_attr(g, attr_icflag, XKANJI_SKIP_JFM)
 785       return g
 786    end
 787 end
 788
 789 -------------------- 隣接した「塊」間の処理
 790
 791 local function get_OA_skip()
 792    if not ihb_flag then
 793       local pm = Np.met
 794       return new_jfm_glue(pm,
 795         fast_find_char_class(((Nq.id == id_math and -1) or (type(Nq.char)=='string' and Nq.char or 'jcharbdd')), pm), Np.class)
 796    else return nil
 797    end
 798 end
 799 local function get_OB_skip()
 800    if not ihb_flag then
 801       local qm = Nq.met
 802       return new_jfm_glue(qm, Nq.class,
 803         fast_find_char_class(((Np.id == id_math and -1) or'jcharbdd'), qm))
 804    else return nil
 805    end
 806 end
 807
 808 -- (anything) .. jachar
 809 local function handle_np_jachar(mode)
 810    local qid = Nq.id
 811    if qid==id_jglyph or ((qid==id_pbox or qid==id_pbox_w) and Nq.met) then
 812       local g = calc_ja_ja_glue() or get_kanjiskip() -- M->K
 813       handle_penalty_normal(Nq.post, Np.pre, g); real_insert(g)
 814    elseif Nq.met then  -- qid==id_hlist
 815       local g = get_OA_skip() or get_kanjiskip() -- O_A->K
 816       handle_penalty_normal(0, Np.pre, g); real_insert(g)
 817    elseif Nq.pre then
 818       local g = get_OA_skip() or get_xkanjiskip(Np) -- O_A->X
 819       handle_penalty_normal((qid==id_hlist and 0 or Nq.post), Np.pre, g); real_insert(g)
 820    else
 821       local g = get_OA_skip() -- O_A
 822       if qid==id_glue then handle_penalty_normal(0, Np.pre, g)
 823       elseif qid==id_kern then handle_penalty_suppress(0, Np.pre, g)
 824       else handle_penalty_always(0, Np.pre, g)
 825       end
 826       real_insert(g)
 827    end
 828    if mode and Np.kcat%2~=1 then
 829       widow_Np.first, widow_Bp, Bp = Np.first, Bp, widow_Bp
 830    end
 831 end
 832
 833
 834 -- jachar .. (anything)
 835 local function handle_nq_jachar()
 836     if Np.pre then
 837       local g = get_OB_skip() or get_xkanjiskip(Nq) -- O_B->X
 838       handle_penalty_normal(Nq.post, (Np.id==id_hlist and 0 or Np.pre), g); real_insert(g)
 839    else
 840       local g = get_OB_skip() -- O_B
 841       if Np.id==id_glue then handle_penalty_normal(Nq.post, 0, g)
 842       elseif Np.id==id_kern then handle_penalty_suppress(Nq.post, 0, g)
 843       else handle_penalty_always(Nq.post, 0, g)
 844       end
 845       real_insert(g)
 846    end
 847 end
 848
 849 -- (anything) .. (和文文字で始まる hlist)
 850 local function handle_np_ja_hlist()
 851    local qid = Nq.id
 852    if qid==id_jglyph or ((qid==id_pbox or Nq.id == id_pbox_w) and Nq.met) then
 853       local g = get_OB_skip() or get_kanjiskip() -- O_B->K
 854       handle_penalty_normal(Nq.post, 0, g); real_insert(g)
 855    elseif Nq.met then  -- Nq.id==id_hlist
 856       local g = get_kanjiskip() -- K
 857       handle_penalty_suppress(0, 0, g); real_insert(g)
 858    elseif Nq.pre then
 859       local g = get_xkanjiskip(Np) -- X
 860       handle_penalty_suppress(0, 0, g); real_insert(g)
 861    end
 862 end
 863
 864 -- (和文文字で終わる hlist) .. (anything)
 865 local function handle_nq_ja_hlist()
 866    if Np.pre then
 867       local g = get_xkanjiskip(Nq) -- X
 868       handle_penalty_suppress(0, 0, g); real_insert(g)
 869    end
 870 end
 871
 872
 873 -- Nq が前側のクラスタとなることによる修正
 874 do
 875    local adjust_nq_aux = {
 876       [id_glyph] = function()
 877                       local x = Nq.nuc
 878                       return set_np_xspc_alchar(Nq, getchar(x),x, 2)
 879                    end, -- after_alchar(Nq)
 880       [id_hlist]  = function() after_hlist(Nq) end,
 881       [id_pbox]  = function() after_hlist(Nq) end,
 882       [id_disc]  = function() after_hlist(Nq) end,
 883       [id_pbox_w]  = function()
 884                         luatexbase.call_callback("luatexja.jfmglue.whatsit_after",
 885                                                  false, Nq, Np)
 886                      end,
 887    }
 888
 889    function adjust_nq()
 890       local x = adjust_nq_aux[Nq.id]
 891       if x then x()  end
 892    end
 893 end
 894
 895
 896 -------------------- 開始・終了時の処理
 897 do
 898
 899 -- リスト末尾の処理
 900 local JWP  = luatexja.stack_table_index.JWP
 901 local function handle_list_tail(mode)
 902    adjust_nq(); Np = Nq
 903    if mode then
 904       -- the current list is to be line-breaked.
 905       -- Insert \jcharwidowpenalty
 906       Bp = widow_Bp; Np = widow_Np
 907       if Np.first then
 908          handle_penalty_normal(0,
 909                                table_current_stack[JWP] or 0)
 910       end
 911    else
 912       -- the current list is the contents of a hbox
 913       local npi, pm = Np.id, Np.met
 914       if npi == id_jglyph or (npi==id_pbox and pm) then
 915          local g = new_jfm_glue(pm, Np.class, fast_find_char_class('boxbdd', pm))
 916          if g then
 917             set_attr(g, attr_icflag, BOXBDD)
 918             head = insert_after(head, Np.last, g)
 919          end
 920       end
 921    end
 922 end
 923
 924 -- リスト先頭の処理
 925 local function handle_list_head(par_indented)
 926    local npi, pm = Np.id, Np.met
 927    if npi ==  id_jglyph or (npi==id_pbox and pm) then
 928       if not ihb_flag then
 929          local g = new_jfm_glue(pm, fast_find_char_class(par_indented, pm), Np.class)
 930          if g then
 931             set_attr(g, attr_icflag, BOXBDD)
 932             if getid(g)==id_glue and #Bp==0 then
 933                local h = node_new(id_penalty)
 934                setfield(h, 'penalty', 10000); set_attr(h, attr_icflag, BOXBDD)
 935             end
 936             head = insert_before(head, Np.first, g)
 937          end
 938       end
 939    end
 940 end
 941
 942 -- initialize
 943 -- return value: (the initial cursor lp), (last node)
 944 local init_var
 945 do
 946    local KANJI_SKIP   = luatexja.icflag_table.KANJI_SKIP
 947    local XKANJI_SKIP   = luatexja.icflag_table.XKANJI_SKIP
 948    local KSK  = luatexja.stack_table_index.KSK
 949    local XSK  = luatexja.stack_table_index.XSK
 950    local dir_yoko = luatexja.dir_table.dir_yoko
 951    init_var = function (mode)
 952       -- 1073741823: max_dimen
 953       Bp, widow_Bp, widow_Np = {}, {}, {first = nil}
 954       table_current_stack = ltjs.table_current_stack
 955
 956       list_dir = ltjs.list_dir or dir_yoko
 957       kanji_skip = node_new(id_glue)
 958       setfield(kanji_skip, 'spec', skip_table_to_spec(KSK))
 959       set_attr(kanji_skip, attr_icflag, KANJI_SKIP)
 960       get_kanjiskip = (getfield(getfield(kanji_skip, 'spec'), 'width') == 1073741823)
 961          and get_kanjiskip_jfm or get_kanjiskip_normal
 962
 963       xkanji_skip = node_new(id_glue)
 964       setfield(xkanji_skip, 'spec', skip_table_to_spec(XSK))
 965       set_attr(xkanji_skip, attr_icflag, XKANJI_SKIP)
 966       get_xkanjiskip = (getfield(getfield(xkanji_skip, 'spec'), 'width') == 1073741823)
 967          and get_xkanjiskip_jfm or get_xkanjiskip_normal
 968
 969       Np = {
 970          auto_kspc=nil, auto_xspc=nil, char=nil, class=nil,
 971          first=nil, id=nil, last=nil, met=nil, nuc=nil,
 972          post=nil, pre=nil, xspc=nil,
 973       }
 974       Nq = {
 975          auto_kspc=nil, auto_xspc=nil, char=nil, class=nil,
 976          first=nil, id=nil, last=nil, met=nil, nuc=nil,
 977          post=nil, pre=nil, xspc=nil,
 978       }
 979       if mode then
 980          -- the current list is to be line-breaked:
 981          -- hbox from \parindent is skipped.
 982          local lp, par_indented, lpi, lps  = head, 'boxbdd', getid(head), getsubtype(head)
 983          while lp and ((lpi==id_whatsit and lps~=sid_user)
 984                        or ((lpi==id_hlist) and (lps==3))) do
 985             if (lpi==id_hlist) and (lps==3) then
 986                Np.char, par_indented = 'parbdd', 'parbdd'
 987                Np.width = getfield(lp, 'width')
 988             end
 989             lp=node_next(lp); lpi, lps = getid(lp), getsubtype(lp) end
 990          return lp, node_tail(head), par_indented
 991       else
 992          return head, nil, 'boxbdd'
 993       end
 994    end
 995 end
 996
 997 local tex_set_attr = tex.setattribute
 998 local function cleanup(mode)
 999    -- adjust attr_icflag for avoiding error
1000    tex_set_attr('global', attr_icflag, 0)
1001    node_free(kanji_skip); node_free(xkanji_skip)
1002    if mode then
1003       local h = node_next(head)
1004       if getid(h) == id_penalty and getfield(h, 'penalty') == 10000 then
1005          h = node_next(h)
1006          if getid(h) == id_glue and getsubtype(h) == 15 and not node_next(h) then
1007             return false
1008          end
1009       end
1010    end
1011    return head
1012 end
1013 -------------------- 外部から呼ばれる関数
1014
1015 -- main interface
1016 function main(ahead, mode)
1017    if not ahead then return ahead end
1018    head = ahead;
1019    local lp, last, par_indented = init_var(mode)
1020    lp = calc_np(lp, last)
1021    if Np then
1022       extract_np(); handle_list_head(par_indented)
1023    else
1024       return cleanup(mode)
1025    end
1026    lp = calc_np(lp, last)
1027    while Np do
1028       extract_np();
1029       adjust_nq();
1030       local pid, pm = Np.id, Np.met
1031       -- 挿入部
1032       if pid == id_jglyph then
1033          handle_np_jachar(mode)
1034       elseif pm then
1035          if pid==id_hlist then handle_np_ja_hlist()
1036          else handle_np_jachar() end
1037       elseif Nq.met then
1038          if Nq.id==id_hlist then handle_nq_ja_hlist()
1039          else handle_nq_jachar() end
1040       end
1041       lp = calc_np(lp, last)
1042    end
1043    handle_list_tail(mode)
1044    return cleanup(mode)
1045 end
1046 end
1047
1048 do
1049    local IHB  = luatexja.userid_table.IHB
1050    local BPAR = luatexja.userid_table.BPAR
1051    local node_prev = (Dnode ~= node) and Dnode.getprev or node.prev
1052    local node_write = Dnode.write
1053
1054    -- \inhibitglue
1055    function create_inhibitglue_node()
1056       local tn = node_new(id_whatsit, sid_user)
1057       setfield(tn, 'user_id', IHB)
1058       setfield(tn, 'type', 100)
1059       setfield(tn, 'value', 1)
1060       node_write(tn)
1061    end
1062
1063    -- Node for indicating beginning of a paragraph
1064    -- (for ltjsclasses)
1065    function create_beginpar_node()
1066       local tn = node_new(id_whatsit, sid_user)
1067       setfield(tn, 'user_id', BPAR)
1068       setfield(tn, 'type', 100)
1069       setfield(tn, 'value', 1)
1070       node_write(tn)
1071    end
1072
1073    local function whatsit_callback(Np, lp, Nq)
1074       if Np and Np.nuc then return Np
1075       elseif Np and getfield(lp, 'user_id') == BPAR then
1076          Np.first = lp; Np.nuc = lp; Np.last = lp
1077          Np.char = 'parbdd'
1078          Np.met = nil
1079          Np.pre = 0; Np.post = 0
1080          Np.xspc = 0
1081          Np.auto_xspc = false
1082          return Np
1083       end
1084    end
1085
1086     local function whatsit_after_callback(s, Nq, Np)
1087        if not s and getfield(Nq.nuc, 'user_id') == BPAR then
1088          local x, y = node_prev(Nq.nuc), Nq.nuc
1089          Nq.first, Nq.nuc, Nq.last = x, x, x
1090          head = node_remove(head, y)
1091          node_free(y)
1092       end
1093       return s
1094    end
1095
1096    luatexbase.add_to_callback("luatexja.jfmglue.whatsit_getinfo", whatsit_callback,
1097                               "luatexja.beginpar.np_info", 1)
1098    luatexbase.add_to_callback("luatexja.jfmglue.whatsit_after", whatsit_after_callback,
1099                               "luatexja.beginpar.np_info_after", 1)
1100
1101 end