src/ltj-jfmglue.lua

   1 --
   2 -- ltj-jfmglue.lua
   3 --
   4 luatexbase.provides_module({
   5   name = 'luatexja.jfmglue',
   6   date = '2020-07-30',
   7   description = 'Insertion process of JFM glues, [x]kanjiskip and others',
   8 })
   9 luatexja.jfmglue = luatexja.jfmglue or {}
  10
  11 luatexja.load_module 'base';      local ltjb = luatexja.base
  12 luatexja.load_module 'stack';     local ltjs = luatexja.stack
  13 luatexja.load_module 'jfont';     local ltjf = luatexja.jfont
  14 luatexja.load_module 'direction'; local ltjd = luatexja.direction
  15 luatexja.load_module 'setwidth';  local ltjw = luatexja.setwidth
  16 luatexja.load_module 'lotf_aux';  local ltju = luatexja.lotf_aux
  17 local pairs = pairs
  18
  19 --local to_node = node.direct.tonode
  20 --local to_direct = node.direct.todirect
  21
  22 local setfield = node.direct.setfield
  23 local setglue = luatexja.setglue
  24 local getfield = node.direct.getfield
  25 local getid = node.direct.getid
  26 local getfont = node.direct.getfont
  27 local getlist = node.direct.getlist
  28 local getchar = node.direct.getchar
  29 local getsubtype = node.direct.getsubtype
  30 local if_lang_ja
  31 do
  32     local lang_ja = luatexja.lang_ja
  33     local getlang = node.direct.getlang
  34     -- glyph with font number 0 (\nullfont) is always considered an ALchar node
  35     if_lang_ja = getlang
  36       and function (n) return (getlang(n)==lang_ja)and(getfont(n)~=0) end
  37       or  function (n) return (getfield(n,'lang')==lang_ja)and(getfont(n)~=0) end
  38 end
  39
  40 local has_attr = node.direct.has_attribute
  41 local set_attr = node.direct.set_attribute
  42 local insert_before = node.direct.insert_before
  43 local insert_after = node.direct.insert_after
  44 local node_next = node.direct.getnext
  45 local ltjd_make_dir_whatsit = ltjd.make_dir_whatsit
  46 local ltjf_font_metric_table = ltjf.font_metric_table
  47 local ltjf_find_char_class = ltjf.find_char_class
  48 local node_new = node.direct.new
  49 local node_copy = node.direct.copy
  50 local node_tail = node.direct.tail
  51 local node_free = node.direct.free
  52 local node_remove = node.direct.remove
  53
  54 local id_glyph = node.id 'glyph'
  55 local id_hlist = node.id 'hlist'
  56 local id_vlist = node.id 'vlist'
  57 local id_rule  = node.id 'rule'
  58 local id_ins   = node.id 'ins'
  59 local id_mark  = node.id 'mark'
  60 local id_adjust = node.id 'adjust'
  61 local id_disc  = node.id 'disc'
  62 local id_whatsit = node.id 'whatsit'
  63 local id_math  = node.id 'math'
  64 local id_glue  = node.id 'glue'
  65 local id_kern  = node.id 'kern'
  66 local id_penalty = node.id 'penalty'
  67
  68 local id_jglyph    = 512 -- Japanese character
  69 local id_box_like  = 256 -- vbox, shifted hbox
  70 local id_pbox      = 257 -- already processed nodes (by \unhbox)
  71 local id_pbox_w    = 258 -- cluster which consists of a whatsit
  72 local sid_user = node.subtype 'user_defined'
  73
  74 local ITALIC       = luatexja.icflag_table.ITALIC
  75 local PACKED       = luatexja.icflag_table.PACKED
  76 local KINSOKU      = luatexja.icflag_table.KINSOKU
  77 local FROM_JFM     = luatexja.icflag_table.FROM_JFM
  78 local PROCESSED    = luatexja.icflag_table.PROCESSED
  79 local IC_PROCESSED = luatexja.icflag_table.IC_PROCESSED
  80 local BOXBDD       = luatexja.icflag_table.BOXBDD
  81 local PROCESSED_BEGIN_FLAG = luatexja.icflag_table.PROCESSED_BEGIN_FLAG
  82
  83 local attr_icflag = luatexbase.attributes['ltj@icflag']
  84 local kanji_skip
  85 local xkanji_skip
  86 local table_current_stack
  87 local list_dir
  88 local capsule_glyph
  89 local tex_dir
  90 local attr_ablshift
  91 local set_np_xspc_jachar, set_np_xspc_alchar
  92 local set_np_xspc_jachar_hbox
  93
  94 local ltjs_orig_char_table = ltjs.orig_char_table
  95
  96 local function get_attr_icflag(p)
  97    return (has_attr(p, attr_icflag) or 0)%PROCESSED_BEGIN_FLAG
  98 end
  99
 100 -------------------- Helper functions
 101
 102 -- This function is called only for acquiring `special' characters.
 103 local function fast_find_char_class(c,m)
 104    return m.chars[c] or 0
 105 end
 106
 107 -- 文字クラスの決定
 108 local slow_find_char_class
 109 do
 110    local start_time_measure = ltjb.start_time_measure
 111    local stop_time_measure = ltjb.stop_time_measure
 112    slow_find_char_class = function (c, m, oc)
 113       local cls = ltjf_find_char_class(oc, m)
 114       if oc~=c and c and cls==0 then
 115          return ltjf_find_char_class(c, m)
 116       else
 117          return cls
 118       end
 119    end
 120 end
 121
 122 local function skip_table_to_glue(n)
 123    local g, st = node_new(id_glue), ltjs.fast_get_stack_skip(n)
 124    setglue(g, st.width, st.stretch, st.shrink, st.stretch_order, st.shrink_order)
 125    return g, (st.width==1073741823)
 126 end
 127
 128
 129 -- penalty 値の計算
 130 local add_penalty
 131 do
 132 local setpenalty = node.direct.setpenalty or function(n, a) setfield(n,'penalty',a) end
 133 local getpenalty = node.direct.getpenalty or function(n) return getfield(n,'penalty') end
 134 function add_penalty(p,e)
 135    local pp = getpenalty(p)
 136    if (pp>-10000) and (pp<10000) then
 137       if e>=10000 then       setpenalty(p, 10000)
 138       elseif e<=-10000 then  setpenalty(p, -10000)
 139       else
 140          pp = pp + e
 141          if pp>=10000 then      setpenalty(p, 10000)
 142          elseif pp<=-10000 then setpenalty(p, -10000)
 143          else                   setpenalty(p, pp) end
 144       end
 145    end
 146 end
 147 end
 148
 149 -- 「異なる JFM」の間の調整方法
 150 luatexja.jfmglue.diffmet_rule = math.two_paverage
 151 function math.two_add(a,b) return a+b end
 152 function math.two_average(a,b) return (a+b)*0.5 end
 153 function math.two_paverage(a,b) return (a+b)/2 end
 154 function math.two_pleft(a,b) return a end
 155 function math.two_pright(a,b) return b end
 156
 157 local head -- the head of current list
 158
 159 local Np, Nq, Bp
 160 local widow_Bp, widow_Np -- \jcharwidowpenalty 挿入位置管理用
 161
 162 local non_ihb_flag -- JFM グルー挿入抑止用 flag
 163 -- false: \inhibitglue 指定時 true: それ以外
 164
 165 -------------------- hlist 内の文字の検索
 166
 167 local first_char, last_char, find_first_char
 168 local check_box_high
 169 do
 170 local ltjd_glyph_from_packed = ltjd.glyph_from_packed
 171 local function check_box(box_ptr, box_end)
 172    local p = box_ptr; local found_visible_node = false
 173    if not p then
 174       find_first_char = false; last_char = nil
 175       return true
 176    end
 177    while p and p~=box_end do
 178       local pid = getid(p)
 179       if pid==id_kern and getsubtype(p)==2 then
 180          p = node_next(node_next(node_next(p))); pid = getid(p) -- p must be glyph_node
 181        end
 182       if pid==id_glyph then
 183          repeat
 184             if find_first_char then first_char = p; find_first_char = false end
 185             last_char = p; found_visible_node = true; p=node_next(p)
 186             if (not p) or p==box_end then return found_visible_node end
 187          until getid(p)~=id_glyph
 188          pid = getid(p) -- p must be non-nil
 189       end
 190       if pid==id_kern then
 191          local pa = get_attr_icflag(p)
 192          if pa==IC_PROCESSED then
 193             -- do nothing
 194          elseif getsubtype(p)==2 then
 195             p = node_next(node_next(p));
 196             -- Note that another node_next will be executed outside this if-statement.
 197          else
 198             found_visible_node = true
 199             find_first_char = false; last_char = nil
 200          end
 201       elseif pid==id_hlist then
 202          if PACKED == get_attr_icflag(p) then
 203             local s = ltjd_glyph_from_packed(p)
 204             if find_first_char then first_char = s; find_first_char = false end
 205             last_char = s; found_visible_node = true
 206          else
 207             if getfield(p, 'shift')==0 then
 208                last_char = nil
 209                if check_box(getlist(p), nil) then found_visible_node = true end
 210                find_first_char = false
 211             else
 212                find_first_char = false; last_char = nil
 213             end
 214          end
 215       elseif pid==id_math then
 216          if find_first_char then first_char = p; find_first_char = false end
 217          last_char = p; found_visible_node = true
 218       elseif pid==id_rule and get_attr_icflag(p)==PACKED then
 219          -- do nothing
 220       elseif not (pid==id_ins   or pid==id_mark
 221                   or pid==id_adjust or pid==id_whatsit
 222                   or pid==id_penalty) then
 223          found_visible_node = true
 224          find_first_char = false; last_char = nil
 225       end
 226       p = node_next(p)
 227    end
 228    return found_visible_node
 229 end
 230
 231 check_box_high = function (Nx, box_ptr, box_end)
 232    first_char = nil;  last_char = nil;  find_first_char = true
 233    if check_box(box_ptr, box_end) then
 234       local first_char = first_char
 235       if first_char then
 236          if getid(first_char)==id_glyph then
 237             if if_lang_ja(first_char) then
 238                set_np_xspc_jachar_hbox(Nx, first_char)
 239             else
 240                set_np_xspc_alchar(Nx, getchar(first_char),first_char, 1)
 241             end
 242          else -- math_node
 243             set_np_xspc_alchar(Nx, -1,first_char)
 244          end
 245       end
 246    end
 247    return last_char
 248 end
 249 end
 250 -------------------- Np の計算と情報取得
 251
 252 luatexbase.create_callback("luatexja.jfmglue.whatsit_getinfo", "data",
 253                            function (Np, lp, Nq)
 254                               if Np.nuc then return Np
 255                               else
 256                                  return Np  -- your code
 257                               end
 258                            end)
 259 luatexbase.create_callback("luatexja.jfmglue.whatsit_after", "data",
 260                            function (stat, Nq, Np) return false end)
 261
 262 -- calc next Np
 263 local calc_np
 264 do -- 001 -----------------------------------------------
 265
 266 local traverse = node.direct.traverse
 267 local function check_next_ickern(lp)
 268    local lx = Np.nuc
 269    while lp and getid(lp) == id_kern and ( getsubtype(lp)==0 or
 270      getsubtype(lp)==3 or ITALIC == get_attr_icflag(lp)) do
 271      set_attr(lp, attr_icflag, IC_PROCESSED);
 272      lx, lp = lp, node_next(lp)
 273    end
 274    Np.last = lx; return lp
 275 end
 276
 277 local function calc_np_pbox(lp, last)
 278    local first, nc = (not Np.first), nil
 279    --local lpa = get_attr_icflag(lp)==PACKED and PACKED or KINSOKU -- KINSOKU: dummy
 280    local lpa = get_attr_icflag(lp)
 281    Np.first = Np.first or lp; Np.id = id_pbox
 282    set_attr(lp, attr_icflag, get_attr_icflag(lp));
 283    while lp ~=last and (lpa>=PACKED) and (lpa<BOXBDD) do
 284       local lpi = getid(lp)
 285       if lpa==PACKED then
 286          if lpi==id_rule then lp = node_next(lp) end
 287          nc, lp = lp, node_next(lp)
 288       elseif lpi==id_hlist or lpi==id_vlist then
 289          head, lp, nc = ltjd_make_dir_whatsit(head, lp, list_dir, 'jfm pbox')
 290          Np.first = first and nc or Np.first
 291       else
 292          nc, lp = lp, node_next(lp)
 293       end
 294       first, lpa = false, (lp and has_attr(lp, attr_icflag) or 0)
 295      -- get_attr_icflag() ではいけない！
 296    end
 297    Np.nuc = nc
 298    lp = check_next_ickern(lp)
 299    Np.last_char = check_box_high(Np, Np.first, lp)
 300    return lp
 301 end
 302
 303 local calc_np_aux_glyph_common
 304 do -- 002 ---------------------------------------
 305    local min, max = math.min, math.max
 306    local getwhd = node.direct.getwhd
 307    local attr_jchar_class = luatexbase.attributes['ltj@charclass']
 308    local attr_jchar_code = luatexbase.attributes['ltj@charcode']
 309    local font_getfont = font.getfont
 310    local function calc_np_notdef(lp)
 311       if not font_getfont(getfont(lp)).characters[getchar(lp)] then
 312          local ln = node_next(lp)
 313          if ltju.specified_feature(getfont(lp), 'notdef') and ln and getid(ln)==id_glyph then
 314             set_attr(lp, attr_icflag, PROCESSED)
 315             set_attr(ln, attr_jchar_code, has_attr(lp, attr_jchar_code) or getchar(lp))
 316             set_attr(ln, attr_jchar_class, has_attr(lp, attr_jchar_class) or 0)
 317             Np.nuc, lp = ln, ln
 318          end
 319       end
 320       return lp
 321    end
 322 function calc_np_aux_glyph_common(lp, acc_flag)
 323    Np.nuc, Np.first = lp, (Np.first or lp)
 324    if if_lang_ja(lp) then -- JAchar
 325       Np.id = id_jglyph
 326       local m, mc, cls = set_np_xspc_jachar(Np, lp)
 327       local npi, npf
 328       local w, h, d = getwhd(lp)
 329       if w==0 and h==0 and d==0 then lp = calc_np_notdef(lp) end
 330       lp, head, npi, npf = capsule_glyph(lp, m, mc[cls], head, tex_dir)
 331       Np.first = (Np.first~=Np.nuc) and Np.first or npf or npi
 332       Np.nuc = npi
 333       return true, check_next_ickern(lp);
 334    else --ALchar
 335       Np.id = id_glyph
 336       set_np_xspc_alchar(Np, getchar(lp), lp, 1)
 337       -- loop
 338       local first_glyph, last_glyph = lp
 339       set_attr(lp, attr_icflag, PROCESSED); Np.last = lp
 340       local y_adjust = has_attr(lp,attr_ablshift) or 0
 341       local node_depth = getfield(lp, 'depth') + min(y_adjust, 0)
 342       local adj_depth = (y_adjust>0) and (getfield(lp, 'depth') + y_adjust) or 0
 343       setfield(lp, 'yoffset', getfield(lp, 'yoffset') - y_adjust)
 344       lp = node_next(lp)
 345       for lx in traverse(lp) do
 346          local lai = get_attr_icflag(lx)
 347          if lx==last or  lai>=PACKED then
 348             lp=lx; break
 349          else
 350             local lid = getid(lx)
 351             if lid==id_glyph and not if_lang_ja(lx) then
 352                -- 欧文文字
 353                last_glyph = lx; set_attr(lx, attr_icflag, PROCESSED); Np.last = lx
 354                y_adjust = has_attr(lx,attr_ablshift) or 0
 355                node_depth = max(getfield(lx, 'depth') + min(y_adjust, 0), node_depth)
 356                adj_depth = (y_adjust>0) and max(getfield(lx, 'depth') + y_adjust, adj_depth) or adj_depth
 357                setfield(lx, 'yoffset', getfield(lx, 'yoffset') - y_adjust)
 358             elseif lid==id_kern then
 359                local ls = getsubtype(lx)
 360                if ls==2 then -- アクセント用の kern
 361                   set_attr(lx, attr_icflag, PROCESSED)
 362                   lx = node_next(lx) -- lx: アクセント本体
 363                   if getid(lx)==id_glyph then
 364                      setfield(lx, 'yoffset', getfield(lx, 'yoffset') - (has_attr(lx,attr_ablshift) or 0))
 365                   else -- アクセントは上下にシフトされている
 366                      setfield(lx, 'shift', getfield(lx, 'shift') + (has_attr(lx,attr_ablshift) or 0))
 367                   end
 368                   lx = node_next(node_next(lx))
 369                elseif ls==0  then
 370                   Np.last = lx
 371                elseif (ls==3) or (lai==ITALIC) then
 372                   Np.last = lx; set_attr(lx, attr_icflag, IC_PROCESSED)
 373                else
 374                   lp=lx; break
 375                end
 376             else
 377                lp=lx; break
 378             end
 379          end
 380       end
 381       local r
 382       if adj_depth>node_depth then
 383             r = node_new(id_rule,3)
 384             setfield(r, 'width', 0); setfield(r, 'height', 0)
 385             setfield(r, 'depth',adj_depth); setfield(r, 'dir', tex_dir)
 386             set_attr(r, attr_icflag, PROCESSED)
 387       end
 388       if last_glyph then
 389          Np.last_char = last_glyph
 390          if r then insert_after(head, first_glyph, r) end
 391       else
 392          local npn = Np.nuc
 393          Np.last_char = npn
 394          if r then
 395             local nf, nc = getfont(npn), getchar(npn)
 396             local ct = (font.getfont(nf) or font.fonts[nf] ).characters[nc]
 397             if not ct then -- variation selector
 398                node_free(r)
 399             elseif (ct.left_protruding or 0) == 0 then
 400                head = insert_before(head, npn, r)
 401                Np.first = acc_flag and Np.first or ((Np.first==npn) and r or npn)
 402             elseif (ct.right_protruding or 0) == 0 then
 403                insert_after(head, npn, r); Np.last, lp = r, r
 404             else
 405                ltjb.package_warning_no_line(
 406                   'luatexja',
 407                   'Check depth of glyph node ' .. tostring(npn) .. '(font=' .. nf
 408                      .. ', char=' .. nc .. '),    because its \\lpcode is ' .. tostring(ct.left_protruding)
 409                      .. ' and its \\rpcode is ' .. tostring(ct.right_protruding)
 410                ); node_free(r)
 411             end
 412          end
 413       end
 414       return true, lp
 415    end
 416 end
 417 end -- 002 ---------------------------------------
 418 local calc_np_auxtable
 419 do  -- 002 ---------------------------------------
 420 local ltjw_apply_ashift_math = ltjw.apply_ashift_math
 421 local ltjw_apply_ashift_disc = ltjw.apply_ashift_disc
 422 local node_end_of_math = node.direct.end_of_math
 423 local dir_tate = luatexja.dir_table.dir_tate
 424 local sid_start_link   = node.subtype 'pdf_start_link'
 425 local sid_start_thread = node.subtype 'pdf_start_thread'
 426 local sid_end_link     = node.subtype 'pdf_end_link'
 427 local sid_end_thread   = node.subtype 'pdf_end_thread'
 428 calc_np_auxtable = {
 429    [id_glyph] = calc_np_aux_glyph_common,
 430    [id_hlist] = function(lp)
 431       local op, flag
 432       head, lp, op, flag = ltjd_make_dir_whatsit(head, lp, list_dir, 'jfm hlist')
 433       set_attr(op, attr_icflag, PROCESSED)
 434       Np.first = Np.first or op; Np.last = op; Np.nuc = op;
 435       if (flag or getfield(op, 'shift')~=0) then
 436          Np.id = id_box_like
 437       else
 438          Np.id = id_hlist
 439          Np.last_char = check_box_high(Np, getlist(op), nil)
 440       end
 441       return true, lp
 442    end,
 443    [id_vlist] =  function(lp)
 444       local op
 445       head, lp, op = ltjd_make_dir_whatsit(head, lp, list_dir, 'jfm:' .. getid(lp))
 446       Np.first = Np.first or op; Np.last = op; Np.nuc = op;
 447       Np.id = id_box_like;
 448       return true, lp
 449    end,
 450    box_like = function(lp)
 451       Np.first = Np.first or lp; Np.last = lp; Np.nuc = lp;
 452       Np.id = id_box_like;
 453       return true, node_next(lp)
 454    end,
 455    [id_whatsit] = function(lp)
 456       local lps = getsubtype(lp)
 457       if lps==sid_user then
 458          if getfield(lp, 'user_id')==luatexja.userid_table.IHB then
 459             local lq = node_next(lp);
 460             head = node_remove(head, lp); node_free(lp); non_ihb_flag = false
 461             return false, lq;
 462          elseif getfield(lp, 'user_id')==luatexja.userid_table.JA_AL_BDD then
 463             local lq = node_next(lp);
 464             head = node_remove(head, lp); node_free(lp)
 465             return false, lq;
 466          else
 467             set_attr(lp, attr_icflag, PROCESSED)
 468             luatexbase.call_callback("luatexja.jfmglue.whatsit_getinfo",
 469                                      Np, lp, Nq)
 470             if Np.nuc then
 471                Np.id = id_pbox_w; Np.first = Np.nuc; Np.last = Np.nuc;
 472                return true, node_next(lp)
 473             else
 474                return false, node_next(lp)
 475             end
 476          end
 477       else
 478          -- we do special treatment for these whatsit nodes.
 479          if lps == sid_start_link or lps == sid_start_thread then
 480             Np.first = lp
 481          elseif lps == sid_end_link or lps == sid_end_thread then
 482             Np.first, Nq.last = nil, lp;
 483          end
 484          set_attr(lp, attr_icflag, PROCESSED)
 485          return false, node_next(lp)
 486       end
 487    end,
 488    [id_math] = function(lp)
 489       Np.first, Np.nuc = (Np.first or lp), lp;
 490       set_attr(lp, attr_icflag, PROCESSED)
 491       set_np_xspc_alchar(Np, -1, lp)
 492       local end_math  = node_end_of_math(lp)
 493       ltjw_apply_ashift_math(lp, end_math, attr_ablshift)
 494       set_attr(end_math, attr_icflag, PROCESSED)
 495       Np.last, Np.id = end_math, id_math;
 496       return true, node_next(end_math);
 497    end,
 498    [id_glue] = function(lp)
 499       Np.first, Np.nuc, Np.last = (Np.first or lp), lp, lp;
 500       Np.id = getid(lp); set_attr(lp, attr_icflag, PROCESSED)
 501       return true, node_next(lp)
 502    end,
 503    [id_disc] = function(lp)
 504       Np.first, Np.nuc, Np.last = (Np.first or lp), lp, lp;
 505       Np.id = getid(lp); set_attr(lp, attr_icflag, PROCESSED)
 506       ltjw_apply_ashift_disc(lp, (list_dir==dir_tate), tex_dir)
 507       Np.last_char = check_box_high(Np, getfield(lp, 'replace'), nil)
 508       return true, node_next(lp)
 509    end,
 510    [id_kern] = function(lp)
 511       if getsubtype(lp)==2 then
 512          Np.first = Np.first or lp
 513          set_attr(lp, attr_icflag, PROCESSED); lp = node_next(lp)
 514          if getid(lp)==id_glyph then -- アクセント本体
 515             setfield(lp, 'yoffset', getfield(lp, 'yoffset') - (has_attr(lp,attr_ablshift) or 0))
 516          else -- アクセントは上下にシフトされている
 517             setfield(lp, 'shift', getfield(lp, 'shift') + (has_attr(lp,attr_ablshift) or 0))
 518          end
 519          set_attr(lp, attr_icflag, PROCESSED); lp = node_next(lp)
 520          set_attr(lp, attr_icflag, PROCESSED); lp = node_next(lp)
 521          set_attr(lp, attr_icflag, PROCESSED);
 522          return calc_np_aux_glyph_common(lp, true)
 523       else
 524          Np.first = Np.first or lp
 525          Np.id = id_kern; set_attr(lp, attr_icflag, PROCESSED)
 526          Np.last = lp; return true, node_next(lp)
 527       end
 528    end,
 529    [id_penalty] = function(lp)
 530       Bp[#Bp+1] = lp; set_attr(lp, attr_icflag, PROCESSED)
 531       return false, node_next(lp)
 532    end,
 533 }
 534 end -- 002 ---------------------------------------
 535 calc_np_auxtable[id_rule]   = calc_np_auxtable.box_like
 536 calc_np_auxtable[15]        = calc_np_auxtable.box_like
 537
 538 local function calc_np_aux_skip (lp)
 539    set_attr(lp, attr_icflag, PROCESSED)
 540    return false, node_next(lp)
 541 end
 542
 543 function calc_np(last, lp)
 544    local k
 545    -- We assume lp = node_next(Np.last)
 546    Np, Nq, non_ihb_flag = Nq, Np, true
 547    -- We clear `predefined' entries of Np before pairs() loop,
 548    -- because using only pairs() loop is slower.
 549    Np.post, Np.pre, Np.xspc = nil, nil, nil
 550    Np.first, Np.id, Np.last, Np.met, Np.class= nil, nil, nil, nil
 551    Np.auto_kspc, Np.auto_xspc, Np.char, Np.nuc = nil, nil, nil, nil
 552    -- auto_kspc, auto_xspc: normally true/false,
 553    -- but the number 0 when Np is ''the beginning of the box/paragraph''.
 554    for k in pairs(Np) do Np[k] = nil end
 555
 556    for k = 1,#Bp do Bp[k] = nil end
 557    while lp ~= last  do
 558       local lpa = has_attr(lp, attr_icflag) or 0
 559       -- unbox 由来ノードの検出
 560       if lpa>=PACKED then
 561          if lpa%PROCESSED_BEGIN_FLAG == BOXBDD then
 562             local lq = node_next(lp)
 563             head = node_remove(head, lp); node_free(lp); lp = lq
 564          else
 565             return calc_np_pbox(lp, last)
 566          end -- id_pbox
 567       else
 568          k, lp = (calc_np_auxtable[getid(lp)] or calc_np_aux_skip)(lp)
 569          if k then return lp end
 570       end
 571    end
 572    Np=nil
 573 end
 574 end -- 001 -----------------------------------------------
 575
 576 -- extract informations from Np
 577 -- We think that "Np is a Japanese character" if Np.met~=nil,
 578 --            "Np is an alphabetic character" if Np.pre~=nil,
 579 --            "Np is not a character" otherwise.
 580 local after_hlist = nil -- global
 581 local after_alchar, extract_np
 582 do
 583   local PRE  = luatexja.stack_table_index.PRE
 584   local POST = luatexja.stack_table_index.POST
 585   local KCAT = luatexja.stack_table_index.KCAT
 586   local XSP  = luatexja.stack_table_index.XSP
 587   local dir_tate = luatexja.dir_table.dir_tate
 588
 589 -- 和文文字のデータを取得
 590    local attr_jchar_class = luatexbase.attributes['ltj@charclass']
 591    local attr_jchar_code = luatexbase.attributes['ltj@charcode']
 592    local attr_autospc = luatexbase.attributes['ltj@autospc']
 593    local attr_autoxspc = luatexbase.attributes['ltj@autoxspc']
 594    local getcomponents = node.direct.getcomponents
 595    --local ltjf_get_vert_glyph = ltjf.get_vert_glyph
 596    function set_np_xspc_jachar(Nx, x)
 597       local m = ltjf_font_metric_table[getfont(x)]
 598       local c, c_glyph = (not getcomponents(x) and ltjs_orig_char_table[x]), getchar(x)
 599       if c and c~=c_glyph then set_attr(x, attr_jchar_code, c) end
 600       c = c or c_glyph
 601       local cls = slow_find_char_class(c, m, c_glyph)
 602       Nx.met, Nx.class, Nx.char = m, cls, c;
 603       local mc = m.char_type; Nx.char_type = mc
 604       if cls~=0 then set_attr(x, attr_jchar_class, cls) end
 605       Nx.pre  = table_current_stack[PRE + c]  or 0
 606       Nx.post = table_current_stack[POST + c] or 0
 607       Nx.xspc = table_current_stack[XSP  + c] or 3
 608       Nx.kcat = table_current_stack[KCAT + c] or 0
 609       Nx.auto_kspc, Nx.auto_xspc = (has_attr(x, attr_autospc)==1), (has_attr(x, attr_autoxspc)==1)
 610       return m, mc, cls
 611    end
 612    function set_np_xspc_jachar_hbox(Nx, x)
 613       local m = ltjf_font_metric_table[getfont(x)]
 614       local c = has_attr(x, attr_jchar_code) or getchar(x)
 615       Nx.met, Nx.char  = m, c; Nx.class = has_attr(x, attr_jchar_class) or 0;
 616       local mc = m.char_type; Nx.char_type = mc
 617       Nx.pre  = table_current_stack[PRE + c]  or 0
 618       Nx.post = table_current_stack[POST + c] or 0
 619       Nx.xspc = table_current_stack[XSP  + c] or 3
 620       Nx.kcat = table_current_stack[KCAT + c] or 0
 621       Nx.auto_kspc, Nx.auto_xspc = (has_attr(x, attr_autospc)==1), (has_attr(x, attr_autoxspc)==1)
 622    end
 623
 624 -- 欧文文字のデータを取得
 625    local floor = math.floor
 626    local nullfunc = function(n) return n end
 627    function set_np_xspc_alchar(Nx, c,x, lig)
 628       if c~=-1 then
 629          local f = (lig ==1) and nullfunc or node_tail
 630          local xc, xs = getcomponents(x), getsubtype(x)
 631          while xc and xs and xs%4>=2 do
 632             x = f(xc);
 633             if getid(x)==id_disc then x, xc, xs = nil, getfield(x,'replace'), 2
 634             else xc, xs = getcomponents(x), getsubtype(x) end
 635          end
 636          c = x and getchar(x) or c
 637          Nx.pre  = table_current_stack[PRE + c]  or 0
 638          Nx.post = table_current_stack[POST + c] or 0
 639       else
 640          Nx.pre, Nx.post = 0, 0
 641       end
 642       Nx.met = nil
 643       Nx.xspc = table_current_stack[XSP  + c] or 3
 644       Nx.auto_xspc = (has_attr(x, attr_autoxspc)==1)
 645    end
 646    local set_np_xspc_alchar = set_np_xspc_alchar
 647    -- change the information for the next loop
 648    -- (will be done if Nx is an alphabetic character or a hlist)
 649    after_hlist = function (Nx)
 650       local s = Nx.last_char
 651       if s then
 652          if getid(s)==id_glyph then
 653             if if_lang_ja(s) then
 654                set_np_xspc_jachar_hbox(Nx, s)
 655             else
 656                set_np_xspc_alchar(Nx, getchar(s), s, 2)
 657             end
 658          else
 659             set_np_xspc_alchar(Nx, -1, s)
 660          end
 661       else
 662          Nx.pre, Nx.met = nil, nil
 663       end
 664    end
 665    after_alchar = function (Nx)
 666       local x = Nx.last_char
 667       return set_np_xspc_alchar(Nx, getchar(x), x, 2)
 668    end
 669
 670 end
 671
 672 -------------------- 最下層の処理
 673
 674 luatexbase.create_callback('luatexja.adjust_jfmglue', 'simple', function(n) return n end)
 675
 676 -- change penalties (or create a new penalty, if needed)
 677 local function handle_penalty_normal(post, pre, g)
 678    luatexbase.call_callback('luatexja.adjust_jfmglue', head, Nq, Np, Bp)
 679    local a = (pre or 0) + (post or 0)
 680    if #Bp == 0 then
 681       if (a~=0 and not(g and getid(g)==id_kern)) then
 682          local p = node_new(id_penalty)
 683          if a<-10000 then a = -10000 elseif a>10000 then a = 10000 end
 684          setfield(p, 'penalty', a); head = insert_before(head, Np.first, p)
 685          Bp[1]=p; set_attr(p, attr_icflag, KINSOKU)
 686       end
 687    else for _, v in pairs(Bp) do add_penalty(v,a) end
 688    end
 689 end
 690
 691 local function handle_penalty_always(post, pre, g)
 692    luatexbase.call_callback('luatexja.adjust_jfmglue', head, Nq, Np, Bp)
 693    local a = (pre or 0) + (post or 0)
 694    if #Bp == 0 then
 695       if not (g and getid(g)==id_glue) or a~=0 then
 696          local p = node_new(id_penalty)
 697          if a<-10000 then a = -10000 elseif a>10000 then a = 10000 end
 698          setfield(p, 'penalty', a); head = insert_before(head, Np.first, p)
 699          Bp[1]=p; set_attr(p, attr_icflag, KINSOKU)
 700       end
 701    else for _, v in pairs(Bp) do add_penalty(v,a) end
 702    end
 703 end
 704
 705 local function handle_penalty_suppress(post, pre, g)
 706    luatexbase.call_callback('luatexja.adjust_jfmglue', head, Nq, Np, Bp)
 707    if #Bp == 0 then
 708       if g and getid(g)==id_glue then
 709          local p = node_new(id_penalty)
 710          setfield(p, 'penalty', 10000); head = insert_before(head, Np.first, p)
 711          Bp[1]=p; set_attr(p, attr_icflag, KINSOKU)
 712       end
 713    else
 714       local a = (pre or 0) + (post or 0)
 715       for _, v in pairs(Bp) do add_penalty(v,a) end
 716    end
 717 end
 718
 719 local function handle_penalty_jwp()
 720    local a = table_current_stack[luatexja.stack_table_index.JWP]
 721    if #widow_Bp == 0 then
 722       if a~=0 then
 723          local p = node_new(id_penalty)
 724          if a<-10000 then a = -10000 elseif a>10000 then a = 10000 end
 725          setfield(p, 'penalty', a); head = insert_before(head, widow_Np.first, p)
 726          widow_Bp[1]=p; set_attr(p, attr_icflag, KINSOKU)
 727       end
 728    else for _, v in pairs(widow_Bp) do add_penalty(v,a) end
 729    end
 730 end
 731
 732 -- 和文文字間の JFM glue を node 化
 733 local function new_jfm_glue(mc, bc, ac)
 734 -- bc, ac: char classes
 735    local g = mc[bc][ac]
 736    if g then
 737        if g[1] then
 738            return node_copy(g[1]), g.ratio, false, false, false
 739        else
 740          local f = node_new(id_glue)
 741          set_attr(f, attr_icflag, g.priority)
 742          setglue(f, g.width, g.stretch, g.shrink)
 743          return f, g.ratio, g.kanjiskip_natural, g.kanjiskip_stretch, g.kanjiskip_shrink
 744       end
 745    end
 746    return false, 0
 747 end
 748
 749 -- Nq.last (kern w) .... (glue/kern g) Np.first
 750 local function real_insert(g)
 751    if g then
 752       head  = insert_before(head, Np.first, g)
 753       Np.first = g
 754    end
 755 end
 756
 757
 758 -------------------- 和文文字間空白量の決定
 759 local calc_ja_ja_aux
 760 do
 761    local round = tex.round
 762    local bg_ag = 2*id_glue - id_glue
 763    local bg_ak = 2*id_glue - id_kern
 764    local bk_ag = 2*id_kern - id_glue
 765    local bk_ak = 2*id_kern - id_kern
 766
 767    local function blend_diffmet(b, a, rb, ra)
 768       return round(luatexja.jfmglue.diffmet_rule((1-rb)*b+rb*a, (1-ra)*b+ra*a))
 769    end
 770    local blend_diffmet_inf
 771    do
 772       local abs, log, log264, floor = math.abs, math.log, math.log(2)*64, math.floor
 773       blend_diffmet_inf = function (b, a, bo, ao, rb, ra)
 774          local nb, na = (bo and b*2.0^(64*bo) or 0), (ao and a*2.0^(64*ao) or 0)
 775          local r = luatexja.jfmglue.diffmet_rule((1-rb)*nb+rb*na, (1-ra)*nb+ra*na)
 776          local ro = (r~=0) and floor(log(abs(r))/log264+0.0625) or 0
 777          return round(r/2.^(64*ro)), ro
 778       end
 779    end
 780    local getglue = luatexja.getglue
 781    calc_ja_ja_aux = function (gb, ga, db, da)
 782       if luatexja.jfmglue.diffmet_rule ~= math.two_pleft and diffmet_rule ~= math.two_pright
 783           and luatexja.jfmglue.diffmet_rule ~= math.two_paverage then
 784          db, da = 0, 1
 785       end
 786       if not gb then
 787          if ga then gb = node_new(id_kern, 1); setfield(gb, 'kern', 0)
 788          else return nil end
 789       elseif not ga then
 790          ga = node_new(id_kern, 1); setfield(ga, 'kern', 0)
 791       end
 792       local gbw, gaw, gbst, gast, gbsto, gasto, gbsh, gash, gbsho, gasho
 793       if getid(gb)==id_glue then
 794          gbw, gbst, gbsh, gbsto, gbsho = getglue(gb)
 795       else
 796          gbw = getfield(gb, 'kern')
 797       end
 798       if getid(ga)==id_glue then
 799          gaw, gast, gash, gasto, gasho = getglue(ga)
 800       else
 801          gaw = getfield(ga, 'kern')
 802       end
 803       if not (gbst or gast) then -- 両方とも kern
 804          setfield(gb, 'kern', blend_diffmet(gbw, gaw, db, da))
 805          node_free(ga); return gb
 806       else
 807          local gr = gb
 808          if not gbst then gr = ga; node_free(gb) else node_free(ga) end
 809          gbw = blend_diffmet(gbw or 0, gaw or 0, db, da) -- 結果の自然長
 810          gbst, gbsto = blend_diffmet_inf(gbst, gast, gbsto, gasto, db, da) -- 伸び
 811          gbsh, gbsho = blend_diffmet_inf(-(gbsh or 0), -(gash or 0), gbsho, gasho, db, da) -- -(縮み)
 812          setglue(gr, gbw, gbst, -gbsh, gbsto, gbsho)
 813          return gr
 814       end
 815    end
 816 end
 817
 818 local null_skip_table = {0, 0, 0}
 819 -- get kanjiskip
 820 local get_kanjiskip, kanjiskip_jfm_flag
 821 local get_kanjiskip_low
 822 local calc_ja_ja_glue
 823 do
 824    local KANJI_SKIP   = luatexja.icflag_table.KANJI_SKIP
 825    local KANJI_SKIP_JFM   = luatexja.icflag_table.KANJI_SKIP_JFM
 826
 827    get_kanjiskip_low = function(flag, qm, bn, bp, bh)
 828    -- flag = false: kanjiskip そのもの（パラメータ or JFM）
 829    --               ノード kanji_skip のコピーで良い場合は nil が帰る
 830    -- flag = true: JFM グルーに付随する kanjiskip 自然長/伸び/縮み分
 831       if qm.with_kanjiskip and (bn or bp or bh) then
 832          if kanjiskip_jfm_flag then
 833             local g = node_new(id_glue);
 834             local bk = qm.kanjiskip or null_skip_table
 835             setglue(g, bn and (bn*bk[1]) or 0,
 836                        bp and (bp*bk[2]) or 0,
 837                        bh and (bh*bk[3]) or 0, 0, 0)
 838             set_attr(g, attr_icflag, KANJI_SKIP_JFM)
 839             return g
 840          elseif flag then
 841             local g = node_new(id_glue)
 842             local st = bp and (bp*getfield(kanji_skip, 'stretch')) or 0
 843             local sh = bh and (bh*getfield(kanji_skip, 'shrink')) or 0
 844             setglue(g,
 845                bn and (bn*getfield(kanji_skip, 'width')) or 0,
 846                st, sh,
 847                (st==0) and 0 or getfield(kanji_skip, 'stretch_order'),
 848                (sh==0) and 0 or getfield(kanji_skip, 'shrink_order'))
 849             set_attr(g, attr_icflag, KANJI_SKIP_JFM)
 850             return g
 851          end
 852       end
 853    end
 854
 855    get_kanjiskip = function()
 856       if Np.auto_kspc==0 or Nq.auto_kspc==0 then return nil
 857       elseif Np.auto_kspc or Nq.auto_kspc then
 858          local pm, qm = Np.met, Nq.met
 859          if (pm.char_type==qm.char_type) and (qm.var==pm.var) then
 860              return get_kanjiskip_low(false, qm, 1, 1, 1) or node_copy(kanji_skip)
 861          else
 862             local gb = get_kanjiskip_low(false, qm, 1, 1, 1)
 863             if gb then
 864                return calc_ja_ja_aux(gb,
 865                  get_kanjiskip_low(false, pm, 1, 1, 1) or node_copy(kanji_skip), 0, 1)
 866             else
 867                local ga = get_kanjiskip_low(false, pm, 1, 1, 1)
 868                return (ga and calc_ja_ja_aux(node_copy(kanji_skip), ga, 0, 1))
 869                  or node_copy(kanji_skip)
 870             end
 871          end
 872       else
 873          local g = node_new(id_glue)
 874          set_attr(g, attr_icflag, kanjiskip_jfm_flag and KANJI_SKIP_JFM or KANJI_SKIP)
 875          return g
 876       end
 877    end
 878
 879    calc_ja_ja_glue = function ()
 880       local qm, pm = Nq.met, Np.met
 881       local qmc, pmc = qm.char_type, pm.char_type
 882       if (qmc==pmc) and (qm.var==pm.var) then
 883          local g, _, kn, kp, kh = new_jfm_glue(qmc, Nq.class, Np.class)
 884          return g, (Np.auto_kspc or Nq.auto_kspc) and get_kanjiskip_low(true, qm, kn, kp, kh)
 885       else
 886          local npn, nqn = Np.nuc, Nq.nuc
 887          local gb, db, bn, bp, bh
 888             = new_jfm_glue(qmc, Nq.class,
 889                            slow_find_char_class(Np.char,
 890                                                 qm, getchar(npn)))
 891          local ga, da, an, ap, ah
 892             = new_jfm_glue(pmc,
 893                            slow_find_char_class(Nq.char,
 894                                                 pm, getchar(nqn)),
 895                            Np.class)
 896          local g = calc_ja_ja_aux(gb, ga, db, da)
 897          local k
 898          gb = get_kanjiskip_low(true, qm, bn, bp, bh)
 899          ga = get_kanjiskip_low(true, pm, an, ap, ah)
 900          k = calc_ja_ja_aux(gb, ga, db, da)
 901          return g, k
 902       end
 903    end
 904 end
 905
 906 -------------------- 和欧文間空白量の決定
 907
 908 -- get xkanjiskip
 909 local get_xkanjiskip, xkanjiskip_jfm_flag
 910 local get_xkanjiskip_normal, get_xkanjiskip_jfm
 911 local get_xkanjiskip_low
 912 do
 913    local XKANJI_SKIP   = luatexja.icflag_table.XKANJI_SKIP
 914    local XKANJI_SKIP_JFM   = luatexja.icflag_table.XKANJI_SKIP_JFM
 915
 916    get_xkanjiskip_low = function(flag, qm, bn, bp, bh)
 917       if flag or (qm.with_kanjiskip and (bn or bp or bh)) then
 918          if xkanjiskip_jfm_flag then
 919             local g = node_new(id_glue);
 920             local bk = qm.xkanjiskip or null_skip_table
 921             setglue(g, bn and bk[1] or 0,
 922                        bp and bk[2] or 0,
 923                        bh and bk[3] or 0, 0, 0)
 924             set_attr(g, attr_icflag, XKANJI_SKIP_JFM)
 925             return g
 926          elseif flag then
 927             return node_copy(xkanji_skip)
 928          else
 929             local g = node_new(id_glue);
 930             setglue(g,
 931                bn and (bn*getfield(xkanji_skip, 'width')) or 0,
 932                bp and (bp*getfield(xkanji_skip, 'stretch')) or 0,
 933                bh and (bh*getfield(xkanji_skip, 'shrink')) or 0,
 934                bp and getfield(xkanji_skip, 'stretch_order') or 0,
 935                bh and getfield(xkanji_skip, 'shrink_order') or 0)
 936             set_attr(g, attr_icflag, XKANJI_SKIP_JFM)
 937             return g
 938          end
 939       end
 940    end
 941
 942    get_xkanjiskip = function(Nn)
 943       if Np.auto_xspc==0 or Nq.auto_xspc==0 then
 944         return nil
 945       elseif (Nq.xspc>=2) and (Np.xspc%2==1) and (Nq.auto_xspc or Np.auto_xspc) then
 946          return get_xkanjiskip_low(true, Nn.met, 1, 1, 1)
 947       else
 948          local g = node_new(id_glue)
 949          set_attr(g, attr_icflag, xkanjiskip_jfm_flag and XKANJI_SKIP_JFM or XKANJI_SKIP)
 950          return g
 951       end
 952    end
 953 end
 954
 955 -------------------- 隣接した「塊」間の処理
 956
 957 local function combine_spc(name)
 958    return (Np[name] or Nq[name]) and ((Np[name]~=0) and (Nq[name]~=0))
 959 end
 960
 961 -- NA, NB: alchar or math
 962 local function get_NA_skip()
 963    local pm = Np.met
 964    local g, _, kn, kp, kh = new_jfm_glue(
 965       pm.char_type,
 966       fast_find_char_class(
 967         (Nq.id == id_math and -1 or (Nq.xspc>=2 and 'alchar' or 'nox_alchar')), pm),
 968       Np.class)
 969    local k = ((Nq.xspc>=2) and (Np.xspc%2==1) and combine_spc 'auto_xspc')
 970        and get_xkanjiskip_low(false, pm, kn, kp, kh)
 971    return g, k
 972 end
 973 local function get_NB_skip()
 974    local qm = Nq.met
 975    local g, _, kn, kp, kh = new_jfm_glue(
 976       qm.char_type, Nq.class,
 977       fast_find_char_class(
 978         (Np.id == id_math and -1 or (Np.xspc%2==1 and 'alchar' or 'nox_alchar')), qm)
 979     )
 980    local k = ((Nq.xspc>=2) and (Np.xspc%2==1) and combine_spc 'auto_xspc')
 981          and get_xkanjiskip_low(false, qm, kn, kp, kh)
 982    return g, k
 983 end
 984
 985 local function get_OA_skip(insert_ksp)
 986    local pm = Np.met
 987    local g, _, kn, kp, kh = new_jfm_glue(
 988       pm.char_type,
 989       fast_find_char_class(
 990         (((Nq.id==id_glue)or(Nq.id==id_kern)) and 'glue' or 'jcharbdd'), pm),
 991       Np.class)
 992    local k
 993    if insert_ksp then
 994       k = (combine_spc 'auto_kspc') and get_kanjiskip_low(true, pm, kn, kp, kh)
 995    end
 996    return g, k
 997 end
 998 local function get_OB_skip(insert_ksp)
 999    local qm = Nq.met
1000    local g, _, kn, kp, kh = new_jfm_glue(
1001       qm.char_type, Nq.class,
1002       fast_find_char_class(
1003         (((Np.id==id_glue)or(Np.id==id_kern)) and 'glue' or 'jcharbdd'), qm))
1004    local k
1005    if insert_ksp then
1006       k = (combine_spc 'auto_kspc') and get_kanjiskip_low(true, qm, kn, kp, kh)
1007    end
1008    return g, k
1009 end
1010
1011 -- (anything) .. jachar
1012 local function handle_np_jachar(mode)
1013    local qid = Nq.id
1014    if qid==id_jglyph or ((qid==id_pbox or qid==id_pbox_w) and Nq.met) then
1015       local g, k
1016       if non_ihb_flag then g, k = calc_ja_ja_glue() end -- M->K
1017       if not g then g = get_kanjiskip() end
1018       handle_penalty_normal(Nq.post, Np.pre, g);
1019       real_insert(g); real_insert(k)
1020    elseif Nq.met then  -- qid==id_hlist
1021       local g, k
1022       if non_ihb_flag then g, k = get_OA_skip(true) end -- O_A->K
1023       if not g then g = get_kanjiskip() end
1024       handle_penalty_normal(0, Np.pre, g); real_insert(g); real_insert(k)
1025    elseif Nq.pre then
1026       local g, k
1027       if non_ihb_flag then g, k = get_NA_skip() end -- N_A->X
1028       if not g then g = get_xkanjiskip(Np) end
1029       handle_penalty_normal((qid==id_hlist and 0 or Nq.post), Np.pre, g);
1030       real_insert(g); real_insert(k)
1031    else
1032       local g = non_ihb_flag and (get_OA_skip()) -- O_A
1033       if qid==id_glue then handle_penalty_normal(0, Np.pre, g)
1034       elseif qid==id_kern then handle_penalty_suppress(0, Np.pre, g)
1035       else handle_penalty_always(0, Np.pre, g)
1036       end
1037       real_insert(g)
1038    end
1039    if mode and Np.kcat%2~=1 then
1040       widow_Np.first, widow_Bp, Bp = Np.first, Bp, widow_Bp
1041    end
1042 end
1043
1044
1045 -- jachar .. (anything)
1046 local function handle_nq_jachar()
1047     if Np.pre then
1048       local g = non_ihb_flag and get_NB_skip() or get_xkanjiskip(Nq) -- N_B->X
1049       handle_penalty_normal(Nq.post, (Np.id==id_hlist and 0 or Np.pre), g); real_insert(g)
1050    else
1051       local g =non_ihb_flag and  (get_OB_skip()) -- O_B
1052       if Np.id==id_glue then handle_penalty_normal(Nq.post, 0, g)
1053       elseif Np.id==id_kern then handle_penalty_suppress(Nq.post, 0, g)
1054       else handle_penalty_always(Nq.post, 0, g)
1055       end
1056       real_insert(g)
1057    end
1058 end
1059
1060 -- (anything) .. (和文文字で始まる hlist)
1061 local function handle_np_ja_hlist()
1062    local qid = Nq.id
1063    if qid==id_jglyph or ((qid==id_pbox or qid == id_pbox_w) and Nq.met) then
1064       local g = non_ihb_flag and get_OB_skip(true) or get_kanjiskip() -- O_B->K
1065       handle_penalty_normal(Nq.post, 0, g); real_insert(g)
1066    elseif Nq.met then  -- Nq.id==id_hlist
1067       local g = get_kanjiskip() -- K
1068       handle_penalty_suppress(0, 0, g); real_insert(g)
1069    elseif Nq.pre then
1070       local g = get_xkanjiskip(Np) -- X
1071       handle_penalty_suppress(0, 0, g); real_insert(g)
1072    end
1073 end
1074
1075 -- (和文文字で終わる hlist) .. (anything)
1076 local function handle_nq_ja_hlist()
1077    if Np.pre then
1078       local g = get_xkanjiskip(Nq) -- X
1079       handle_penalty_suppress(0, 0, g); real_insert(g)
1080    end
1081 end
1082
1083
1084 -- Nq が前側のクラスタとなることによる修正
1085 local adjust_nq
1086 do
1087    local adjust_nq_aux = {
1088       [id_glyph] = function() after_alchar(Nq) end, -- after_alchar(Nq)
1089       [id_hlist]  = function() after_hlist(Nq) end,
1090       [id_pbox]  = function() after_hlist(Nq) end,
1091       [id_disc]  = function() after_hlist(Nq) end,
1092       [id_pbox_w]  = function()
1093                         luatexbase.call_callback("luatexja.jfmglue.whatsit_after",
1094                                                  false, Nq, Np)
1095                      end,
1096    }
1097
1098    adjust_nq = function()
1099       local x = adjust_nq_aux[Nq.id]
1100       if x then x()  end
1101    end
1102 end
1103
1104
1105 -------------------- 開始・終了時の処理
1106 do
1107 local node_prev = node.direct.getprev
1108 -- リスト末尾の処理
1109 local function handle_list_tail(mode, last)
1110    adjust_nq()
1111    if mode then
1112       -- the current list is to be line-breaked.
1113       -- Insert \jcharwidowpenalty
1114       if widow_Np.first then handle_penalty_jwp() end
1115    else
1116       Np = Nq
1117       -- the current list is the contents of a hbox
1118       local npi, pm = Np.id, Np.met
1119       if npi == id_jglyph or (npi==id_pbox and pm) then
1120          local g = new_jfm_glue(pm.char_type, Np.class, fast_find_char_class('boxbdd', pm))
1121          if g then
1122             set_attr(g, attr_icflag, BOXBDD)
1123             head = insert_after(head, Np.last, g)
1124          end
1125       end
1126    end
1127 end
1128
1129 -- リスト先頭の処理
1130 local function handle_list_head(par_indented)
1131    local npi, pm = Np.id, Np.met
1132    if npi == id_jglyph or (npi==id_pbox and pm) then
1133       if non_ihb_flag then
1134          local g = new_jfm_glue(pm.char_type, fast_find_char_class(par_indented, pm), Np.class)
1135          if g then
1136             set_attr(g, attr_icflag, BOXBDD)
1137             if getid(g)==id_glue and #Bp==0 then
1138                local h = node_new(id_penalty)
1139                setfield(h, 'penalty', 10000); set_attr(h, attr_icflag, BOXBDD)
1140             end
1141             head = insert_before(head, Np.first, g)
1142          end
1143       end
1144    end
1145 end
1146
1147 -- initialize
1148 -- return value: (the initial cursor lp), (last node)
1149 local init_var
1150 do
1151    local id_local = node.id 'local_par'
1152    local KANJI_SKIP   = luatexja.icflag_table.KANJI_SKIP
1153    local XKANJI_SKIP   = luatexja.icflag_table.XKANJI_SKIP
1154    local KSK  = luatexja.stack_table_index.KSK
1155    local XSK  = luatexja.stack_table_index.XSK
1156    local dir_yoko = luatexja.dir_table.dir_yoko
1157    local dir_tate = luatexja.dir_table.dir_tate
1158    local attr_yablshift = luatexbase.attributes['ltj@yablshift']
1159    local attr_tablshift = luatexbase.attributes['ltj@tablshift']
1160    local table_pool = {
1161       {}, {}, {first=nil},
1162       { auto_kspc=nil, auto_xspc=nil, char=nil, class=nil,
1163         first=nil, id=nil, last=nil, met=nil, nuc=nil,
1164         post=nil, pre=nil, xspc=nil, },
1165       { auto_kspc=nil, auto_xspc=nil, char=nil, class=nil,
1166         first=nil, id=nil, last=nil, met=nil, nuc=nil,
1167         post=nil, pre=nil, xspc=nil, },
1168    }
1169    init_var = function (mode,dir)
1170       -- 1073741823: max_dimen
1171       Bp, widow_Bp, widow_Np, Np, Nq
1172          = table_pool[1], table_pool[2], table_pool[3], table_pool[4], table_pool[5]
1173       for i=1,5 do for j,_ in pairs(table_pool[i]) do table_pool[i][j]=nil end end
1174       table_current_stack = ltjs.table_current_stack
1175
1176       list_dir, tex_dir = (ltjs.list_dir or dir_yoko), (dir or 'TLT')
1177       local is_dir_tate = list_dir==dir_tate
1178       capsule_glyph = is_dir_tate and ltjw.capsule_glyph_tate or ltjw.capsule_glyph_yoko
1179       attr_ablshift = is_dir_tate and attr_tablshift or attr_yablshift
1180       local TEMP = node_new(id_glue)
1181       -- TEMP is a dummy node, which will be freed at the end of the callback.
1182       -- ithout this node, set_attr(kanji_skip, ...) somehow creates an "orphaned"  attribute list.
1183
1184       do
1185           kanji_skip, kanjiskip_jfm_flag = skip_table_to_glue(KSK)
1186           set_attr(kanji_skip, attr_icflag, KANJI_SKIP)
1187       end
1188
1189       do
1190           xkanji_skip, xkanjiskip_jfm_flag = skip_table_to_glue(XSK)
1191           set_attr(xkanji_skip, attr_icflag, XKANJI_SKIP)
1192       end
1193
1194       if mode then
1195          -- the current list is to be line-breaked:
1196          -- hbox from \parindent is skipped.
1197          local lp, par_indented, lpi, lps  = head, 'boxbdd', getid(head), getsubtype(head)
1198          while lp and
1199             ((lpi==id_whatsit and lps~=sid_user)
1200                or ((lpi==id_hlist) and (lps==3))
1201                or (lpi==id_local)) do
1202             if (lpi==id_hlist) and (lps==3) then
1203                Np.char, par_indented = 'parbdd', 'parbdd'
1204                Np.width = getfield(lp, 'width')
1205             end
1206             lp=node_next(lp); lpi, lps = getid(lp), getsubtype(lp) end
1207          return lp, node_tail(head), par_indented, TEMP
1208       else
1209          return head, nil, 'boxbdd', TEMP
1210       end
1211    end
1212 end
1213
1214 local ensure_tex_attr = ltjb.ensure_tex_attr
1215 local function cleanup(mode, TEMP)
1216    -- luatexja.ext_show_node_list(to_node(head), '> ', print)
1217    -- adjust attr_icflag for avoiding error
1218    if tex.getattribute(attr_icflag)~=0 then ensure_tex_attr(attr_icflag, 0) end
1219    node_free(kanji_skip);
1220    node_free(xkanji_skip); node_free(TEMP)
1221
1222    if mode then
1223       local h = node_next(head)
1224       if getid(h) == id_penalty and getfield(h, 'penalty') == 10000 then
1225          h = node_next(h)
1226          if getid(h) == id_glue and getsubtype(h) == 15 and not node_next(h) then
1227             return false
1228          end
1229       end
1230    end
1231    return head
1232 end
1233 -------------------- 外部から呼ばれる関数
1234
1235 -- main interface
1236 function luatexja.jfmglue.main(ahead, mode, dir)
1237    if not ahead then return ahead end
1238    --luatexja.ext_show_node_list(to_node(ahead ), '>B ', print)
1239    --print()
1240    head = ahead;
1241    local lp, last, par_indented, TEMP = init_var(mode,dir)
1242    lp = calc_np(last, lp)
1243    if Np then
1244       handle_list_head(par_indented)
1245       lp = calc_np(last,lp);
1246       while Np do
1247          adjust_nq();
1248          local pid, pm = Np.id, Np.met
1249          -- 挿入部
1250          if pid == id_jglyph then
1251             handle_np_jachar(mode)
1252          elseif pm then
1253             if pid==id_hlist then handle_np_ja_hlist()
1254             else handle_np_jachar() end
1255          elseif Nq.met then
1256             if Nq.id==id_hlist then handle_nq_ja_hlist()
1257             else handle_nq_jachar() end
1258          end
1259          lp = calc_np(last,lp)
1260       end
1261       handle_list_tail(mode, last)
1262    end
1263    --luatexja.ext_show_node_list(to_node(ahead ), '>A ', print)
1264    --print()
1265    return cleanup(mode, TEMP)
1266 end
1267 end
1268
1269 do
1270    local IHB  = luatexja.userid_table.IHB
1271    local BPAR = luatexja.userid_table.BPAR
1272    local BOXB = luatexja.userid_table.BOXB
1273    local node_prev = node.direct.getprev
1274    local node_write = node.direct.write
1275
1276    -- \inhibitglue
1277    function luatexja.jfmglue.create_inhibitglue_node()
1278       local tn = node_new(id_whatsit, sid_user)
1279       setfield(tn, 'user_id', IHB)
1280       setfield(tn, 'type', 100)
1281       setfield(tn, 'value', 1)
1282       node_write(tn)
1283    end
1284
1285    -- Node for indicating beginning of a paragraph
1286    -- (for ltjsclasses)
1287    function luatexja.jfmglue.create_beginpar_node()
1288       local tn = node_new(id_whatsit, sid_user)
1289       setfield(tn, 'user_id', BPAR)
1290       setfield(tn, 'type', 100)
1291       setfield(tn, 'value', 1)
1292       node_write(tn)
1293    end
1294
1295    -- Node for indicating a head/end of a box
1296    function luatexja.jfmglue.create_boxbdd_node()
1297       local tn = node_new(id_whatsit, sid_user)
1298       setfield(tn, 'user_id', BOXB)
1299       setfield(tn, 'type', 100)
1300       setfield(tn, 'value', 1)
1301       node_write(tn)
1302    end
1303
1304    local function whatsit_callback(Np, lp, Nq)
1305       if Np and Np.nuc then return Np
1306       elseif Np and getfield(lp, 'user_id') == BPAR then
1307          Np.first = lp; Np.nuc = lp; Np.last = lp
1308          return Np
1309       elseif Np and getfield(lp, 'user_id') == BOXB then
1310          Np.first = lp; Np.nuc = lp; Np.last = lp
1311          if Nq then
1312             if Nq.met then
1313                Np.class = fast_find_char_class('boxbdd', Nq.met)
1314             end
1315             Np.met = Nq.met; Np.pre = 0; Np.post = 0; Np.xspc = 0
1316             Np.auto_xspc, Np.auto_kspc = 0, 0
1317          end
1318          return Np
1319       else
1320          return Np
1321       end
1322    end
1323
1324     local function whatsit_after_callback(s, Nq, Np)
1325        if not s and getfield(Nq.nuc, 'user_id') == BPAR then
1326          local x, y = node_prev(Nq.nuc), Nq.nuc
1327          Nq.first, Nq.nuc, Nq.last = x, x, x
1328          if Np then
1329             if Np.met then
1330                Nq.class = fast_find_char_class('parbdd', Np.met)
1331             end
1332             Nq.met = Np.met; Nq.pre = 0; Nq.post = 0; Nq.xspc = 0
1333             Nq.auto_xspc, Nq.auto_kspc = 0, 0
1334          end
1335          head = node_remove(head, y)
1336          node_free(y)
1337        elseif not s and getfield(Nq.nuc, 'user_id') == BOXB then
1338          local x, y = node_prev(Nq.nuc), Nq.nuc
1339          Nq.first, Nq.nuc, Nq.last = x, x, x
1340          if Np then
1341             if Np.met then
1342                Nq.class = fast_find_char_class('boxbdd', Np.met)
1343             end
1344             Nq.met = Np.met; Nq.pre = 0; Nq.post = 0; Nq.xspc = 0
1345             Nq.auto_xspc, Nq.auto_kspc = 0, 0
1346          end
1347          head = node_remove(head, y)
1348          node_free(y)
1349       end
1350       return s
1351    end
1352
1353    luatexbase.add_to_callback("luatexja.jfmglue.whatsit_getinfo", whatsit_callback,
1354                               "luatexja.beginpar.np_info", 1)
1355    luatexbase.add_to_callback("luatexja.jfmglue.whatsit_after", whatsit_after_callback,
1356                               "luatexja.beginpar.np_info_after", 1)
1357
1358 end
1359
1360 luatexja.jfmglue.after_hlist = after_hlist
1361 luatexja.jfmglue.check_box_high = check_box_high