src/ltj-jfmglue.lua

   1 --
   2 -- ltj-jfmglue.lua
   3 --
   4 luatexbase.provides_module({
   5   name = 'luatexja.jfmglue',
   6   date = '2019/09/26',
   7   description = 'Insertion process of JFM glues, [x]kanjiskip and others',
   8 })
   9 luatexja.jfmglue = luatexja.jfmglue or {}
  10
  11 luatexja.load_module('base');      local ltjb = luatexja.base
  12 luatexja.load_module('stack');     local ltjs = luatexja.stack
  13 luatexja.load_module('jfont');     local ltjf = luatexja.jfont
  14 luatexja.load_module('direction'); local ltjd = luatexja.direction
  15 luatexja.load_module('setwidth');  local ltjw = luatexja.setwidth
  16 luatexja.load_module('lotf_aux');  local ltju = luatexja.lotf_aux
  17 local pairs = pairs
  18
  19 --local to_node = node.direct.tonode
  20 --local to_direct = node.direct.todirect
  21
  22 local setfield = node.direct.setfield
  23 local setglue = luatexja.setglue
  24 local getfield = node.direct.getfield
  25 local getid = node.direct.getid
  26 local getfont = node.direct.getfont
  27 local getlist = node.direct.getlist
  28 local getchar = node.direct.getchar
  29 local getsubtype = node.direct.getsubtype
  30 local if_lang_ja
  31 do
  32     local lang_ja = luatexja.lang_ja
  33     local getlang = node.direct.getlang
  34     if_lang_ja = getlang
  35       and function (n) return getlang(n)==lang_ja end
  36       or  function (n) return getfield(n,'lang')==lang_ja end
  37 end
  38
  39 local has_attr = node.direct.has_attribute
  40 local set_attr = node.direct.set_attribute
  41 local insert_before = node.direct.insert_before
  42 local insert_after = node.direct.insert_after
  43 local node_next = node.direct.getnext
  44 local ltjd_make_dir_whatsit = ltjd.make_dir_whatsit
  45 local ltjf_font_metric_table = ltjf.font_metric_table
  46 local ltjf_find_char_class = ltjf.find_char_class
  47 local node_new = node.direct.new
  48 local node_copy = node.direct.copy
  49 local node_tail = node.direct.tail
  50 local node_free = node.direct.free
  51 local node_remove = node.direct.remove
  52
  53 local id_glyph = node.id('glyph')
  54 local id_hlist = node.id('hlist')
  55 local id_vlist = node.id('vlist')
  56 local id_rule = node.id('rule')
  57 local id_ins = node.id('ins')
  58 local id_mark = node.id('mark')
  59 local id_adjust = node.id('adjust')
  60 local id_disc = node.id('disc')
  61 local id_whatsit = node.id('whatsit')
  62 local id_math = node.id('math')
  63 local id_glue = node.id('glue')
  64 local id_kern = node.id('kern')
  65 local id_penalty = node.id('penalty')
  66
  67 local id_jglyph    = 512 -- Japanese character
  68 local id_box_like  = 256 -- vbox, shifted hbox
  69 local id_pbox      = 257 -- already processed nodes (by \unhbox)
  70 local id_pbox_w    = 258 -- cluster which consists of a whatsit
  71 local sid_user = node.subtype('user_defined')
  72
  73 local ITALIC       = luatexja.icflag_table.ITALIC
  74 local PACKED       = luatexja.icflag_table.PACKED
  75 local KINSOKU      = luatexja.icflag_table.KINSOKU
  76 local FROM_JFM     = luatexja.icflag_table.FROM_JFM
  77 local PROCESSED    = luatexja.icflag_table.PROCESSED
  78 local IC_PROCESSED = luatexja.icflag_table.IC_PROCESSED
  79 local BOXBDD       = luatexja.icflag_table.BOXBDD
  80 local PROCESSED_BEGIN_FLAG = luatexja.icflag_table.PROCESSED_BEGIN_FLAG
  81
  82 local attr_icflag = luatexbase.attributes['ltj@icflag']
  83 local kanji_skip
  84 local xkanji_skip
  85 local table_current_stack
  86 local list_dir
  87 local capsule_glyph
  88 local tex_dir
  89 local attr_ablshift
  90 local set_np_xspc_jachar, set_np_xspc_alchar
  91 local set_np_xspc_jachar_hbox
  92
  93 local ltjs_orig_char_table = ltjs.orig_char_table
  94
  95 local function get_attr_icflag(p)
  96    return (has_attr(p, attr_icflag) or 0)%PROCESSED_BEGIN_FLAG
  97 end
  98
  99 -------------------- Helper functions
 100
 101 -- This function is called only for acquiring `special' characters.
 102 local function fast_find_char_class(c,m)
 103    return m.chars[c] or 0
 104 end
 105
 106 -- 文字クラスの決定
 107 local slow_find_char_class
 108 do
 109    local start_time_measure = ltjb.start_time_measure
 110    local stop_time_measure = ltjb.stop_time_measure
 111    slow_find_char_class = function (c, m, oc)
 112       local cls = ltjf_find_char_class(oc, m)
 113       if oc~=c and c and cls==0 then
 114          return ltjf_find_char_class(c, m)
 115       else
 116          return cls
 117       end
 118    end
 119 end
 120
 121 local function skip_table_to_glue(n)
 122    local g, st = node_new(id_glue), ltjs.fast_get_stack_skip(n)
 123    setglue(g, st.width, st.stretch, st.shrink, st.stretch_order, st.shrink_order)
 124    return g, (st.width==1073741823)
 125 end
 126
 127
 128 -- penalty 値の計算
 129 local add_penalty
 130 do
 131 local setpenalty = node.direct.setpenalty or function(n, a) setfield(n,'penalty',a) end
 132 local getpenalty = node.direct.getpenalty or function(n) return getfield(n,'penalty') end
 133 function add_penalty(p,e)
 134    local pp = getpenalty(p)
 135    if (pp>-10000) and (pp<10000) then
 136       if e>=10000 then       setpenalty(p, 10000)
 137       elseif e<=-10000 then  setpenalty(p, -10000)
 138       else
 139          pp = pp + e
 140          if pp>=10000 then      setpenalty(p, 10000)
 141          elseif pp<=-10000 then setpenalty(p, -10000)
 142          else                   setpenalty(p, pp) end
 143       end
 144    end
 145 end
 146 end
 147
 148 -- 「異なる JFM」の間の調整方法
 149 luatexja.jfmglue.diffmet_rule = math.two_paverage
 150 function math.two_add(a,b) return a+b end
 151 function math.two_average(a,b) return (a+b)*0.5 end
 152 function math.two_paverage(a,b) return (a+b)/2 end
 153 function math.two_pleft(a,b) return a end
 154 function math.two_pright(a,b) return b end
 155
 156 local head -- the head of current list
 157
 158 local Np, Nq, Bp
 159 local widow_Bp, widow_Np -- \jcharwidowpenalty 挿入位置管理用
 160
 161 local non_ihb_flag -- JFM グルー挿入抑止用 flag
 162 -- false: \inhibitglue 指定時 true: それ以外
 163
 164 -------------------- hlist 内の文字の検索
 165
 166 local first_char, last_char, find_first_char
 167 local check_box_high
 168 do
 169 local ltjd_glyph_from_packed = ltjd.glyph_from_packed
 170 local function check_box(box_ptr, box_end)
 171    local p = box_ptr; local found_visible_node = false
 172    if not p then
 173       find_first_char = false; last_char = nil
 174       return true
 175    end
 176    while p and p~=box_end do
 177       local pid = getid(p)
 178       if pid==id_kern and getsubtype(p)==2 then
 179          p = node_next(node_next(node_next(p))); pid = getid(p) -- p must be glyph_node
 180        end
 181       if pid==id_glyph then
 182          repeat
 183             if find_first_char then
 184                first_char = p; find_first_char = false
 185             end
 186             last_char = p; found_visible_node = true; p=node_next(p)
 187             if (not p) or p==box_end then
 188                return found_visible_node
 189             end
 190          until getid(p)~=id_glyph
 191          pid = getid(p) -- p must be non-nil
 192       end
 193       if pid==id_kern then
 194          local pa = get_attr_icflag(p)
 195          if pa==IC_PROCESSED then
 196             -- do nothing
 197          elseif getsubtype(p)==2 then
 198             p = node_next(node_next(p));
 199             -- Note that another node_next will be executed outside this if-statement.
 200          else
 201             found_visible_node = true
 202             find_first_char = false; last_char = nil
 203          end
 204       elseif pid==id_hlist then
 205          if PACKED == get_attr_icflag(p) then
 206             local s = ltjd_glyph_from_packed(p)
 207             if find_first_char then
 208                first_char = s; find_first_char = false
 209             end
 210             last_char = s; found_visible_node = true
 211          else
 212             if getfield(p, 'shift')==0 then
 213                last_char = nil
 214                if check_box(getlist(p), nil) then found_visible_node = true end
 215                find_first_char = false
 216             else
 217                find_first_char = false; last_char = nil
 218             end
 219          end
 220       elseif pid==id_math then
 221          if find_first_char then
 222             first_char = p; find_first_char = false
 223          end
 224          last_char = p; found_visible_node = true
 225       elseif pid==id_rule and get_attr_icflag(p)==PACKED then
 226          -- do nothing
 227       elseif not (pid==id_ins   or pid==id_mark
 228                   or pid==id_adjust or pid==id_whatsit
 229                   or pid==id_penalty) then
 230          found_visible_node = true
 231          find_first_char = false; last_char = nil
 232       end
 233       p = node_next(p)
 234    end
 235    return found_visible_node
 236 end
 237
 238 check_box_high = function (Nx, box_ptr, box_end)
 239    first_char = nil;  last_char = nil;  find_first_char = true
 240    if check_box(box_ptr, box_end) then
 241       local first_char = first_char
 242       if first_char then
 243          if getid(first_char)==id_glyph then
 244             if if_lang_ja(first_char) then
 245                set_np_xspc_jachar_hbox(Nx, first_char)
 246             else
 247                set_np_xspc_alchar(Nx, getchar(first_char),first_char, 1)
 248             end
 249          else -- math_node
 250             set_np_xspc_alchar(Nx, -1,first_char)
 251          end
 252       end
 253    end
 254    return last_char
 255 end
 256 end
 257 -------------------- Np の計算と情報取得
 258
 259 luatexbase.create_callback("luatexja.jfmglue.whatsit_getinfo", "data",
 260                            function (Np, lp, Nq)
 261                               if Np.nuc then return Np
 262                               else
 263                                  return Np  -- your code
 264                               end
 265                            end)
 266 luatexbase.create_callback("luatexja.jfmglue.whatsit_after", "data",
 267                            function (stat, Nq, Np) return false end)
 268
 269 -- calc next Np
 270 local calc_np
 271 do -- 001 -----------------------------------------------
 272
 273 local traverse = node.direct.traverse
 274 local function check_next_ickern(lp)
 275    local lx = Np.nuc
 276    while lp and getid(lp) == id_kern and ( getsubtype(lp)==0 or
 277      getsubtype(lp)==3 or ITALIC == get_attr_icflag(lp)) do
 278      set_attr(lp, attr_icflag, IC_PROCESSED);
 279      lx, lp = lp, node_next(lp)
 280    end
 281    Np.last = lx; return lp
 282 end
 283
 284 local function calc_np_pbox(lp, last)
 285    local first, nc = (not Np.first), nil
 286    --local lpa = get_attr_icflag(lp)==PACKED and PACKED or KINSOKU -- KINSOKU: dummy
 287    local lpa = get_attr_icflag(lp)
 288    Np.first = Np.first or lp; Np.id = id_pbox
 289    set_attr(lp, attr_icflag, get_attr_icflag(lp));
 290    while lp ~=last and (lpa>=PACKED) and (lpa<BOXBDD) do
 291       local lpi = getid(lp)
 292       if lpa==PACKED then
 293          if lpi==id_rule then lp = node_next(lp) end
 294          nc, lp = lp, node_next(lp)
 295       elseif lpi==id_hlist or lpi==id_vlist then
 296          head, lp, nc = ltjd_make_dir_whatsit(head, lp, list_dir, 'jfm pbox')
 297          Np.first = first and nc or Np.first
 298       else
 299          nc, lp = lp, node_next(lp)
 300       end
 301       first, lpa = false, (lp and has_attr(lp, attr_icflag) or 0)
 302      -- get_attr_icflag() ではいけない！
 303    end
 304    Np.nuc = nc
 305    lp = check_next_ickern(lp)
 306    Np.last_char = check_box_high(Np, Np.first, lp)
 307    return lp
 308 end
 309
 310 local calc_np_aux_glyph_common
 311 do -- 002 ---------------------------------------
 312    local min, max = math.min, math.max
 313    local getwhd = node.direct.getwhd
 314    local attr_jchar_class = luatexbase.attributes['ltj@charclass']
 315    local attr_jchar_code = luatexbase.attributes['ltj@charcode']
 316    local font_getfont = font.getfont
 317    local function calc_np_notdef(lp)
 318       if not font_getfont(getfont(lp)).characters[getchar(lp)] then
 319          local ln = node_next(lp)
 320          if ltju.specified_feature(getfont(lp), 'notdef') and ln and getid(ln)==id_glyph then
 321             set_attr(lp, attr_icflag, PROCESSED)
 322             set_attr(ln, attr_jchar_code, has_attr(lp, attr_jchar_code) or getchar(lp))
 323             set_attr(ln, attr_jchar_class, has_attr(lp, attr_jchar_class) or 0)
 324             Np.nuc, lp = ln, ln
 325          end
 326       end
 327       return lp
 328    end
 329 function calc_np_aux_glyph_common(lp, acc_flag)
 330    Np.nuc, Np.first = lp, (Np.first or lp)
 331    if if_lang_ja(lp) then -- JAchar
 332       Np.id = id_jglyph
 333       local m, mc, cls = set_np_xspc_jachar(Np, lp)
 334       local npi, npf
 335       local w, h, d = getwhd(lp)
 336       if w==0 and h==0 and d==0 then lp = calc_np_notdef(lp) end
 337       lp, head, npi, npf = capsule_glyph(lp, m, mc[cls], head, tex_dir)
 338       Np.first = (Np.first~=Np.nuc) and Np.first or npf or npi
 339       Np.nuc = npi
 340       return true, check_next_ickern(lp);
 341    else --ALchar
 342       Np.id = id_glyph
 343       set_np_xspc_alchar(Np, getchar(lp), lp, 1)
 344       -- loop
 345       local first_glyph, last_glyph = lp
 346       set_attr(lp, attr_icflag, PROCESSED); Np.last = lp
 347       local y_adjust = has_attr(lp,attr_ablshift) or 0
 348       local node_depth = getfield(lp, 'depth') + min(y_adjust, 0)
 349       local adj_depth = (y_adjust>0) and (getfield(lp, 'depth') + y_adjust) or 0
 350       setfield(lp, 'yoffset', getfield(lp, 'yoffset') - y_adjust)
 351       lp = node_next(lp)
 352       for lx in traverse(lp) do
 353          local lai = get_attr_icflag(lx)
 354          if lx==last or  lai>=PACKED then
 355             lp=lx; break
 356          else
 357             local lid = getid(lx)
 358             if lid==id_glyph and not if_lang_ja(lx) then
 359                -- 欧文文字
 360                last_glyph = lx; set_attr(lx, attr_icflag, PROCESSED); Np.last = lx
 361                y_adjust = has_attr(lx,attr_ablshift) or 0
 362                node_depth = max(getfield(lx, 'depth') + min(y_adjust, 0), node_depth)
 363                adj_depth = (y_adjust>0) and max(getfield(lx, 'depth') + y_adjust, adj_depth) or adj_depth
 364                setfield(lx, 'yoffset', getfield(lx, 'yoffset') - y_adjust)
 365             elseif lid==id_kern then
 366                local ls = getsubtype(lx)
 367                if ls==2 then -- アクセント用の kern
 368                   set_attr(lx, attr_icflag, PROCESSED)
 369                   lx = node_next(lx) -- lx: アクセント本体
 370                   if getid(lx)==id_glyph then
 371                      setfield(lx, 'yoffset', getfield(lx, 'yoffset') - (has_attr(lx,attr_ablshift) or 0))
 372                   else -- アクセントは上下にシフトされている
 373                      setfield(lx, 'shift', getfield(lx, 'shift') + (has_attr(lx,attr_ablshift) or 0))
 374                   end
 375                   lx = node_next(node_next(lx))
 376                elseif ls==0  then
 377                   Np.last = lx
 378                elseif (ls==3) or (lai==ITALIC) then
 379                   Np.last = lx; set_attr(lx, attr_icflag, IC_PROCESSED)
 380                else
 381                   lp=lx; break
 382                end
 383             else
 384                lp=lx; break
 385             end
 386          end
 387       end
 388       local r
 389       if adj_depth>node_depth then
 390             r = node_new(id_rule,3)
 391             setfield(r, 'width', 0); setfield(r, 'height', 0)
 392             setfield(r, 'depth',adj_depth); setfield(r, 'dir', tex_dir)
 393             set_attr(r, attr_icflag, PROCESSED)
 394       end
 395       if last_glyph then
 396          Np.last_char = last_glyph
 397          if r then insert_after(head, first_glyph, r) end
 398       else
 399          local npn = Np.nuc
 400          Np.last_char = npn
 401          if r then
 402             local nf, nc = getfont(npn), getchar(npn)
 403             local ct = (font.getfont(nf) or font.fonts[nf] ).characters[nc]
 404             if not ct then -- variation selector
 405                node_free(r)
 406             elseif (ct.left_protruding or 0) == 0 then
 407                head = insert_before(head, npn, r)
 408                Np.first = acc_flag and Np.first or ((Np.first==npn) and r or npn)
 409             elseif (ct.right_protruding or 0) == 0 then
 410                insert_after(head, npn, r); Np.last, lp = r, r
 411             else
 412                ltjb.package_warning_no_line(
 413                   'luatexja',
 414                   'Check depth of glyph node ' .. tostring(npn) .. '(font=' .. nf
 415                      .. ', char=' .. nc .. '),    because its \\lpcode is ' .. tostring(ct.left_protruding)
 416                      .. ' and its \\rpcode is ' .. tostring(ct.right_protruding)
 417                ); node_free(r)
 418             end
 419          end
 420       end
 421       return true, lp
 422    end
 423 end
 424 end -- 002 ---------------------------------------
 425 local calc_np_auxtable
 426 do  -- 002 ---------------------------------------
 427 local ltjw_apply_ashift_math = ltjw.apply_ashift_math
 428 local ltjw_apply_ashift_disc = ltjw.apply_ashift_disc
 429 local node_end_of_math = node.direct.end_of_math
 430 local dir_tate = luatexja.dir_table.dir_tate
 431 local sid_start_link = node.subtype('pdf_start_link')
 432 local sid_start_thread = node.subtype('pdf_start_thread')
 433 local sid_end_link = node.subtype('pdf_end_link')
 434 local sid_end_thread = node.subtype('pdf_end_thread')
 435 calc_np_auxtable = {
 436    [id_glyph] = calc_np_aux_glyph_common,
 437    [id_hlist] = function(lp)
 438       local op, flag
 439       head, lp, op, flag = ltjd_make_dir_whatsit(head, lp, list_dir, 'jfm hlist')
 440       set_attr(op, attr_icflag, PROCESSED)
 441       Np.first = Np.first or op; Np.last = op; Np.nuc = op;
 442       if (flag or getfield(op, 'shift')~=0) then
 443          Np.id = id_box_like
 444       else
 445          Np.id = id_hlist
 446          Np.last_char = check_box_high(Np, getlist(op), nil)
 447       end
 448       return true, lp
 449    end,
 450    [id_vlist] =  function(lp)
 451       local op
 452       head, lp, op = ltjd_make_dir_whatsit(head, lp, list_dir, 'jfm:' .. getid(lp))
 453       Np.first = Np.first or op; Np.last = op; Np.nuc = op;
 454       Np.id = id_box_like;
 455       return true, lp
 456    end,
 457    box_like = function(lp)
 458       Np.first = Np.first or lp; Np.last = lp; Np.nuc = lp;
 459       Np.id = id_box_like;
 460       return true, node_next(lp)
 461    end,
 462    [id_whatsit] = function(lp)
 463       local lps = getsubtype(lp)
 464       if lps==sid_user then
 465          if getfield(lp, 'user_id')==luatexja.userid_table.IHB then
 466             local lq = node_next(lp);
 467             head = node_remove(head, lp); node_free(lp); non_ihb_flag = false
 468             return false, lq;
 469          elseif getfield(lp, 'user_id')==luatexja.userid_table.JA_AL_BDD then
 470             local lq = node_next(lp);
 471             head = node_remove(head, lp); node_free(lp)
 472             return false, lq;
 473          else
 474             set_attr(lp, attr_icflag, PROCESSED)
 475             luatexbase.call_callback("luatexja.jfmglue.whatsit_getinfo",
 476                                      Np, lp, Nq)
 477             if Np.nuc then
 478                Np.id = id_pbox_w; Np.first = Np.nuc; Np.last = Np.nuc;
 479                return true, node_next(lp)
 480             else
 481                return false, node_next(lp)
 482             end
 483          end
 484       else
 485          -- we do special treatment for these whatsit nodes.
 486          if lps == sid_start_link or lps == sid_start_thread then
 487             Np.first = lp
 488          elseif lps == sid_end_link or lps == sid_end_thread then
 489             Np.first, Nq.last = nil, lp;
 490          end
 491          set_attr(lp, attr_icflag, PROCESSED)
 492          return false, node_next(lp)
 493       end
 494    end,
 495    [id_math] = function(lp)
 496       Np.first, Np.nuc = (Np.first or lp), lp;
 497       set_attr(lp, attr_icflag, PROCESSED)
 498       set_np_xspc_alchar(Np, -1, lp)
 499       local end_math  = node_end_of_math(lp)
 500       ltjw_apply_ashift_math(lp, end_math, attr_ablshift)
 501       set_attr(end_math, attr_icflag, PROCESSED)
 502       Np.last, Np.id = end_math, id_math;
 503       return true, node_next(end_math);
 504    end,
 505    [id_glue] = function(lp)
 506       Np.first, Np.nuc, Np.last = (Np.first or lp), lp, lp;
 507       Np.id = getid(lp); set_attr(lp, attr_icflag, PROCESSED)
 508       return true, node_next(lp)
 509    end,
 510    [id_disc] = function(lp)
 511       Np.first, Np.nuc, Np.last = (Np.first or lp), lp, lp;
 512       Np.id = getid(lp); set_attr(lp, attr_icflag, PROCESSED)
 513       ltjw_apply_ashift_disc(lp, (list_dir==dir_tate), tex_dir)
 514       Np.last_char = check_box_high(Np, getfield(lp, 'replace'), nil)
 515       return true, node_next(lp)
 516    end,
 517    [id_kern] = function(lp)
 518       if getsubtype(lp)==2 then
 519          Np.first = Np.first or lp
 520          set_attr(lp, attr_icflag, PROCESSED); lp = node_next(lp)
 521          if getid(lp)==id_glyph then -- アクセント本体
 522             setfield(lp, 'yoffset', getfield(lp, 'yoffset') - (has_attr(lp,attr_ablshift) or 0))
 523          else -- アクセントは上下にシフトされている
 524             setfield(lp, 'shift', getfield(lp, 'shift') + (has_attr(lp,attr_ablshift) or 0))
 525          end
 526          set_attr(lp, attr_icflag, PROCESSED); lp = node_next(lp)
 527          set_attr(lp, attr_icflag, PROCESSED); lp = node_next(lp)
 528          set_attr(lp, attr_icflag, PROCESSED);
 529          return calc_np_aux_glyph_common(lp, true)
 530       else
 531          Np.first = Np.first or lp
 532          Np.id = id_kern; set_attr(lp, attr_icflag, PROCESSED)
 533          Np.last = lp; return true, node_next(lp)
 534       end
 535    end,
 536    [id_penalty] = function(lp)
 537       Bp[#Bp+1] = lp; set_attr(lp, attr_icflag, PROCESSED)
 538       return false, node_next(lp)
 539    end,
 540 }
 541 end -- 002 ---------------------------------------
 542 calc_np_auxtable[id_rule]   = calc_np_auxtable.box_like
 543 calc_np_auxtable[15]        = calc_np_auxtable.box_like
 544
 545 local function calc_np_aux_skip (lp)
 546    set_attr(lp, attr_icflag, PROCESSED)
 547    return false, node_next(lp)
 548 end
 549
 550 function calc_np(last, lp)
 551    local k
 552    -- We assume lp = node_next(Np.last)
 553    Np, Nq, non_ihb_flag = Nq, Np, true
 554    -- We clear `predefined' entries of Np before pairs() loop,
 555    -- because using only pairs() loop is slower.
 556    Np.post, Np.pre, Np.xspc = nil, nil, nil
 557    Np.first, Np.id, Np.last, Np.met, Np.class= nil, nil, nil, nil
 558    Np.auto_kspc, Np.auto_xspc, Np.char, Np.nuc = nil, nil, nil, nil
 559    for k in pairs(Np) do Np[k] = nil end
 560
 561    for k = 1,#Bp do Bp[k] = nil end
 562    while lp ~= last  do
 563       local lpa = has_attr(lp, attr_icflag) or 0
 564       -- unbox 由来ノードの検出
 565       if lpa>=PACKED then
 566          if lpa%PROCESSED_BEGIN_FLAG == BOXBDD then
 567             local lq = node_next(lp)
 568             head = node_remove(head, lp); node_free(lp); lp = lq
 569          else
 570             return calc_np_pbox(lp, last)
 571          end -- id_pbox
 572       else
 573          k, lp = (calc_np_auxtable[getid(lp)] or calc_np_aux_skip)(lp)
 574          if k then return lp end
 575       end
 576    end
 577    Np=nil
 578 end
 579 end -- 001 -----------------------------------------------
 580
 581 -- extract informations from Np
 582 -- We think that "Np is a Japanese character" if Np.met~=nil,
 583 --            "Np is an alphabetic character" if Np.pre~=nil,
 584 --            "Np is not a character" otherwise.
 585 local after_hlist = nil -- global
 586 local after_alchar, extract_np
 587 do
 588   local PRE  = luatexja.stack_table_index.PRE
 589   local POST = luatexja.stack_table_index.POST
 590   local KCAT = luatexja.stack_table_index.KCAT
 591   local XSP  = luatexja.stack_table_index.XSP
 592   local dir_tate = luatexja.dir_table.dir_tate
 593
 594 -- 和文文字のデータを取得
 595    local attr_jchar_class = luatexbase.attributes['ltj@charclass']
 596    local attr_jchar_code = luatexbase.attributes['ltj@charcode']
 597    local attr_autospc = luatexbase.attributes['ltj@autospc']
 598    local attr_autoxspc = luatexbase.attributes['ltj@autoxspc']
 599    local getcomponents = node.direct.getcomponents
 600    --local ltjf_get_vert_glyph = ltjf.get_vert_glyph
 601    function set_np_xspc_jachar(Nx, x)
 602       local m = ltjf_font_metric_table[getfont(x)]
 603       local c, c_glyph = (not getcomponents(x) and ltjs_orig_char_table[x]), getchar(x)
 604       if c and c~=c_glyph then set_attr(x, attr_jchar_code, c) end
 605       c = c or c_glyph
 606       local cls = slow_find_char_class(c, m, c_glyph)
 607       Nx.met, Nx.class, Nx.char = m, cls, c;
 608       local mc = m.char_type; Nx.char_type = mc
 609       if cls~=0 then set_attr(x, attr_jchar_class, cls) end
 610       Nx.pre  = table_current_stack[PRE + c]  or 0
 611       Nx.post = table_current_stack[POST + c] or 0
 612       Nx.xspc = table_current_stack[XSP  + c] or 3
 613       Nx.kcat = table_current_stack[KCAT + c] or 0
 614       Nx.auto_kspc, Nx.auto_xspc = (has_attr(x, attr_autospc)==1), (has_attr(x, attr_autoxspc)==1)
 615       return m, mc, cls
 616    end
 617    function set_np_xspc_jachar_hbox(Nx, x)
 618       local m = ltjf_font_metric_table[getfont(x)]
 619       local c = has_attr(x, attr_jchar_code) or getchar(x)
 620       Nx.met, Nx.char  = m, c; Nx.class = has_attr(x, attr_jchar_class) or 0;
 621       local mc = m.char_type; Nx.char_type = mc
 622       Nx.pre  = table_current_stack[PRE + c]  or 0
 623       Nx.post = table_current_stack[POST + c] or 0
 624       Nx.xspc = table_current_stack[XSP  + c] or 3
 625       Nx.kcat = table_current_stack[KCAT + c] or 0
 626       Nx.auto_kspc, Nx.auto_xspc = (has_attr(x, attr_autospc)==1), (has_attr(x, attr_autoxspc)==1)
 627    end
 628
 629 -- 欧文文字のデータを取得
 630    local floor = math.floor
 631    local nullfunc = function(n) return n end
 632    function set_np_xspc_alchar(Nx, c,x, lig)
 633       if c~=-1 then
 634          local f = (lig ==1) and nullfunc or node_tail
 635          local xc, xs = getcomponents(x), getsubtype(x)
 636          while xc and xs and xs%4>=2 do
 637             x = f(xc);
 638             if getid(x)==id_disc then x, xc, xs = nil, getfield(x,'replace'), 2
 639             else xc, xs = getcomponents(x), getsubtype(x) end
 640          end
 641          c = x and getchar(x) or c
 642          Nx.pre  = table_current_stack[PRE + c]  or 0
 643          Nx.post = table_current_stack[POST + c] or 0
 644       else
 645          Nx.pre, Nx.post = 0, 0
 646       end
 647       Nx.met = nil
 648       Nx.xspc = table_current_stack[XSP  + c] or 3
 649       Nx.auto_xspc = (has_attr(x, attr_autoxspc)==1)
 650    end
 651    local set_np_xspc_alchar = set_np_xspc_alchar
 652
 653    -- change the information for the next loop
 654    -- (will be done if Nx is an alphabetic character or a hlist)
 655    after_hlist = function (Nx)
 656       local s = Nx.last_char
 657       if s then
 658          if getid(s)==id_glyph then
 659             if if_lang_ja(s) then
 660                set_np_xspc_jachar_hbox(Nx, s)
 661             else
 662                set_np_xspc_alchar(Nx, getchar(s), s, 2)
 663             end
 664          else
 665             set_np_xspc_alchar(Nx, -1, s)
 666          end
 667       else
 668          Nx.pre, Nx.met = nil, nil
 669       end
 670    end
 671
 672    after_alchar = function (Nx)
 673       local x = Nx.last_char
 674       return set_np_xspc_alchar(Nx, getchar(x), x, 2)
 675    end
 676
 677 end
 678
 679 -------------------- 最下層の処理
 680
 681 luatexbase.create_callback('luatexja.adjust_jfmglue', 'simple', function(n) return n end)
 682
 683 -- change penalties (or create a new penalty, if needed)
 684 local function handle_penalty_normal(post, pre, g)
 685    luatexbase.call_callback('luatexja.adjust_jfmglue', head, Nq, Np, Bp)
 686    local a = (pre or 0) + (post or 0)
 687    if #Bp == 0 then
 688       if (a~=0 and not(g and getid(g)==id_kern)) then
 689          local p = node_new(id_penalty)
 690          if a<-10000 then a = -10000 elseif a>10000 then a = 10000 end
 691          setfield(p, 'penalty', a)
 692          head = insert_before(head, Np.first, p)
 693          Bp[1]=p;
 694          set_attr(p, attr_icflag, KINSOKU)
 695       end
 696    else for _, v in pairs(Bp) do add_penalty(v,a) end
 697    end
 698 end
 699
 700 local function handle_penalty_always(post, pre, g)
 701    luatexbase.call_callback('luatexja.adjust_jfmglue', head, Nq, Np, Bp)
 702    local a = (pre or 0) + (post or 0)
 703    if #Bp == 0 then
 704       if not (g and getid(g)==id_glue) or a~=0 then
 705          local p = node_new(id_penalty)
 706          if a<-10000 then a = -10000 elseif a>10000 then a = 10000 end
 707          setfield(p, 'penalty', a)
 708          head = insert_before(head, Np.first, p)
 709          Bp[1]=p
 710          set_attr(p, attr_icflag, KINSOKU)
 711       end
 712    else for _, v in pairs(Bp) do add_penalty(v,a) end
 713    end
 714 end
 715
 716 local function handle_penalty_suppress(post, pre, g)
 717    luatexbase.call_callback('luatexja.adjust_jfmglue', head, Nq, Np, Bp)
 718    if #Bp == 0 then
 719       if g and getid(g)==id_glue then
 720          local p = node_new(id_penalty)
 721          setfield(p, 'penalty', 10000); head = insert_before(head, Np.first, p)
 722          Bp[1]=p
 723          set_attr(p, attr_icflag, KINSOKU)
 724       end
 725    else
 726       local a = (pre or 0) + (post or 0)
 727       for _, v in pairs(Bp) do add_penalty(v,a) end
 728    end
 729 end
 730
 731 local function handle_penalty_jwp()
 732    local a = table_current_stack[luatexja.stack_table_index.JWP]
 733    if #widow_Bp == 0 then
 734       if a~=0 then
 735          local p = node_new(id_penalty)
 736          if a<-10000 then a = -10000 elseif a>10000 then a = 10000 end
 737          setfield(p, 'penalty', a)
 738          head = insert_before(head, widow_Np.first, p)
 739          widow_Bp[1]=p;
 740          set_attr(p, attr_icflag, KINSOKU)
 741       end
 742    else for _, v in pairs(widow_Bp) do add_penalty(v,a) end
 743    end
 744 end
 745
 746 -- 和文文字間の JFM glue を node 化
 747 local function new_jfm_glue(mc, bc, ac)
 748 -- bc, ac: char classes
 749    local g = mc[bc][ac]
 750    if g then
 751        if g[1] then
 752            return node_copy(g[1]), g.ratio, false, false, false
 753        else
 754          local f = node_new(id_glue)
 755          set_attr(f, attr_icflag, g.priority)
 756          setglue(f, g.width, g.stretch, g.shrink)
 757          return f, g.ratio, g.kanjiskip_natural, g.kanjiskip_stretch, g.kanjiskip_shrink
 758       end
 759    end
 760    return false, 0
 761 end
 762
 763 -- Nq.last (kern w) .... (glue/kern g) Np.first
 764 local function real_insert(g)
 765    if g then
 766       head  = insert_before(head, Np.first, g)
 767       Np.first = g
 768    end
 769 end
 770
 771
 772 -------------------- 和文文字間空白量の決定
 773 local calc_ja_ja_aux
 774 do
 775    local round = tex.round
 776    local bg_ag = 2*id_glue - id_glue
 777    local bg_ak = 2*id_glue - id_kern
 778    local bk_ag = 2*id_kern - id_glue
 779    local bk_ak = 2*id_kern - id_kern
 780
 781    local function blend_diffmet(b, a, rb, ra)
 782       return round(luatexja.jfmglue.diffmet_rule((1-rb)*b+rb*a, (1-ra)*b+ra*a))
 783    end
 784    calc_ja_ja_aux = function (gb, ga, db, da)
 785       if luatexja.jfmglue.diffmet_rule ~= math.two_pleft and diffmet_rule ~= math.two_pright
 786           and luatexja.jfmglue.diffmet_rule ~= math.two_paverage then
 787          db, da = 0, 1
 788       end
 789       if not gb then
 790          if ga then
 791             gb = node_new(id_kern, 1); setfield(gb, 'kern', 0)
 792          else return nil end
 793       elseif not ga then
 794          ga = node_new(id_kern, 1); setfield(ga, 'kern', 0)
 795       end
 796
 797       local k = 2*getid(gb) - getid(ga)
 798       if k == bg_ag then
 799          -- 両方とも glue．
 800          setglue(gb, blend_diffmet(
 801                         getfield(gb, 'width'), getfield(ga, 'width'), db, da),
 802                      blend_diffmet(
 803                         getfield(gb, 'stretch'), getfield(ga, 'stretch'), db, da),
 804                      -blend_diffmet(
 805                      -getfield(gb, 'shrink'), -getfield(ga, 'shrink'), db, da))
 806          node_free(ga)
 807          return gb
 808       elseif k == bk_ak then
 809          -- 両方とも kern．
 810          setfield(gb, 'kern', blend_diffmet(
 811                      getfield(gb, 'kern'), getfield(ga, 'kern'), db, da))
 812          node_free(ga)
 813          return gb
 814       elseif k == bk_ag then
 815          -- gb: kern, ga: glue
 816          setglue(ga, blend_diffmet(
 817                         getfield(gb, 'kern'), getfield(ga, 'width'), db, da),
 818                      blend_diffmet(
 819                         0, getfield(ga, 'stretch'), db, da),
 820                      -blend_diffmet(
 821                         0, -getfield(ga, 'shrink'), db, da))
 822          node_free(gb)
 823          return ga, 0, 0, 0
 824       else
 825          -- gb: glue, ga: kern
 826          setglue(gb, blend_diffmet(
 827                         getfield(gb, 'width'), getfield(ga, 'kern'), db, da),
 828                      blend_diffmet(
 829                         getfield(gb, 'stretch'), 0, db, da),
 830                      -blend_diffmet(
 831                         -getfield(gb, 'shrink'), 0, db, da))
 832          node_free(ga)
 833          return gb
 834       end
 835    end
 836 end
 837
 838 local null_skip_table = {0, 0, 0}
 839 -- get kanjiskip
 840 local get_kanjiskip, kanjiskip_jfm_flag
 841 local get_kanjiskip_low
 842 local calc_ja_ja_glue
 843 do
 844    local KANJI_SKIP   = luatexja.icflag_table.KANJI_SKIP
 845    local KANJI_SKIP_JFM   = luatexja.icflag_table.KANJI_SKIP_JFM
 846
 847    get_kanjiskip_low = function(flag, qm, bn, bp, bh)
 848       if flag or (qm.with_kanjiskip and (bn or bp or bh)) then
 849          if kanjiskip_jfm_flag then
 850             local g = node_new(id_glue);
 851             local bk = qm.kanjiskip or null_skip_table
 852             setglue(g, bn and (bn*bk[1]) or 0,
 853                        bp and (bp*bk[2]) or 0,
 854                        bh and (bh*bk[3]) or 0, 0, 0)
 855             set_attr(g, attr_icflag, KANJI_SKIP_JFM)
 856             return g
 857          elseif flag then
 858             return node_copy(kanji_skip)
 859          else
 860             local g = node_new(id_glue);
 861             setglue(g,
 862                bn and (bn*getfield(kanji_skip, 'width')) or 0,
 863                bp and (bp*getfield(kanji_skip, 'stretch')) or 0,
 864                bh and (bh*getfield(kanji_skip, 'shrink')) or 0,
 865                0, 0)
 866             set_attr(g, attr_icflag, KANJI_SKIP_JFM)
 867             return g
 868          end
 869       end
 870    end
 871
 872    get_kanjiskip = function()
 873       if Np.auto_kspc==0 or Nq.auto_kspc==0 then
 874         return nil
 875       elseif Np.auto_kspc or Nq.auto_kspc then
 876          local pm, qm = Np.met, Nq.met
 877          if (pm.char_type==qm.char_type) and (qm.var==pm.var) then
 878              return get_kanjiskip_low(true, qm, 1, 1, 1)
 879          else
 880             local gb = get_kanjiskip_low(true, qm, 1, 1, 1)
 881             local ga = get_kanjiskip_low(true, pm, 1, 1, 1)
 882             return calc_ja_ja_aux(gb, ga, 0, 1)
 883          end
 884       else
 885          local g = node_new(id_glue)
 886          set_attr(g, attr_icflag, kanjiskip_jfm_flag and KANJI_SKIP_JFM or KANJI_SKIP)
 887          return g
 888       end
 889    end
 890
 891    calc_ja_ja_glue = function ()
 892       local qm, pm = Nq.met, Np.met
 893       local qmc, pmc = qm.char_type, pm.char_type
 894       if (qmc==pmc) and (qm.var==pm.var) then
 895          local g, _, kn, kp, kh = new_jfm_glue(qmc, Nq.class, Np.class)
 896          return g, (Np.auto_kspc or Nq.auto_kspc) and get_kanjiskip_low(false, qm, kn, kp, kh)
 897       else
 898          local npn, nqn = Np.nuc, Nq.nuc
 899          local gb, db, bn, bp, bh
 900             = new_jfm_glue(qmc, Nq.class,
 901                            slow_find_char_class(Np.char,
 902                                                 qm, getchar(npn)))
 903          local ga, da, an, ap, ah
 904             = new_jfm_glue(pmc,
 905                            slow_find_char_class(Nq.char,
 906                                                 pm, getchar(nqn)),
 907                                                  Np.class)
 908          local g = calc_ja_ja_aux(gb, ga, db, da)
 909          local k
 910          if (pmc==qmc) and (qm.var==pm.var) then
 911             gb = get_kanjiskip_low(false, qm, bn, bp, bh)
 912             ga = get_kanjiskip_low(false, pm, an, ap, ah)
 913             k = calc_ja_ja_aux(gb, ga, db, da)
 914          end
 915          return g, k
 916       end
 917    end
 918 end
 919
 920 -------------------- 和欧文間空白量の決定
 921
 922 -- get xkanjiskip
 923 local get_xkanjiskip, xkanjiskip_jfm_flag
 924 local get_xkanjiskip_normal, get_xkanjiskip_jfm
 925 local get_xkanjiskip_low
 926 do
 927    local XKANJI_SKIP   = luatexja.icflag_table.XKANJI_SKIP
 928    local XKANJI_SKIP_JFM   = luatexja.icflag_table.XKANJI_SKIP_JFM
 929
 930    get_xkanjiskip_low = function(flag, qm, bn, bp, bh)
 931       if flag or (qm.with_kanjiskip and (bn or bp or bh)) then
 932          if xkanjiskip_jfm_flag then
 933             local g = node_new(id_glue);
 934             local bk = qm.xkanjiskip or null_skip_table
 935             setglue(g, bn and bk[1] or 0,
 936                        bp and bk[2] or 0,
 937                        bh and bk[3] or 0, 0, 0)
 938             set_attr(g, attr_icflag, XKANJI_SKIP_JFM)
 939             return g
 940          elseif flag then
 941             return node_copy(xkanji_skip)
 942          else
 943             local g = node_new(id_glue);
 944             setglue(g,
 945                bn and (bn*getfield(xkanji_skip, 'width')) or 0,
 946                bp and (bp*getfield(xkanji_skip, 'stretch')) or 0,
 947                bh and (bh*getfield(xkanji_skip, 'shrink')) or 0,
 948                0, 0)
 949             set_attr(g, attr_icflag, XKANJI_SKIP_JFM)
 950             return g
 951          end
 952       end
 953    end
 954
 955    get_xkanjiskip = function(Nn)
 956       if Np.auto_xspc==0 or Nq.auto_xspc==0 then
 957         return nil
 958       elseif (Nq.xspc>=2) and (Np.xspc%2==1) and (Nq.auto_xspc or Np.auto_xspc) then
 959          return get_xkanjiskip_low(true, Nn.met, 1, 1, 1)
 960       else
 961          local g = node_new(id_glue)
 962          set_attr(g, attr_icflag, xkanjiskip_jfm_flag and XKANJI_SKIP_JFM or XKANJI_SKIP)
 963          return g
 964       end
 965    end
 966 end
 967
 968 -------------------- 隣接した「塊」間の処理
 969
 970 local function combine_spc(name)
 971    return (Np[name] or Nq[name]) and ((Np[name]~=0) and (Nq[name]~=0))
 972 end
 973
 974 -- NA, NB: alchar or math
 975 local function get_NA_skip()
 976    local pm = Np.met
 977    local g, _, kn, kp, kh = new_jfm_glue(
 978       pm.char_type,
 979       fast_find_char_class(
 980         (Nq.id == id_math and -1 or (Nq.xspc>=2 and 'alchar' or 'nox_alchar')), pm),
 981       Np.class)
 982    local k = ((Nq.xspc>=2) and (Np.xspc%2==1) and combine_spc('auto_xspc'))
 983        and get_xkanjiskip_low(false, pm, kn, kp, kh)
 984    return g, k
 985 end
 986 local function get_NB_skip()
 987    local qm = Nq.met
 988    local g, _, kn, kp, kh = new_jfm_glue(
 989       qm.char_type, Nq.class,
 990       fast_find_char_class(
 991         (Np.id == id_math and -1 or (Np.xspc%2==1 and 'alchar' or 'nox_alchar')), qm)
 992     )
 993    local k = ((Nq.xspc>=2) and (Np.xspc%2==1) and combine_spc('auto_xspc'))
 994          and get_xkanjiskip_low(false, qm, kn, kp, kh)
 995    return g, k
 996 end
 997
 998 local function get_OA_skip(is_kanji)
 999    local pm = Np.met
1000    local g, _, kn, kp, kh = new_jfm_glue(
1001       pm.char_type,
1002       fast_find_char_class(
1003         (((Nq.id==id_glue)or(Nq.id==id_kern)) and 'glue' or 'jcharbdd'), pm),
1004       Np.class)
1005    local k
1006    if is_kanji==0 then
1007       k = combine_spc('auto_kspc') and get_kanjiskip_low(false, pm, kn, kp, kh)
1008    end
1009    return g, k
1010 end
1011 local function get_OB_skip(is_kanji)
1012    local qm = Nq.met
1013    local g, _, kn, kp, kh = new_jfm_glue(
1014       qm.char_type, Nq.class,
1015       fast_find_char_class(
1016         (((Np.id==id_glue)or(Np.id==id_kern)) and 'glue' or 'jcharbdd'), qm))
1017    local k
1018    if is_kanji==0 then
1019       k = combine_spc('auto_kspc') and get_kanjiskip_low(false, qm, kn, kp, kh)
1020    end
1021    return g, k
1022 end
1023
1024 -- (anything) .. jachar
1025 local function handle_np_jachar(mode)
1026    local qid = Nq.id
1027    if qid==id_jglyph or ((qid==id_pbox or qid==id_pbox_w) and Nq.met) then
1028       local g, k
1029       if non_ihb_flag then g, k = calc_ja_ja_glue() end -- M->K
1030       if not g then g = get_kanjiskip() end
1031       handle_penalty_normal(Nq.post, Np.pre, g);
1032       real_insert(g); real_insert(k)
1033    elseif Nq.met then  -- qid==id_hlist
1034       local g, k
1035       if non_ihb_flag then g, k = get_OA_skip(0) end -- O_A->K
1036       if not g then g = get_kanjiskip() end
1037       handle_penalty_normal(0, Np.pre, g); real_insert(g); real_insert(k)
1038    elseif Nq.pre then
1039       local g, k
1040       if non_ihb_flag then g, k = get_NA_skip() end -- N_A->X
1041       if not g then g = get_xkanjiskip(Np) end
1042       handle_penalty_normal((qid==id_hlist and 0 or Nq.post), Np.pre, g);
1043       real_insert(g); real_insert(k)
1044    else
1045       local g = non_ihb_flag and (get_OA_skip()) -- O_A
1046       if qid==id_glue then handle_penalty_normal(0, Np.pre, g)
1047       elseif qid==id_kern then handle_penalty_suppress(0, Np.pre, g)
1048       else handle_penalty_always(0, Np.pre, g)
1049       end
1050       real_insert(g)
1051    end
1052    if mode and Np.kcat%2~=1 then
1053       widow_Np.first, widow_Bp, Bp = Np.first, Bp, widow_Bp
1054    end
1055 end
1056
1057
1058 -- jachar .. (anything)
1059 local function handle_nq_jachar()
1060     if Np.pre then
1061       local g = non_ihb_flag and get_NB_skip() or get_xkanjiskip(Nq) -- N_B->X
1062       handle_penalty_normal(Nq.post, (Np.id==id_hlist and 0 or Np.pre), g); real_insert(g)
1063    else
1064       local g =non_ihb_flag and  (get_OB_skip()) -- O_B
1065       if Np.id==id_glue then handle_penalty_normal(Nq.post, 0, g)
1066       elseif Np.id==id_kern then handle_penalty_suppress(Nq.post, 0, g)
1067       else handle_penalty_always(Nq.post, 0, g)
1068       end
1069       real_insert(g)
1070    end
1071 end
1072
1073 -- (anything) .. (和文文字で始まる hlist)
1074 local function handle_np_ja_hlist()
1075    local qid = Nq.id
1076    if qid==id_jglyph or ((qid==id_pbox or qid == id_pbox_w) and Nq.met) then
1077       local g = non_ihb_flag and get_OB_skip(0) or get_kanjiskip() -- O_B->K
1078       handle_penalty_normal(Nq.post, 0, g); real_insert(g)
1079    elseif Nq.met then  -- Nq.id==id_hlist
1080       local g = get_kanjiskip() -- K
1081       handle_penalty_suppress(0, 0, g); real_insert(g)
1082    elseif Nq.pre then
1083       local g = get_xkanjiskip(Np) -- X
1084       handle_penalty_suppress(0, 0, g); real_insert(g)
1085    end
1086 end
1087
1088 -- (和文文字で終わる hlist) .. (anything)
1089 local function handle_nq_ja_hlist()
1090    if Np.pre then
1091       local g = get_xkanjiskip(Nq) -- X
1092       handle_penalty_suppress(0, 0, g); real_insert(g)
1093    end
1094 end
1095
1096
1097 -- Nq が前側のクラスタとなることによる修正
1098 local adjust_nq
1099 do
1100    local adjust_nq_aux = {
1101       [id_glyph] = function() after_alchar(Nq) end, -- after_alchar(Nq)
1102       [id_hlist]  = function() after_hlist(Nq) end,
1103       [id_pbox]  = function() after_hlist(Nq) end,
1104       [id_disc]  = function() after_hlist(Nq) end,
1105       [id_pbox_w]  = function()
1106                         luatexbase.call_callback("luatexja.jfmglue.whatsit_after",
1107                                                  false, Nq, Np)
1108                      end,
1109    }
1110
1111    adjust_nq=function()
1112       local x = adjust_nq_aux[Nq.id]
1113       if x then x()  end
1114    end
1115 end
1116
1117
1118 -------------------- 開始・終了時の処理
1119 do
1120 local node_prev = node.direct.getprev
1121 -- リスト末尾の処理
1122 local function handle_list_tail(mode, last)
1123    adjust_nq()
1124    if mode then
1125       -- the current list is to be line-breaked.
1126       -- Insert \jcharwidowpenalty
1127       if widow_Np.first then handle_penalty_jwp() end
1128    else
1129       Np=Nq
1130       -- the current list is the contents of a hbox
1131       local npi, pm = Np.id, Np.met
1132       if npi == id_jglyph or (npi==id_pbox and pm) then
1133          local g = new_jfm_glue(pm.char_type, Np.class, fast_find_char_class('boxbdd', pm))
1134          if g then
1135             set_attr(g, attr_icflag, BOXBDD)
1136             head = insert_after(head, Np.last, g)
1137          end
1138       end
1139    end
1140 end
1141
1142 -- リスト先頭の処理
1143 local function handle_list_head(par_indented)
1144    local npi, pm = Np.id, Np.met
1145    if npi ==  id_jglyph or (npi==id_pbox and pm) then
1146       if non_ihb_flag then
1147          local g = new_jfm_glue(pm.char_type, fast_find_char_class(par_indented, pm), Np.class)
1148          if g then
1149             set_attr(g, attr_icflag, BOXBDD)
1150             if getid(g)==id_glue and #Bp==0 then
1151                local h = node_new(id_penalty)
1152                setfield(h, 'penalty', 10000); set_attr(h, attr_icflag, BOXBDD)
1153             end
1154             head = insert_before(head, Np.first, g)
1155          end
1156       end
1157    end
1158 end
1159
1160 -- initialize
1161 -- return value: (the initial cursor lp), (last node)
1162 local init_var
1163 do
1164    local id_local = node.id('local_par')
1165    local KANJI_SKIP   = luatexja.icflag_table.KANJI_SKIP
1166    local XKANJI_SKIP   = luatexja.icflag_table.XKANJI_SKIP
1167    local KSK  = luatexja.stack_table_index.KSK
1168    local XSK  = luatexja.stack_table_index.XSK
1169    local dir_yoko = luatexja.dir_table.dir_yoko
1170    local dir_tate = luatexja.dir_table.dir_tate
1171    local attr_yablshift = luatexbase.attributes['ltj@yablshift']
1172    local attr_tablshift = luatexbase.attributes['ltj@tablshift']
1173    local table_pool = {
1174       {}, {}, {first=nil},
1175       { auto_kspc=nil, auto_xspc=nil, char=nil, class=nil,
1176         first=nil, id=nil, last=nil, met=nil, nuc=nil,
1177         post=nil, pre=nil, xspc=nil, },
1178       { auto_kspc=nil, auto_xspc=nil, char=nil, class=nil,
1179         first=nil, id=nil, last=nil, met=nil, nuc=nil,
1180         post=nil, pre=nil, xspc=nil, },
1181    }
1182    init_var = function (mode,dir)
1183       -- 1073741823: max_dimen
1184       Bp, widow_Bp, widow_Np, Np, Nq
1185          = table_pool[1], table_pool[2], table_pool[3], table_pool[4], table_pool[5]
1186       for i=1,5 do for j,_ in pairs(table_pool[i]) do table_pool[i][j]=nil end end
1187       table_current_stack = ltjs.table_current_stack
1188
1189       list_dir, tex_dir = (ltjs.list_dir or dir_yoko), (dir or 'TLT')
1190       local is_dir_tate = list_dir==dir_tate
1191       capsule_glyph = is_dir_tate and ltjw.capsule_glyph_tate or ltjw.capsule_glyph_yoko
1192       attr_ablshift = is_dir_tate and attr_tablshift or attr_yablshift
1193       local TEMP = node_new(id_glue)
1194       -- TEMP is a dummy node, which will be freed at the end of the callback.
1195       -- ithout this node, set_attr(kanji_skip, ...) somehow creates an "orphaned"  attribute list.
1196
1197       do
1198           kanji_skip, kanjiskip_jfm_flag = skip_table_to_glue(KSK)
1199           set_attr(kanji_skip, attr_icflag, KANJI_SKIP)
1200       end
1201
1202       do
1203           xkanji_skip, xkanjiskip_jfm_flag = skip_table_to_glue(XSK)
1204           set_attr(xkanji_skip, attr_icflag, XKANJI_SKIP)
1205       end
1206
1207       if mode then
1208          -- the current list is to be line-breaked:
1209          -- hbox from \parindent is skipped.
1210          local lp, par_indented, lpi, lps  = head, 'boxbdd', getid(head), getsubtype(head)
1211          while lp and
1212             ((lpi==id_whatsit and lps~=sid_user)
1213                or ((lpi==id_hlist) and (lps==3))
1214                or (lpi==id_local)) do
1215             if (lpi==id_hlist) and (lps==3) then
1216                Np.char, par_indented = 'parbdd', 'parbdd'
1217                Np.width = getfield(lp, 'width')
1218             end
1219             lp=node_next(lp); lpi, lps = getid(lp), getsubtype(lp) end
1220          return lp, node_tail(head), par_indented, TEMP
1221       else
1222          return head, nil, 'boxbdd', TEMP
1223       end
1224    end
1225 end
1226
1227 local ensure_tex_attr = ltjb.ensure_tex_attr
1228 local function cleanup(mode, TEMP)
1229    -- luatexja.ext_show_node_list(to_node(head), '> ', print)
1230    -- adjust attr_icflag for avoiding error
1231    if tex.getattribute(attr_icflag)~=0 then ensure_tex_attr(attr_icflag, 0) end
1232    node_free(kanji_skip);
1233    node_free(xkanji_skip); node_free(TEMP)
1234
1235    if mode then
1236       local h = node_next(head)
1237       if getid(h) == id_penalty and getfield(h, 'penalty') == 10000 then
1238          h = node_next(h)
1239          if getid(h) == id_glue and getsubtype(h) == 15 and not node_next(h) then
1240             return false
1241          end
1242       end
1243    end
1244    return head
1245 end
1246 -------------------- 外部から呼ばれる関数
1247
1248 -- main interface
1249 function luatexja.jfmglue.main(ahead, mode, dir)
1250    if not ahead then return ahead end
1251    --luatexja.ext_show_node_list(to_node(ahead ), '>B ', print)
1252    --print()
1253    head = ahead;
1254    local lp, last, par_indented, TEMP = init_var(mode,dir)
1255    lp = calc_np(last, lp)
1256    if Np then
1257       handle_list_head(par_indented)
1258       lp = calc_np(last,lp);
1259       while Np do
1260          adjust_nq();
1261          local pid, pm = Np.id, Np.met
1262          -- 挿入部
1263          if pid == id_jglyph then
1264             handle_np_jachar(mode)
1265          elseif pm then
1266             if pid==id_hlist then handle_np_ja_hlist()
1267             else handle_np_jachar() end
1268          elseif Nq.met then
1269             if Nq.id==id_hlist then handle_nq_ja_hlist()
1270             else handle_nq_jachar() end
1271          end
1272          lp = calc_np(last,lp)
1273       end
1274       handle_list_tail(mode, last)
1275    end
1276    --luatexja.ext_show_node_list(to_node(ahead ), '>A ', print)
1277    --print()
1278    return cleanup(mode, TEMP)
1279 end
1280 end
1281
1282 do
1283    local IHB  = luatexja.userid_table.IHB
1284    local BPAR = luatexja.userid_table.BPAR
1285    local BOXB = luatexja.userid_table.BOXB
1286    local node_prev = node.direct.getprev
1287    local node_write = node.direct.write
1288
1289    -- \inhibitglue
1290    function luatexja.jfmglue.create_inhibitglue_node()
1291       local tn = node_new(id_whatsit, sid_user)
1292       setfield(tn, 'user_id', IHB)
1293       setfield(tn, 'type', 100)
1294       setfield(tn, 'value', 1)
1295       node_write(tn)
1296    end
1297
1298    -- Node for indicating beginning of a paragraph
1299    -- (for ltjsclasses)
1300    function luatexja.jfmglue.create_beginpar_node()
1301       local tn = node_new(id_whatsit, sid_user)
1302       setfield(tn, 'user_id', BPAR)
1303       setfield(tn, 'type', 100)
1304       setfield(tn, 'value', 1)
1305       node_write(tn)
1306    end
1307
1308    -- Node for indicating a head/end of a box
1309    function luatexja.jfmglue.create_boxbdd_node()
1310       local tn = node_new(id_whatsit, sid_user)
1311       setfield(tn, 'user_id', BOXB)
1312       setfield(tn, 'type', 100)
1313       setfield(tn, 'value', 1)
1314       node_write(tn)
1315    end
1316
1317    local function whatsit_callback(Np, lp, Nq)
1318       if Np and Np.nuc then return Np
1319       elseif Np and getfield(lp, 'user_id') == BPAR then
1320          Np.first = lp; Np.nuc = lp; Np.last = lp
1321          return Np
1322       elseif Np and getfield(lp, 'user_id') == BOXB then
1323          Np.first = lp; Np.nuc = lp; Np.last = lp
1324          if Nq then
1325             if Nq.met then
1326                Np.class = fast_find_char_class('boxbdd', Nq.met)
1327             end
1328             Np.met = Nq.met; Np.pre = 0; Np.post = 0; Np.xspc = 0
1329             Np.auto_xspc, Np.auto_kspc = 0, 0
1330          end
1331          return Np
1332       else
1333          return Np
1334       end
1335    end
1336
1337     local function whatsit_after_callback(s, Nq, Np)
1338        if not s and getfield(Nq.nuc, 'user_id') == BPAR then
1339          local x, y = node_prev(Nq.nuc), Nq.nuc
1340          Nq.first, Nq.nuc, Nq.last = x, x, x
1341          if Np then
1342             if Np.met then
1343                Nq.class = fast_find_char_class('parbdd', Np.met)
1344             end
1345             Nq.met = Np.met; Nq.pre = 0; Nq.post = 0; Nq.xspc = 0
1346             Nq.auto_xspc, Nq.auto_kspc = 0, 0
1347          end
1348          head = node_remove(head, y)
1349          node_free(y)
1350        elseif not s and getfield(Nq.nuc, 'user_id') == BOXB then
1351          local x, y = node_prev(Nq.nuc), Nq.nuc
1352          Nq.first, Nq.nuc, Nq.last = x, x, x
1353          if Np then
1354             if Np.met then
1355                Nq.class = fast_find_char_class('boxbdd', Np.met)
1356             end
1357             Nq.met = Np.met; Nq.pre = 0; Nq.post = 0; Nq.xspc = 0
1358             Nq.auto_xspc, Nq.auto_kspc = 0, 0
1359          end
1360          head = node_remove(head, y)
1361          node_free(y)
1362       end
1363       return s
1364    end
1365
1366    luatexbase.add_to_callback("luatexja.jfmglue.whatsit_getinfo", whatsit_callback,
1367                               "luatexja.beginpar.np_info", 1)
1368    luatexbase.add_to_callback("luatexja.jfmglue.whatsit_after", whatsit_after_callback,
1369                               "luatexja.beginpar.np_info_after", 1)
1370
1371 end
1372
1373 luatexja.jfmglue.after_hlist = after_hlist
1374 luatexja.jfmglue.check_box_high = check_box_high