OSDN Git Service

Fix #41556
[luatex-ja/luatexja.git] / src / ltj-jfmglue.lua
1 --
2 -- ltj-jfmglue.lua
3 --
4 luatexbase.provides_module({
5   name = 'luatexja.jfmglue',
6   date = '2021-02-11',
7   description = 'Insertion process of JFM glues, [x]kanjiskip and others',
8 })
9 luatexja.jfmglue = luatexja.jfmglue or {}
10
11 luatexja.load_module 'base';      local ltjb = luatexja.base
12 luatexja.load_module 'stack';     local ltjs = luatexja.stack
13 luatexja.load_module 'jfont';     local ltjf = luatexja.jfont
14 luatexja.load_module 'direction'; local ltjd = luatexja.direction
15 luatexja.load_module 'setwidth';  local ltjw = luatexja.setwidth
16 luatexja.load_module 'lotf_aux';  local ltju = luatexja.lotf_aux
17 local pairs = pairs
18
19 --local to_node = node.direct.tonode
20 --local to_direct = node.direct.todirect
21
22 local setfield = node.direct.setfield
23 local setglue = luatexja.setglue
24 local getfield = node.direct.getfield
25 local getid = node.direct.getid
26 local getfont = node.direct.getfont
27 local getlist = node.direct.getlist
28 local getchar = node.direct.getchar
29 local getsubtype = node.direct.getsubtype
30 local if_lang_ja
31 do
32     local lang_ja = luatexja.lang_ja
33     local getlang = node.direct.getlang
34     -- glyph with font number 0 (\nullfont) is always considered an ALchar node
35     if_lang_ja = getlang 
36       and function (n) return (getlang(n)==lang_ja)and(getfont(n)~=0) end
37       or  function (n) return (getfield(n,'lang')==lang_ja)and(getfont(n)~=0) end
38 end
39   
40 local has_attr = node.direct.has_attribute
41 local set_attr = node.direct.set_attribute
42 local insert_before = node.direct.insert_before
43 local insert_after = node.direct.insert_after
44 local node_next = node.direct.getnext
45 local ltjd_make_dir_whatsit = ltjd.make_dir_whatsit
46 local ltjf_font_metric_table = ltjf.font_metric_table
47 local ltjf_find_char_class = ltjf.find_char_class
48 local node_new = node.direct.new
49 local node_copy = node.direct.copy
50 local node_tail = node.direct.tail
51 local node_free = node.direct.free
52 local node_remove = node.direct.remove
53
54 local id_glyph = node.id 'glyph'
55 local id_hlist = node.id 'hlist'
56 local id_vlist = node.id 'vlist'
57 local id_rule  = node.id 'rule'
58 local id_ins   = node.id 'ins'
59 local id_mark  = node.id 'mark'
60 local id_adjust = node.id 'adjust'
61 local id_disc  = node.id 'disc'
62 local id_whatsit = node.id 'whatsit'
63 local id_math  = node.id 'math'
64 local id_glue  = node.id 'glue'
65 local id_kern  = node.id 'kern'
66 local id_penalty = node.id 'penalty'
67
68 local id_jglyph    = 512 -- Japanese character
69 local id_box_like  = 256 -- vbox, shifted hbox
70 local id_pbox      = 257 -- already processed nodes (by \unhbox)
71 local id_pbox_w    = 258 -- cluster which consists of a whatsit
72 local sid_user = node.subtype 'user_defined'
73
74 local ITALIC       = luatexja.icflag_table.ITALIC
75 local PACKED       = luatexja.icflag_table.PACKED
76 local KINSOKU      = luatexja.icflag_table.KINSOKU
77 local FROM_JFM     = luatexja.icflag_table.FROM_JFM
78 local PROCESSED    = luatexja.icflag_table.PROCESSED
79 local IC_PROCESSED = luatexja.icflag_table.IC_PROCESSED
80 local BOXBDD       = luatexja.icflag_table.BOXBDD
81 local SPECIAL_JAGLUE = luatexja.icflag_table.SPECIAL_JAGLUE
82 local PROCESSED_BEGIN_FLAG = luatexja.icflag_table.PROCESSED_BEGIN_FLAG
83
84 local attr_icflag = luatexbase.attributes['ltj@icflag']
85 local kanji_skip
86 local xkanji_skip
87 local table_current_stack
88 local list_dir
89 local capsule_glyph
90 local tex_dir
91 local attr_ablshift
92 local set_np_xspc_jachar, set_np_xspc_alchar
93 local set_np_xspc_jachar_hbox
94
95 local ltjs_orig_char_table = ltjs.orig_char_table
96
97 local function get_attr_icflag(p)
98    return (has_attr(p, attr_icflag) or 0)%PROCESSED_BEGIN_FLAG
99 end
100
101 -------------------- Helper functions
102
103 -- This function is called only for acquiring `special' characters.
104 local function fast_find_char_class(c,m)
105    return m.chars[c] or 0
106 end
107
108 -- 文字クラスの決定
109 local slow_find_char_class
110 do
111    local start_time_measure = ltjb.start_time_measure
112    local stop_time_measure = ltjb.stop_time_measure
113    slow_find_char_class = function (c, m, oc)
114       local cls = ltjf_find_char_class(oc, m)
115       if oc~=c and c and cls==0 then
116          return ltjf_find_char_class(c, m)
117       else
118          return cls
119       end
120    end
121 end
122
123 local function skip_table_to_glue(n)
124    local g, st = node_new(id_glue), ltjs.fast_get_stack_skip(n)
125    setglue(g, st.width, st.stretch, st.shrink, st.stretch_order, st.shrink_order)
126    return g, (st.width==1073741823)
127 end
128
129
130 -- penalty 値の計算
131 local add_penalty
132 do
133 local setpenalty = node.direct.setpenalty or function(n, a) setfield(n,'penalty',a) end
134 local getpenalty = node.direct.getpenalty or function(n) return getfield(n,'penalty') end
135 function add_penalty(p,e)
136    local pp = getpenalty(p)
137    if (pp>-10000) and (pp<10000) then
138       if e>=10000 then       setpenalty(p, 10000)
139       elseif e<=-10000 then  setpenalty(p, -10000)
140       else
141          pp = pp + e
142          if pp>=10000 then      setpenalty(p, 10000)
143          elseif pp<=-10000 then setpenalty(p, -10000)
144          else                   setpenalty(p, pp) end
145       end
146    end
147 end
148 end
149
150 -- 「異なる JFM」の間の調整方法
151 luatexja.jfmglue.diffmet_rule = math.two_paverage
152 function math.two_add(a,b) return a+b end
153 function math.two_average(a,b) return (a+b)*0.5 end
154 function math.two_paverage(a,b) return (a+b)/2 end
155 function math.two_pleft(a,b) return a end
156 function math.two_pright(a,b) return b end
157
158 local head -- the head of current list
159
160 local Np, Nq, Bp
161 local widow_Bp, widow_Np -- \jcharwidowpenalty 挿入位置管理用
162
163 local non_ihb_flag -- JFM グルー挿入抑止用 flag
164 -- false: \inhibitglue 指定時 true: それ以外
165
166 -------------------- hlist 内の文字の検索
167
168 local first_char, last_char, find_first_char
169 local check_box_high
170 do
171 local ltjd_glyph_from_packed = ltjd.glyph_from_packed
172 local function check_box(box_ptr, box_end)
173    local p = box_ptr; local found_visible_node = false
174    if not p then
175       find_first_char = false; last_char = nil
176       return true
177    end
178    while p and p~=box_end do
179       local pid = getid(p)
180       if pid==id_kern and getsubtype(p)==2 then
181          p = node_next(node_next(node_next(p))); pid = getid(p) -- p must be glyph_node
182       end
183       if pid==id_glyph then
184          repeat
185             if find_first_char then first_char = p; find_first_char = false end
186             last_char = p; found_visible_node = true; p=node_next(p)
187             if (not p) or p==box_end then return found_visible_node end
188          until getid(p)~=id_glyph
189          pid = getid(p) -- p must be non-nil
190       end
191       if pid==id_kern then
192          local pa = get_attr_icflag(p)
193          if pa==IC_PROCESSED then
194             -- do nothing
195          elseif getsubtype(p)==2 then
196             p = node_next(node_next(p));
197             -- Note that another node_next will be executed outside this if-statement.
198          else
199             found_visible_node = true
200             find_first_char = false; last_char = nil
201          end
202       elseif pid==id_hlist then
203          if PACKED == get_attr_icflag(p) then
204             local s = ltjd_glyph_from_packed(p)
205             if find_first_char then first_char = s; find_first_char = false end
206             last_char = s; found_visible_node = true
207          else
208             if getfield(p, 'shift')==0 then
209                last_char = nil
210                if check_box(getlist(p), nil) then found_visible_node = true end
211                find_first_char = false
212             else
213                find_first_char = false; last_char = nil
214             end
215          end
216       elseif pid==id_math then
217          if find_first_char then first_char = p; find_first_char = false end
218          last_char = p; found_visible_node = true
219       elseif pid==id_rule and get_attr_icflag(p)==PACKED then
220          -- do nothing
221       elseif not (pid==id_ins   or pid==id_mark
222                   or pid==id_adjust or pid==id_whatsit
223                   or pid==id_penalty) then
224          found_visible_node = true
225          find_first_char = false; last_char = nil
226       end
227       p = node_next(p)
228    end
229    return found_visible_node
230 end
231
232 check_box_high = function (Nx, box_ptr, box_end)
233    first_char = nil;  last_char = nil;  find_first_char = true
234    if check_box(box_ptr, box_end) then
235       local first_char = first_char
236       if first_char then
237          if getid(first_char)==id_glyph then
238             if if_lang_ja(first_char) then
239                set_np_xspc_jachar_hbox(Nx, first_char)
240             else
241                set_np_xspc_alchar(Nx, getchar(first_char),first_char, 1)
242             end
243          else -- math_node
244             set_np_xspc_alchar(Nx, -1,first_char)
245          end
246       end
247    end
248    return last_char
249 end
250 end
251 -------------------- Np の計算と情報取得
252
253 luatexbase.create_callback("luatexja.jfmglue.whatsit_getinfo", "data",
254                            function (Np, lp, Nq)
255                               if Np.nuc then return Np
256                               else
257                                  return Np  -- your code
258                               end
259                            end)
260 luatexbase.create_callback("luatexja.jfmglue.whatsit_after", "data",
261                            function (stat, Nq, Np) return false end)
262 luatexbase.create_callback("luatexja.jfmglue.whatsit_last_minute", "data",
263                            function (stat, Nq, Np) return false end)
264
265 -- calc next Np
266 local calc_np 
267 do -- 001 -----------------------------------------------
268
269 local traverse = node.direct.traverse
270 local function check_next_ickern(lp)
271    local lx = Np.nuc
272    while lp and getid(lp) == id_kern and ( getsubtype(lp)==0 or 
273      getsubtype(lp)==3 or ITALIC == get_attr_icflag(lp)) do
274      set_attr(lp, attr_icflag, IC_PROCESSED)
275      lx, lp = lp, node_next(lp)
276    end
277    Np.last = lx; return lp
278 end
279
280 local function calc_np_pbox(lp, last)
281    local first, nc = (not Np.first), nil
282    --local lpa = get_attr_icflag(lp)==PACKED and PACKED or KINSOKU -- KINSOKU: dummy
283    local lpa = get_attr_icflag(lp)
284    Np.first = Np.first or lp; Np.id = id_pbox
285    set_attr(lp, attr_icflag, get_attr_icflag(lp))
286    while lp ~=last and (lpa>=PACKED) and (lpa<BOXBDD) do
287       local lpi = getid(lp)
288       if lpa==PACKED then
289          if lpi==id_rule then lp = node_next(lp) end
290          nc, lp = lp, node_next(lp)
291       elseif lpi==id_hlist or lpi==id_vlist then
292          head, lp, nc = ltjd_make_dir_whatsit(head, lp, list_dir, 'jfm pbox')
293          Np.first = first and nc or Np.first
294       else
295          nc, lp = lp, node_next(lp)
296       end
297       first, lpa = false, (lp and has_attr(lp, attr_icflag) or 0)
298      -- get_attr_icflag() ではいけない!
299    end
300    Np.nuc = nc
301    lp = check_next_ickern(lp)
302    Np.last_char = check_box_high(Np, Np.first, lp)
303    return lp
304 end
305
306 local calc_np_aux_glyph_common
307 do -- 002 ---------------------------------------
308    local min, max = math.min, math.max
309    local getwhd = node.direct.getwhd
310    local attr_jchar_class = luatexbase.attributes['ltj@charclass']
311    local attr_jchar_code = luatexbase.attributes['ltj@charcode']
312    local font_getfont = font.getfont
313    local function calc_np_notdef(lp)
314       if not font_getfont(getfont(lp)).characters[getchar(lp)] then
315          local ln = node_next(lp)
316          if ltju.specified_feature(getfont(lp), 'notdef') and ln and getid(ln)==id_glyph then 
317             set_attr(lp, attr_icflag, PROCESSED)
318             set_attr(ln, attr_jchar_code, has_attr(lp, attr_jchar_code) or getchar(lp))
319             set_attr(ln, attr_jchar_class, has_attr(lp, attr_jchar_class) or 0)
320             Np.nuc, lp = ln, ln
321          end
322       end
323       return lp
324    end 
325 function calc_np_aux_glyph_common(lp, acc_flag)
326    Np.nuc, Np.first = lp, (Np.first or lp)
327    if if_lang_ja(lp) then -- JAchar
328       Np.id = id_jglyph
329       local m, mc, cls = set_np_xspc_jachar(Np, lp)
330       local npi, npf
331       local w, h, d = getwhd(lp)
332       if w==0 and h==0 and d==0 then lp = calc_np_notdef(lp) end
333       lp, head, npi, npf = capsule_glyph(lp, m, mc[cls], head, tex_dir)
334       Np.first = (Np.first~=Np.nuc) and Np.first or npf or npi
335       Np.nuc = npi
336       return true, check_next_ickern(lp);
337    else --ALchar
338       Np.id = id_glyph
339       set_np_xspc_alchar(Np, getchar(lp), lp, 1)
340       -- loop
341       local first_glyph, last_glyph = lp
342       set_attr(lp, attr_icflag, PROCESSED); Np.last = lp
343       local y_adjust = has_attr(lp,attr_ablshift) or 0
344       local node_depth = getfield(lp, 'depth') + min(y_adjust, 0)
345       local adj_depth = (y_adjust>0) and (getfield(lp, 'depth') + y_adjust) or 0
346       setfield(lp, 'yoffset', getfield(lp, 'yoffset') - y_adjust); lp = node_next(lp)
347       local lx=lp
348       while lx do
349          local lai = get_attr_icflag(lx)
350          if lx==last or  lai>=PACKED then break
351          else
352             local lid = getid(lx)
353             if lid==id_glyph and not if_lang_ja(lx) then
354                -- 欧文文字
355                last_glyph = lx; set_attr(lx, attr_icflag, PROCESSED); Np.last = lx
356                y_adjust = has_attr(lx,attr_ablshift) or 0
357                node_depth = max(getfield(lx, 'depth') + min(y_adjust, 0), node_depth)
358                adj_depth = (y_adjust>0) and max(getfield(lx, 'depth') + y_adjust, adj_depth) or adj_depth
359                setfield(lx, 'yoffset', getfield(lx, 'yoffset') - y_adjust); lx = node_next(lx)
360             elseif lid==id_kern then
361                local ls = getsubtype(lx)
362                if ls==2 then -- アクセント用の kern
363                   set_attr(lx, attr_icflag, PROCESSED)
364                   lx = node_next(lx) -- lx: アクセント本体
365                   if getid(lx)==id_glyph then
366                      setfield(lx, 'yoffset', getfield(lx, 'yoffset') - (has_attr(lx,attr_ablshift) or 0))
367                   else -- アクセントは上下にシフトされている
368                      setfield(lx, 'shift', getfield(lx, 'shift') + (has_attr(lx,attr_ablshift) or 0))
369                   end
370                   set_attr(lx, attr_icflag, PROCESSED)
371                   lx = node_next(lx); set_attr(lx, attr_icflag, PROCESSED)
372                   lx = node_next(lx); set_attr(lx, attr_icflag, PROCESSED)
373                elseif ls==0  then
374                   Np.last = lx; lx = node_next(lx)
375                elseif (ls==3) or (lai==ITALIC) then
376                   Np.last = lx; set_attr(lx, attr_icflag, IC_PROCESSED); lx = node_next(lx)
377                else break
378                end
379             else break
380             end
381          end
382       end
383       lp=lx
384       local r
385       if adj_depth>node_depth then
386             r = node_new(id_rule,3)
387             setfield(r, 'width', 0); setfield(r, 'height', 0)
388             setfield(r, 'depth',adj_depth); setfield(r, 'dir', tex_dir)
389             set_attr(r, attr_icflag, PROCESSED)
390       end
391       if last_glyph then
392          Np.last_char = last_glyph
393          if r then insert_after(head, first_glyph, r) end
394       else
395          local npn = Np.nuc
396          Np.last_char = npn
397          if r then
398             local nf, nc = getfont(npn), getchar(npn)
399             local ct = (font.getfont(nf) or font.fonts[nf] ).characters[nc]
400             if not ct then -- variation selector
401                node_free(r)
402             elseif (ct.left_protruding or 0) == 0 then
403                head = insert_before(head, npn, r)
404                Np.first = acc_flag and Np.first or ((Np.first==npn) and r or npn)
405             elseif (ct.right_protruding or 0) == 0 then
406                insert_after(head, npn, r); Np.last, lp = r, r
407             else
408                ltjb.package_warning_no_line(
409                   'luatexja',
410                   'Check depth of glyph node ' .. tostring(npn) .. '(font=' .. nf
411                      .. ', char=' .. nc .. '),    because its \\lpcode is ' .. tostring(ct.left_protruding)
412                      .. ' and its \\rpcode is ' .. tostring(ct.right_protruding)
413                ); node_free(r)
414             end
415          end
416       end
417       return true, lp
418    end
419 end
420 end -- 002 ---------------------------------------
421 local calc_np_auxtable
422 do  -- 002 ---------------------------------------
423 local ltjw_apply_ashift_math = ltjw.apply_ashift_math
424 local ltjw_apply_ashift_disc = ltjw.apply_ashift_disc
425 local node_end_of_math = node.direct.end_of_math
426 local dir_tate = luatexja.dir_table.dir_tate
427 local sid_start_link   = node.subtype 'pdf_start_link'
428 local sid_start_thread = node.subtype 'pdf_start_thread'
429 local sid_end_link     = node.subtype 'pdf_end_link'
430 local sid_end_thread   = node.subtype 'pdf_end_thread'
431 calc_np_auxtable = {
432    [id_glyph] = calc_np_aux_glyph_common,
433    [id_hlist] = function(lp)
434       local op, flag
435       head, lp, op, flag = ltjd_make_dir_whatsit(head, lp, list_dir, 'jfm hlist')
436       set_attr(op, attr_icflag, PROCESSED)
437       Np.first = Np.first or op; Np.last = op; Np.nuc = op;
438       if (flag or getfield(op, 'shift')~=0) then
439          Np.id = id_box_like
440       else
441          Np.id = id_hlist
442          Np.last_char = check_box_high(Np, getlist(op), nil)
443       end
444       return true, lp
445    end,
446    [id_vlist] =  function(lp)
447       local op
448       head, lp, op = ltjd_make_dir_whatsit(head, lp, list_dir, 'jfm:' .. getid(lp))
449       Np.first = Np.first or op; Np.last = op; Np.nuc = op;
450       Np.id = id_box_like;
451       return true, lp
452    end,
453    box_like = function(lp)
454       Np.first = Np.first or lp; Np.last = lp; Np.nuc = lp;
455       Np.id = id_box_like;
456       return true, node_next(lp)
457    end,
458    [id_whatsit] = function(lp)
459       local lps = getsubtype(lp)
460       if lps==sid_user then
461          if getfield(lp, 'user_id')==luatexja.userid_table.IHB then
462             local lq = node_next(lp);
463             head = node_remove(head, lp); node_free(lp); non_ihb_flag = getfield(lp, 'value')~=1
464             return false, lq;
465          elseif getfield(lp, 'user_id')==luatexja.userid_table.JA_AL_BDD then
466             local lq = node_next(lp);
467             head = node_remove(head, lp); node_free(lp)
468             return false, lq;
469          else
470             set_attr(lp, attr_icflag, PROCESSED)
471             luatexbase.call_callback("luatexja.jfmglue.whatsit_getinfo",
472                                      Np, lp, Nq)
473             if Np.nuc then
474                Np.id = id_pbox_w; Np.first = Np.nuc; Np.last = Np.nuc;
475                return true, node_next(lp)
476             else
477                return false, node_next(lp)
478             end
479          end
480       else
481          -- we do special treatment for these whatsit nodes.
482          if lps == sid_start_link or lps == sid_start_thread then
483             Np.first = lp
484          elseif lps == sid_end_link or lps == sid_end_thread then
485             Np.first, Nq.last = nil, lp;
486          end
487          set_attr(lp, attr_icflag, PROCESSED)
488          return false, node_next(lp)
489       end
490    end,
491    [id_math] = function(lp)
492       Np.first, Np.nuc = (Np.first or lp), lp;
493       set_attr(lp, attr_icflag, PROCESSED)
494       set_np_xspc_alchar(Np, -1, lp)
495       local end_math  = node_end_of_math(lp)
496       ltjw_apply_ashift_math(lp, end_math, attr_ablshift)
497       set_attr(end_math, attr_icflag, PROCESSED)
498       Np.last, Np.id = end_math, id_math;
499       return true, node_next(end_math);
500    end,
501    [id_glue] = function(lp)
502       Np.first, Np.nuc, Np.last = (Np.first or lp), lp, lp;
503       Np.id = getid(lp); 
504       local f = luatexbase.call_callback("luatexja.jfmglue.special_jaglue", lp)
505       if f then
506          set_attr(lp, attr_icflag, PROCESSED)
507       end
508       return true, node_next(lp)
509    end,
510    [id_disc] = function(lp)
511       Np.first, Np.nuc, Np.last = (Np.first or lp), lp, lp;
512       Np.id = getid(lp); set_attr(lp, attr_icflag, PROCESSED)
513       ltjw_apply_ashift_disc(lp, (list_dir==dir_tate), tex_dir)
514       Np.last_char = check_box_high(Np, getfield(lp, 'replace'), nil)
515       return true, node_next(lp)
516    end,
517    [id_kern] = function(lp)
518       if getsubtype(lp)==2 then
519          Np.first = Np.first or lp
520          set_attr(lp, attr_icflag, PROCESSED); lp = node_next(lp)
521          if getid(lp)==id_glyph then -- アクセント本体
522             setfield(lp, 'yoffset', getfield(lp, 'yoffset') - (has_attr(lp,attr_ablshift) or 0))
523          else -- アクセントは上下にシフトされている
524             setfield(lp, 'shift', getfield(lp, 'shift') + (has_attr(lp,attr_ablshift) or 0))
525          end
526          set_attr(lp, attr_icflag, PROCESSED); lp = node_next(lp)
527          set_attr(lp, attr_icflag, PROCESSED); lp = node_next(lp)
528          set_attr(lp, attr_icflag, PROCESSED);
529          return calc_np_aux_glyph_common(lp, true)
530       else
531          Np.first = Np.first or lp
532          Np.id = id_kern; set_attr(lp, attr_icflag, PROCESSED)
533          Np.last = lp; return true, node_next(lp)
534       end
535    end,
536    [id_penalty] = function(lp)
537       Bp[#Bp+1] = lp; set_attr(lp, attr_icflag, PROCESSED)
538       return false, node_next(lp)
539    end,
540 }
541 end -- 002 ---------------------------------------
542 calc_np_auxtable[id_rule]   = calc_np_auxtable.box_like
543 calc_np_auxtable[15]        = calc_np_auxtable.box_like
544
545 local function calc_np_aux_skip (lp)
546    set_attr(lp, attr_icflag, PROCESSED)
547    return false, node_next(lp)
548 end
549
550 function calc_np(last, lp)
551    local k
552    -- We assume lp = node_next(Np.last)
553    if Nq and Nq.id==id_pbox_w then
554       luatexbase.call_callback("luatexja.jfmglue.whatsit_last_minute", false, Nq, Np)
555    end
556    Np, Nq, non_ihb_flag = Nq, Np, true
557    -- We clear `predefined' entries of Np before pairs() loop,
558    -- because using only pairs() loop is slower.
559    Np.post, Np.pre, Np.xspc, Np.gk = nil, nil, nil, nil
560    Np.first, Np.id, Np.last, Np.met, Np.class= nil, nil, nil, nil
561    Np.auto_kspc, Np.auto_xspc, Np.char, Np.nuc = nil, nil, nil, nil
562    -- auto_kspc, auto_xspc: normally true/false, 
563    -- but the number 0 when Np is ''the beginning of the box/paragraph''.
564    for k in pairs(Np) do Np[k] = nil end
565
566    for k = 1,#Bp do Bp[k] = nil end
567    while lp ~= last  do
568       local lpa = has_attr(lp, attr_icflag) or 0
569       -- unbox 由来ノードの検出
570       if (lpa>=PACKED) and (lpa%PROCESSED_BEGIN_FLAG<=BOXBDD) then
571          if lpa%PROCESSED_BEGIN_FLAG == BOXBDD then
572             local lq = node_next(lp)
573             head = node_remove(head, lp); node_free(lp); lp = lq
574          else
575             return calc_np_pbox(lp, last)
576          end -- id_pbox
577       else
578          k, lp = (calc_np_auxtable[getid(lp)] or calc_np_aux_skip)(lp)
579          if k then return lp end
580       end
581    end
582    Np=nil
583 end
584 end -- 001 -----------------------------------------------
585
586 -- extract informations from Np
587 -- We think that "Np is a Japanese character" if Np.met~=nil,
588 --            "Np is an alphabetic character" if Np.pre~=nil,
589 --            "Np is not a character" otherwise.
590 local after_hlist = nil -- global
591 local after_alchar, extract_np
592 do
593   local PRE  = luatexja.stack_table_index.PRE
594   local POST = luatexja.stack_table_index.POST
595   local KCAT = luatexja.stack_table_index.KCAT
596   local XSP  = luatexja.stack_table_index.XSP
597   local dir_tate = luatexja.dir_table.dir_tate
598
599 -- 和文文字のデータを取得
600    local attr_jchar_class = luatexbase.attributes['ltj@charclass']
601    local attr_jchar_code = luatexbase.attributes['ltj@charcode']
602    local attr_autospc = luatexbase.attributes['ltj@autospc']
603    local attr_autoxspc = luatexbase.attributes['ltj@autoxspc']
604    local getcomponents = node.direct.getcomponents
605    --local ltjf_get_vert_glyph = ltjf.get_vert_glyph
606    function set_np_xspc_jachar(Nx, x)
607       local m = ltjf_font_metric_table[getfont(x)]
608       local c, c_glyph = (not getcomponents(x) and ltjs_orig_char_table[x]), getchar(x)
609       if c and c~=c_glyph then set_attr(x, attr_jchar_code, c) end
610       c = c or c_glyph
611       local cls = slow_find_char_class(c, m, c_glyph)
612       Nx.met, Nx.class, Nx.char = m, cls, c;
613       local mc = m.char_type; Nx.char_type = mc
614       if cls~=0 then set_attr(x, attr_jchar_class, cls) end
615       Nx.pre  = table_current_stack[PRE + c]  or 0
616       Nx.post = table_current_stack[POST + c] or 0
617       Nx.xspc = table_current_stack[XSP  + c] or 3
618       Nx.kcat = table_current_stack[KCAT + c] or 0
619       Nx.auto_kspc, Nx.auto_xspc = (has_attr(x, attr_autospc)==1), (has_attr(x, attr_autoxspc)==1)
620       return m, mc, cls
621    end
622    function set_np_xspc_jachar_hbox(Nx, x)
623       local m = ltjf_font_metric_table[getfont(x)]
624       local c = has_attr(x, attr_jchar_code) or getchar(x)
625       Nx.met, Nx.char  = m, c; Nx.class = has_attr(x, attr_jchar_class) or 0;
626       local mc = m.char_type; Nx.char_type = mc
627       Nx.pre  = table_current_stack[PRE + c]  or 0
628       Nx.post = table_current_stack[POST + c] or 0
629       Nx.xspc = table_current_stack[XSP  + c] or 3
630       Nx.kcat = table_current_stack[KCAT + c] or 0
631       Nx.auto_kspc, Nx.auto_xspc = (has_attr(x, attr_autospc)==1), (has_attr(x, attr_autoxspc)==1)
632    end
633
634 -- 欧文文字のデータを取得
635    local floor = math.floor
636    local nullfunc = function(n) return n end
637    function set_np_xspc_alchar(Nx, c,x, lig)
638       if c~=-1 then
639          local f = (lig ==1) and nullfunc or node_tail
640          local xc, xs = getcomponents(x), getsubtype(x)
641          while xc and xs and xs%4>=2 do
642             x = f(xc);
643             if getid(x)==id_disc then x, xc, xs = nil, getfield(x,'replace'), 2
644             else xc, xs = getcomponents(x), getsubtype(x) end
645          end
646          c = x and getchar(x) or c
647          Nx.pre  = table_current_stack[PRE + c]  or 0
648          Nx.post = table_current_stack[POST + c] or 0
649       else
650          Nx.pre, Nx.post = 0, 0
651       end
652       Nx.met = nil
653       Nx.xspc = table_current_stack[XSP  + c] or 3
654       Nx.auto_xspc = (has_attr(x, attr_autoxspc)==1)
655    end
656    local set_np_xspc_alchar = set_np_xspc_alchar
657    -- change the information for the next loop
658    -- (will be done if Nx is an alphabetic character or a hlist)
659    after_hlist = function (Nx)
660       local s = Nx.last_char
661       if s then
662          if getid(s)==id_glyph then
663             if if_lang_ja(s) then
664                set_np_xspc_jachar_hbox(Nx, s)
665             else
666                set_np_xspc_alchar(Nx, getchar(s), s, 2)
667             end
668          else
669             set_np_xspc_alchar(Nx, -1, s)
670          end
671       else
672          Nx.pre, Nx.met = nil, nil
673       end
674    end
675    after_alchar = function (Nx)
676       local x = Nx.last_char
677       return set_np_xspc_alchar(Nx, getchar(x), x, 2)
678    end
679
680 end
681
682 -------------------- 最下層の処理
683
684 luatexbase.create_callback('luatexja.adjust_jfmglue', 'simple', function(n) return n end)
685
686 -- change penalties (or create a new penalty, if needed)
687 local function handle_penalty_normal(post, pre, g)
688    luatexbase.call_callback('luatexja.adjust_jfmglue', head, Nq, Np, Bp)
689    local a = (pre or 0) + (post or 0)
690    if #Bp == 0 then
691       if (a~=0 and not(g and getid(g)==id_kern)) then
692          local p = node_new(id_penalty)
693          if a<-10000 then a = -10000 elseif a>10000 then a = 10000 end
694          setfield(p, 'penalty', a); head = insert_before(head, Np.first, p)
695          Bp[1]=p; set_attr(p, attr_icflag, KINSOKU)
696       end
697    else for _, v in pairs(Bp) do add_penalty(v,a) end
698    end
699 end
700
701 local function handle_penalty_always(post, pre, g)
702    luatexbase.call_callback('luatexja.adjust_jfmglue', head, Nq, Np, Bp)
703    local a = (pre or 0) + (post or 0)
704    if #Bp == 0 then
705       if not (g and getid(g)==id_glue) or a~=0 then
706          local p = node_new(id_penalty)
707          if a<-10000 then a = -10000 elseif a>10000 then a = 10000 end
708          setfield(p, 'penalty', a); head = insert_before(head, Np.first, p)
709          Bp[1]=p; set_attr(p, attr_icflag, KINSOKU)
710       end
711    else for _, v in pairs(Bp) do add_penalty(v,a) end
712    end
713 end
714
715 local function handle_penalty_suppress(post, pre, g)
716    luatexbase.call_callback('luatexja.adjust_jfmglue', head, Nq, Np, Bp)
717    if #Bp == 0 then
718       if g and getid(g)==id_glue then
719          local p = node_new(id_penalty)
720          setfield(p, 'penalty', 10000); head = insert_before(head, Np.first, p)
721          Bp[1]=p; set_attr(p, attr_icflag, KINSOKU)
722       end
723    else 
724       local a = (pre or 0) + (post or 0)
725       for _, v in pairs(Bp) do add_penalty(v,a) end
726    end
727 end
728
729 local function handle_penalty_jwp()
730    local a = table_current_stack[luatexja.stack_table_index.JWP]
731    if #widow_Bp == 0 then
732       if a~=0 then
733          local p = node_new(id_penalty)
734          if a<-10000 then a = -10000 elseif a>10000 then a = 10000 end
735          setfield(p, 'penalty', a); head = insert_before(head, widow_Np.first, p)
736          widow_Bp[1]=p; set_attr(p, attr_icflag, KINSOKU)
737       end
738    else for _, v in pairs(widow_Bp) do add_penalty(v,a) end
739    end
740 end
741
742 -- 和文文字間の JFM glue を node 化
743 local function new_jfm_glue(mc, bc, ac)
744 -- bc, ac: char classes
745    local g = mc[bc][ac]
746    if g then
747        if g[1] then
748            return node_copy(g[1]), g.ratio, false, false, false
749        else
750          local f = node_new(id_glue)
751          set_attr(f, attr_icflag, g.priority)
752          setglue(f, g.width, g.stretch, g.shrink)
753          return f, g.ratio, g.kanjiskip_natural, g.kanjiskip_stretch, g.kanjiskip_shrink
754       end
755    end
756    return false, 0
757 end
758
759 -- Nq.last (kern w) .... (glue/kern g) Np.first
760 local function real_insert(g)
761    if g then
762       head  = insert_before(head, Np.first, g)
763       Np.first = g
764       local ngk = Np.gk
765       if not ngk then Np.gk = g
766       elseif type(ngk)=="table" then ngk[#ngk+1]=g
767       else  Np.gk = { ngk, g } end
768    end
769 end
770
771
772 -------------------- 和文文字間空白量の決定
773 local calc_ja_ja_aux
774 do
775    local round = tex.round
776    local bg_ag = 2*id_glue - id_glue
777    local bg_ak = 2*id_glue - id_kern
778    local bk_ag = 2*id_kern - id_glue
779    local bk_ak = 2*id_kern - id_kern
780
781    local function blend_diffmet(b, a, rb, ra)
782       return round(luatexja.jfmglue.diffmet_rule((1-rb)*b+rb*a, (1-ra)*b+ra*a))
783    end
784    local blend_diffmet_inf
785    do
786       local abs, log, log264, floor = math.abs, math.log, math.log(2)*64, math.floor
787       blend_diffmet_inf = function (b, a, bo, ao, rb, ra)
788          local nb, na = (bo and b*2.0^(64*bo) or 0), (ao and a*2.0^(64*ao) or 0)
789          local r = luatexja.jfmglue.diffmet_rule((1-rb)*nb+rb*na, (1-ra)*nb+ra*na)
790          local ro = (r~=0) and floor(log(abs(r))/log264+0.0625) or 0
791          return round(r/2.^(64*ro)), ro
792       end
793    end
794    local getglue = luatexja.getglue
795    calc_ja_ja_aux = function (gb, ga, db, da)
796       if luatexja.jfmglue.diffmet_rule ~= math.two_pleft and diffmet_rule ~= math.two_pright
797           and luatexja.jfmglue.diffmet_rule ~= math.two_paverage then
798          db, da = 0, 1
799       end
800       if not gb then
801          if ga then gb = node_new(id_kern, 1); setfield(gb, 'kern', 0)
802          else return nil end
803       elseif not ga then
804          ga = node_new(id_kern, 1); setfield(ga, 'kern', 0)
805       end
806       local gbw, gaw, gbst, gast, gbsto, gasto, gbsh, gash, gbsho, gasho
807       if getid(gb)==id_glue then
808          gbw, gbst, gbsh, gbsto, gbsho = getglue(gb)
809       else
810          gbw = getfield(gb, 'kern')
811       end
812       if getid(ga)==id_glue then
813          gaw, gast, gash, gasto, gasho = getglue(ga)
814       else
815          gaw = getfield(ga, 'kern')
816       end
817       if not (gbst or gast) then -- 両方とも kern
818          setfield(gb, 'kern', blend_diffmet(gbw, gaw, db, da))
819          node_free(ga); return gb
820       else
821          local gr = gb
822          if not gbst then gr = ga; node_free(gb) else node_free(ga) end
823          gbw = blend_diffmet(gbw or 0, gaw or 0, db, da) -- 結果の自然長
824          gbst, gbsto = blend_diffmet_inf(gbst, gast, gbsto, gasto, db, da) -- 伸び
825          gbsh, gbsho = blend_diffmet_inf(-(gbsh or 0), -(gash or 0), gbsho, gasho, db, da) -- -(縮み)
826          setglue(gr, gbw, gbst, -gbsh, gbsto, gbsho)
827          return gr
828       end
829    end
830 end
831
832 local null_skip_table = {0, 0, 0}
833 -- get kanjiskip
834 local get_kanjiskip, kanjiskip_jfm_flag
835 local get_kanjiskip_low
836 local calc_ja_ja_glue
837 do
838    local KANJI_SKIP   = luatexja.icflag_table.KANJI_SKIP
839    local KANJI_SKIP_JFM   = luatexja.icflag_table.KANJI_SKIP_JFM
840
841    get_kanjiskip_low = function(flag, qm, bn, bp, bh)
842    -- flag = false: kanjiskip そのもの(パラメータ or JFM)
843    --               ノード kanji_skip のコピーで良い場合は nil が帰る
844    -- flag = true: JFM グルーに付随する kanjiskip 自然長/伸び/縮み分
845       if qm.with_kanjiskip and (bn or bp or bh) then
846          if kanjiskip_jfm_flag then
847             local g = node_new(id_glue);
848             local bk = qm.kanjiskip or null_skip_table
849             setglue(g, bn and (bn*bk[1]) or 0, 
850                        bp and (bp*bk[2]) or 0, 
851                        bh and (bh*bk[3]) or 0, 0, 0)
852             set_attr(g, attr_icflag, KANJI_SKIP_JFM)
853             return g
854          elseif flag then
855             local g = node_new(id_glue)
856             local st = bp and (bp*getfield(kanji_skip, 'stretch')) or 0
857             local sh = bh and (bh*getfield(kanji_skip, 'shrink')) or 0
858             setglue(g,
859                bn and (bn*getfield(kanji_skip, 'width')) or 0,
860                st, sh, 
861                (st==0) and 0 or getfield(kanji_skip, 'stretch_order'),
862                (sh==0) and 0 or getfield(kanji_skip, 'shrink_order'))
863             set_attr(g, attr_icflag, KANJI_SKIP_JFM)
864             return g
865          end
866       end
867    end
868    
869    get_kanjiskip = function()
870       if Np.auto_kspc==0 or Nq.auto_kspc==0 then return nil 
871       elseif Np.auto_kspc or Nq.auto_kspc then
872          local pm, qm = Np.met, Nq.met
873          if (pm.char_type==qm.char_type) and (qm.var==pm.var) then
874              return get_kanjiskip_low(false, qm, 1, 1, 1) or node_copy(kanji_skip)
875          else
876             local gb = get_kanjiskip_low(false, qm, 1, 1, 1)
877             if gb then
878                return calc_ja_ja_aux(gb, 
879                  get_kanjiskip_low(false, pm, 1, 1, 1) or node_copy(kanji_skip), 0, 1) 
880             else
881                local ga = get_kanjiskip_low(false, pm, 1, 1, 1)
882                return (ga and calc_ja_ja_aux(node_copy(kanji_skip), ga, 0, 1))
883                  or node_copy(kanji_skip)
884             end
885          end
886       else   
887          local g = node_new(id_glue)
888          set_attr(g, attr_icflag, kanjiskip_jfm_flag and KANJI_SKIP_JFM or KANJI_SKIP)
889          return g
890       end
891    end
892
893    calc_ja_ja_glue = function ()
894       local qm, pm = Nq.met, Np.met
895       local qmc, pmc = qm.char_type, pm.char_type
896       if (qmc==pmc) and (qm.var==pm.var) then
897          local g, _, kn, kp, kh = new_jfm_glue(qmc, Nq.class, Np.class)
898          return g, (Np.auto_kspc or Nq.auto_kspc) and get_kanjiskip_low(true, qm, kn, kp, kh)
899       else
900          local npn, nqn = Np.nuc, Nq.nuc
901          local gb, db, bn, bp, bh 
902             = new_jfm_glue(qmc, Nq.class,
903                            slow_find_char_class(Np.char,
904                                                 qm, getchar(npn)))
905          local ga, da, an, ap, ah 
906             = new_jfm_glue(pmc,
907                            slow_find_char_class(Nq.char,
908                                                 pm, getchar(nqn)),
909                            Np.class)
910          local g = calc_ja_ja_aux(gb, ga, db, da)
911          local k
912          gb = get_kanjiskip_low(true, qm, bn, bp, bh)
913          ga = get_kanjiskip_low(true, pm, an, ap, ah)
914          k = calc_ja_ja_aux(gb, ga, db, da)
915          return g, k
916       end
917    end
918 end
919
920 -------------------- 和欧文間空白量の決定
921
922 -- get xkanjiskip
923 local get_xkanjiskip, xkanjiskip_jfm_flag
924 local get_xkanjiskip_normal, get_xkanjiskip_jfm
925 local get_xkanjiskip_low
926 do
927    local XKANJI_SKIP   = luatexja.icflag_table.XKANJI_SKIP
928    local XKANJI_SKIP_JFM   = luatexja.icflag_table.XKANJI_SKIP_JFM
929
930    get_xkanjiskip_low = function(flag, qm, bn, bp, bh)
931       if flag or (qm.with_kanjiskip and (bn or bp or bh)) then
932          if xkanjiskip_jfm_flag then
933             local g = node_new(id_glue);
934             local bk = qm.xkanjiskip or null_skip_table
935             setglue(g, bn and bk[1] or 0,
936                        bp and bk[2] or 0,
937                        bh and bk[3] or 0, 0, 0)
938             set_attr(g, attr_icflag, XKANJI_SKIP_JFM)
939             return g
940          elseif flag then
941             return node_copy(xkanji_skip)
942          else
943             local g = node_new(id_glue);
944             setglue(g,
945                bn and (bn*getfield(xkanji_skip, 'width')) or 0,
946                bp and (bp*getfield(xkanji_skip, 'stretch')) or 0,
947                bh and (bh*getfield(xkanji_skip, 'shrink')) or 0,
948                bp and getfield(xkanji_skip, 'stretch_order') or 0,
949                bh and getfield(xkanji_skip, 'shrink_order') or 0)
950             set_attr(g, attr_icflag, XKANJI_SKIP_JFM)
951             return g
952          end
953       end
954    end
955    
956    get_xkanjiskip = function(Nn)
957       if Np.auto_xspc==0 or Nq.auto_xspc==0 then
958         return nil 
959       elseif (Nq.xspc>=2) and (Np.xspc%2==1) and (Nq.auto_xspc or Np.auto_xspc) then
960          return get_xkanjiskip_low(true, Nn.met, 1, 1, 1)
961       else
962          local g = node_new(id_glue)
963          set_attr(g, attr_icflag, xkanjiskip_jfm_flag and XKANJI_SKIP_JFM or XKANJI_SKIP)
964          return g
965       end
966    end
967 end
968
969 -------------------- 隣接した「塊」間の処理
970
971 local function combine_spc(name)
972    return (Np[name] or Nq[name]) and ((Np[name]~=0) and (Nq[name]~=0))
973 end
974
975 -- NA, NB: alchar or math
976 local function get_NA_skip()
977    local pm = Np.met
978    local g, _, kn, kp, kh = new_jfm_glue(
979       pm.char_type,
980       fast_find_char_class(
981         (Nq.id == id_math and -1 or (Nq.xspc>=2 and 'alchar' or 'nox_alchar')), pm), 
982       Np.class)
983    local k = ((Nq.xspc>=2) and (Np.xspc%2==1) and combine_spc 'auto_xspc')
984        and get_xkanjiskip_low(false, pm, kn, kp, kh)
985    return g, k
986 end
987 local function get_NB_skip()
988    local qm = Nq.met
989    local g, _, kn, kp, kh = new_jfm_glue(
990       qm.char_type, Nq.class,
991       fast_find_char_class(
992         (Np.id == id_math and -1 or (Np.xspc%2==1 and 'alchar' or 'nox_alchar')), qm)
993     )
994    local k = ((Nq.xspc>=2) and (Np.xspc%2==1) and combine_spc 'auto_xspc')
995          and get_xkanjiskip_low(false, qm, kn, kp, kh)
996    return g, k
997 end
998
999 local function get_OA_skip(insert_ksp)
1000    local pm = Np.met
1001    local g, _, kn, kp, kh = new_jfm_glue(
1002       pm.char_type,
1003       fast_find_char_class(
1004         (((Nq.id==id_glue)or(Nq.id==id_kern)) and 'glue' or 'jcharbdd'), pm), 
1005       Np.class)
1006    local k
1007    if insert_ksp then
1008       k = (combine_spc 'auto_kspc') and get_kanjiskip_low(true, pm, kn, kp, kh)
1009    end
1010    return g, k
1011 end
1012 local function get_OB_skip(insert_ksp)
1013    local qm = Nq.met
1014    local g, _, kn, kp, kh = new_jfm_glue(
1015       qm.char_type, Nq.class,
1016       fast_find_char_class(
1017         (((Np.id==id_glue)or(Np.id==id_kern)) and 'glue' or 'jcharbdd'), qm))
1018    local k
1019    if insert_ksp then
1020       k = (combine_spc 'auto_kspc') and get_kanjiskip_low(true, qm, kn, kp, kh)
1021    end
1022    return g, k
1023 end
1024
1025 -- (anything) .. jachar
1026 local function handle_np_jachar(mode)
1027    local qid = Nq.id
1028    if qid==id_jglyph or ((qid==id_pbox or qid==id_pbox_w) and Nq.met) then
1029       local g, k
1030       if non_ihb_flag then g, k = calc_ja_ja_glue() end -- M->K
1031       if not g then g = get_kanjiskip() end
1032       handle_penalty_normal(Nq.post, Np.pre, g); 
1033       real_insert(g); real_insert(k)
1034    elseif Nq.met then  -- qid==id_hlist
1035       local g, k
1036       if non_ihb_flag then g, k = get_OA_skip(true) end -- O_A->K
1037       if not g then g = get_kanjiskip() end
1038       handle_penalty_normal(0, Np.pre, g); real_insert(g); real_insert(k)
1039    elseif Nq.pre then
1040       local g, k
1041       if non_ihb_flag then g, k = get_NA_skip() end -- N_A->X
1042       if not g then g = get_xkanjiskip(Np) end
1043       handle_penalty_normal((qid==id_hlist and 0 or Nq.post), Np.pre, g); 
1044       real_insert(g); real_insert(k)
1045    else
1046       local g = non_ihb_flag and (get_OA_skip()) -- O_A
1047       if qid==id_glue then handle_penalty_normal(0, Np.pre, g)
1048       elseif qid==id_kern then handle_penalty_suppress(0, Np.pre, g)
1049       else handle_penalty_always(0, Np.pre, g)
1050       end
1051       real_insert(g)
1052    end
1053    if mode and Np.kcat%2~=1 then
1054       widow_Np.first, widow_Bp, Bp = Np.first, Bp, widow_Bp
1055    end
1056 end
1057
1058
1059 -- jachar .. (anything)
1060 local function handle_nq_jachar()
1061     if Np.pre then
1062       local g = non_ihb_flag and get_NB_skip() or get_xkanjiskip(Nq) -- N_B->X
1063       handle_penalty_normal(Nq.post, (Np.id==id_hlist and 0 or Np.pre), g); real_insert(g)
1064    else
1065       local g =non_ihb_flag and  (get_OB_skip()) -- O_B
1066       if Np.id==id_glue then handle_penalty_normal(Nq.post, 0, g)
1067       elseif Np.id==id_kern then handle_penalty_suppress(Nq.post, 0, g)
1068       else handle_penalty_always(Nq.post, 0, g)
1069       end
1070       real_insert(g)
1071    end
1072 end
1073
1074 -- (anything) .. (和文文字で始まる hlist)
1075 local function handle_np_ja_hlist()
1076    local qid = Nq.id
1077    if qid==id_jglyph or ((qid==id_pbox or qid == id_pbox_w) and Nq.met) then
1078       local g = non_ihb_flag and get_OB_skip(true) or get_kanjiskip() -- O_B->K
1079       handle_penalty_normal(Nq.post, 0, g); real_insert(g)
1080    elseif Nq.met then  -- Nq.id==id_hlist
1081       local g = get_kanjiskip() -- K
1082       handle_penalty_suppress(0, 0, g); real_insert(g)
1083    elseif Nq.pre then
1084       local g = get_xkanjiskip(Np) -- X
1085       handle_penalty_suppress(0, 0, g); real_insert(g)
1086    end
1087 end
1088
1089 -- (和文文字で終わる hlist) .. (anything)
1090 local function handle_nq_ja_hlist()
1091    if Np.pre then
1092       local g = get_xkanjiskip(Nq) -- X
1093       handle_penalty_suppress(0, 0, g); real_insert(g)
1094    end
1095 end
1096
1097
1098 -- Nq が前側のクラスタとなることによる修正
1099 local adjust_nq
1100 do
1101    local adjust_nq_aux = {
1102       [id_glyph] = function() after_alchar(Nq) end, -- after_alchar(Nq)
1103       [id_hlist] = function() after_hlist(Nq) end,
1104       [id_pbox]  = function() after_hlist(Nq) end,
1105       [id_disc]  = function() after_hlist(Nq) end,
1106       [id_glue]  = function() 
1107                       luatexbase.call_callback("luatexja.jfmglue.special_jaglue_after", Nq.nuc)
1108                    end,
1109       [id_pbox_w]= function()
1110                       luatexbase.call_callback("luatexja.jfmglue.whatsit_after", false, Nq, Np)
1111                    end,
1112    }
1113
1114    adjust_nq = function()
1115       local x = adjust_nq_aux[Nq.id]
1116       if x then x()  end
1117    end
1118 end
1119
1120
1121 -------------------- 開始・終了時の処理
1122 do
1123 local node_prev = node.direct.getprev
1124 -- リスト末尾の処理
1125 local function handle_list_tail(mode, last)
1126    adjust_nq()
1127    if mode then
1128       -- the current list is to be line-breaked.
1129       -- Insert \jcharwidowpenalty
1130       if widow_Np.first then handle_penalty_jwp() end
1131    else
1132       Np = Nq          
1133       -- the current list is the contents of a hbox
1134       local npi, pm = Np.id, Np.met
1135       if npi == id_jglyph or (npi==id_pbox and pm) then
1136          local g = new_jfm_glue(pm.char_type, Np.class, fast_find_char_class('boxbdd', pm))
1137          if g then
1138             set_attr(g, attr_icflag, BOXBDD)
1139             head = insert_after(head, Np.last, g)
1140          end
1141       end
1142    end
1143 end
1144
1145 -- リスト先頭の処理
1146 local function handle_list_head(par_indented)
1147    local npi, pm = Np.id, Np.met
1148    if npi == id_jglyph or (npi==id_pbox and pm) then
1149       if non_ihb_flag then
1150          local g = new_jfm_glue(pm.char_type, fast_find_char_class(par_indented, pm), Np.class)
1151          if g then
1152             set_attr(g, attr_icflag, BOXBDD)
1153             if getid(g)==id_glue and #Bp==0 then
1154                local h = node_new(id_penalty)
1155                setfield(h, 'penalty', 10000); set_attr(h, attr_icflag, BOXBDD)
1156             end
1157             head = insert_before(head, Np.first, g)
1158          end
1159       end
1160    end
1161 end
1162
1163 -- initialize
1164 -- return value: (the initial cursor lp), (last node)
1165 local init_var
1166 do
1167    local id_local = node.id 'local_par'
1168    local KANJI_SKIP   = luatexja.icflag_table.KANJI_SKIP
1169    local XKANJI_SKIP   = luatexja.icflag_table.XKANJI_SKIP
1170    local KSK  = luatexja.stack_table_index.KSK
1171    local XSK  = luatexja.stack_table_index.XSK
1172    local dir_yoko = luatexja.dir_table.dir_yoko
1173    local dir_tate = luatexja.dir_table.dir_tate
1174    local attr_yablshift = luatexbase.attributes['ltj@yablshift']
1175    local attr_tablshift = luatexbase.attributes['ltj@tablshift']
1176    local table_pool = {
1177       {}, {}, {first=nil},
1178       { auto_kspc=nil, auto_xspc=nil, char=nil, class=nil,
1179         first=nil, id=nil, last=nil, met=nil, nuc=nil,
1180         post=nil, pre=nil, xspc=nil, gk=nil }, 
1181       { auto_kspc=nil, auto_xspc=nil, char=nil, class=nil,
1182         first=nil, id=nil, last=nil, met=nil, nuc=nil,
1183         post=nil, pre=nil, xspc=nil, gk=nil },
1184    }
1185    init_var = function (mode,dir)
1186       -- 1073741823: max_dimen
1187       Bp, widow_Bp, widow_Np, Np, Nq
1188          = table_pool[1], table_pool[2], table_pool[3], table_pool[4], table_pool[5]
1189       for i=1,5 do for j,_ in pairs(table_pool[i]) do table_pool[i][j]=nil end end
1190       table_current_stack = ltjs.table_current_stack
1191
1192       list_dir, tex_dir = (ltjs.list_dir or dir_yoko), (dir or 'TLT')
1193       local is_dir_tate = list_dir==dir_tate
1194       capsule_glyph = is_dir_tate and ltjw.capsule_glyph_tate or ltjw.capsule_glyph_yoko
1195       attr_ablshift = is_dir_tate and attr_tablshift or attr_yablshift
1196       local TEMP = node_new(id_glue) 
1197       -- TEMP is a dummy node, which will be freed at the end of the callback. 
1198       -- ithout this node, set_attr(kanji_skip, ...) somehow creates an "orphaned"  attribute list.
1199
1200       do
1201           kanji_skip, kanjiskip_jfm_flag = skip_table_to_glue(KSK)
1202           set_attr(kanji_skip, attr_icflag, KANJI_SKIP)
1203       end
1204
1205       do
1206           xkanji_skip, xkanjiskip_jfm_flag = skip_table_to_glue(XSK)
1207           set_attr(xkanji_skip, attr_icflag, XKANJI_SKIP)
1208       end
1209
1210       if mode then
1211          -- the current list is to be line-breaked:
1212          -- hbox from \parindent is skipped.
1213          local lp, par_indented, lpi, lps  = head, 'boxbdd', getid(head), getsubtype(head)
1214          while lp and 
1215             ((lpi==id_whatsit and lps~=sid_user)
1216                or ((lpi==id_hlist) and (lps==3))
1217                or (lpi==id_local)) do
1218             if (lpi==id_hlist) and (lps==3) then
1219                Np.char, par_indented = 'parbdd', 'parbdd'
1220                Np.width = getfield(lp, 'width')
1221             end
1222             lp=node_next(lp); lpi, lps = getid(lp), getsubtype(lp) end
1223          return lp, node_tail(head), par_indented, TEMP
1224       else
1225          return head, nil, 'boxbdd', TEMP
1226       end
1227    end
1228 end
1229
1230 -------------------- 外部から呼ばれる関数
1231
1232 local ensure_tex_attr = ltjb.ensure_tex_attr
1233 local tex_getattr = tex.getattribute
1234 -- main interface
1235 function luatexja.jfmglue.main(ahead, mode, dir)
1236    if not ahead then return ahead end
1237    head = ahead;
1238    local lp, last, par_indented, TEMP = init_var(mode,dir)
1239    lp = calc_np(last, lp)
1240    if Np then
1241       handle_list_head(par_indented)
1242       lp = calc_np(last,lp); 
1243       while Np do
1244          adjust_nq();
1245          local pid, pm = Np.id, Np.met
1246          -- 挿入部
1247          if pid == id_jglyph then
1248             handle_np_jachar(mode)
1249          elseif pm then
1250             if pid==id_hlist then handle_np_ja_hlist()
1251             else handle_np_jachar() end
1252          elseif Nq.met then
1253             if Nq.id==id_hlist then handle_nq_ja_hlist()
1254             else handle_nq_jachar() end
1255          end
1256          lp = calc_np(last,lp)
1257       end
1258       handle_list_tail(mode, last)
1259    end
1260    -- adjust attr_icflag for avoiding error
1261    if tex_getattr(attr_icflag)~=0 then ensure_tex_attr(attr_icflag, 0) end
1262    node_free(kanji_skip); 
1263    node_free(xkanji_skip); node_free(TEMP)
1264    return head
1265 end
1266 end
1267
1268 do
1269    local IHB  = luatexja.userid_table.IHB 
1270    local BPAR = luatexja.userid_table.BPAR
1271    local BOXB = luatexja.userid_table.BOXB
1272    local node_prev = node.direct.getprev
1273    local node_write = node.direct.write
1274
1275    -- \inhibitglue, \disinhibitglue
1276    local function ihb_node(v)
1277       local tn = node_new(id_whatsit, sid_user)
1278       setfield(tn, 'user_id', IHB)
1279       setfield(tn, 'type', 100)
1280       setfield(tn, 'value', v)
1281       node_write(tn)
1282    end
1283    function luatexja.jfmglue.create_inhibitglue_node()
1284       ihb_node(1)
1285    end
1286    function luatexja.jfmglue.create_disinhibitglue_node()
1287       ihb_node(0)
1288    end
1289
1290    -- Node for indicating beginning of a paragraph
1291    -- (for ltjsclasses)
1292    function luatexja.jfmglue.create_beginpar_node()
1293       local tn = node_new(id_whatsit, sid_user)
1294       setfield(tn, 'user_id', BPAR)
1295       setfield(tn, 'type', 100)
1296       setfield(tn, 'value', 1)
1297       node_write(tn)
1298    end
1299
1300    -- Node for indicating a head/end of a box
1301    function luatexja.jfmglue.create_boxbdd_node()
1302       local tn = node_new(id_whatsit, sid_user)
1303       setfield(tn, 'user_id', BOXB)
1304       setfield(tn, 'type', 100)
1305       setfield(tn, 'value', 1)
1306       node_write(tn)
1307    end
1308
1309    local function whatsit_callback(Np, lp, Nq)
1310       if Np and Np.nuc then return Np
1311       elseif Np and getfield(lp, 'user_id') == BPAR then
1312          Np.first = lp; Np.nuc = lp; Np.last = lp
1313          return Np
1314       elseif Np and getfield(lp, 'user_id') == BOXB then
1315          Np.first = lp; Np.nuc = lp; Np.last = lp
1316          if Nq then
1317             if Nq.met then
1318                Np.class = fast_find_char_class('boxbdd', Nq.met)
1319             end
1320             Np.met = Nq.met; Np.pre = 0; Np.post = 0; Np.xspc = 0
1321             Np.auto_xspc, Np.auto_kspc = 0, 0
1322          end         
1323          return Np
1324       else
1325          return Np
1326       end
1327    end
1328
1329     local function whatsit_after_callback(s, Nq, Np)
1330        if not s and getfield(Nq.nuc, 'user_id') == BPAR then
1331          local x, y = node_prev(Nq.nuc), Nq.nuc
1332          Nq.first, Nq.nuc, Nq.last = x, x, x
1333          if Np then
1334             if Np.met then
1335                Nq.class = fast_find_char_class('parbdd', Np.met)
1336             end
1337             Nq.met = Np.met; Nq.pre = 0; Nq.post = 0; Nq.xspc = 0
1338             Nq.auto_xspc, Nq.auto_kspc = 0, 0
1339          end
1340          head = node_remove(head, y)
1341          node_free(y)
1342        elseif not s and getfield(Nq.nuc, 'user_id') == BOXB then
1343          local x, y = node_prev(Nq.nuc), Nq.nuc
1344          Nq.first, Nq.nuc, Nq.last = x, x, x
1345          if Np then
1346             if Np.met then
1347                Nq.class = fast_find_char_class('boxbdd', Np.met)
1348             end
1349             Nq.met = Np.met; Nq.pre = 0; Nq.post = 0; Nq.xspc = 0
1350             Nq.auto_xspc, Nq.auto_kspc = 0, 0
1351          end
1352          head = node_remove(head, y)
1353          node_free(y)
1354       end
1355       return s
1356    end
1357
1358    luatexbase.add_to_callback("luatexja.jfmglue.whatsit_getinfo", whatsit_callback,
1359                               "luatexja.beginpar.np_info", 1)
1360    luatexbase.add_to_callback("luatexja.jfmglue.whatsit_after", whatsit_after_callback,
1361                               "luatexja.beginpar.np_info_after", 1)
1362 end
1363
1364 do
1365    local node_prev = node.direct.getprev
1366    local node_write = node.direct.write
1367    local XKANJI_SKIP   = luatexja.icflag_table.XKANJI_SKIP
1368    local XKANJI_SKIP_JFM   = luatexja.icflag_table.XKANJI_SKIP_JFM
1369    local KANJI_SKIP   = luatexja.icflag_table.KANJI_SKIP
1370    local KANJI_SKIP_JFM   = luatexja.icflag_table.KANJI_SKIP_JFM
1371    local XSK  = luatexja.stack_table_index.XSK
1372    local KSK  = luatexja.stack_table_index.KSK
1373    local attr_yablshift = luatexbase.attributes['ltj@yablshift']
1374    local attr_tablshift = luatexbase.attributes['ltj@tablshift']
1375    local getcount, abs, scan_keyword = tex.getcount, math.abs, token.scan_keyword
1376    local get_current_jfont
1377    do
1378        local attr_curjfnt = luatexbase.attributes['ltj@curjfnt']
1379        local attr_curtfnt = luatexbase.attributes['ltj@curtfnt']
1380        local dir_tate = luatexja.dir_table.dir_tate
1381        local get_dir_count = ltjd.get_dir_count        
1382        function get_current_jfont()
1383            return tex.getattribute((get_dir_count()==dir_tate) and attr_curtfnt or attr_curjfnt)
1384        end
1385    end
1386    -- \insertxkanjiskip
1387    -- SPECIAL_JAGLUE のノード:
1388    -- * (X)KANJI_SKIP(_JFM): その場で値が決まっている
1389    -- * PROCESSED_BEGIN_FLAG + (X)KANJI_SKIP: 段落終了時に決める
1390    local function insert_k_skip_common(ind, name, ica, icb)
1391        if abs(tex.nest[tex.nest.ptr].mode) ~= ltjs.hmode then return end
1392        local g = node_new(id_glue); set_attr(g, attr_icflag, SPECIAL_JAGLUE)
1393        local is_late = scan_keyword("late")
1394        if not is_late then
1395            local st = ltjs.get_stack_skip(ind, getcount('ltj@@stack'))
1396            if st.width==1073741823 then
1397                local bk = ltjf_font_metric_table[get_current_jfont()][name]
1398                if bk then
1399                    setglue(g, bk[1] or 0, bk[2] or 0, bk[3] or 0, 0, 0)
1400                end
1401                set_attr(g, attr_yablshift, icb); node_write(g); return
1402            end
1403            setglue(g, st.width, st.stretch, st.shrink, st.stretch_order, st.shrink_order)
1404            set_attr(g, attr_yablshift, ica)
1405        else
1406            set_attr(g, attr_yablshift, PROCESSED_BEGIN_FLAG + ica)
1407            set_attr(g, attr_tablshift, get_current_jfont())               
1408        end
1409        node_write(g)
1410    end
1411    function luatexja.jfmglue.insert_xk_skip()
1412        insert_k_skip_common(XSK, "xkanjiskip", XKANJI_SKIP, XKANJI_SKIP_JFM)
1413    end
1414    function luatexja.jfmglue.insert_k_skip()
1415        insert_k_skip_common(KSK, "kanjiskip", KANJI_SKIP, KANJI_SKIP_JFM)
1416    end
1417    -- callback
1418    local getglue = luatexja.getglue
1419    local function special_jaglue(lx)
1420        local lxi = get_attr_icflag(lx)
1421        if lxi==SPECIAL_JAGLUE then
1422            non_ihb_flag = false; return false
1423        else
1424            return lx
1425        end
1426    end
1427    local function special_jaglue_after(lx)
1428        if get_attr_icflag(lx)==SPECIAL_JAGLUE then
1429            lxi=has_attr(lx, attr_yablshift)
1430            if lxi>=PROCESSED_BEGIN_FLAG then
1431                lxi = lxi%PROCESSED_BEGIN_FLAG
1432                if lxi == KANJI_SKIP then
1433                    local w, st, sh, sto, sho = getglue(kanji_skip)
1434                    if w~=1073741823 then
1435                        setglue(lx, w, st, sh, sto, sho); set_attr(lx, attr_icflag, KANJI_SKIP)
1436                    else
1437                        local m = ltjf_font_metric_table[has_attr(lx, attr_tablshift)]
1438                        local bk = m.kanjiskip or null_skip_table
1439                        setglue(lx, bk[1], bk[2], bk[3], 0, 0)
1440                        set_attr(lx, attr_icflag, KANJI_SKIP_JFM)
1441                    end
1442                elseif lxi == XKANJI_SKIP then
1443                    local w, st, sh, sto, sho = getglue(xkanji_skip)
1444                    if w~=1073741823 then
1445                        setglue(lx, w, st, sh, sto, sho); set_attr(lx, attr_icflag, XKANJI_SKIP)
1446                    else
1447                        local m = ltjf_font_metric_table[has_attr(lx, attr_tablshift)]
1448                        local bk = m.xkanjiskip or null_skip_table
1449                        setglue(lx, bk[1], bk[2], bk[3], 0, 0)
1450                        set_attr(lx, attr_icflag, XKANJI_SKIP_JFM)
1451                    end
1452                end
1453            else
1454                set_attr(lx, attr_icflag, lxi)
1455            end
1456            Np.first = lx
1457            if node_prev(lx) then
1458                local lxp = node_prev(lx)
1459                if lxp and getid(lxp)==id_penalty and get_attr_icflag(lxp)==KINSOKU then
1460                    Bp[#Bp+1]=lxp
1461                end
1462            end
1463            non_ihb_flag = false; return false
1464        end
1465        return true
1466    end
1467    luatexbase.create_callback("luatexja.jfmglue.special_jaglue", "list",
1468                               special_jaglue)
1469    luatexbase.create_callback("luatexja.jfmglue.special_jaglue_after", "list",
1470                               special_jaglue_after)
1471 end
1472
1473
1474 luatexja.jfmglue.after_hlist = after_hlist
1475 luatexja.jfmglue.check_box_high = check_box_high