OSDN Git Service

typo
[luatex-ja/luatexja.git] / src / ltj-jfmglue.lua
index 4224996..4a5534a 100644 (file)
@@ -3,11 +3,10 @@
 --
 luatexbase.provides_module({
   name = 'luatexja.jfmglue',
-  date = '2015/01/13',
-  description = 'Insertion process of JFM glues and kanjiskip',
+  date = '2019/07/26',
+  description = 'Insertion process of JFM glues, [x]kanjiskip and others',
 })
-module('luatexja.jfmglue', package.seeall)
-local err, warn, info, log = luatexbase .errwarinf(_NAME)
+luatexja.jfmglue = luatexja.jfmglue or {}
 
 luatexja.load_module('base');      local ltjb = luatexja.base
 luatexja.load_module('stack');     local ltjs = luatexja.stack
@@ -16,35 +15,39 @@ luatexja.load_module('direction'); local ltjd = luatexja.direction
 luatexja.load_module('setwidth');      local ltjw = luatexja.setwidth
 local pairs = pairs
 
-local Dnode = node.direct or node
-
-local nullfunc = function(n) return n end
-local to_node = (Dnode ~= node) and Dnode.tonode or nullfunc
-local to_direct = (Dnode ~= node) and Dnode.todirect or nullfunc
-
-local setfield = (Dnode ~= node) and Dnode.setfield or function(n, i, c) n[i] = c end
-local getfield = (Dnode ~= node) and Dnode.getfield or function(n, i) return n[i] end
-local getid = (Dnode ~= node) and Dnode.getid or function(n) return n.id end
-local getfont = (Dnode ~= node) and Dnode.getfont or function(n) return n.font end
-local getlist = (Dnode ~= node) and Dnode.getlist or function(n) return n.head end
-local getchar = (Dnode ~= node) and Dnode.getchar or function(n) return n.char end
-local getsubtype = (Dnode ~= node) and Dnode.getsubtype or function(n) return n.subtype end
-
-local has_attr = Dnode.has_attribute
-local set_attr = Dnode.set_attribute
-local insert_before = Dnode.insert_before
-local insert_after = Dnode.insert_after
-local node_next = (Dnode ~= node) and Dnode.getnext or node.next
-local round = tex.round
+--local to_node = node.direct.tonode
+--local to_direct = node.direct.todirect
+
+local setfield = node.direct.setfield
+local setglue = luatexja.setglue
+local getfield = node.direct.getfield
+local getid = node.direct.getid
+local getfont = node.direct.getfont
+local getlist = node.direct.getlist
+local getchar = node.direct.getchar
+local getsubtype = node.direct.getsubtype
+local if_lang_ja
+do
+    local lang_ja = luatexja.lang_ja
+    local getlang = node.direct.getlang
+    if_lang_ja = getlang 
+      and function (n) return getlang(n)==lang_ja end
+      or  function (n) return getfield(n,'lang')==lang_ja end
+end
+  
+local has_attr = node.direct.has_attribute
+local set_attr = node.direct.set_attribute
+local insert_before = node.direct.insert_before
+local insert_after = node.direct.insert_after
+local node_next = node.direct.getnext
 local ltjd_make_dir_whatsit = ltjd.make_dir_whatsit
 local ltjf_font_metric_table = ltjf.font_metric_table
 local ltjf_find_char_class = ltjf.find_char_class
-local node_new = Dnode.new
-local node_copy = Dnode.copy
-local node_remove = Dnode.remove
-local node_tail = Dnode.tail
-local node_free = Dnode.free
-local node_end_of_math = Dnode.end_of_math
+local node_new = node.direct.new
+local node_copy = node.direct.copy
+local node_tail = node.direct.tail
+local node_free = node.direct.free
+local node_remove = node.direct.remove
 
 local id_glyph = node.id('glyph')
 local id_hlist = node.id('hlist')
@@ -60,18 +63,11 @@ local id_glue = node.id('glue')
 local id_kern = node.id('kern')
 local id_penalty = node.id('penalty')
 
-local id_glue_spec = node.id('glue_spec')
 local id_jglyph    = 512 -- Japanese character
 local id_box_like  = 256 -- vbox, shifted hbox
 local id_pbox      = 257 -- already processed nodes (by \unhbox)
 local id_pbox_w    = 258 -- cluster which consists of a whatsit
 local sid_user = node.subtype('user_defined')
-local lang_ja = token.create('ltj@@japanese')[2]
-
-local sid_start_link = node.subtype('pdf_start_link')
-local sid_start_thread = node.subtype('pdf_start_thread')
-local sid_end_link = node.subtype('pdf_end_link')
-local sid_end_thread = node.subtype('pdf_end_thread')
 
 local ITALIC       = luatexja.icflag_table.ITALIC
 local PACKED       = luatexja.icflag_table.PACKED
@@ -82,20 +78,17 @@ local IC_PROCESSED = luatexja.icflag_table.IC_PROCESSED
 local BOXBDD       = luatexja.icflag_table.BOXBDD
 local PROCESSED_BEGIN_FLAG = luatexja.icflag_table.PROCESSED_BEGIN_FLAG
 
-local kanji_skip = node_new(id_glue)
-local xkanji_skip = node_new(id_glue)
-set_attr(kanji_skip, attr_icflag, KANJI_SKIP)
-set_attr(xkanji_skip, attr_icflag, XKANJI_SKIP)
-
+local attr_icflag = luatexbase.attributes['ltj@icflag']
+local kanji_skip
+local xkanji_skip
 local table_current_stack
 local list_dir
 local capsule_glyph
 local tex_dir
 local attr_ablshift
-local set_np_xspc_jachar
+local set_np_xspc_jachar, set_np_xspc_alchar
 local set_np_xspc_jachar_hbox
 
-local attr_icflag = luatexbase.attributes['ltj@icflag']
 local ltjs_orig_char_table = ltjs.orig_char_table
 
 local function get_attr_icflag(p)
@@ -124,45 +117,35 @@ do
    end
 end
 
-local zero_glue = node_new(id_glue)
-spec_zero_glue = to_node(node_new(id_glue_spec))
-  -- must be public, since mentioned from other sources
-local spec_zero_glue = to_direct(spec_zero_glue)
-setfield(spec_zero_glue, 'width', 0)
-setfield(spec_zero_glue, 'stretch', 0)
-setfield(spec_zero_glue, 'shrink', 0)
-setfield(spec_zero_glue, 'stretch_order', 0)
-setfield(spec_zero_glue, 'shrink_order', 0)
-setfield(zero_glue, 'spec', spec_zero_glue)
-
-local function skip_table_to_spec(n)
-   local g, st = node_new(id_glue_spec), ltjs.fast_get_stack_skip(n)
-   setfield(g, 'width', st.width)
-   setfield(g, 'stretch', st.stretch)
-   setfield(g, 'shrink', st.shrink)
-   setfield(g, 'stretch_order', st.stretch_order)
-   setfield(g, 'shrink_order', st.shrink_order)
-   return g
+local function skip_table_to_glue(n)
+   local g, st = node_new(id_glue), ltjs.fast_get_stack_skip(n)
+   setglue(g, st.width, st.stretch, st.shrink, st.stretch_order, st.shrink_order)
+   return g, (st.width==1073741823)
 end
 
 
 -- penalty 値の計算
-local function add_penalty(p,e)
-   local pp = getfield(p, 'penalty')
-   if pp>=10000 then
-      if e<=-10000 then setfield(p, 'penalty', 0) end
-   elseif pp<=-10000 then
-      if e>=10000 then  setfield(p, 'penalty', 0) end
-   else
-      pp = pp + e
-      if pp>=10000 then      setfield(p, 'penalty', 10000)
-      elseif pp<=-10000 then setfield(p, 'penalty', -10000)
-      else                   setfield(p, 'penalty', pp) end
+local add_penalty
+do
+local setpenalty = node.direct.setpenalty or function(n, a) setfield(n,'penalty',a) end
+local getpenalty = node.direct.getpenalty or function(n) return getfield(n,'penalty') end
+function add_penalty(p,e)
+   local pp = getpenalty(p)
+   if (pp>-10000) and (pp<10000) then
+      if e>=10000 then       setpenalty(p, 10000)
+      elseif e<=-10000 then  setpenalty(p, -10000)
+      else
+         pp = pp + e
+         if pp>=10000 then      setpenalty(p, 10000)
+         elseif pp<=-10000 then setpenalty(p, -10000)
+        else                   setpenalty(p, pp) end
+      end
    end
 end
+end
 
 -- 「異なる JFM」の間の調整方法
-diffmet_rule = math.two_paverage
+luatexja.jfmglue.diffmet_rule = math.two_paverage
 function math.two_add(a,b) return a+b end
 function math.two_average(a,b) return (a+b)*0.5 end
 function math.two_paverage(a,b) return (a+b)/2 end
@@ -180,6 +163,7 @@ local non_ihb_flag -- JFM グルー挿入抑止用 flag
 -------------------- hlist 内の文字の検索
 
 local first_char, last_char, find_first_char
+local check_box_high
 do
 local ltjd_glyph_from_packed = ltjd.glyph_from_packed
 local function check_box(box_ptr, box_end)
@@ -225,7 +209,9 @@ local function check_box(box_ptr, box_end)
            last_char = s; found_visible_node = true
         else
            if getfield(p, 'shift')==0 then
+              last_char = nil
               if check_box(getlist(p), nil) then found_visible_node = true end
+              find_first_char = false
            else
               find_first_char = false; last_char = nil
            end
@@ -248,13 +234,13 @@ local function check_box(box_ptr, box_end)
    return found_visible_node
 end
 
-function check_box_high(Nx, box_ptr, box_end)
+check_box_high = function (Nx, box_ptr, box_end)
    first_char = nil;  last_char = nil;  find_first_char = true
    if check_box(box_ptr, box_end) then
       local first_char = first_char
       if first_char then
          if getid(first_char)==id_glyph then
-           if getfield(first_char, 'lang') == lang_ja then
+           if if_lang_ja(first_char) then
               set_np_xspc_jachar_hbox(Nx, first_char)
            else
               set_np_xspc_alchar(Nx, getchar(first_char),first_char, 1)
@@ -281,30 +267,31 @@ luatexbase.create_callback("luatexja.jfmglue.whatsit_after", "data",
 
 -- calc next Np
 local calc_np 
-do
-
-local traverse = Dnode.traverse
-local function set_attr_icflag_processed(p)
-   if get_attr_icflag(p)<= ITALIC then
-      set_attr(p, attr_icflag, PROCESSED)
-   end
-end
+do -- 001 -----------------------------------------------
 
+local traverse = node.direct.traverse
 local function check_next_ickern(lp)
-   if lp and getid(lp) == id_kern and ITALIC == get_attr_icflag(lp) then
-      set_attr(lp, attr_icflag, IC_PROCESSED)
-      Np.last = lp; return node_next(lp)
-   else
-      Np.last = Np.nuc; return lp
+   local lx = Np.nuc
+   while lp and getid(lp) == id_kern and ( getsubtype(lp)==0 or 
+     getsubtype(lp)==3 or ITALIC == get_attr_icflag(lp)) do
+     set_attr(lp, attr_icflag, IC_PROCESSED);
+     lx, lp = lp, node_next(lp)
    end
+   Np.last = lx; return lp
 end
 
 local function calc_np_pbox(lp, last)
-   local first, lpa, nc = (not Np.first), KINSOKU, nil
+   local first, nc = (not Np.first), nil
+   --local lpa = get_attr_icflag(lp)==PACKED and PACKED or KINSOKU -- KINSOKU: dummy
+   local lpa = get_attr_icflag(lp)
    Np.first = Np.first or lp; Np.id = id_pbox
    set_attr(lp, attr_icflag, get_attr_icflag(lp));
    while lp ~=last and (lpa>=PACKED) and (lpa<BOXBDD) do
-      if getid(lp)==id_hlist or getid(lp)==id_vlist then
+      local lpi = getid(lp)
+      if lpa==PACKED then
+         if lpi==id_rule then lp = node_next(lp) end
+        nc, lp = lp, node_next(lp)
+      elseif lpi==id_hlist or lpi==id_vlist then
         head, lp, nc = ltjd_make_dir_whatsit(head, lp, list_dir, 'jfm pbox')
         Np.first = first and nc or Np.first
       else
@@ -319,21 +306,40 @@ local function calc_np_pbox(lp, last)
    return lp
 end
 
-local ltjw_apply_ashift_math = ltjw.apply_ashift_math
-local ltjw_apply_ashift_disc = ltjw.apply_ashift_disc
-local min, max = math.min, math.max
-local function calc_np_aux_glyph_common(lp)
-   Np.nuc = lp
-   Np.first= (Np.first or lp)
-   if getfield(lp, 'lang') == lang_ja then
+local calc_np_aux_glyph_common
+do -- 002 ---------------------------------------
+   local min, max = math.min, math.max
+   local getwhd = node.direct.getwhd
+   local attr_jchar_class = luatexbase.attributes['ltj@charclass']
+   local attr_jchar_code = luatexbase.attributes['ltj@charcode']
+   local identifiers = fonts.hashes.identifiers
+   local function calc_np_notdef(lp)
+      local ident = identifiers[getfont(lp)]
+      if not ident.characters[getchar(p)] then
+        local ln = node_next(lp)
+        if (ident.shared and ident.shared.features and ident.shared.features.notdef)
+           and ln and getid(ln)==id_glyph then 
+           set_attr(lp, attr_icflag, PROCESSED)
+           set_attr(ln, attr_jchar_code, has_attr(lp, attr_jchar_code) or getchar(lp))
+           set_attr(ln, attr_jchar_class, has_attr(lp, attr_jchar_class) or 0)
+           Np.nuc, lp = ln, ln
+        end
+      end
+      return lp
+   end 
+function calc_np_aux_glyph_common(lp, acc_flag)
+   Np.nuc, Np.first = lp, (Np.first or lp)
+   if if_lang_ja(lp) then -- JAchar
       Np.id = id_jglyph
-      local m, cls = set_np_xspc_jachar(Np, lp)
+      local m, mc, cls = set_np_xspc_jachar(Np, lp)
       local npi, npf
-      lp, head, npi, npf = capsule_glyph(lp, m, cls, head, tex_dir, lp)
+      local w, h, d = getwhd(lp)
+      if w==0 and h==0 and d==0 then lp = calc_np_notdef(lp) end
+      lp, head, npi, npf = capsule_glyph(lp, m, mc[cls], head, tex_dir)
       Np.first = (Np.first~=Np.nuc) and Np.first or npf or npi
       Np.nuc = npi
       return true, check_next_ickern(lp);
-   else
+   else --ALchar
       Np.id = id_glyph
       set_np_xspc_alchar(Np, getchar(lp), lp, 1)
       -- loop
@@ -350,7 +356,7 @@ local function calc_np_aux_glyph_common(lp)
            lp=lx; break
         else
            local lid = getid(lx)
-           if lid==id_glyph and getfield(lx, 'lang') ~= lang_ja then
+           if lid==id_glyph and not if_lang_ja(lx) then
               -- 欧文文字
               last_glyph = lx; set_attr(lx, attr_icflag, PROCESSED); Np.last = lx
               y_adjust = has_attr(lx,attr_ablshift) or 0
@@ -361,12 +367,16 @@ local function calc_np_aux_glyph_common(lp)
               local ls = getsubtype(lx)
               if ls==2 then -- アクセント用の kern
                  set_attr(lx, attr_icflag, PROCESSED)
-                 lx = node_next(lx) -- lp: アクセント本体
-                 setfield(lx, 'yoffset', getfield(lp, 'yoffset') - (has_attr(lx,attr_ablshift) or 0))
+                 lx = node_next(lx) -- lx: アクセント本体
+                 if getid(lx)==id_glyph then
+                    setfield(lx, 'yoffset', getfield(lx, 'yoffset') - (has_attr(lx,attr_ablshift) or 0))
+                 else -- アクセントは上下にシフトされている
+                    setfield(lx, 'shift', getfield(lx, 'shift') + (has_attr(lx,attr_ablshift) or 0))
+                 end
                  lx = node_next(node_next(lx))
               elseif ls==0  then
                  Np.last = lx
-              elseif (ls==1 and lai==ITALIC) then
+              elseif (ls==3) or (lai==ITALIC) then
                  Np.last = lx; set_attr(lx, attr_icflag, IC_PROCESSED)
               else
                  lp=lx; break
@@ -378,7 +388,7 @@ local function calc_np_aux_glyph_common(lp)
       end
       local r
       if adj_depth>node_depth then
-           r = node_new(id_rule)
+           r = node_new(id_rule,3)
            setfield(r, 'width', 0); setfield(r, 'height', 0)
            setfield(r, 'depth',adj_depth); setfield(r, 'dir', tex_dir)
            set_attr(r, attr_icflag, PROCESSED)
@@ -392,9 +402,11 @@ local function calc_np_aux_glyph_common(lp)
         if r then
            local nf, nc = getfont(npn), getchar(npn)
            local ct = (font.getfont(nf) or font.fonts[nf] ).characters[nc]
-           if (ct.left_protruding or 0) == 0 then
+           if not ct then -- variation selector
+              node_free(r)
+           elseif (ct.left_protruding or 0) == 0 then
               head = insert_before(head, npn, r)
-              Np.first = (Np.first==npn) and r or npn
+              Np.first = acc_flag and Np.first or ((Np.first==npn) and r or npn)
            elseif (ct.right_protruding or 0) == 0 then
               insert_after(head, npn, r); Np.last, lp = r, r
            else
@@ -410,7 +422,18 @@ local function calc_np_aux_glyph_common(lp)
       return true, lp
    end
 end
-local calc_np_auxtable = {
+end -- 002 ---------------------------------------
+local calc_np_auxtable
+do  -- 002 ---------------------------------------
+local ltjw_apply_ashift_math = ltjw.apply_ashift_math
+local ltjw_apply_ashift_disc = ltjw.apply_ashift_disc
+local node_end_of_math = node.direct.end_of_math
+local dir_tate = luatexja.dir_table.dir_tate
+local sid_start_link = node.subtype('pdf_start_link')
+local sid_start_thread = node.subtype('pdf_start_thread')
+local sid_end_link = node.subtype('pdf_end_link')
+local sid_end_thread = node.subtype('pdf_end_thread')
+calc_np_auxtable = {
    [id_glyph] = calc_np_aux_glyph_common,
    [id_hlist] = function(lp)
       local op, flag
@@ -437,10 +460,6 @@ local calc_np_auxtable = {
       Np.id = id_box_like;
       return true, node_next(lp)
    end,
-   skip = function(lp)
-      set_attr(lp, attr_icflag, PROCESSED)
-      return false, node_next(lp)
-   end,
    [id_whatsit] = function(lp)
       local lps = getsubtype(lp)
       if lps==sid_user then
@@ -494,11 +513,17 @@ local calc_np_auxtable = {
    end,
    [id_kern] = function(lp)
       if getsubtype(lp)==2 then
+        Np.first = Np.first or lp
         set_attr(lp, attr_icflag, PROCESSED); lp = node_next(lp)
+        if getid(lp)==id_glyph then -- アクセント本体
+           setfield(lp, 'yoffset', getfield(lp, 'yoffset') - (has_attr(lp,attr_ablshift) or 0))
+        else -- アクセントは上下にシフトされている
+           setfield(lp, 'shift', getfield(lp, 'shift') + (has_attr(lp,attr_ablshift) or 0))
+        end
         set_attr(lp, attr_icflag, PROCESSED); lp = node_next(lp)
         set_attr(lp, attr_icflag, PROCESSED); lp = node_next(lp)
         set_attr(lp, attr_icflag, PROCESSED);
-        return calc_np_aux_glyph_common(lp)
+        return calc_np_aux_glyph_common(lp, true)
       else
         Np.first = Np.first or lp
         Np.id = id_kern; set_attr(lp, attr_icflag, PROCESSED)
@@ -510,11 +535,14 @@ local calc_np_auxtable = {
       return false, node_next(lp)
    end,
 }
+end -- 002 ---------------------------------------
 calc_np_auxtable[id_rule]   = calc_np_auxtable.box_like
-calc_np_auxtable[13]        = calc_np_auxtable.box_like
-calc_np_auxtable[id_ins]    = calc_np_auxtable.skip
-calc_np_auxtable[id_mark]   = calc_np_auxtable.skip
-calc_np_auxtable[id_adjust] = calc_np_auxtable.skip
+calc_np_auxtable[15]        = calc_np_auxtable.box_like
+
+local function calc_np_aux_skip (lp)
+   set_attr(lp, attr_icflag, PROCESSED)
+   return false, node_next(lp)
+end
 
 function calc_np(last, lp)
    local k
@@ -530,7 +558,7 @@ function calc_np(last, lp)
    for k = 1,#Bp do Bp[k] = nil end
    while lp ~= last  do
       local lpa = has_attr(lp, attr_icflag) or 0
-       -- unbox 由来ノードの検出
+      -- unbox 由来ノードの検出
       if lpa>=PACKED then
          if lpa%PROCESSED_BEGIN_FLAG == BOXBDD then
            local lq = node_next(lp)
@@ -539,19 +567,19 @@ function calc_np(last, lp)
            return calc_np_pbox(lp, last)
          end -- id_pbox
       else
-        k, lp = calc_np_auxtable[getid(lp)](lp)
+        k, lp = (calc_np_auxtable[getid(lp)] or calc_np_aux_skip)(lp)
         if k then return lp end
       end
    end
    Np=nil
 end
-end
+end -- 001 -----------------------------------------------
 
 -- extract informations from Np
 -- We think that "Np is a Japanese character" if Np.met~=nil,
 --            "Np is an alphabetic character" if Np.pre~=nil,
 --            "Np is not a character" otherwise.
-after_hlist = nil -- global
+local after_hlist = nil -- global
 local after_alchar, extract_np
 do
   local PRE  = luatexja.stack_table_index.PRE
@@ -565,26 +593,29 @@ do
    local attr_jchar_code = luatexbase.attributes['ltj@charcode']
    local attr_autospc = luatexbase.attributes['ltj@autospc']
    local attr_autoxspc = luatexbase.attributes['ltj@autoxspc']
+   local getcomponents = node.direct.getcomponents
    --local ltjf_get_vert_glyph = ltjf.get_vert_glyph
    function set_np_xspc_jachar(Nx, x)
       local m = ltjf_font_metric_table[getfont(x)]
-      local c, c_glyph = ltjs_orig_char_table[x], getchar(x)
+      local c, c_glyph = (not getcomponents(x) and ltjs_orig_char_table[x]), getchar(x)
+      if c and c~=c_glyph then set_attr(x, attr_jchar_code, c) end
       c = c or c_glyph
       local cls = slow_find_char_class(c, m, c_glyph)
       Nx.met, Nx.class, Nx.char = m, cls, c;
+      local mc = m.char_type; Nx.char_type = mc
       if cls~=0 then set_attr(x, attr_jchar_class, cls) end
-      if c~=c_glyph then set_attr(x, attr_jchar_code, c) end
       Nx.pre  = table_current_stack[PRE + c]  or 0
       Nx.post = table_current_stack[POST + c] or 0
       Nx.xspc = table_current_stack[XSP  + c] or 3
       Nx.kcat = table_current_stack[KCAT + c] or 0
       Nx.auto_kspc, Nx.auto_xspc = (has_attr(x, attr_autospc)==1), (has_attr(x, attr_autoxspc)==1)
-      return m, cls
+      return m, mc, cls
    end
    function set_np_xspc_jachar_hbox(Nx, x)
       local m = ltjf_font_metric_table[getfont(x)]
       local c = has_attr(x, attr_jchar_code) or getchar(x)
       Nx.met, Nx.char  = m, c; Nx.class = has_attr(x, attr_jchar_class) or 0;
+      local mc = m.char_type; Nx.char_type = mc
       Nx.pre  = table_current_stack[PRE + c]  or 0
       Nx.post = table_current_stack[POST + c] or 0
       Nx.xspc = table_current_stack[XSP  + c] or 3
@@ -594,22 +625,24 @@ do
 
 -- 欧文文字のデータを取得
    local floor = math.floor
+   local nullfunc = function(n) return n end
    function set_np_xspc_alchar(Nx, c,x, lig)
       if c~=-1 then
         local f = (lig ==1) and nullfunc or node_tail
-         local xc, xs = getfield(x, 'components'), getsubtype(x)
+         local xc, xs = getcomponents(x), getsubtype(x)
         while xc and xs and xs%4>=2 do
-           x = f(xc); xc, xs = getfield(x, 'components'), getsubtype(x)
+           x = f(xc);
+           if getid(x)==id_disc then x, xc, xs = nil, getfield(x,'replace'), 2
+           else xc, xs = getcomponents(x), getsubtype(x) end
         end
-        c = getchar(x)
+        c = x and getchar(x) or c
         Nx.pre  = table_current_stack[PRE + c]  or 0
         Nx.post = table_current_stack[POST + c] or 0
-        Nx.xspc = table_current_stack[XSP  + c] or 3
       else
         Nx.pre, Nx.post = 0, 0
-         Nx.xspc = table_current_stack[XSP - 1] or 3
       end
       Nx.met = nil
+      Nx.xspc = table_current_stack[XSP  + c] or 3
       Nx.auto_xspc = (has_attr(x, attr_autoxspc)==1)
    end
    local set_np_xspc_alchar = set_np_xspc_alchar
@@ -620,7 +653,7 @@ do
       local s = Nx.last_char
       if s then
         if getid(s)==id_glyph then
-           if getfield(s, 'lang') == lang_ja then
+           if if_lang_ja(s) then
               set_np_xspc_jachar_hbox(Nx, s)
            else
               set_np_xspc_alchar(Nx, getchar(s), s, 2)
@@ -642,8 +675,11 @@ end
 
 -------------------- 最下層の処理
 
+luatexbase.create_callback('luatexja.adjust_jfmglue', 'simple', function(n) return n end)
+
 -- change penalties (or create a new penalty, if needed)
 local function handle_penalty_normal(post, pre, g)
+   luatexbase.call_callback('luatexja.adjust_jfmglue', head, Nq, Np, Bp)
    local a = (pre or 0) + (post or 0)
    if #Bp == 0 then
       if (a~=0 and not(g and getid(g)==id_kern)) then
@@ -659,6 +695,7 @@ local function handle_penalty_normal(post, pre, g)
 end
 
 local function handle_penalty_always(post, pre, g)
+   luatexbase.call_callback('luatexja.adjust_jfmglue', head, Nq, Np, Bp)
    local a = (pre or 0) + (post or 0)
    if #Bp == 0 then
       if not (g and getid(g)==id_glue) or a~=0 then
@@ -674,7 +711,7 @@ local function handle_penalty_always(post, pre, g)
 end
 
 local function handle_penalty_suppress(post, pre, g)
-   local a = (pre or 0) + (post or 0)
+   luatexbase.call_callback('luatexja.adjust_jfmglue', head, Nq, Np, Bp)
    if #Bp == 0 then
       if g and getid(g)==id_glue then
         local p = node_new(id_penalty)
@@ -682,25 +719,42 @@ local function handle_penalty_suppress(post, pre, g)
         Bp[1]=p
          set_attr(p, attr_icflag, KINSOKU)
       end
-   else for _, v in pairs(Bp) do add_penalty(v,a) end
+   else 
+      local a = (pre or 0) + (post or 0)
+      for _, v in pairs(Bp) do add_penalty(v,a) end
+   end
+end
+
+local function handle_penalty_jwp()
+   local a = table_current_stack[luatexja.stack_table_index.JWP]
+   if #widow_Bp == 0 then
+      if a~=0 then
+        local p = node_new(id_penalty)
+        if a<-10000 then a = -10000 elseif a>10000 then a = 10000 end
+        setfield(p, 'penalty', a)
+        head = insert_before(head, widow_Np.first, p)
+        widow_Bp[1]=p;
+        set_attr(p, attr_icflag, KINSOKU)
+      end
+   else for _, v in pairs(widow_Bp) do add_penalty(v,a) end
    end
 end
 
 -- 和文文字間の JFM glue を node 化
-local function new_jfm_glue(m, bc, ac)
+local function new_jfm_glue(mc, bc, ac)
 -- bc, ac: char classes
-   local g, d = m.char_type[bc][ac], 0
-   local n
+   local g = mc[bc][ac]
    if g then
-      n,d = node_copy(g[2]), g[3]
-      if g[1] then
+       if g[1] then
+          return node_copy(g[1]), g.ratio, false, false, false
+       else
         local f = node_new(id_glue)
-        set_attr(f, attr_icflag, g[4])
-        setfield(f, 'spec', n)
-        return f, d
+         set_attr(f, attr_icflag, g.priority)
+        setglue(f, g.width, g.stretch, g.shrink)
+        return f, g.ratio, g.kanjiskip_natural, g.kanjiskip_stretch, g.kanjiskip_shrink
       end
    end
-   return n, d
+   return false, 0
 end
 
 -- Nq.last (kern w) .... (glue/kern g) Np.first
@@ -713,196 +767,279 @@ end
 
 
 -------------------- 和文文字間空白量の決定
-local null_skip_table = {0, 0, 0}
--- get kanjiskip
-local get_kanjiskip
-local get_kanjiskip_normal, get_kanjiskip_jfm
-do
-   local KANJI_SKIP   = luatexja.icflag_table.KANJI_SKIP
-   local KANJI_SKIP_JFM   = luatexja.icflag_table.KANJI_SKIP_JFM
-   get_kanjiskip_normal = function ()
-      if Np.auto_kspc or Nq.auto_kspc then
-        return node_copy(kanji_skip)
-      else
-        local g = node_copy(zero_glue)
-        set_attr(g, attr_icflag, KANJI_SKIP)
-        return g
-      end
-   end
-
-   get_kanjiskip_jfm = function ()
-      local g
-      if Np.auto_kspc or Nq.auto_kspc then
-        g = node_new(id_glue); --copy_attr(g, Nq.nuc)
-        local gx = node_new(id_glue_spec);
-        setfield(gx, 'stretch_order', 0); setfield(gx, 'shrink_order', 0)
-        local pm, qm = Np.met, Nq.met
-        local bk = qm.kanjiskip or null_skip_table
-        if (pm.char_type==qm.char_type) and (qm.var==pm.var) then
-           setfield(gx, 'width', bk[1])
-           setfield(gx, 'stretch', bk[2])
-           setfield(gx, 'shrink', bk[3])
-        else
-           local ak = pm.kanjiskip or null_skip_table
-           setfield(gx, 'width', round(diffmet_rule(bk[1], ak[1])))
-           setfield(gx, 'stretch', round(diffmet_rule(bk[2], ak[2])))
-           setfield(gx, 'shrink', -round(diffmet_rule(-bk[3], -ak[3])))
-        end
-        setfield(g, 'spec', gx)
-      else
-        g =  node_copy(zero_glue)
-      end
-      set_attr(g, attr_icflag, KANJI_SKIP_JFM)
-      return g
-   end
-end
-
 local calc_ja_ja_aux
 do
+   local round = tex.round
    local bg_ag = 2*id_glue - id_glue
    local bg_ak = 2*id_glue - id_kern
    local bk_ag = 2*id_kern - id_glue
    local bk_ak = 2*id_kern - id_kern
 
-   calc_ja_ja_aux = function (gb,ga, db, da)
-      local rbb, rab = 0.5*(1-db), 0.5*(1-da) -- 「前の文字」由来のグルーの割合
-      local rba, raa = 0.5*(1+db), 0.5*(1+da) -- 「前の文字」由来のグルーの割合
-      if diffmet_rule ~= math.two_pleft and diffmet_rule ~= math.two_pright
-          and diffmet_rule ~= math.two_paverage then
-        rbb, rab, rba, raa = 1,0,0,1
+   local function blend_diffmet(b, a, rb, ra)
+      return round(luatexja.jfmglue.diffmet_rule((1-rb)*b+rb*a, (1-ra)*b+ra*a))
+   end
+   calc_ja_ja_aux = function (gb, ga, db, da)
+      if luatexja.jfmglue.diffmet_rule ~= math.two_pleft and diffmet_rule ~= math.two_pright
+          and luatexja.jfmglue.diffmet_rule ~= math.two_paverage then
+        db, da = 0, 1
       end
       if not gb then
         if ga then
-           gb = node_new(id_kern); setfield(gb, 'kern', 0)
+           gb = node_new(id_kern, 1); setfield(gb, 'kern', 0)
         else return nil end
       elseif not ga then
-        ga = node_new(id_kern); setfield(ga, 'kern', 0)
+        ga = node_new(id_kern, 1); setfield(ga, 'kern', 0)
       end
 
       local k = 2*getid(gb) - getid(ga)
       if k == bg_ag then
-        local bs, as = getfield(gb, 'spec'), getfield(ga, 'spec')
         -- 両方とも glue.
-        local bd, ad = getfield(bs, 'width'), getfield(as, 'width')
-        setfield(bs, 'width', round(diffmet_rule(rbb*bd + rba*ad, rab*bd + raa*ad)))
-        bd, ad = getfield(bs, 'stretch'), getfield(as, 'stretch')
-        setfield(bs, 'stretch', round(diffmet_rule(rbb*bd + rba*ad, rab*bd + raa*ad)))
-        bd, ad = getfield(bs, 'shrink'), getfield(as, 'shrink')
-        setfield(bs, 'shrink', -round(diffmet_rule(-rbb*bd - rba*ad, -rab*bd - raa*ad)))
+        setglue(gb, blend_diffmet(
+                       getfield(gb, 'width'), getfield(ga, 'width'), db, da),
+                    blend_diffmet(
+                       getfield(gb, 'stretch'), getfield(ga, 'stretch'), db, da),
+                    -blend_diffmet(
+                    -getfield(gb, 'shrink'), -getfield(ga, 'shrink'), db, da))
         node_free(ga)
         return gb
       elseif k == bk_ak then
         -- 両方とも kern.
-        local bd, ad = getfield(gb, 'kern'), getfield(ga, 'kern')
-        setfield(gb, 'kern', round(diffmet_rule(rbb*bd + rba*ad, rab*bd + raa*ad)))
+        setfield(gb, 'kern', blend_diffmet(
+                    getfield(gb, 'kern'), getfield(ga, 'kern'), db, da))
         node_free(ga)
         return gb
       elseif k == bk_ag then
-        local as = getfield(ga, 'spec')
         -- gb: kern, ga: glue
-        local bd, ad = getfield(gb, 'kern'), getfield(as, 'width')
-        setfield(as, 'width', round(diffmet_rule(rbb*bd + rba*ad, rab*bd + raa*ad)))
-        ad = getfield(as, 'stretch')
-        setfield(bs, 'stretch', round(diffmet_rule(rba*ad, raa*ad)))
-        ad = getfield(as, 'shrink')
-        setfield(bs, 'shrink', -round(diffmet_rule(-rba*ad, -raa*ad)))
+        setglue(ga, blend_diffmet(
+                       getfield(gb, 'kern'), getfield(ga, 'width'), db, da),
+                    blend_diffmet(
+                       0, getfield(ga, 'stretch'), db, da),
+                    -blend_diffmet(
+                       0, -getfield(ga, 'shrink'), db, da))
         node_free(gb)
-        return ga
+        return ga, 0, 0, 0
       else
-        local bs = getfield(gb, 'spec')
         -- gb: glue, ga: kern
-        local bd, ad = getfield(bs, 'width'), getfield(ga, 'kern')
-        setfield(bs, 'width', round(diffmet_rule(rbb*bd + rba*ad, rab*bd + raa*ad)))
-        bd = getfield(bs, 'stretch')
-        setfield(bs, 'stretch', round(diffmet_rule(rbb*bd, rab*bd)))
-        bd = getfield(bs, 'shrink')
-        setfield(bs, 'shrink', -round(diffmet_rule(-rbb*bd, -rab*bd)))
+        setglue(gb, blend_diffmet(
+                       getfield(gb, 'width'), getfield(ga, 'kern'), db, da),
+                    blend_diffmet(
+                       getfield(gb, 'stretch'), 0, db, da),
+                    -blend_diffmet(
+                       -getfield(gb, 'shrink'), 0, db, da))
         node_free(ga)
         return gb
       end
    end
 end
 
-local function calc_ja_ja_glue()
-   local qm, pm = Nq.met, Np.met
-   if (qm.char_type==pm.char_type) and (qm.var==pm.var) then
-      return new_jfm_glue(qm, Nq.class, Np.class)
-   else
-      local npn, nqn = Np.nuc, Nq.nuc
-      local gb, db = new_jfm_glue(qm, Nq.class,
-                                 slow_find_char_class(Np.char,
-                                                      qm, getchar(npn)))
-      local ga, da = new_jfm_glue(pm,
-                                 slow_find_char_class(Nq.char,
-                                                      pm, getchar(nqn)),
-                                 Np.class)
-      return calc_ja_ja_aux(gb, ga, db, da);
+local null_skip_table = {0, 0, 0}
+-- get kanjiskip
+local get_kanjiskip, kanjiskip_jfm_flag
+local get_kanjiskip_low
+local calc_ja_ja_glue
+do
+   local KANJI_SKIP   = luatexja.icflag_table.KANJI_SKIP
+   local KANJI_SKIP_JFM   = luatexja.icflag_table.KANJI_SKIP_JFM
+
+   get_kanjiskip_low = function(flag, qm, bn, bp, bh)
+      if flag or (qm.with_kanjiskip and (bn or bp or bh)) then
+        if kanjiskip_jfm_flag then
+           local g = node_new(id_glue);
+           local bk = qm.kanjiskip or null_skip_table
+           setglue(g, bn and (bn*bk[1]) or 0, 
+                      bp and (bp*bk[2]) or 0, 
+                      bh and (bh*bk[3]) or 0, 0, 0)
+           set_attr(g, attr_icflag, KANJI_SKIP_JFM)
+           return g
+        elseif flag then
+           return node_copy(kanji_skip)
+        else
+           local g = node_new(id_glue);
+           setglue(g,
+              bn and (bn*getfield(kanji_skip, 'width')) or 0,
+              bp and (bp*getfield(kanji_skip, 'stretch')) or 0,
+              bh and (bh*getfield(kanji_skip, 'shrink')) or 0,
+              0, 0)
+           set_attr(g, attr_icflag, KANJI_SKIP_JFM)
+           return g
+        end
+      end
+   end
+   
+   get_kanjiskip = function()
+      if Np.auto_kspc==0 or Nq.auto_kspc==0 then
+        return nil 
+      elseif Np.auto_kspc or Nq.auto_kspc then
+        local pm, qm = Np.met, Nq.met
+        if (pm.char_type==qm.char_type) and (qm.var==pm.var) then
+            return get_kanjiskip_low(true, qm, 1, 1, 1)
+        else
+           local gb = get_kanjiskip_low(true, qm, 1, 1, 1)
+           local ga = get_kanjiskip_low(true, pm, 1, 1, 1)
+           return calc_ja_ja_aux(gb, ga, 0, 1)
+        end
+      else   
+        local g = node_new(id_glue)
+        set_attr(g, attr_icflag, kanjiskip_jfm_flag and KANJI_SKIP_JFM or KANJI_SKIP)
+        return g
+      end
+   end
+
+   calc_ja_ja_glue = function ()
+      local qm, pm = Nq.met, Np.met
+      local qmc, pmc = qm.char_type, pm.char_type
+      if (qmc==pmc) and (qm.var==pm.var) then
+        local g, _, kn, kp, kh = new_jfm_glue(qmc, Nq.class, Np.class)
+        return g, (Np.auto_kspc or Nq.auto_kspc) and get_kanjiskip_low(false, qm, kn, kp, kh)
+      else
+        local npn, nqn = Np.nuc, Nq.nuc
+        local gb, db, bn, bp, bh 
+           = new_jfm_glue(qmc, Nq.class,
+                          slow_find_char_class(Np.char,
+                                               qm, getchar(npn)))
+        local ga, da, an, ap, ah 
+           = new_jfm_glue(pmc,
+                          slow_find_char_class(Nq.char,
+                                               pm, getchar(nqn)),
+                                                Np.class)
+        local g = calc_ja_ja_aux(gb, ga, db, da)
+        local k
+        if (pmc==qmc) and (qm.var==pm.var) then
+           gb = get_kanjiskip_low(false, qm, bn, bp, bh)
+           ga = get_kanjiskip_low(false, pm, an, ap, ah)
+           k = calc_ja_ja_aux(gb, ga, db, da)
+        end
+        return g, k
+      end
    end
 end
 
 -------------------- 和欧文間空白量の決定
 
 -- get xkanjiskip
-local get_xkanjiskip
+local get_xkanjiskip, xkanjiskip_jfm_flag
 local get_xkanjiskip_normal, get_xkanjiskip_jfm
+local get_xkanjiskip_low
 do
    local XKANJI_SKIP   = luatexja.icflag_table.XKANJI_SKIP
    local XKANJI_SKIP_JFM   = luatexja.icflag_table.XKANJI_SKIP_JFM
-   get_xkanjiskip_normal = function (Nn)
-      if (Nq.xspc>=2) and (Np.xspc%2==1) and (Nq.auto_xspc or Np.auto_xspc) then
-        return node_copy(xkanji_skip)
-      else
-        local g = node_copy(zero_glue)
-        set_attr(g, attr_icflag, XKANJI_SKIP)
-        return g
+
+   get_xkanjiskip_low = function(flag, qm, bn, bp, bh)
+      if flag or (qm.with_kanjiskip and (bn or bp or bh)) then
+        if xkanjiskip_jfm_flag then
+           local g = node_new(id_glue);
+           local bk = qm.xkanjiskip or null_skip_table
+           setglue(g, bn and bk[1] or 0,
+                      bp and bk[2] or 0,
+                      bh and bk[3] or 0, 0, 0)
+           set_attr(g, attr_icflag, XKANJI_SKIP_JFM)
+           return g
+        elseif flag then
+           return node_copy(xkanji_skip)
+        else
+           local g = node_new(id_glue);
+           setglue(g,
+              bn and (bn*getfield(xkanji_skip, 'width')) or 0,
+              bp and (bp*getfield(xkanji_skip, 'stretch')) or 0,
+              bh and (bh*getfield(xkanji_skip, 'shrink')) or 0,
+              0, 0)
+           set_attr(g, attr_icflag, XKANJI_SKIP_JFM)
+           return g
+        end
       end
    end
-   get_xkanjiskip_jfm = function (Nn)
-      local g
-      if (Nq.xspc>=2) and (Np.xspc%2==1) and (Nq.auto_xspc or Np.auto_xspc) then
-        g = node_new(id_glue)
-        local gx = node_new(id_glue_spec);
-        setfield(gx, 'stretch_order', 0); setfield(gx, 'shrink_order', 0)
-        local bk = Nn.met.xkanjiskip or null_skip_table
-        setfield(gx, 'width', bk[1])
-        setfield(gx, 'stretch', bk[2])
-        setfield(gx, 'shrink', bk[3])
-        setfield(g, 'spec', gx)
+   
+   get_xkanjiskip = function(Nn)
+      if Np.auto_xspc==0 or Nq.auto_xspc==0 then
+        return nil 
+      elseif (Nq.xspc>=2) and (Np.xspc%2==1) and (Nq.auto_xspc or Np.auto_xspc) then
+        return get_xkanjiskip_low(true, Nn.met, 1, 1, 1)
       else
-        g = node_copy(zero_glue)
+        local g = node_new(id_glue)
+        set_attr(g, attr_icflag, xkanjiskip_jfm_flag and XKANJI_SKIP_JFM or XKANJI_SKIP)
+        return g
       end
-      set_attr(g, attr_icflag, XKANJI_SKIP_JFM)
-      return g
    end
 end
 
 -------------------- 隣接した「塊」間の処理
 
-local function get_OA_skip()
+local function combine_spc(name)
+   return (Np[name] or Nq[name]) and ((Np[name]~=0) and (Nq[name]~=0))
+end
+
+-- NA, NB: alchar or math
+local function get_NA_skip()
    local pm = Np.met
-   return new_jfm_glue(pm,
-                      fast_find_char_class((Nq.id == id_math and -1 or 'jcharbdd'), pm), Np.class)
+   local g, _, kn, kp, kh = new_jfm_glue(
+      pm.char_type,
+      fast_find_char_class(
+        (Nq.id == id_math and -1 or (Nq.xspc>=2 and 'alchar' or 'nox_alchar')), pm), 
+      Np.class)
+   local k = ((Nq.xspc>=2) and (Np.xspc%2==1) and combine_spc('auto_xspc'))
+       and get_xkanjiskip_low(false, pm, kn, kp, kh)
+   return g, k
 end
-local function get_OB_skip()
+local function get_NB_skip()
    local qm = Nq.met
-   return new_jfm_glue(qm, Nq.class,
-                      fast_find_char_class((Np.id == id_math and -1 or'jcharbdd'), qm))
+   local g, _, kn, kp, kh = new_jfm_glue(
+      qm.char_type, Nq.class,
+      fast_find_char_class(
+        (Np.id == id_math and -1 or (Np.xspc%2==1 and 'alchar' or 'nox_alchar')), qm)
+    )
+   local k = ((Nq.xspc>=2) and (Np.xspc%2==1) and combine_spc('auto_xspc'))
+        and get_xkanjiskip_low(false, qm, kn, kp, kh)
+   return g, k
+end
+
+local function get_OA_skip(is_kanji)
+   local pm = Np.met
+   local g, _, kn, kp, kh = new_jfm_glue(
+      pm.char_type,
+      fast_find_char_class(
+        (((Nq.id==id_glue)or(Nq.id==id_kern)) and 'glue' or 'jcharbdd'), pm), 
+      Np.class)
+   local k
+   if is_kanji==0 then
+      k = combine_spc('auto_kspc') and get_kanjiskip_low(false, pm, kn, kp, kh)
+   end
+   return g, k
+end
+local function get_OB_skip(is_kanji)
+   local qm = Nq.met
+   local g, _, kn, kp, kh = new_jfm_glue(
+      qm.char_type, Nq.class,
+      fast_find_char_class(
+        (((Np.id==id_glue)or(Np.id==id_kern)) and 'glue' or 'jcharbdd'), qm))
+   local k
+   if is_kanji==0 then
+      k = combine_spc('auto_kspc') and get_kanjiskip_low(false, qm, kn, kp, kh)
+   end
+   return g, k
 end
 
 -- (anything) .. jachar
 local function handle_np_jachar(mode)
    local qid = Nq.id
    if qid==id_jglyph or ((qid==id_pbox or qid==id_pbox_w) and Nq.met) then
-       local g = non_ihb_flag and calc_ja_ja_glue() or get_kanjiskip() -- M->K
-      handle_penalty_normal(Nq.post, Np.pre, g); real_insert(g)
+      local g, k
+      if non_ihb_flag then g, k = calc_ja_ja_glue() end -- M->K
+      if not g then g = get_kanjiskip() end
+      handle_penalty_normal(Nq.post, Np.pre, g); 
+      real_insert(g); real_insert(k)
    elseif Nq.met then  -- qid==id_hlist
-      local g = non_ihb_flag and get_OA_skip() or get_kanjiskip() -- O_A->K
-      handle_penalty_normal(0, Np.pre, g); real_insert(g)
+      local g, k
+      if non_ihb_flag then g, k = get_OA_skip(0) end -- O_A->K
+      if not g then g = get_kanjiskip() end
+      handle_penalty_normal(0, Np.pre, g); real_insert(g); real_insert(k)
    elseif Nq.pre then
-      local g = non_ihb_flag and get_OA_skip() or get_xkanjiskip(Np) -- O_A->X
-      handle_penalty_normal((qid==id_hlist and 0 or Nq.post), Np.pre, g); real_insert(g)
+      local g, k
+      if non_ihb_flag then g, k = get_NA_skip() end -- N_A->X
+      if not g then g = get_xkanjiskip(Np) end
+      handle_penalty_normal((qid==id_hlist and 0 or Nq.post), Np.pre, g); 
+      real_insert(g); real_insert(k)
    else
-      local g = non_ihb_flag and get_OA_skip() -- O_A
+      local g = non_ihb_flag and (get_OA_skip()) -- O_A
       if qid==id_glue then handle_penalty_normal(0, Np.pre, g)
       elseif qid==id_kern then handle_penalty_suppress(0, Np.pre, g)
       else handle_penalty_always(0, Np.pre, g)
@@ -918,10 +1055,10 @@ end
 -- jachar .. (anything)
 local function handle_nq_jachar()
     if Np.pre then
-      local g = non_ihb_flag and get_OB_skip() or get_xkanjiskip(Nq) -- O_B->X
+      local g = non_ihb_flag and get_NB_skip() or get_xkanjiskip(Nq) -- N_B->X
       handle_penalty_normal(Nq.post, (Np.id==id_hlist and 0 or Np.pre), g); real_insert(g)
    else
-      local g =non_ihb_flag and  get_OB_skip() -- O_B
+      local g =non_ihb_flag and  (get_OB_skip()) -- O_B
       if Np.id==id_glue then handle_penalty_normal(Nq.post, 0, g)
       elseif Np.id==id_kern then handle_penalty_suppress(Nq.post, 0, g)
       else handle_penalty_always(Nq.post, 0, g)
@@ -933,8 +1070,8 @@ end
 -- (anything) .. (和文文字で始まる hlist)
 local function handle_np_ja_hlist()
    local qid = Nq.id
-   if qid==id_jglyph or ((qid==id_pbox or Nq.id == id_pbox_w) and Nq.met) then
-      local g = non_ihb_flag and get_OB_skip() or get_kanjiskip() -- O_B->K
+   if qid==id_jglyph or ((qid==id_pbox or qid == id_pbox_w) and Nq.met) then
+      local g = non_ihb_flag and get_OB_skip(0) or get_kanjiskip() -- O_B->K
       handle_penalty_normal(Nq.post, 0, g); real_insert(g)
    elseif Nq.met then  -- Nq.id==id_hlist
       local g = get_kanjiskip() -- K
@@ -955,6 +1092,7 @@ end
 
 
 -- Nq が前側のクラスタとなることによる修正
+local adjust_nq
 do
    local adjust_nq_aux = {
       [id_glyph] = function() after_alchar(Nq) end, -- after_alchar(Nq)
@@ -967,7 +1105,7 @@ do
                     end,
    }
 
-   function adjust_nq()
+   adjust_nq=function()
       local x = adjust_nq_aux[Nq.id]
       if x then x()  end
    end
@@ -976,24 +1114,20 @@ end
 
 -------------------- 開始・終了時の処理
 do
-
+local node_prev = node.direct.getprev
 -- リスト末尾の処理
-local JWP  = luatexja.stack_table_index.JWP
-local function handle_list_tail(mode)
-   adjust_nq(); Np = Nq
+local function handle_list_tail(mode, last)
+   adjust_nq()
    if mode then
       -- the current list is to be line-breaked.
       -- Insert \jcharwidowpenalty
-      Bp = widow_Bp; Np = widow_Np
-      if Np.first then
-        handle_penalty_normal(0,
-                              table_current_stack[JWP] or 0)
-      end
+      if widow_Np.first then handle_penalty_jwp() end
    else
+      Np=Nq      
       -- the current list is the contents of a hbox
       local npi, pm = Np.id, Np.met
       if npi == id_jglyph or (npi==id_pbox and pm) then
-        local g = new_jfm_glue(pm, Np.class, fast_find_char_class('boxbdd', pm))
+        local g = new_jfm_glue(pm.char_type, Np.class, fast_find_char_class('boxbdd', pm))
         if g then
            set_attr(g, attr_icflag, BOXBDD)
            head = insert_after(head, Np.last, g)
@@ -1007,7 +1141,7 @@ local function handle_list_head(par_indented)
    local npi, pm = Np.id, Np.met
    if npi ==  id_jglyph or (npi==id_pbox and pm) then
       if non_ihb_flag then
-        local g = new_jfm_glue(pm, fast_find_char_class(par_indented, pm), Np.class)
+        local g = new_jfm_glue(pm.char_type, fast_find_char_class(par_indented, pm), Np.class)
         if g then
            set_attr(g, attr_icflag, BOXBDD)
            if getid(g)==id_glue and #Bp==0 then
@@ -1024,6 +1158,7 @@ end
 -- return value: (the initial cursor lp), (last node)
 local init_var
 do
+   local id_local = node.id('local_par')
    local KANJI_SKIP   = luatexja.icflag_table.KANJI_SKIP
    local XKANJI_SKIP   = luatexja.icflag_table.XKANJI_SKIP
    local KSK  = luatexja.stack_table_index.KSK
@@ -1052,39 +1187,48 @@ do
       local is_dir_tate = list_dir==dir_tate
       capsule_glyph = is_dir_tate and ltjw.capsule_glyph_tate or ltjw.capsule_glyph_yoko
       attr_ablshift = is_dir_tate and attr_tablshift or attr_yablshift
+      local TEMP = node_new(id_glue) 
+      -- TEMP is a dummy node, which will be freed at the end of the callback. 
+      -- ithout this node, set_attr(kanji_skip, ...) somehow creates an "orphaned"  attribute list.
 
-      setfield(kanji_skip, 'spec', skip_table_to_spec(KSK))
-      get_kanjiskip = (getfield(getfield(kanji_skip, 'spec'), 'width') == 1073741823)
-        and get_kanjiskip_jfm or get_kanjiskip_normal
+      do
+         kanji_skip, kanjiskip_jfm_flag = skip_table_to_glue(KSK)
+         set_attr(kanji_skip, attr_icflag, KANJI_SKIP)
+      end
 
-      setfield(xkanji_skip, 'spec', skip_table_to_spec(XSK))
-      get_xkanjiskip = (getfield(getfield(xkanji_skip, 'spec'), 'width') == 1073741823)
-        and get_xkanjiskip_jfm or get_xkanjiskip_normal
+      do
+         xkanji_skip, xkanjiskip_jfm_flag = skip_table_to_glue(XSK)
+         set_attr(xkanji_skip, attr_icflag, XKANJI_SKIP)
+      end
 
       if mode then
         -- the current list is to be line-breaked:
         -- hbox from \parindent is skipped.
         local lp, par_indented, lpi, lps  = head, 'boxbdd', getid(head), getsubtype(head)
-        while lp and ((lpi==id_whatsit and lps~=sid_user)
-                      or ((lpi==id_hlist) and (lps==3))) do
+        while lp and 
+           ((lpi==id_whatsit and lps~=sid_user)
+              or ((lpi==id_hlist) and (lps==3))
+               or (lpi==id_local)) do
            if (lpi==id_hlist) and (lps==3) then
                Np.char, par_indented = 'parbdd', 'parbdd'
                Np.width = getfield(lp, 'width')
             end
            lp=node_next(lp); lpi, lps = getid(lp), getsubtype(lp) end
-        return lp, node_tail(head), par_indented
+        return lp, node_tail(head), par_indented, TEMP
       else
-        return head, nil, 'boxbdd'
+        return head, nil, 'boxbdd', TEMP
       end
    end
 end
 
-local tex_set_attr = tex.setattribute
-local function cleanup(mode)
+local ensure_tex_attr = ltjb.ensure_tex_attr
+local function cleanup(mode, TEMP)
+   -- luatexja.ext_show_node_list(to_node(head), '> ', print)
    -- adjust attr_icflag for avoiding error
-   if tex.getattribute(attr_icflag)~=0 then tex_set_attr('global', attr_icflag, 0) end
-   node_free(getfield(kanji_skip, 'spec'))
-   node_free(getfield(xkanji_skip, 'spec'))
+   if tex.getattribute(attr_icflag)~=0 then ensure_tex_attr(attr_icflag, 0) end
+   node_free(kanji_skip); 
+   node_free(xkanji_skip); node_free(TEMP)
+   
    if mode then
       local h = node_next(head)
       if getid(h) == id_penalty and getfield(h, 'penalty') == 10000 then
@@ -1099,14 +1243,17 @@ end
 -------------------- 外部から呼ばれる関数
 
 -- main interface
-function main(ahead, mode, dir)
+function luatexja.jfmglue.main(ahead, mode, dir)
    if not ahead then return ahead end
+   --luatexja.ext_show_node_list(to_node(ahead ), '>B ', print)
+   --print()
    head = ahead;
-   local lp, last, par_indented = init_var(mode,dir)
+   local lp, last, par_indented, TEMP = init_var(mode,dir)
    lp = calc_np(last, lp)
-   if lp then
+   if Np then
       handle_list_head(par_indented)
-      lp = calc_np(last,lp); while Np do
+      lp = calc_np(last,lp); 
+      while Np do
         adjust_nq();
         local pid, pm = Np.id, Np.met
         -- 挿入部
@@ -1121,20 +1268,23 @@ function main(ahead, mode, dir)
         end
         lp = calc_np(last,lp)
       end
-      handle_list_tail(mode)
+      handle_list_tail(mode, last)
    end
-   return cleanup(mode)
+   --luatexja.ext_show_node_list(to_node(ahead ), '>A ', print)
+   --print()
+   return cleanup(mode, TEMP)
 end
 end
 
 do
    local IHB  = luatexja.userid_table.IHB
    local BPAR = luatexja.userid_table.BPAR
-   local node_prev = (Dnode ~= node) and Dnode.getprev or node.prev
-   local node_write = Dnode.write
+   local BOXB = luatexja.userid_table.BOXB
+   local node_prev = node.direct.getprev
+   local node_write = node.direct.write
 
    -- \inhibitglue
-   function create_inhibitglue_node()
+   function luatexja.jfmglue.create_inhibitglue_node()
       local tn = node_new(id_whatsit, sid_user)
       setfield(tn, 'user_id', IHB)
       setfield(tn, 'type', 100)
@@ -1144,7 +1294,7 @@ do
 
    -- Node for indicating beginning of a paragraph
    -- (for ltjsclasses)
-   function create_beginpar_node()
+   function luatexja.jfmglue.create_beginpar_node()
       local tn = node_new(id_whatsit, sid_user)
       setfield(tn, 'user_id', BPAR)
       setfield(tn, 'type', 100)
@@ -1152,11 +1302,32 @@ do
       node_write(tn)
    end
 
+   -- Node for indicating a head/end of a box
+   function luatexja.jfmglue.create_boxbdd_node()
+      local tn = node_new(id_whatsit, sid_user)
+      setfield(tn, 'user_id', BOXB)
+      setfield(tn, 'type', 100)
+      setfield(tn, 'value', 1)
+      node_write(tn)
+   end
+
    local function whatsit_callback(Np, lp, Nq)
       if Np and Np.nuc then return Np
       elseif Np and getfield(lp, 'user_id') == BPAR then
          Np.first = lp; Np.nuc = lp; Np.last = lp
          return Np
+      elseif Np and getfield(lp, 'user_id') == BOXB then
+        Np.first = lp; Np.nuc = lp; Np.last = lp
+        if Nq then
+           if Nq.met then
+              Np.class = fast_find_char_class('boxbdd', Nq.met)
+            end
+            Np.met = Nq.met; Np.pre = 0; Np.post = 0; Np.xspc = 0
+            Np.auto_xspc, Np.auto_kspc = 0, 0
+         end    
+         return Np
+      else
+        return Np
       end
    end
 
@@ -1169,7 +1340,19 @@ do
                Nq.class = fast_find_char_class('parbdd', Np.met)
             end
             Nq.met = Np.met; Nq.pre = 0; Nq.post = 0; Nq.xspc = 0
-            Nq.auto_xspc = false
+            Nq.auto_xspc, Nq.auto_kspc = 0, 0
+         end
+         head = node_remove(head, y)
+         node_free(y)
+       elseif not s and getfield(Nq.nuc, 'user_id') == BOXB then
+         local x, y = node_prev(Nq.nuc), Nq.nuc
+         Nq.first, Nq.nuc, Nq.last = x, x, x
+         if Np then
+            if Np.met then
+               Nq.class = fast_find_char_class('boxbdd', Np.met)
+            end
+            Nq.met = Np.met; Nq.pre = 0; Nq.post = 0; Nq.xspc = 0
+            Nq.auto_xspc, Nq.auto_kspc = 0, 0
          end
          head = node_remove(head, y)
         node_free(y)
@@ -1183,3 +1366,6 @@ do
                               "luatexja.beginpar.np_info_after", 1)
 
 end
+
+luatexja.jfmglue.after_hlist = after_hlist
+luatexja.jfmglue.check_box_high = check_box_high