lib/ruby-1.9.1-rc1/transcode_data.h

   1 /**********************************************************************
   2
   3   transcode_data.h -
   4
   5   $Author: akr $
   6   created at: Mon 10 Dec 2007 14:01:47 JST 2007
   7
   8   Copyright (C) 2007 Martin Duerst
   9
  10 **********************************************************************/
  11
  12 #include "ruby/ruby.h"
  13
  14 #ifndef RUBY_TRANSCODE_DATA_H
  15 #define RUBY_TRANSCODE_DATA_H 1
  16
  17 #define WORDINDEX_SHIFT_BITS 2
  18 #define WORDINDEX2INFO(widx)      ((widx) << WORDINDEX_SHIFT_BITS)
  19 #define INFO2WORDINDEX(info)      ((info) >> WORDINDEX_SHIFT_BITS)
  20 #define BYTE_LOOKUP_BASE(bl) ((bl)[0])
  21 #define BYTE_LOOKUP_INFO(bl) ((bl)[1])
  22
  23 #define PType (unsigned int)
  24
  25 #define NOMAP   (PType 0x01)    /* single byte direct map */
  26 #define ONEbt   (0x02)          /* one byte payload */
  27 #define TWObt   (0x03)          /* two bytes payload */
  28 #define THREEbt (0x05)          /* three bytes payload */
  29 #define FOURbt  (0x06)          /* four bytes payload, UTF-8 only, macros start at getBT0 */
  30 #define INVALID (PType 0x07)    /* invalid byte sequence */
  31 #define UNDEF   (PType 0x09)    /* legal but undefined */
  32 #define ZERObt  (PType 0x0A)    /* zero bytes of payload, i.e. remove */
  33 #define FUNii   (PType 0x0B)    /* function from info to info */
  34 #define FUNsi   (PType 0x0D)    /* function from start to info */
  35 #define FUNio   (PType 0x0E)    /* function from info to output */
  36 #define FUNso   (PType 0x0F)    /* function from start to output */
  37 #define STR1    (PType 0x11)    /* string 4 <= len <= 259 bytes: 1byte length + content */
  38
  39 #define STR1_LENGTH(byte_addr) (*(byte_addr) + 4)
  40 #define STR1_BYTEINDEX(w) ((w) >> 6)
  41 #define makeSTR1(bi) (((bi) << 6) | STR1)
  42 #define makeSTR1LEN(len) ((len)-4)
  43
  44 #define o1(b1)          (PType((((unsigned char)(b1))<<8)|ONEbt))
  45 #define o2(b1,b2)       (PType((((unsigned char)(b1))<<8)|(((unsigned char)(b2))<<16)|TWObt))
  46 #define o3(b1,b2,b3)    (PType(((((unsigned char)(b1))<<8)|(((unsigned char)(b2))<<16)|(((unsigned char)(b3))<<24)|THREEbt)&0xffffffffU))
  47 #define o4(b0,b1,b2,b3) (PType(((((unsigned char)(b1))<< 8)|(((unsigned char)(b2))<<16)|(((unsigned char)(b3))<<24)|((((unsigned char)(b0))&0x07)<<5)|FOURbt)&0xffffffffU))
  48
  49 #define getBT1(a)       (((a)>> 8)&0xFF)
  50 #define getBT2(a)       (((a)>>16)&0xFF)
  51 #define getBT3(a)       (((a)>>24)&0xFF)
  52 #define getBT0(a)       ((((a)>> 5)&0x07)|0xF0)   /* for UTF-8 only!!! */
  53
  54 #define o2FUNii(b1,b2)  (PType((((unsigned char)(b1))<<8)|(((unsigned char)(b2))<<16)|FUNii))
  55
  56 /* do we need these??? maybe not, can be done with simple tables */
  57 #define ONETRAIL       /* legal but undefined if one more trailing UTF-8 */
  58 #define TWOTRAIL       /* legal but undefined if two more trailing UTF-8 */
  59 #define THREETRAIL     /* legal but undefined if three more trailing UTF-8 */
  60
  61 typedef enum {
  62   asciicompat_converter,        /* ASCII-compatible -> ASCII-compatible */
  63   asciicompat_decoder,          /* ASCII-incompatible -> ASCII-compatible */
  64   asciicompat_encoder           /* ASCII-compatible -> ASCII-incompatible */
  65   /* ASCII-incompatible -> ASCII-incompatible is intentionally ommitted. */
  66 } rb_transcoder_asciicompat_type_t;
  67
  68 typedef struct rb_transcoder rb_transcoder;
  69
  70 /* static structure, one per supported encoding pair */
  71 struct rb_transcoder {
  72     const char *src_encoding;
  73     const char *dst_encoding;
  74     unsigned int conv_tree_start;
  75     const unsigned char *byte_array;
  76     unsigned int byte_array_length;
  77     const unsigned int *word_array;
  78     unsigned int word_array_length;
  79     int word_size;
  80     int input_unit_length;
  81     int max_input;
  82     int max_output;
  83     rb_transcoder_asciicompat_type_t asciicompat_type;
  84     size_t state_size;
  85     int (*state_init_func)(void*); /* ret==0:success ret!=0:failure(errno) */
  86     int (*state_fini_func)(void*); /* ret==0:success ret!=0:failure(errno) */
  87     VALUE (*func_ii)(void*, VALUE); /* info  -> info   */
  88     VALUE (*func_si)(void*, const unsigned char*, size_t); /* start -> info   */
  89     ssize_t (*func_io)(void*, VALUE, const unsigned char*, size_t); /* info  -> output */
  90     ssize_t (*func_so)(void*, const unsigned char*, size_t, unsigned char*, size_t); /* start -> output */
  91     ssize_t (*finish_func)(void*, unsigned char*, size_t); /* -> output */
  92     ssize_t (*resetsize_func)(void*); /* -> len */
  93     ssize_t (*resetstate_func)(void*, unsigned char*, size_t); /* -> output */
  94 };
  95
  96 void rb_declare_transcoder(const char *enc1, const char *enc2, const char *lib);
  97 void rb_register_transcoder(const rb_transcoder *);
  98
  99 #endif /* RUBY_TRANSCODE_DATA_H */