lib/src/jp/nyatla/nyartoolkit/detector/NyARDetectMarker.java

   1 /* \r
   2  * PROJECT: NyARToolkit\r
   3  * --------------------------------------------------------------------------------\r
   4  * This work is based on the original ARToolKit developed by\r
   5  *   Hirokazu Kato\r
   6  *   Mark Billinghurst\r
   7  *   HITLab, University of Washington, Seattle\r
   8  * http://www.hitl.washington.edu/artoolkit/\r
   9  *\r
  10  * The NyARToolkit is Java edition ARToolKit class library.\r
  11  * Copyright (C)2008-2009 Ryo Iizuka\r
  12  *\r
  13  * This program is free software: you can redistribute it and/or modify\r
  14  * it under the terms of the GNU General Public License as published by\r
  15  * the Free Software Foundation, either version 3 of the License, or\r
  16  * (at your option) any later version.\r
  17  * \r
  18  * This program is distributed in the hope that it will be useful,\r
  19  * but WITHOUT ANY WARRANTY; without even the implied warranty of\r
  20  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the\r
  21  * GNU General Public License for more details.\r
  22  *\r
  23  * You should have received a copy of the GNU General Public License\r
  24  * along with this program.  If not, see <http://www.gnu.org/licenses/>.\r
  25  * \r
  26  * For further information please contact.\r
  27  *      http://nyatla.jp/nyatoolkit/\r
  28  *      <airmail(at)ebony.plala.or.jp> or <nyatla(at)nyatla.jp>\r
  29  * \r
  30  */\r
  31 package jp.nyatla.nyartoolkit.detector;\r
  32 \r
  33 import jp.nyatla.nyartoolkit.NyARException;\r
  34 import jp.nyatla.nyartoolkit.core.*;\r
  35 import jp.nyatla.nyartoolkit.core.match.*;\r
  36 import jp.nyatla.nyartoolkit.core.param.NyARParam;\r
  37 import jp.nyatla.nyartoolkit.core.pickup.*;\r
  38 import jp.nyatla.nyartoolkit.core.raster.*;\r
  39 import jp.nyatla.nyartoolkit.core.raster.rgb.*;\r
  40 import jp.nyatla.nyartoolkit.core.transmat.*;\r
  41 import jp.nyatla.nyartoolkit.core.rasterfilter.rgb2bin.*;\r
  42 import jp.nyatla.nyartoolkit.core.squaredetect.NyARCoord2Linear;\r
  43 import jp.nyatla.nyartoolkit.core.squaredetect.NyARSquare;\r
  44 import jp.nyatla.nyartoolkit.core.squaredetect.NyARSquareContourDetector_Rle;\r
  45 import jp.nyatla.nyartoolkit.core.types.*;\r
  46 import jp.nyatla.nyartoolkit.core.types.stack.NyARObjectStack;\r
  47 \r
  48 \r
  49 \r
  50 /**\r
  51  * このクラスは、複数のマーカを取り扱うマーカ検出器です。\r
  52  * 登録したn個のARマーカに対応するマーカを入力画像から検出し、その変換行列と一致度を返します。\r
  53  * この関数はn個の登録したマーカに対して、画像中のm個のマーカから、最も位置するものを割り当てる動作をします。\r
  54  * そのため、同一な種類（パターン）のマーカが複数存在する映像を、正しく処理できません。また、同一なマーカパターンを\r
  55  * 複数登録することもできません。\r
  56  * <p>簡単な使い方\r
  57  * <ol>\r
  58  * <li>インスタンスを作成します。パラメータには、計算アルゴリズムと入力画像形式、カメラパラメータ、検出するマーカパターンテーブルがあります。\r
  59  * <li>{@link #detectMarkerLite}関数に画像と敷居値を入力して、マーカを検出します。\r
  60  * <li>検出数が得られるので、インデクス番号を元に、{@link #getConfidence}等の関数を使って、取得したマーカの状態を得ます。\r
  61  * <li>以降は、この処理を繰り返してマーカのパラメータを更新します。\r
  62  * </ol>\r
  63  * </p>\r
  64  */\r
  65 public class NyARDetectMarker\r
  66 {\r
  67         /** 矩形検出器のブリッジ*/\r
  68         private class RleDetector extends NyARSquareContourDetector_Rle\r
  69         {\r
  70                 //公開プロパティ\r
  71                 public NyARDetectMarkerResultStack result_stack=new NyARDetectMarkerResultStack(NyARDetectMarker.AR_SQUARE_MAX);\r
  72                 //参照インスタンス\r
  73                 public INyARRgbRaster _ref_raster;\r
  74                 //所有インスタンス\r
  75                 private INyARColorPatt _inst_patt;\r
  76                 private NyARMatchPattDeviationColorData _deviation_data;\r
  77                 private NyARMatchPatt_Color_WITHOUT_PCA[] _match_patt;\r
  78                 private final NyARMatchPattResult __detectMarkerLite_mr=new NyARMatchPattResult();\r
  79                 private NyARCoord2Linear _coordline;\r
  80 \r
  81                 public RleDetector(INyARColorPatt i_inst_patt,NyARCode[] i_ref_code,int i_num_of_code,NyARParam i_param) throws NyARException\r
  82                 {\r
  83                         super(i_param.getScreenSize());\r
  84                         final int cw = i_ref_code[0].getWidth();\r
  85                         final int ch = i_ref_code[0].getHeight();\r
  86                         //NyARMatchPatt_Color_WITHOUT_PCA[]の作成\r
  87                         this._match_patt=new NyARMatchPatt_Color_WITHOUT_PCA[i_num_of_code];\r
  88                         this._match_patt[0]=new NyARMatchPatt_Color_WITHOUT_PCA(i_ref_code[0]);\r
  89                         for (int i = 1; i < i_num_of_code; i++){\r
  90                                 //解像度チェック\r
  91                                 if (cw != i_ref_code[i].getWidth() || ch != i_ref_code[i].getHeight()) {\r
  92                                         throw new NyARException();\r
  93                                 }\r
  94                                 this._match_patt[i]=new NyARMatchPatt_Color_WITHOUT_PCA(i_ref_code[i]);\r
  95                         }\r
  96                         this._inst_patt=i_inst_patt;\r
  97                         this._coordline=new NyARCoord2Linear(i_param.getScreenSize(),i_param.getDistortionFactor());\r
  98                         this._deviation_data=new NyARMatchPattDeviationColorData(cw,ch);\r
  99                         return;\r
 100                 }\r
 101                 private NyARIntPoint2d[] __ref_vertex=new NyARIntPoint2d[4];\r
 102                 /**\r
 103                  * 矩形が見付かるたびに呼び出されます。\r
 104                  * 発見した矩形のパターンを検査して、方位を考慮した頂点データを確保します。\r
 105                  */\r
 106                 protected void onSquareDetect(NyARIntCoordinates i_coord,int[] i_vertex_index) throws NyARException\r
 107                 {\r
 108                         NyARMatchPattResult mr=this.__detectMarkerLite_mr;\r
 109                         //輪郭座標から頂点リストに変換\r
 110                         NyARIntPoint2d[] vertex=this.__ref_vertex;\r
 111                         vertex[0]=i_coord.items[i_vertex_index[0]];\r
 112                         vertex[1]=i_coord.items[i_vertex_index[1]];\r
 113                         vertex[2]=i_coord.items[i_vertex_index[2]];\r
 114                         vertex[3]=i_coord.items[i_vertex_index[3]];\r
 115                 \r
 116                         //画像を取得\r
 117                         if (!this._inst_patt.pickFromRaster(this._ref_raster,vertex)){\r
 118                                 return;\r
 119                         }\r
 120                         //取得パターンをカラー差分データに変換して評価する。\r
 121                         this._deviation_data.setRaster(this._inst_patt);\r
 122 \r
 123                         //最も一致するパターンを割り当てる。\r
 124                         int square_index,direction;\r
 125                         double confidence;\r
 126                         this._match_patt[0].evaluate(this._deviation_data,mr);\r
 127                         square_index=0;\r
 128                         direction=mr.direction;\r
 129                         confidence=mr.confidence;\r
 130                         //2番目以降\r
 131                         for(int i=1;i<this._match_patt.length;i++){\r
 132                                 this._match_patt[i].evaluate(this._deviation_data,mr);\r
 133                                 if (confidence > mr.confidence) {\r
 134                                         continue;\r
 135                                 }\r
 136                                 // もっと一致するマーカーがあったぽい\r
 137                                 square_index = i;\r
 138                                 direction = mr.direction;\r
 139                                 confidence = mr.confidence;\r
 140                         }\r
 141                         //最も一致したマーカ情報を、この矩形の情報として記録する。\r
 142                         final NyARDetectMarkerResult result = this.result_stack.prePush();\r
 143                         result.arcode_id = square_index;\r
 144                         result.confidence = confidence;\r
 145 \r
 146                         final NyARSquare sq=result.square;\r
 147                         //directionを考慮して、squareを更新する。\r
 148                         for(int i=0;i<4;i++){\r
 149                                 int idx=(i+4 - direction) % 4;\r
 150                                 this._coordline.coord2Line(i_vertex_index[idx],i_vertex_index[(idx+1)%4],i_coord,sq.line[i]);\r
 151                         }\r
 152                         for (int i = 0; i < 4; i++) {\r
 153                                 //直線同士の交点計算\r
 154                                 if(!sq.line[i].crossPos(sq.line[(i + 3) % 4],sq.sqvertex[i])){\r
 155                                         throw new NyARException();//ここのエラー復帰するならダブルバッファにすればOK\r
 156                                 }\r
 157                         }\r
 158                 }\r
 159                 public void init(INyARRgbRaster i_raster)\r
 160                 {\r
 161                         this._ref_raster=i_raster;\r
 162                         this.result_stack.clear();\r
 163                         \r
 164                 }\r
 165         }\r
 166         /** 変換行列計算器のインスタンス*/\r
 167         private INyARTransMat _transmat;\r
 168         private static final int AR_SQUARE_MAX = 300;\r
 169         private boolean _is_continue = false;\r
 170         private RleDetector _square_detect;\r
 171         private NyARRectOffset[] _offset;       \r
 172 \r
 173         /**\r
 174          * コンストラクタです。\r
 175          * パターンの重複しない複数のマーカを検出する検出器を作成します。\r
 176          * @param i_param\r
 177          * カメラパラメータを指定します。このサイズは、{@link #detectMarkerLite}に入力する画像と同じである必要があります。\r
 178          * @param i_code\r
 179          * 検出するマーカーパターンを格納した、{@link NyARCode}の配列を指定します。配列には、先頭から、0から始まるインデクス番号が割り当てられます。\r
 180          * このインデクス番号は、{@link #getConfidence(int)}等のインデクス番号に使います。\r
 181          * @param i_marker_width\r
 182          * 正方形マーカの物理サイズをmm単位で指定します。\r
 183          * @param i_number_of_code\r
 184          * i_codeの有効な個数を指定します。\r
 185          * @param i_input_raster_type\r
 186          * {@link #detectMarkerLite}に入力するラスタのバッファフォーマットを指定します。\r
 187          * この値は、{@link INyARRgbRaster#getBufferType}関数の戻り値を利用します。\r
 188          * @throws NyARException\r
 189          */\r
 190         public NyARDetectMarker(NyARParam i_param,NyARCode[] i_code,double[] i_marker_width, int i_number_of_code,int i_input_raster_type) throws NyARException\r
 191         {\r
 192                 initInstance(i_param,i_code,i_marker_width,i_number_of_code,i_input_raster_type);\r
 193                 return;\r
 194         }\r
 195         /**\r
 196          * この関数は、インスタンスを初期化します。\r
 197          * コンストラクタから呼び出します。\r
 198          * @see NyARDetectMarker#NyARDetectMarker(NyARParam, NyARCode[], double[], int, int)\r
 199          * @param i_ref_param\r
 200          * Check see also\r
 201          * @param i_ref_code\r
 202          * Check see also\r
 203          * @param i_marker_width\r
 204          * Check see also\r
 205          * @param i_number_of_code\r
 206          * Check see also\r
 207          * @param i_input_raster_type\r
 208          * Check see also\r
 209          * @throws NyARException\r
 210          */\r
 211         protected void initInstance(\r
 212                 NyARParam       i_ref_param,\r
 213                 NyARCode[]      i_ref_code,\r
 214                 double[]        i_marker_width,\r
 215                 int                     i_number_of_code,\r
 216                 int i_input_raster_type) throws NyARException\r
 217         {\r
 218 \r
 219                 final NyARIntSize scr_size=i_ref_param.getScreenSize();\r
 220                 // 解析オブジェクトを作る\r
 221                 final int cw = i_ref_code[0].getWidth();\r
 222                 final int ch = i_ref_code[0].getHeight();\r
 223 \r
 224                 this._transmat = new NyARTransMat(i_ref_param);\r
 225                 //NyARToolkitプロファイル\r
 226                 this._square_detect =new RleDetector(new NyARColorPatt_Perspective_O2(cw, ch,4,25,i_input_raster_type),i_ref_code,i_number_of_code,i_ref_param);\r
 227                 this._tobin_filter=new NyARRasterFilter_ARToolkitThreshold(100,i_input_raster_type);\r
 228 \r
 229                 //実サイズ保存\r
 230                 this._offset = NyARRectOffset.createArray(i_number_of_code);\r
 231                 for(int i=0;i<i_number_of_code;i++){\r
 232                         this._offset[i].setSquare(i_marker_width[i]);\r
 233                 }\r
 234                 //２値画像バッファを作る\r
 235                 this._bin_raster=new NyARBinRaster(scr_size.w,scr_size.h);\r
 236                 return;         \r
 237         }\r
 238         \r
 239         private NyARBinRaster _bin_raster;\r
 240 \r
 241         private INyARRasterFilter_Rgb2Bin _tobin_filter;\r
 242 \r
 243         /**\r
 244          * i_imageにマーカー検出処理を実行し、結果を記録します。\r
 245          * ここからん\r
 246          * @param i_raster\r
 247          * マーカーを検出するイメージを指定します。\r
 248          * @param i_thresh\r
 249          * 検出閾値を指定します。0～255の範囲で指定してください。 通常は100～130くらいを指定します。\r
 250          * @return 見つかったマーカーの数を返します。 マーカーが見つからない場合は0を返します。\r
 251          * @throws NyARException\r
 252          */\r
 253         public int detectMarkerLite(INyARRgbRaster i_raster, int i_threshold) throws NyARException\r
 254         {\r
 255                 // サイズチェック\r
 256                 if (!this._bin_raster.getSize().isEqualSize(i_raster.getSize())) {\r
 257                         throw new NyARException();\r
 258                 }\r
 259 \r
 260                 // ラスタを２値イメージに変換する.\r
 261                 ((NyARRasterFilter_ARToolkitThreshold)this._tobin_filter).setThreshold(i_threshold);\r
 262                 this._tobin_filter.doFilter(i_raster, this._bin_raster);\r
 263 \r
 264                 //detect\r
 265                 this._square_detect.init(i_raster);\r
 266                 this._square_detect.detectMarker(this._bin_raster);\r
 267 \r
 268                 //見付かった数を返す。\r
 269                 return this._square_detect.result_stack.getLength();\r
 270         }\r
 271 \r
 272         /**\r
 273          * i_indexのマーカーに対する変換行列を計算し、結果値をo_resultへ格納します。 直前に実行したdetectMarkerLiteが成功していないと使えません。\r
 274          * \r
 275          * @param i_index\r
 276          * マーカーのインデックス番号を指定します。 直前に実行したdetectMarkerLiteの戻り値未満かつ0以上である必要があります。\r
 277          * @param o_result\r
 278          * 結果値を受け取るオブジェクトを指定してください。\r
 279          * @throws NyARException\r
 280          */\r
 281         public void getTransmationMatrix(int i_index, NyARTransMatResult o_result) throws NyARException\r
 282         {\r
 283                 final NyARDetectMarkerResult result = this._square_detect.result_stack.getItem(i_index);\r
 284                 // 一番一致したマーカーの位置とかその辺を計算\r
 285                 if (_is_continue) {\r
 286                         _transmat.transMatContinue(result.square, this._offset[result.arcode_id], o_result,o_result);\r
 287                 } else {\r
 288                         _transmat.transMat(result.square, this._offset[result.arcode_id], o_result);\r
 289                 }\r
 290                 return;\r
 291         }\r
 292 \r
 293         /**\r
 294          * i_indexのマーカーの一致度を返します。\r
 295          * \r
 296          * @param i_index\r
 297          * マーカーのインデックス番号を指定します。 直前に実行したdetectMarkerLiteの戻り値未満かつ0以上である必要があります。\r
 298          * @return マーカーの一致度を返します。0～1までの値をとります。 一致度が低い場合には、誤認識の可能性が高くなります。\r
 299          * @throws NyARException\r
 300          */\r
 301         public double getConfidence(int i_index)\r
 302         {\r
 303                 return this._square_detect.result_stack.getItem(i_index).confidence;\r
 304         }\r
 305         /**\r
 306          * i_indexのマーカーのARCodeインデックスを返します。\r
 307          * \r
 308          * @param i_index\r
 309          * マーカーのインデックス番号を指定します。 直前に実行したdetectMarkerLiteの戻り値未満かつ0以上である必要があります。\r
 310          * @return\r
 311          */\r
 312         public int getARCodeIndex(int i_index)\r
 313         {\r
 314                 return this._square_detect.result_stack.getItem(i_index).arcode_id;\r
 315         }\r
 316 \r
 317         /**\r
 318          * getTransmationMatrixの計算モードを設定します。\r
 319          * \r
 320          * @param i_is_continue\r
 321          * TRUEなら、transMatContinueを使用します。 FALSEなら、transMatを使用します。\r
 322          */\r
 323         public void setContinueMode(boolean i_is_continue)\r
 324         {\r
 325                 this._is_continue = i_is_continue;\r
 326         }\r
 327 }\r
 328 \r
 329 /** 内部クラスです。ユーザが使用することはありません*/\r
 330 class NyARDetectMarkerResult\r
 331 {\r
 332         public int arcode_id;\r
 333         public double confidence;\r
 334 \r
 335         public NyARSquare square=new NyARSquare();\r
 336 }\r
 337 \r
 338 \r
 339 /** 内部クラスです。ユーザが使用することはありません*/\r
 340 class NyARDetectMarkerResultStack extends NyARObjectStack<NyARDetectMarkerResult>\r
 341 {\r
 342         public NyARDetectMarkerResultStack(int i_length) throws NyARException\r
 343         {\r
 344                 super();\r
 345                 this.initInstance(i_length,NyARDetectMarkerResult.class);\r
 346                 return;\r
 347         }\r
 348         protected NyARDetectMarkerResult createElement()\r
 349         {\r
 350                 return new NyARDetectMarkerResult();\r
 351         }       \r
 352 }