src/jp/nyatla/nyartoolkit/detector/NyARCustomSingleDetectMarker.java

   1 /* \r
   2  * PROJECT: NyARToolkit\r
   3  * --------------------------------------------------------------------------------\r
   4  * This work is based on the original ARToolKit developed by\r
   5  *   Hirokazu Kato\r
   6  *   Mark Billinghurst\r
   7  *   HITLab, University of Washington, Seattle\r
   8  * http://www.hitl.washington.edu/artoolkit/\r
   9  *\r
  10  * The NyARToolkit is Java edition ARToolKit class library.\r
  11  * Copyright (C)2008-2009 Ryo Iizuka\r
  12  *\r
  13  * This program is free software: you can redistribute it and/or modify\r
  14  * it under the terms of the GNU General Public License as published by\r
  15  * the Free Software Foundation, either version 3 of the License, or\r
  16  * (at your option) any later version.\r
  17  * \r
  18  * This program is distributed in the hope that it will be useful,\r
  19  * but WITHOUT ANY WARRANTY; without even the implied warranty of\r
  20  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the\r
  21  * GNU General Public License for more details.\r
  22  *\r
  23  * You should have received a copy of the GNU General Public License\r
  24  * along with this program.  If not, see <http://www.gnu.org/licenses/>.\r
  25  * \r
  26  * For further information please contact.\r
  27  *      http://nyatla.jp/nyatoolkit/\r
  28  *      <airmail(at)ebony.plala.or.jp> or <nyatla(at)nyatla.jp>\r
  29  * \r
  30  */\r
  31 package jp.nyatla.nyartoolkit.detector;\r
  32 \r
  33 import jp.nyatla.nyartoolkit.NyARException;\r
  34 import jp.nyatla.nyartoolkit.core.*;\r
  35 import jp.nyatla.nyartoolkit.core.match.*;\r
  36 import jp.nyatla.nyartoolkit.core.param.NyARParam;\r
  37 import jp.nyatla.nyartoolkit.core.pickup.*;\r
  38 import jp.nyatla.nyartoolkit.core.raster.rgb.*;\r
  39 import jp.nyatla.nyartoolkit.core.raster.*;\r
  40 import jp.nyatla.nyartoolkit.core.transmat.*;\r
  41 import jp.nyatla.nyartoolkit.core.types.NyARIntSize;\r
  42 import jp.nyatla.nyartoolkit.core.types.NyARLinear;\r
  43 import jp.nyatla.nyartoolkit.core.rasterfilter.rgb2bin.*;\r
  44 import jp.nyatla.nyartoolkit.core.types.*;\r
  45 import jp.nyatla.nyartoolkit.core.squaredetect.*;\r
  46 \r
  47 /**\r
  48  * 画像からARCodeに最も一致するマーカーを1個検出し、その変換行列を計算するクラスです。\r
  49  * 変換行列を求めるには、detectMarkerLite関数にラスタイメージを入力して、計算対象の矩形を特定します。\r
  50  * detectMarkerLiteが成功すると、getTransmationMatrix等の関数が使用可能な状態になり、変換行列を求めることができます。\r
  51  * \r
  52  * \r
  53  */\r
  54 public class NyARCustomSingleDetectMarker\r
  55 {\r
  56         /**\r
  57          * detectMarkerのコールバック関数\r
  58          */\r
  59         private class DetectSquareCB implements INyARSquareContourDetector.DetectMarkerCallback\r
  60         {\r
  61                 //公開プロパティ\r
  62                 public double confidence;\r
  63                 public NyARSquare square=new NyARSquare();\r
  64                 \r
  65                 //参照インスタンス\r
  66                 private INyARRgbRaster _ref_raster;\r
  67                 //所有インスタンス\r
  68                 private INyARColorPatt _inst_patt;\r
  69                 private NyARMatchPattDeviationColorData _deviation_data;\r
  70                 private NyARMatchPatt_Color_WITHOUT_PCA _match_patt;\r
  71                 private final NyARMatchPattResult __detectMarkerLite_mr=new NyARMatchPattResult();\r
  72                 private Coord2Linear _coordline;\r
  73                 \r
  74                 public DetectSquareCB(INyARColorPatt i_inst_patt,NyARCode i_ref_code,NyARParam i_param)\r
  75                 {\r
  76                         this._inst_patt=i_inst_patt;\r
  77                         this._deviation_data=new NyARMatchPattDeviationColorData(i_ref_code.getWidth(),i_ref_code.getHeight());\r
  78                         this._coordline=new Coord2Linear(i_param.getScreenSize(),i_param.getDistortionFactor());\r
  79                         this._match_patt=new NyARMatchPatt_Color_WITHOUT_PCA(i_ref_code);\r
  80                         return;\r
  81                 }\r
  82                 private NyARIntPoint2d[] __tmp_vertex=NyARIntPoint2d.createArray(4);\r
  83                 /**\r
  84                  * 矩形が見付かるたびに呼び出されます。\r
  85                  * 発見した矩形のパターンを検査して、方位を考慮した頂点データを確保します。\r
  86                  */\r
  87                 public void onSquareDetect(INyARSquareContourDetector i_sender,int[] i_coordx,int[] i_coordy,int i_coor_num,int[] i_vertex_index) throws NyARException\r
  88                 {\r
  89                         NyARMatchPattResult mr=this.__detectMarkerLite_mr;\r
  90                         //輪郭座標から頂点リストに変換\r
  91                         NyARIntPoint2d[] vertex=this.__tmp_vertex;\r
  92                         vertex[0].x=i_coordx[i_vertex_index[0]];\r
  93                         vertex[0].y=i_coordy[i_vertex_index[0]];\r
  94                         vertex[1].x=i_coordx[i_vertex_index[1]];\r
  95                         vertex[1].y=i_coordy[i_vertex_index[1]];\r
  96                         vertex[2].x=i_coordx[i_vertex_index[2]];\r
  97                         vertex[2].y=i_coordy[i_vertex_index[2]];\r
  98                         vertex[3].x=i_coordx[i_vertex_index[3]];\r
  99                         vertex[3].y=i_coordy[i_vertex_index[3]];\r
 100                 \r
 101                         //画像を取得\r
 102                         if (!this._inst_patt.pickFromRaster(this._ref_raster,vertex)){\r
 103                                 return;\r
 104                         }\r
 105                         //取得パターンをカラー差分データに変換して評価する。\r
 106                         this._deviation_data.setRaster(this._inst_patt);\r
 107                         if(!this._match_patt.evaluate(this._deviation_data,mr)){\r
 108                                 return;\r
 109                         }\r
 110                         //現在の一致率より低ければ終了\r
 111                         if (this.confidence > mr.confidence){\r
 112                                 return;\r
 113                         }\r
 114                         //一致率の高い矩形があれば、方位を考慮して頂点情報を作成\r
 115                         NyARSquare sq=this.square;\r
 116                         this.confidence = mr.confidence;\r
 117                         //directionを考慮して、squareを更新する。\r
 118                         for(int i=0;i<4;i++){\r
 119                                 int idx=(i+4 - mr.direction) % 4;\r
 120                                 sq.imvertex[i].x=vertex[idx].x;\r
 121                                 sq.imvertex[i].y=vertex[idx].y;\r
 122                                 this._coordline.coord2Line(i_vertex_index[idx],i_vertex_index[(idx+1)%4],i_coordx,i_coordy,i_coor_num,sq.line[i]);\r
 123                         }\r
 124                         for (int i = 0; i < 4; i++) {\r
 125                                 //直線同士の交点計算\r
 126                                 if(!NyARLinear.crossPos(sq.line[i],sq.line[(i + 3) % 4],sq.sqvertex[i])){\r
 127                                         throw new NyARException();//ここのエラー復帰するならダブルバッファにすればOK\r
 128                                 }\r
 129                         }\r
 130                 }\r
 131                 public final void init(INyARRgbRaster i_raster)\r
 132                 {\r
 133                         this.confidence=0;\r
 134                         this._ref_raster=i_raster;\r
 135                         \r
 136                 }\r
 137         }\r
 138         \r
 139         private boolean _is_continue = false;\r
 140         private INyARSquareContourDetector _square_detect;\r
 141         protected INyARTransMat _transmat;\r
 142         private double _marker_width;\r
 143         //画処理用\r
 144         private NyARBinRaster _bin_raster;\r
 145         protected INyARRasterFilter_RgbToBin _tobin_filter;\r
 146         private DetectSquareCB _detect_cb;\r
 147 \r
 148 \r
 149         protected NyARCustomSingleDetectMarker()\r
 150         {\r
 151                 return;\r
 152         }\r
 153         protected void initInstance(\r
 154                 INyARColorPatt i_patt_inst,\r
 155                 INyARSquareContourDetector i_sqdetect_inst,\r
 156                 INyARTransMat i_transmat_inst,\r
 157                 INyARRasterFilter_RgbToBin i_filter,\r
 158                 NyARParam       i_ref_param,\r
 159                 NyARCode        i_ref_code,\r
 160                 double          i_marker_width) throws NyARException\r
 161         {\r
 162                 final NyARIntSize scr_size=i_ref_param.getScreenSize();         \r
 163                 // 解析オブジェクトを作る\r
 164                 this._square_detect = i_sqdetect_inst;\r
 165                 this._transmat = i_transmat_inst;\r
 166                 this._tobin_filter=i_filter;\r
 167                 // 比較コードを保存\r
 168                 this._marker_width = i_marker_width;\r
 169                 //２値画像バッファを作る\r
 170                 this._bin_raster=new NyARBinRaster(scr_size.w,scr_size.h);\r
 171                 //_detect_cb\r
 172                 this._detect_cb=new DetectSquareCB(i_patt_inst,i_ref_code,i_ref_param);\r
 173                 return;\r
 174                 \r
 175         }\r
 176 \r
 177         \r
 178 \r
 179         \r
 180         /**\r
 181          * i_imageにマーカー検出処理を実行し、結果を記録します。\r
 182          * \r
 183          * @param i_raster\r
 184          * マーカーを検出するイメージを指定します。イメージサイズは、カメラパラメータ\r
 185          * と一致していなければなりません。\r
 186          * @return マーカーが検出できたかを真偽値で返します。\r
 187          * @throws NyARException\r
 188          */\r
 189         public boolean detectMarkerLite(INyARRgbRaster i_raster) throws NyARException\r
 190         {\r
 191                 //サイズチェック\r
 192                 if(!this._bin_raster.getSize().isEqualSize(i_raster.getSize())){\r
 193                         throw new NyARException();\r
 194                 }\r
 195 \r
 196                 //ラスタを２値イメージに変換する.\r
 197                 this._tobin_filter.doFilter(i_raster,this._bin_raster);\r
 198 \r
 199                 //コールバックハンドラの準備\r
 200                 this._detect_cb.init(i_raster);\r
 201                 //矩形を探す(戻り値はコールバック関数で受け取る。)\r
 202                 this._square_detect.detectMarkerCB(this._bin_raster,_detect_cb);\r
 203                 if(this._detect_cb.confidence==0){\r
 204                         return false;\r
 205                 }\r
 206                 return true;\r
 207         }\r
 208 \r
 209         /**\r
 210          * 検出したマーカーの変換行列を計算して、o_resultへ値を返します。\r
 211          * 直前に実行したdetectMarkerLiteが成功していないと使えません。\r
 212          * \r
 213          * @param o_result\r
 214          * 変換行列を受け取るオブジェクトを指定します。\r
 215          * @throws NyARException\r
 216          */\r
 217         public void getTransmationMatrix(NyARTransMatResult o_result) throws NyARException\r
 218         {\r
 219                 // 一番一致したマーカーの位置とかその辺を計算\r
 220                 if (this._is_continue) {\r
 221                         this._transmat.transMatContinue(this._detect_cb.square,this._marker_width, o_result);\r
 222                 } else {\r
 223                         this._transmat.transMat(this._detect_cb.square,this._marker_width, o_result);\r
 224                 }\r
 225                 return;\r
 226         }\r
 227         /**\r
 228          * 画面上のマーカ頂点情報を配列へ取得します。\r
 229          * @param o_point\r
 230          * 4要素以上の配列を指定して下さい。先頭の4要素に値がコピーされます。\r
 231          */\r
 232         public void getSquarePosition(NyARIntPoint2d[] o_point)\r
 233         {\r
 234                 NyARIntPoint2d.copyArray(this._detect_cb.square.imvertex,o_point);\r
 235                 return;\r
 236         }\r
 237         /**\r
 238          * 画面上のマーカ頂点情報を配列へのリファレンスを返します。\r
 239          * 返されたオブジェクトはクラスに所有し続けられています。クラスのメンバ関数を実行すると内容が書き変わります。\r
 240          * 外部でデータをストックする場合は、getSquarePositionで複製して下さい。\r
 241          * @return\r
 242          */\r
 243         public NyARIntPoint2d[] refSquarePosition()\r
 244         {\r
 245                 return this._detect_cb.square.imvertex;\r
 246         }\r
 247         \r
 248 \r
 249         /**\r
 250          * 検出したマーカーの一致度を返します。\r
 251          * \r
 252          * @return マーカーの一致度を返します。0～1までの値をとります。 一致度が低い場合には、誤認識の可能性が高くなります。\r
 253          * @throws NyARException\r
 254          */\r
 255         public double getConfidence()\r
 256         {\r
 257                 return this._detect_cb.confidence;\r
 258         }\r
 259         /**\r
 260          * getTransmationMatrixの計算モードを設定します。 初期値はTRUEです。\r
 261          * \r
 262          * @param i_is_continue\r
 263          * TRUEなら、transMatCont互換の計算をします。 FALSEなら、transMat互換の計算をします。\r
 264          */\r
 265         public void setContinueMode(boolean i_is_continue)\r
 266         {\r
 267                 this._is_continue = i_is_continue;\r
 268         }\r
 269         \r
 270         \r
 271         \r
 272         \r
 273 }\r