tags/2.2.0/sample/sandbox/jp/nyatla/nyartoolkit/sandbox/x2/NyARSquareDetector_X2.java

   1 /* \r
   2  * PROJECT: NyARToolkit\r
   3  * --------------------------------------------------------------------------------\r
   4  * This work is based on the original ARToolKit developed by\r
   5  *   Hirokazu Kato\r
   6  *   Mark Billinghurst\r
   7  *   HITLab, University of Washington, Seattle\r
   8  * http://www.hitl.washington.edu/artoolkit/\r
   9  *\r
  10  * The NyARToolkit is Java version ARToolkit class library.\r
  11  * Copyright (C)2008 R.Iizuka\r
  12  *\r
  13  * This program is free software; you can redistribute it and/or\r
  14  * modify it under the terms of the GNU General Public License\r
  15  * as published by the Free Software Foundation; either version 2\r
  16  * of the License, or (at your option) any later version.\r
  17  * \r
  18  * This program is distributed in the hope that it will be useful,\r
  19  * but WITHOUT ANY WARRANTY; without even the implied warranty of\r
  20  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the\r
  21  * GNU General Public License for more details.\r
  22  * \r
  23  * You should have received a copy of the GNU General Public License\r
  24  * along with this framework; if not, write to the Free Software\r
  25  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA\r
  26  * \r
  27  * For further information please contact.\r
  28  *      http://nyatla.jp/nyatoolkit/\r
  29  *      <airmail(at)ebony.plala.or.jp>\r
  30  * \r
  31  */\r
  32 package jp.nyatla.nyartoolkit.sandbox.x2;\r
  33 import jp.nyatla.nyartoolkit.NyARException;\r
  34 import jp.nyatla.nyartoolkit.core.labeling.*;\r
  35 import jp.nyatla.nyartoolkit.core.raster.*;\r
  36 import jp.nyatla.nyartoolkit.core.types.*;\r
  37 import jp.nyatla.nyartoolkit.core2.types.*;\r
  38 import jp.nyatla.nyartoolkit.core2.types.matrix.NyARI64Matrix22;\r
  39 import jp.nyatla.nyartoolkit.core.*;\r
  40 \r
  41 \r
  42 \r
  43 /**\r
  44  * イメージから正方形候補を検出するクラス。\r
  45  * このクラスは、arDetectMarker2.cとの置き換えになります。\r
  46  * \r
  47  */\r
  48 public class NyARSquareDetector_X2 implements INyARSquareDetector\r
  49 {\r
  50         private static final int AR_AREA_MAX = 100000;// #define AR_AREA_MAX 100000\r
  51 \r
  52         private static final int AR_AREA_MIN = 70;// #define AR_AREA_MIN 70\r
  53         private final int _width;\r
  54         private final int _height;\r
  55 \r
  56         private final INyARLabeling _labeling;\r
  57 \r
  58         private final NyARLabelingImage _limage;\r
  59 \r
  60         private final OverlapChecker _overlap_checker = new OverlapChecker();\r
  61         private final NyARFixedFloatObserv2IdealMap _dist_factor_ref;\r
  62 //      private final NyARFixFloatCameraDistortionFactorMap _dist_factor_ref;\r
  63         private final NyARFixedFloatPca2d _pca;\r
  64 //      private final INyARPca2d _pca;\r
  65 \r
  66         /**\r
  67          * 最大i_squre_max個のマーカーを検出するクラスを作成する。\r
  68          * \r
  69          * @param i_param\r
  70          */\r
  71         public NyARSquareDetector_X2(NyARFixedFloatObserv2IdealMap i_dist_factor_ref,NyARIntSize i_size) throws NyARException\r
  72         {\r
  73                 this._width = i_size.w;\r
  74                 this._height = i_size.h;\r
  75                 this._dist_factor_ref = i_dist_factor_ref;\r
  76                 this._labeling = new NyARLabeling_ARToolKit_X2();\r
  77                 this._limage = new NyARLabelingImage(this._width, this._height);\r
  78                 this._labeling.attachDestination(this._limage);\r
  79 \r
  80                 // 輪郭の最大長は画面に映りうる最大の長方形サイズ。\r
  81                 int number_of_coord = (this._width + this._height) * 2;\r
  82 \r
  83                 // 輪郭バッファは頂点変換をするので、輪郭バッファの２倍取る。\r
  84                 this._max_coord = number_of_coord;\r
  85                 this._xcoord = new int[number_of_coord * 2];\r
  86                 this._ycoord = new int[number_of_coord * 2];\r
  87                 //PCA\r
  88 \r
  89                 this._pca=new NyARFixedFloatPca2d();\r
  90         }\r
  91         private final int PCA_LENGTH=20;\r
  92 \r
  93         private final int _max_coord;\r
  94         private final int[] _xcoord;\r
  95         private final int[] _ycoord;\r
  96         private final int[] _xpos=new int[PCA_LENGTH];\r
  97         private final int[] _ypos=new int[PCA_LENGTH];\r
  98         \r
  99         private void normalizeCoord(int[] i_coord_x, int[] i_coord_y, int i_index, int i_coord_num)\r
 100         {\r
 101                 // vertex1を境界にして、後方に配列を連結\r
 102                 System.arraycopy(i_coord_x, 1, i_coord_x, i_coord_num, i_index);\r
 103                 System.arraycopy(i_coord_y, 1, i_coord_y, i_coord_num, i_index);\r
 104         }\r
 105 \r
 106         private final int[] __detectMarker_mkvertex = new int[5];\r
 107 \r
 108         /**\r
 109          * arDetectMarker2を基にした関数\r
 110          * この関数はNyARSquare要素のうち、directionを除くパラメータを取得して返します。\r
 111          * directionの確定は行いません。\r
 112          * @param i_raster\r
 113          * 解析する２値ラスタイメージを指定します。\r
 114          * @param o_square_stack\r
 115          * 抽出した正方形候補を格納するリスト\r
 116          * @throws NyARException\r
 117          */\r
 118         public final void detectMarker(NyARBinRaster i_raster, NyARSquareStack o_square_stack) throws NyARException\r
 119         {\r
 120                 final INyARLabeling labeling_proc = this._labeling;\r
 121                 final NyARLabelingImage limage = this._limage;\r
 122 \r
 123                 // 初期化\r
 124 \r
 125                 // マーカーホルダをリセット\r
 126                 o_square_stack.clear();\r
 127 \r
 128                 // ラベリング\r
 129                 labeling_proc.labeling(i_raster);\r
 130 \r
 131                 // ラベル数が0ならここまで\r
 132                 final int label_num = limage.getLabelStack().getLength();\r
 133                 if (label_num < 1) {\r
 134                         return;\r
 135                 }\r
 136 \r
 137                 final NyARLabelingLabelStack stack = limage.getLabelStack();\r
 138                 final NyARLabelingLabel[] labels = (NyARLabelingLabel[])stack.getArray();\r
 139                 \r
 140                 \r
 141                 // ラベルを大きい順に整列\r
 142                 stack.sortByArea();\r
 143 \r
 144                 // デカいラベルを読み飛ばし\r
 145                 int i;\r
 146                 for (i = 0; i < label_num; i++) {\r
 147                         // 検査対象内のラベルサイズになるまで無視\r
 148                         if (labels[i].area <= AR_AREA_MAX) {\r
 149                                 break;\r
 150                         }\r
 151                 }\r
 152 \r
 153                 final int xsize = this._width;\r
 154                 final int ysize = this._height;\r
 155                 final int[] xcoord = this._xcoord;\r
 156                 final int[] ycoord = this._ycoord;\r
 157                 final int coord_max = this._max_coord;\r
 158                 final int[] mkvertex = this.__detectMarker_mkvertex;\r
 159                 final OverlapChecker overlap = this._overlap_checker;\r
 160                 int coord_num;\r
 161                 int label_area;\r
 162                 NyARLabelingLabel label_pt;\r
 163 \r
 164                 //重なりチェッカの最大数を設定\r
 165                 overlap.reset(label_num);\r
 166 \r
 167                 for (; i < label_num; i++) {\r
 168                         label_pt = labels[i];\r
 169                         label_area = label_pt.area;\r
 170                         // 検査対象サイズよりも小さくなったら終了\r
 171                         if (label_area < AR_AREA_MIN) {\r
 172                                 break;\r
 173                         }\r
 174                         // クリップ領域が画面の枠に接していれば除外\r
 175                         if (label_pt.clip_l == 1 || label_pt.clip_r == xsize - 2) {// if(wclip[i*4+0] == 1 || wclip[i*4+1] ==xsize-2){\r
 176                                 continue;\r
 177                         }\r
 178                         if (label_pt.clip_t == 1 || label_pt.clip_b == ysize - 2) {// if( wclip[i*4+2] == 1 || wclip[i*4+3] ==ysize-2){\r
 179                                 continue;\r
 180                         }\r
 181                         // 既に検出された矩形との重なりを確認\r
 182                         if (!overlap.check(label_pt)) {\r
 183                                 // 重なっているようだ。\r
 184                                 continue;\r
 185                         }\r
 186 \r
 187                         // 輪郭を取得\r
 188                         coord_num = limage.getContour(i, coord_max, xcoord, ycoord);\r
 189                         if (coord_num == coord_max) {\r
 190                                 // 輪郭が大きすぎる。\r
 191                                 continue;\r
 192                         }\r
 193                         //頂点候補のインデクスを取得\r
 194                         final int vertex1 = scanVertex(xcoord, ycoord, coord_num);\r
 195 \r
 196                         // 頂点候補(vertex1)を先頭に並べなおした配列を作成する。\r
 197                         normalizeCoord(xcoord, ycoord, vertex1, coord_num);\r
 198 \r
 199                         // 領域を準備する。\r
 200                         NyARSquare square_ptr = (NyARSquare)o_square_stack.prePush();\r
 201 \r
 202                         // 頂点情報を取得\r
 203                         if (!getSquareVertex(xcoord, ycoord, vertex1, coord_num, label_area, mkvertex)) {\r
 204                                 o_square_stack.pop();// 頂点の取得が出来なかったので破棄\r
 205                                 continue;\r
 206                         }\r
 207                         // マーカーを検出\r
 208                         if (!getSquareLine(mkvertex, xcoord, ycoord, square_ptr)) {\r
 209                                 // 矩形が成立しなかった。\r
 210                                 o_square_stack.pop();\r
 211                                 continue;\r
 212                         }\r
 213                         // 検出済の矩形の属したラベルを重なりチェックに追加する。\r
 214                         overlap.push(label_pt);\r
 215                 }       \r
 216                 return;\r
 217         }\r
 218 \r
 219         /**\r
 220          * 辺からの対角線が最長になる点を対角線候補として返す。\r
 221          * \r
 222          * @param i_xcoord\r
 223          * @param i_ycoord\r
 224          * @param i_coord_num\r
 225          * @return\r
 226          */\r
 227         private int scanVertex(int[] i_xcoord, int[] i_ycoord, int i_coord_num)\r
 228         {\r
 229                 final int sx = i_xcoord[0];\r
 230                 final int sy = i_ycoord[0];\r
 231                 int d = 0;\r
 232                 int w, x, y;\r
 233                 int ret = 0;\r
 234                 for (int i = 1; i < i_coord_num; i++) {\r
 235                         x = i_xcoord[i] - sx;\r
 236                         y = i_ycoord[i] - sy;\r
 237                         w = x * x + y * y;\r
 238                         if (w > d) {\r
 239                                 d = w;\r
 240                                 ret = i;\r
 241                         }\r
 242                         // ここでうまく終了条件入れられないかな。\r
 243                 }\r
 244                 return ret;\r
 245         }\r
 246 \r
 247         private final NyARFixedFloatVertexCounter __getSquareVertex_wv1 = new NyARFixedFloatVertexCounter();\r
 248 \r
 249         private final NyARFixedFloatVertexCounter __getSquareVertex_wv2 = new NyARFixedFloatVertexCounter();\r
 250 \r
 251         /**\r
 252          * static int arDetectMarker2_check_square( int area, ARMarkerInfo2 *marker_info2, double factor ) 関数の代替関数 OPTIMIZED STEP [450->415] o_squareに頂点情報をセットします。\r
 253          * \r
 254          * @param i_x_coord\r
 255          * @param i_y_coord\r
 256          * @param i_vertex1_index\r
 257          * @param i_coord_num\r
 258          * @param i_area\r
 259          * @param o_vertex\r
 260          * 要素数はint[4]である事\r
 261          * @return\r
 262          */\r
 263         private boolean getSquareVertex(int[] i_x_coord, int[] i_y_coord, int i_vertex1_index, int i_coord_num, int i_area, int[] o_vertex)\r
 264         {\r
 265                 final NyARFixedFloatVertexCounter wv1 = this.__getSquareVertex_wv1;\r
 266                 final NyARFixedFloatVertexCounter wv2 = this.__getSquareVertex_wv2;\r
 267                 final int end_of_coord = i_vertex1_index + i_coord_num - 1;\r
 268                 final int sx = i_x_coord[i_vertex1_index];// sx = marker_info2->x_coord[0];\r
 269                 final int sy = i_y_coord[i_vertex1_index];// sy = marker_info2->y_coord[0];\r
 270                 int dmax = 0;\r
 271                 int v1 = i_vertex1_index;\r
 272                 for (int i = 1 + i_vertex1_index; i < end_of_coord; i++) {// for(i=1;i<marker_info2->coord_num-1;i++)\r
 273                         // {\r
 274                         final int d = (i_x_coord[i] - sx) * (i_x_coord[i] - sx) + (i_y_coord[i] - sy) * (i_y_coord[i] - sy);\r
 275                         if (d > dmax) {\r
 276                                 dmax = d;\r
 277                                 v1 = i;\r
 278                         }\r
 279                 }\r
 280                 //final double thresh = (i_area / 0.75) * 0.01;\r
 281                 final long thresh_f16 =(i_area<<16)/75;\r
 282 \r
 283                 o_vertex[0] = i_vertex1_index;\r
 284 \r
 285                 if (!wv1.getVertex(i_x_coord, i_y_coord, i_vertex1_index, v1, thresh_f16)) { // if(get_vertex(marker_info2->x_coord,marker_info2->y_coord,0,v1,thresh,wv1,&wvnum1)<\r
 286                                                                                                                                                                         // 0 ) {\r
 287                         return false;\r
 288                 }\r
 289                 if (!wv2.getVertex(i_x_coord, i_y_coord, v1, end_of_coord, thresh_f16)) {// if(get_vertex(marker_info2->x_coord,marker_info2->y_coord,v1,marker_info2->coord_num-1,thresh,wv2,&wvnum2)\r
 290                         // < 0) {\r
 291                         return false;\r
 292                 }\r
 293 \r
 294                 int v2;\r
 295                 if (wv1.number_of_vertex == 1 && wv2.number_of_vertex == 1) {// if(wvnum1 == 1 && wvnum2== 1) {\r
 296                         o_vertex[1] = wv1.vertex[0];\r
 297                         o_vertex[2] = v1;\r
 298                         o_vertex[3] = wv2.vertex[0];\r
 299                 } else if (wv1.number_of_vertex > 1 && wv2.number_of_vertex == 0) {// }else if( wvnum1 > 1 && wvnum2== 0) {\r
 300                         //頂点位置を、起点から対角点の間の1/2にあると予想して、検索する。\r
 301                         v2 = (v1-i_vertex1_index)/2+i_vertex1_index;\r
 302                         if (!wv1.getVertex(i_x_coord, i_y_coord, i_vertex1_index, v2, thresh_f16)) {\r
 303                                 return false;\r
 304                         }\r
 305                         if (!wv2.getVertex(i_x_coord, i_y_coord, v2, v1, thresh_f16)) {\r
 306                                 return false;\r
 307                         }\r
 308                         if (wv1.number_of_vertex == 1 && wv2.number_of_vertex == 1) {\r
 309                                 o_vertex[1] = wv1.vertex[0];\r
 310                                 o_vertex[2] = wv2.vertex[0];\r
 311                                 o_vertex[3] = v1;\r
 312                         } else {\r
 313                                 return false;\r
 314                         }\r
 315                 } else if (wv1.number_of_vertex == 0 && wv2.number_of_vertex > 1) {\r
 316                         //v2 = (v1-i_vertex1_index+ end_of_coord-i_vertex1_index) / 2+i_vertex1_index;\r
 317                         v2 = (v1+ end_of_coord)/2;\r
 318 \r
 319                         if (!wv1.getVertex(i_x_coord, i_y_coord, v1, v2, thresh_f16)) {\r
 320                                 return false;\r
 321                         }\r
 322                         if (!wv2.getVertex(i_x_coord, i_y_coord, v2, end_of_coord, thresh_f16)) {\r
 323                                 return false;\r
 324                         }\r
 325                         if (wv1.number_of_vertex == 1 && wv2.number_of_vertex == 1) {\r
 326                                 o_vertex[1] = v1;\r
 327                                 o_vertex[2] = wv1.vertex[0];\r
 328                                 o_vertex[3] = wv2.vertex[0];\r
 329                         } else {\r
 330                                 return false;\r
 331                         }\r
 332                 } else {\r
 333                         return false;\r
 334                 }\r
 335                 o_vertex[4] = end_of_coord;\r
 336                 return true;\r
 337         }\r
 338 \r
 339         private final NyARI64Matrix22 __getSquareLine_evec=new NyARI64Matrix22();\r
 340         private final NyARI64Point2d __getSquareLine_mean=new NyARI64Point2d();\r
 341         private final NyARI64Point2d __getSquareLine_ev=new NyARI64Point2d();\r
 342         private final NyARI64Linear[] __getSquareLine_i64liner=NyARI64Linear.createArray(4);\r
 343 \r
 344         /**\r
 345          * arGetLine(int x_coord[], int y_coord[], int coord_num,int vertex[], double line[4][3], double v[4][2]) arGetLine2(int x_coord[], int y_coord[], int\r
 346          * coord_num,int vertex[], double line[4][3], double v[4][2], double *dist_factor) の２関数の合成品です。 マーカーのvertex,lineを計算して、結果をo_squareに保管します。\r
 347          * Optimize:STEP[424->391]\r
 348          * \r
 349          * @param i_cparam\r
 350          * @return\r
 351          * @throws NyARException\r
 352          */\r
 353         private boolean getSquareLine(int[] i_mkvertex, int[] i_xcoord, int[] i_ycoord, NyARSquare o_square) throws NyARException\r
 354         {\r
 355                 final NyARLinear[] l_line = o_square.line;\r
 356                 final NyARI64Matrix22 evec=this.__getSquareLine_evec;\r
 357                 final NyARI64Point2d mean=this.__getSquareLine_mean;\r
 358                 final NyARI64Point2d ev=this.__getSquareLine_ev;\r
 359                 final NyARI64Linear[] i64liner=this.__getSquareLine_i64liner;\r
 360         \r
 361                 for (int i = 0; i < 4; i++) {\r
 362 //                      final double w1 = (double) (i_mkvertex[i + 1] - i_mkvertex[i] + 1) * 0.05 + 0.5;\r
 363                         final int w1 = ((((i_mkvertex[i + 1] - i_mkvertex[i] + 1)<<8)*13)>>8) + (1<<7);\r
 364                         final int st = i_mkvertex[i] + (w1>>8);\r
 365                         final int ed = i_mkvertex[i + 1] - (w1>>8);\r
 366                         int n = ed - st + 1;\r
 367                         if (n < 2) {\r
 368                                 // nが2以下でmatrix.PCAを計算することはできないので、エラー\r
 369                                 return false;\r
 370                         }\r
 371                         //配列作成\r
 372                         n=this._dist_factor_ref.observ2IdealSampling(i_xcoord, i_ycoord, st, n,this._xpos,this._ypos,PCA_LENGTH);\r
 373                         //主成分分析する。\r
 374                         this._pca.pcaF16(this._xpos,this._ypos, n,evec, ev,mean);\r
 375                         final NyARI64Linear l_line_i = i64liner[i];\r
 376                         l_line_i.run = evec.m01;// line[i][0] = evec->m[1];\r
 377                         l_line_i.rise = -evec.m00;// line[i][1] = -evec->m[0];\r
 378                         l_line_i.intercept = -((l_line_i.run * mean.x + l_line_i.rise * mean.y)>>16);// line[i][2] = -(line[i][0]*mean->v[0] + line[i][1]*mean->v[1]);\r
 379                 }\r
 380 \r
 381                 final NyARDoublePoint2d[] l_sqvertex = o_square.sqvertex;\r
 382                 final NyARIntPoint[] l_imvertex = o_square.imvertex;\r
 383                 for (int i = 0; i < 4; i++) {\r
 384                         final NyARI64Linear l_line_i = i64liner[i];\r
 385                         final NyARI64Linear l_line_2 = i64liner[(i + 3) % 4];\r
 386                         final long w1 =(l_line_2.run * l_line_i.rise - l_line_i.run * l_line_2.rise)>>16;\r
 387                         if (w1 == 0) {\r
 388                                 return false;\r
 389                         }\r
 390                         l_sqvertex[i].x = (double)((l_line_2.rise * l_line_i.intercept - l_line_i.rise * l_line_2.intercept) / w1)/65536.0;\r
 391                         l_sqvertex[i].y = (double)((l_line_i.run * l_line_2.intercept - l_line_2.run * l_line_i.intercept) / w1)/65536.0;\r
 392                         // 頂点インデクスから頂点座標を得て保存\r
 393                         l_imvertex[i].x = i_xcoord[i_mkvertex[i]];\r
 394                         l_imvertex[i].y = i_ycoord[i_mkvertex[i]];\r
 395                         l_line[i].run=(double)l_line_i.run/65536.0;\r
 396                         l_line[i].rise=(double)l_line_i.rise/65536.0;\r
 397                         l_line[i].intercept=(double)l_line_i.intercept/65536.0;\r
 398                 }\r
 399                 return true;\r
 400         }\r
 401 }\r
 402 \r
 403 \r
 404 /**\r
 405  * ラベル同士の重なり（内包関係）を調べるクラスです。 \r
 406  * ラベルリストに内包するラベルを蓄積し、それにターゲットのラベルが内包されているか を確認します。\r
 407  */\r
 408 class OverlapChecker\r
 409 {\r
 410         private NyARLabelingLabel[] _labels = new NyARLabelingLabel[32];\r
 411 \r
 412         private int _length;\r
 413 \r
 414         /**\r
 415          * 最大i_max_label個のラベルを蓄積できるようにオブジェクトをリセットする\r
 416          * \r
 417          * @param i_max_label\r
 418          */\r
 419         public void reset(int i_max_label)\r
 420         {\r
 421                 if (i_max_label > this._labels.length) {\r
 422                         this._labels = new NyARLabelingLabel[i_max_label];\r
 423                 }\r
 424                 this._length = 0;\r
 425         }\r
 426 \r
 427         /**\r
 428          * チェック対象のラベルを追加する。\r
 429          * \r
 430          * @param i_label_ref\r
 431          */\r
 432         public void push(NyARLabelingLabel i_label_ref)\r
 433         {\r
 434                 this._labels[this._length] = i_label_ref;\r
 435                 this._length++;\r
 436         }\r
 437 \r
 438         /**\r
 439          * 現在リストにあるラベルと重なっているかを返す。\r
 440          * \r
 441          * @param i_label\r
 442          * @return 何れかのラベルの内側にあるならばfalse,独立したラベルである可能性が高ければtrueです．\r
 443          */\r
 444         public boolean check(NyARLabelingLabel i_label)\r
 445         {\r
 446                 // 重なり処理かな？\r
 447                 final NyARLabelingLabel[] label_pt = this._labels;\r
 448                 final int px1 = (int) i_label.pos_x;\r
 449                 final int py1 = (int) i_label.pos_y;\r
 450                 for (int i = this._length - 1; i >= 0; i--) {\r
 451                         final int px2 = (int) label_pt[i].pos_x;\r
 452                         final int py2 = (int) label_pt[i].pos_y;\r
 453                         final int d = (px1 - px2) * (px1 - px2) + (py1 - py2) * (py1 - py2);\r
 454                         if (d < label_pt[i].area / 4) {\r
 455                                 // 対象外\r
 456                                 return false;\r
 457                         }\r
 458                 }\r
 459                 // 対象\r
 460                 return true;\r
 461         }\r
 462 }