tags/2.1.0/sample/sandbox/jp/nyatla/nyartoolkit/sandbox/quadx2/NyARSquareDetector_Quad.java

   1 /* \r
   2  * PROJECT: NyARToolkit\r
   3  * --------------------------------------------------------------------------------\r
   4  * This work is based on the original ARToolKit developed by\r
   5  *   Hirokazu Kato\r
   6  *   Mark Billinghurst\r
   7  *   HITLab, University of Washington, Seattle\r
   8  * http://www.hitl.washington.edu/artoolkit/\r
   9  *\r
  10  * The NyARToolkit is Java version ARToolkit class library.\r
  11  * Copyright (C)2008 R.Iizuka\r
  12  *\r
  13  * This program is free software; you can redistribute it and/or\r
  14  * modify it under the terms of the GNU General Public License\r
  15  * as published by the Free Software Foundation; either version 2\r
  16  * of the License, or (at your option) any later version.\r
  17  * \r
  18  * This program is distributed in the hope that it will be useful,\r
  19  * but WITHOUT ANY WARRANTY; without even the implied warranty of\r
  20  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the\r
  21  * GNU General Public License for more details.\r
  22  * \r
  23  * You should have received a copy of the GNU General Public License\r
  24  * along with this framework; if not, write to the Free Software\r
  25  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA\r
  26  * \r
  27  * For further information please contact.\r
  28  *      http://nyatla.jp/nyatoolkit/\r
  29  *      <airmail(at)ebony.plala.or.jp>\r
  30  * \r
  31  */\r
  32 package jp.nyatla.nyartoolkit.sandbox.quadx2;\r
  33 import jp.nyatla.nyartoolkit.NyARException;\r
  34 import jp.nyatla.nyartoolkit.core.labeling.*;\r
  35 import jp.nyatla.nyartoolkit.core.raster.*;\r
  36 import jp.nyatla.nyartoolkit.core.types.*;\r
  37 import jp.nyatla.nyartoolkit.core.param.*;\r
  38 \r
  39 \r
  40 import jp.nyatla.nyartoolkit.core2.types.NyARI64Linear;\r
  41 import jp.nyatla.nyartoolkit.core2.types.NyARI64Point2d;\r
  42 import jp.nyatla.nyartoolkit.core2.types.matrix.NyARI64Matrix22;\r
  43 import jp.nyatla.nyartoolkit.core.*;\r
  44 import jp.nyatla.nyartoolkit.sandbox.x2.*;\r
  45 \r
  46 \r
  47 /**\r
  48  * 1/4に解像度を落して解析するNyARSquareDetector_X2\r
  49  * 与えるBinRasterが既に1/4のサイズになっていないといけないことに注意\r
  50  */\r
  51 public class NyARSquareDetector_Quad implements INyARSquareDetector\r
  52 {\r
  53     private static int PCA_LENGTH = 20;\r
  54     private static double VERTEX_FACTOR = 1.0;// 線検出のファクタ\r
  55 \r
  56     private static int AR_AREA_MAX = 25000;// #define AR_AREA_MAX 100000\r
  57 \r
  58     private static int AR_AREA_MIN = 20;// #define AR_AREA_MIN 70\r
  59     private int _width;\r
  60     private int _height;\r
  61 \r
  62     private INyARLabeling _labeling;\r
  63 \r
  64     private NyARLabelingImage _limage;\r
  65 \r
  66     private OverlapChecker _overlap_checker = new OverlapChecker();\r
  67     private NyARFixedFloatObserv2IdealMap _dist_factor;\r
  68     /**\r
  69      * 最大i_squre_max個のマーカーを検出するクラスを作成する。\r
  70      * \r
  71      * @param i_param\r
  72      */\r
  73     public NyARSquareDetector_Quad(NyARCameraDistortionFactor i_dist_factor_ref, NyARIntSize i_size) throws NyARException\r
  74     {\r
  75         this._width = i_size.w / 2;\r
  76         this._height = i_size.h / 2;\r
  77         this._labeling = new NyARLabeling_ARToolKit_X2();\r
  78         this._limage = new NyARLabelingImage(this._width, this._height);\r
  79         this._labeling.attachDestination(this._limage);\r
  80 \r
  81         // 輪郭の最大長は画面に映りうる最大の長方形サイズ。\r
  82         int number_of_coord = (this._width + this._height) * 2;\r
  83 \r
  84         // 輪郭バッファは頂点変換をするので、輪郭バッファの２倍取る。\r
  85         this._max_coord = number_of_coord;\r
  86         this._xcoord = new int[number_of_coord * 2];\r
  87         this._ycoord = new int[number_of_coord * 2];\r
  88 \r
  89         //1/4サイズの歪みマップを作る\r
  90         NyARCameraDistortionFactor quadfactor = new NyARCameraDistortionFactor();\r
  91         quadfactor.copyFrom(i_dist_factor_ref);\r
  92         quadfactor.changeScale(0.5);\r
  93         this._dist_factor = new NyARFixedFloatObserv2IdealMap(quadfactor, i_size);\r
  94         //PCA\r
  95         this._pca = new NyARFixedFloatPca2d();\r
  96         this._xpos = new int[PCA_LENGTH];//最大辺長はthis._width+this._height\r
  97         this._ypos = new int[PCA_LENGTH];//最大辺長はthis._width+this._height\r
  98 \r
  99     }\r
 100 \r
 101     private int _max_coord;\r
 102     private int[] _xcoord;\r
 103     private int[] _ycoord;\r
 104 \r
 105     private void normalizeCoord(int[] i_coord_x, int[] i_coord_y, int i_index, int i_coord_num)\r
 106     {\r
 107         // vertex1を境界にして、後方に配列を連結\r
 108         System.arraycopy(i_coord_x, 1, i_coord_x, i_coord_num, i_index);\r
 109         System.arraycopy(i_coord_y, 1, i_coord_y, i_coord_num, i_index);\r
 110     }\r
 111 \r
 112     private int[] __detectMarker_mkvertex = new int[5];\r
 113 \r
 114     /**\r
 115      * arDetectMarker2を基にした関数\r
 116      * この関数はNyARSquare要素のうち、directionを除くパラメータを取得して返します。\r
 117      * directionの確定は行いません。\r
 118      * @param i_raster\r
 119      * 解析する２値ラスタイメージを指定します。\r
 120      * @param o_square_stack\r
 121      * 抽出した正方形候補を格納するリスト\r
 122      * @throws NyARException\r
 123      */\r
 124     public void detectMarker(NyARBinRaster i_raster, NyARSquareStack o_square_stack) throws NyARException\r
 125     {\r
 126         INyARLabeling labeling_proc = this._labeling;\r
 127         NyARLabelingImage limage = this._limage;\r
 128 \r
 129         // 初期化\r
 130 \r
 131         // マーカーホルダをリセット\r
 132         o_square_stack.clear();\r
 133 \r
 134         // ラベリング\r
 135         labeling_proc.labeling(i_raster);\r
 136 \r
 137         // ラベル数が0ならここまで\r
 138         int label_num = limage.getLabelStack().getLength();\r
 139         if (label_num < 1)\r
 140         {\r
 141             return;\r
 142         }\r
 143 \r
 144         NyARLabelingLabelStack stack = limage.getLabelStack();\r
 145         NyARLabelingLabel[] labels = (NyARLabelingLabel[])stack.getArray();\r
 146 \r
 147 \r
 148         // ラベルを大きい順に整列\r
 149         stack.sortByArea();\r
 150 \r
 151         // デカいラベルを読み飛ばし\r
 152         int i;\r
 153         for (i = 0; i < label_num; i++)\r
 154         {\r
 155             // 検査対象内のラベルサイズになるまで無視\r
 156             if (labels[i].area <= AR_AREA_MAX)\r
 157             {\r
 158                 break;\r
 159             }\r
 160         }\r
 161 \r
 162         int xsize = this._width;\r
 163         int ysize = this._height;\r
 164         int[] xcoord = this._xcoord;\r
 165         int[] ycoord = this._ycoord;\r
 166         int coord_max = this._max_coord;\r
 167         int[] mkvertex = this.__detectMarker_mkvertex;\r
 168         OverlapChecker overlap = this._overlap_checker;\r
 169         int coord_num;\r
 170         int label_area;\r
 171         NyARLabelingLabel label_pt;\r
 172 \r
 173         //重なりチェッカの最大数を設定\r
 174         overlap.reset(label_num);\r
 175 \r
 176         for (; i < label_num; i++)\r
 177         {\r
 178             label_pt = labels[i];\r
 179             label_area = label_pt.area;\r
 180             // 検査対象サイズよりも小さくなったら終了\r
 181             if (label_area < AR_AREA_MIN)\r
 182             {\r
 183                 break;\r
 184             }\r
 185             // クリップ領域が画面の枠に接していれば除外\r
 186             if (label_pt.clip_l == 1 || label_pt.clip_r == xsize - 2)\r
 187             {// if(wclip[i*4+0] == 1 || wclip[i*4+1] ==xsize-2){\r
 188                 continue;\r
 189             }\r
 190             if (label_pt.clip_t == 1 || label_pt.clip_b == ysize - 2)\r
 191             {// if( wclip[i*4+2] == 1 || wclip[i*4+3] ==ysize-2){\r
 192                 continue;\r
 193             }\r
 194             // 既に検出された矩形との重なりを確認\r
 195             if (!overlap.check(label_pt))\r
 196             {\r
 197                 // 重なっているようだ。\r
 198                 continue;\r
 199             }\r
 200 \r
 201             // 輪郭を取得\r
 202             coord_num = limage.getContour(i, coord_max, xcoord, ycoord);\r
 203             if (coord_num == coord_max)\r
 204             {\r
 205                 // 輪郭が大きすぎる。\r
 206                 continue;\r
 207             }\r
 208             //頂点候補のインデクスを取得\r
 209             int vertex1 = scanVertex(xcoord, ycoord, coord_num);\r
 210 \r
 211             // 頂点候補(vertex1)を先頭に並べなおした配列を作成する。\r
 212             normalizeCoord(xcoord, ycoord, vertex1, coord_num);\r
 213 \r
 214             // 領域を準備する。\r
 215             NyARSquare square_ptr = (NyARSquare)o_square_stack.prePush();\r
 216 \r
 217             // 頂点情報を取得\r
 218             if (!getSquareVertex(xcoord, ycoord, vertex1, coord_num, label_area, mkvertex))\r
 219             {\r
 220                 o_square_stack.pop();// 頂点の取得が出来なかったので破棄\r
 221                 continue;\r
 222             }\r
 223             // マーカーを検出\r
 224             if (!getSquareLine(mkvertex, xcoord, ycoord, square_ptr))\r
 225             {\r
 226                 // 矩形が成立しなかった。\r
 227                 o_square_stack.pop();\r
 228                 continue;\r
 229             }\r
 230             // 検出済の矩形の属したラベルを重なりチェックに追加する。\r
 231             overlap.push(label_pt);\r
 232         }\r
 233         return;\r
 234     }\r
 235 \r
 236     /**\r
 237      * 辺からの対角線が最長になる点を対角線候補として返す。\r
 238      * \r
 239      * @param i_xcoord\r
 240      * @param i_ycoord\r
 241      * @param i_coord_num\r
 242      * @return\r
 243      */\r
 244     private int scanVertex(int[] i_xcoord, int[] i_ycoord, int i_coord_num)\r
 245     {\r
 246         int sx = i_xcoord[0];\r
 247         int sy = i_ycoord[0];\r
 248         int d = 0;\r
 249         int w, x, y;\r
 250         int ret = 0;\r
 251         for (int i = 1; i < i_coord_num; i++)\r
 252         {\r
 253             x = i_xcoord[i] - sx;\r
 254             y = i_ycoord[i] - sy;\r
 255             w = x * x + y * y;\r
 256             if (w > d)\r
 257             {\r
 258                 d = w;\r
 259                 ret = i;\r
 260             }\r
 261             // ここでうまく終了条件入れられないかな。\r
 262         }\r
 263         return ret;\r
 264     }\r
 265 \r
 266     private NyARVertexCounter __getSquareVertex_wv1 = new NyARVertexCounter();\r
 267 \r
 268     private NyARVertexCounter __getSquareVertex_wv2 = new NyARVertexCounter();\r
 269 \r
 270     /**\r
 271      * static int arDetectMarker2_check_square( int area, ARMarkerInfo2 *marker_info2, double factor ) 関数の代替関数 OPTIMIZED STEP [450->415] o_squareに頂点情報をセットします。\r
 272      * \r
 273      * @param i_x_coord\r
 274      * @param i_y_coord\r
 275      * @param i_vertex1_index\r
 276      * @param i_coord_num\r
 277      * @param i_area\r
 278      * @param o_vertex\r
 279      * 要素数はint[4]である事\r
 280      * @return\r
 281      */\r
 282     private boolean getSquareVertex(int[] i_x_coord, int[] i_y_coord, int i_vertex1_index, int i_coord_num, int i_area, int[] o_vertex)\r
 283     {\r
 284         NyARVertexCounter wv1 = this.__getSquareVertex_wv1;\r
 285         NyARVertexCounter wv2 = this.__getSquareVertex_wv2;\r
 286         int end_of_coord = i_vertex1_index + i_coord_num - 1;\r
 287         int sx = i_x_coord[i_vertex1_index];// sx = marker_info2->x_coord[0];\r
 288         int sy = i_y_coord[i_vertex1_index];// sy = marker_info2->y_coord[0];\r
 289         int dmax = 0;\r
 290         int v1 = i_vertex1_index;\r
 291         for (int i = 1 + i_vertex1_index; i < end_of_coord; i++)\r
 292         {// for(i=1;i<marker_info2->coord_num-1;i++)\r
 293             // {\r
 294             int d = (i_x_coord[i] - sx) * (i_x_coord[i] - sx) + (i_y_coord[i] - sy) * (i_y_coord[i] - sy);\r
 295             if (d > dmax)\r
 296             {\r
 297                 dmax = d;\r
 298                 v1 = i;\r
 299             }\r
 300         }\r
 301         double thresh = (i_area / 0.75) * 0.01 * VERTEX_FACTOR;\r
 302 \r
 303         o_vertex[0] = i_vertex1_index;\r
 304 \r
 305         if (!wv1.getVertex(i_x_coord, i_y_coord, i_vertex1_index, v1, thresh))\r
 306         { // if(get_vertex(marker_info2->x_coord,marker_info2->y_coord,0,v1,thresh,wv1,&wvnum1)<\r
 307             // 0 ) {\r
 308             return false;\r
 309         }\r
 310         if (!wv2.getVertex(i_x_coord, i_y_coord, v1, end_of_coord, thresh))\r
 311         {// if(get_vertex(marker_info2->x_coord,marker_info2->y_coord,v1,marker_info2->coord_num-1,thresh,wv2,&wvnum2)\r
 312             // < 0) {\r
 313             return false;\r
 314         }\r
 315 \r
 316         int v2;\r
 317         if (wv1.number_of_vertex == 1 && wv2.number_of_vertex == 1)\r
 318         {// if(wvnum1 == 1 && wvnum2== 1) {\r
 319             o_vertex[1] = wv1.vertex[0];\r
 320             o_vertex[2] = v1;\r
 321             o_vertex[3] = wv2.vertex[0];\r
 322         }\r
 323         else if (wv1.number_of_vertex > 1 && wv2.number_of_vertex == 0)\r
 324         {// }else if( wvnum1 > 1 && wvnum2== 0) {\r
 325             //頂点位置を、起点から対角点の間の1/2にあると予想して、検索する。\r
 326             v2 = (v1 - i_vertex1_index) / 2 + i_vertex1_index;\r
 327             if (!wv1.getVertex(i_x_coord, i_y_coord, i_vertex1_index, v2, thresh))\r
 328             {\r
 329                 return false;\r
 330             }\r
 331             if (!wv2.getVertex(i_x_coord, i_y_coord, v2, v1, thresh))\r
 332             {\r
 333                 return false;\r
 334             }\r
 335             if (wv1.number_of_vertex == 1 && wv2.number_of_vertex == 1)\r
 336             {\r
 337                 o_vertex[1] = wv1.vertex[0];\r
 338                 o_vertex[2] = wv2.vertex[0];\r
 339                 o_vertex[3] = v1;\r
 340             }\r
 341             else\r
 342             {\r
 343                 return false;\r
 344             }\r
 345         }\r
 346         else if (wv1.number_of_vertex == 0 && wv2.number_of_vertex > 1)\r
 347         {\r
 348             //v2 = (v1-i_vertex1_index+ end_of_coord-i_vertex1_index) / 2+i_vertex1_index;\r
 349             v2 = (v1 + end_of_coord) / 2;\r
 350 \r
 351             if (!wv1.getVertex(i_x_coord, i_y_coord, v1, v2, thresh))\r
 352             {\r
 353                 return false;\r
 354             }\r
 355             if (!wv2.getVertex(i_x_coord, i_y_coord, v2, end_of_coord, thresh))\r
 356             {\r
 357                 return false;\r
 358             }\r
 359             if (wv1.number_of_vertex == 1 && wv2.number_of_vertex == 1)\r
 360             {\r
 361                 o_vertex[1] = v1;\r
 362                 o_vertex[2] = wv1.vertex[0];\r
 363                 o_vertex[3] = wv2.vertex[0];\r
 364             }\r
 365             else\r
 366             {\r
 367                 return false;\r
 368             }\r
 369         }\r
 370         else\r
 371         {\r
 372             return false;\r
 373         }\r
 374         o_vertex[4] = end_of_coord;\r
 375         return true;\r
 376     }\r
 377     private int[] _xpos;\r
 378     private int[] _ypos;\r
 379     private NyARFixedFloatPca2d _pca;\r
 380     private NyARI64Matrix22 __getSquareLine_evec = new NyARI64Matrix22();\r
 381     private NyARI64Point2d __getSquareLine_mean = new NyARI64Point2d();\r
 382     private NyARI64Point2d __getSquareLine_ev = new NyARI64Point2d();\r
 383     private NyARI64Linear[] __getSquareLine_i64liner = NyARI64Linear.createArray(4);\r
 384     /**\r
 385      * arGetLine(int x_coord[], int y_coord[], int coord_num,int vertex[], double line[4][3], double v[4][2]) arGetLine2(int x_coord[], int y_coord[], int\r
 386      * coord_num,int vertex[], double line[4][3], double v[4][2], double *dist_factor) の２関数の合成品です。 マーカーのvertex,lineを計算して、結果をo_squareに保管します。\r
 387      * Optimize:STEP[424->391]\r
 388      * \r
 389      * @param i_cparam\r
 390      * @return\r
 391      * @throws NyARException\r
 392      */\r
 393     private boolean getSquareLine(int[] i_mkvertex, int[] i_xcoord, int[] i_ycoord, NyARSquare o_square) throws NyARException\r
 394     {\r
 395         NyARLinear[] l_line = o_square.line;\r
 396         NyARI64Matrix22 evec = this.__getSquareLine_evec;\r
 397         NyARI64Point2d mean = this.__getSquareLine_mean;\r
 398         NyARI64Point2d ev = this.__getSquareLine_ev;\r
 399         NyARI64Linear[] i64liner = this.__getSquareLine_i64liner;\r
 400 \r
 401 \r
 402         for (int i = 0; i < 4; i++)\r
 403         {\r
 404             double w1 = (double)(i_mkvertex[i + 1] - i_mkvertex[i] + 1) * 0.05 + 0.5;\r
 405             int st = (int)(i_mkvertex[i] + w1);\r
 406             int ed = (int)(i_mkvertex[i + 1] - w1);\r
 407             int n = ed - st + 1;\r
 408             if (n < 2)\r
 409             {\r
 410                 // nが2以下でmatrix.PCAを計算することはできないので、エラー\r
 411                 return false;\r
 412             }\r
 413             //配列作成\r
 414             n = this._dist_factor.observ2IdealSampling(i_xcoord, i_ycoord, st, n, this._xpos, this._ypos, PCA_LENGTH);\r
 415 \r
 416             //主成分分析する。\r
 417             this._pca.pcaF16(this._xpos, this._ypos, n, evec, ev, mean);\r
 418             NyARI64Linear l_line_i = i64liner[i];\r
 419             l_line_i.run = evec.m01;// line[i][0] = evec->m[1];\r
 420             l_line_i.rise = -evec.m00;// line[i][1] = -evec->m[0];\r
 421             l_line_i.intercept = -((l_line_i.run * mean.x + l_line_i.rise * mean.y) >> 16);// line[i][2] = -(line[i][0]*mean->v[0] + line[i][1]*mean->v[1]);\r
 422         }\r
 423 \r
 424         NyARDoublePoint2d[] l_sqvertex = o_square.sqvertex;\r
 425         NyARIntPoint[] l_imvertex = o_square.imvertex;\r
 426         for (int i = 0; i < 4; i++)\r
 427         {\r
 428             NyARI64Linear l_line_i = i64liner[i];\r
 429             NyARI64Linear l_line_2 = i64liner[(i + 3) % 4];\r
 430             long w1 = (l_line_2.run * l_line_i.rise - l_line_i.run * l_line_2.rise) >> 16;\r
 431             if (w1 == 0)\r
 432             {\r
 433                 return false;\r
 434             }\r
 435             l_sqvertex[i].x = (double)((l_line_2.rise * l_line_i.intercept - l_line_i.rise * l_line_2.intercept) / w1) *2/ 65536.0;\r
 436             l_sqvertex[i].y = (double)((l_line_i.run * l_line_2.intercept - l_line_2.run * l_line_i.intercept) / w1) *2/ 65536.0;\r
 437             // 頂点インデクスから頂点座標を得て保存\r
 438             l_imvertex[i].x = i_xcoord[i_mkvertex[i]]*2;\r
 439             l_imvertex[i].y = i_ycoord[i_mkvertex[i]]*2;\r
 440             l_line[i].run = (double)l_line_i.run / 65536.0;\r
 441             l_line[i].rise = (double)l_line_i.rise / 65536.0;\r
 442             l_line[i].intercept = (double)l_line_i.intercept*2 / 65536.0;\r
 443         }\r
 444         return true;\r
 445     }\r
 446 }\r
 447 \r
 448 \r
 449 /**\r
 450  * ラベル同士の重なり（内包関係）を調べるクラスです。 \r
 451  * ラベルリストに内包するラベルを蓄積し、それにターゲットのラベルが内包されているか を確認します。\r
 452  */\r
 453 class OverlapChecker\r
 454 {\r
 455     private NyARLabelingLabel[] _labels = new NyARLabelingLabel[32];\r
 456 \r
 457     private int _length;\r
 458 \r
 459     /**\r
 460      * 最大i_max_label個のラベルを蓄積できるようにオブジェクトをリセットする\r
 461      * \r
 462      * @param i_max_label\r
 463      */\r
 464     public void reset(int i_max_label)\r
 465     {\r
 466         if (i_max_label > this._labels.length)\r
 467         {\r
 468             this._labels = new NyARLabelingLabel[i_max_label];\r
 469         }\r
 470         this._length = 0;\r
 471     }\r
 472 \r
 473     /**\r
 474      * チェック対象のラベルを追加する。\r
 475      * \r
 476      * @param i_label_ref\r
 477      */\r
 478     public void push(NyARLabelingLabel i_label_ref)\r
 479     {\r
 480         this._labels[this._length] = i_label_ref;\r
 481         this._length++;\r
 482     }\r
 483 \r
 484     /**\r
 485      * 現在リストにあるラベルと重なっているかを返す。\r
 486      * \r
 487      * @param i_label\r
 488      * @return 何れかのラベルの内側にあるならばfalse,独立したラベルである可能性が高ければtrueです．\r
 489      */\r
 490     public boolean check(NyARLabelingLabel i_label)\r
 491     {\r
 492         // 重なり処理かな？\r
 493         NyARLabelingLabel[] label_pt = this._labels;\r
 494         int px1 = (int)i_label.pos_x;\r
 495         int py1 = (int)i_label.pos_y;\r
 496         for (int i = this._length - 1; i >= 0; i--)\r
 497         {\r
 498             int px2 = (int)label_pt[i].pos_x;\r
 499             int py2 = (int)label_pt[i].pos_y;\r
 500             int d = (px1 - px2) * (px1 - px2) + (py1 - py2) * (py1 - py2);\r
 501             if (d < label_pt[i].area / 4)\r
 502             {\r
 503                 // 対象外\r
 504                 return false;\r
 505             }\r
 506         }\r
 507         // 対象\r
 508         return true;\r
 509     }\r
 510 }\r
 511 \r
 512 \r