OSDN Git Service

5bc4185ca3e3f7176912455b3e4469ef8bf6ac88
[nyartoolkit-and/nyartoolkit-and.git] / trunk / sample / sandbox / jp / nyatla / nyartoolkit / sandbox / quadx2 / NyARSquareDetector_Quad.java
1 /* \r
2  * PROJECT: NyARToolkit\r
3  * --------------------------------------------------------------------------------\r
4  * This work is based on the original ARToolKit developed by\r
5  *   Hirokazu Kato\r
6  *   Mark Billinghurst\r
7  *   HITLab, University of Washington, Seattle\r
8  * http://www.hitl.washington.edu/artoolkit/\r
9  *\r
10  * The NyARToolkit is Java version ARToolkit class library.\r
11  * Copyright (C)2008 R.Iizuka\r
12  *\r
13  * This program is free software; you can redistribute it and/or\r
14  * modify it under the terms of the GNU General Public License\r
15  * as published by the Free Software Foundation; either version 2\r
16  * of the License, or (at your option) any later version.\r
17  * \r
18  * This program is distributed in the hope that it will be useful,\r
19  * but WITHOUT ANY WARRANTY; without even the implied warranty of\r
20  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the\r
21  * GNU General Public License for more details.\r
22  * \r
23  * You should have received a copy of the GNU General Public License\r
24  * along with this framework; if not, write to the Free Software\r
25  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA\r
26  * \r
27  * For further information please contact.\r
28  *      http://nyatla.jp/nyatoolkit/\r
29  *      <airmail(at)ebony.plala.or.jp>\r
30  * \r
31  */\r
32 package jp.nyatla.nyartoolkit.sandbox.quadx2;\r
33 import jp.nyatla.nyartoolkit.NyARException;\r
34 import jp.nyatla.nyartoolkit.core.labeling.*;\r
35 import jp.nyatla.nyartoolkit.core.labeling.artoolkit.NyARLabelingImage;\r
36 import jp.nyatla.nyartoolkit.core.labeling.artoolkit.NyARLabelingLabel;\r
37 import jp.nyatla.nyartoolkit.core.labeling.artoolkit.NyARLabelingLabelStack;\r
38 import jp.nyatla.nyartoolkit.core.raster.*;\r
39 import jp.nyatla.nyartoolkit.core.squaredetect.INyARSquareDetector;\r
40 import jp.nyatla.nyartoolkit.core.squaredetect.NyARSquare;\r
41 import jp.nyatla.nyartoolkit.core.squaredetect.NyARSquareStack;\r
42 import jp.nyatla.nyartoolkit.core.types.*;\r
43 import jp.nyatla.nyartoolkit.core.param.*;\r
44 \r
45 \r
46 import jp.nyatla.nyartoolkit.core2.types.NyARI64Linear;\r
47 import jp.nyatla.nyartoolkit.core2.types.NyARI64Point2d;\r
48 import jp.nyatla.nyartoolkit.core2.types.matrix.NyARI64Matrix22;\r
49 import jp.nyatla.nyartoolkit.core.*;\r
50 import jp.nyatla.nyartoolkit.sandbox.x2.*;\r
51 \r
52 \r
53 /**\r
54  * 1/4に解像度を落して解析するNyARSquareDetector_X2\r
55  * 与えるBinRasterが既に1/4のサイズになっていないといけないことに注意\r
56  */\r
57 public class NyARSquareDetector_Quad implements INyARSquareDetector\r
58 {\r
59     private static int PCA_LENGTH = 20;\r
60     private static double VERTEX_FACTOR = 1.0;// 線検出のファクタ\r
61 \r
62     private static int AR_AREA_MAX = 25000;// #define AR_AREA_MAX 100000\r
63 \r
64     private static int AR_AREA_MIN = 20;// #define AR_AREA_MIN 70\r
65     private int _width;\r
66     private int _height;\r
67 \r
68     private NyARLabeling_ARToolKit_X2 _labeling;\r
69 \r
70     private NyARLabelingImage _limage;\r
71 \r
72     private OverlapChecker _overlap_checker = new OverlapChecker();\r
73     private NyARFixedFloatObserv2IdealMap _dist_factor;\r
74     /**\r
75      * 最大i_squre_max個のマーカーを検出するクラスを作成する。\r
76      * \r
77      * @param i_param\r
78      */\r
79     public NyARSquareDetector_Quad(NyARCameraDistortionFactor i_dist_factor_ref, NyARIntSize i_size) throws NyARException\r
80     {\r
81         this._width = i_size.w / 2;\r
82         this._height = i_size.h / 2;\r
83         this._labeling = new NyARLabeling_ARToolKit_X2();\r
84         this._limage = new NyARLabelingImage(this._width, this._height);\r
85         this._labeling.attachDestination(this._limage);\r
86 \r
87         // 輪郭の最大長は画面に映りうる最大の長方形サイズ。\r
88         int number_of_coord = (this._width + this._height) * 2;\r
89 \r
90         // 輪郭バッファは頂点変換をするので、輪郭バッファの2倍取る。\r
91         this._max_coord = number_of_coord;\r
92         this._xcoord = new int[number_of_coord * 2];\r
93         this._ycoord = new int[number_of_coord * 2];\r
94 \r
95         //1/4サイズの歪みマップを作る\r
96         NyARCameraDistortionFactor quadfactor = new NyARCameraDistortionFactor();\r
97         quadfactor.copyFrom(i_dist_factor_ref);\r
98         quadfactor.changeScale(0.5);\r
99         this._dist_factor = new NyARFixedFloatObserv2IdealMap(quadfactor, i_size);\r
100         //PCA\r
101         this._pca = new NyARFixedFloatPca2d();\r
102         this._xpos = new int[PCA_LENGTH];//最大辺長はthis._width+this._height\r
103         this._ypos = new int[PCA_LENGTH];//最大辺長はthis._width+this._height\r
104 \r
105     }\r
106 \r
107     private int _max_coord;\r
108     private int[] _xcoord;\r
109     private int[] _ycoord;\r
110 \r
111     private void normalizeCoord(int[] i_coord_x, int[] i_coord_y, int i_index, int i_coord_num)\r
112     {\r
113         // vertex1を境界にして、後方に配列を連結\r
114         System.arraycopy(i_coord_x, 1, i_coord_x, i_coord_num, i_index);\r
115         System.arraycopy(i_coord_y, 1, i_coord_y, i_coord_num, i_index);\r
116     }\r
117 \r
118     private int[] __detectMarker_mkvertex = new int[5];\r
119 \r
120     /**\r
121      * arDetectMarker2を基にした関数\r
122      * この関数はNyARSquare要素のうち、directionを除くパラメータを取得して返します。\r
123      * directionの確定は行いません。\r
124      * @param i_raster\r
125      * 解析する2値ラスタイメージを指定します。\r
126      * @param o_square_stack\r
127      * 抽出した正方形候補を格納するリスト\r
128      * @throws NyARException\r
129      */\r
130     public void detectMarker(NyARBinRaster i_raster, NyARSquareStack o_square_stack) throws NyARException\r
131     {\r
132         NyARLabeling_ARToolKit_X2 labeling_proc = this._labeling;\r
133         NyARLabelingImage limage = this._limage;\r
134 \r
135         // 初期化\r
136 \r
137         // マーカーホルダをリセット\r
138         o_square_stack.clear();\r
139 \r
140         // ラベリング\r
141         labeling_proc.labeling(i_raster);\r
142 \r
143         // ラベル数が0ならここまで\r
144         int label_num = limage.getLabelStack().getLength();\r
145         if (label_num < 1)\r
146         {\r
147             return;\r
148         }\r
149 \r
150         NyARLabelingLabelStack stack = limage.getLabelStack();\r
151         NyARLabelingLabel[] labels = stack.getArray();\r
152 \r
153 \r
154         // ラベルを大きい順に整列\r
155         stack.sortByArea();\r
156 \r
157         // デカいラベルを読み飛ばし\r
158         int i;\r
159         for (i = 0; i < label_num; i++)\r
160         {\r
161             // 検査対象内のラベルサイズになるまで無視\r
162             if (labels[i].area <= AR_AREA_MAX)\r
163             {\r
164                 break;\r
165             }\r
166         }\r
167 \r
168         int xsize = this._width;\r
169         int ysize = this._height;\r
170         int[] xcoord = this._xcoord;\r
171         int[] ycoord = this._ycoord;\r
172         int coord_max = this._max_coord;\r
173         int[] mkvertex = this.__detectMarker_mkvertex;\r
174         OverlapChecker overlap = this._overlap_checker;\r
175         int coord_num;\r
176         int label_area;\r
177         NyARLabelingLabel label_pt;\r
178 \r
179         //重なりチェッカの最大数を設定\r
180         overlap.reset(label_num);\r
181 \r
182         for (; i < label_num; i++)\r
183         {\r
184             label_pt = labels[i];\r
185             label_area = label_pt.area;\r
186             // 検査対象サイズよりも小さくなったら終了\r
187             if (label_area < AR_AREA_MIN)\r
188             {\r
189                 break;\r
190             }\r
191             // クリップ領域が画面の枠に接していれば除外\r
192             if (label_pt.clip_l == 1 || label_pt.clip_r == xsize - 2)\r
193             {// if(wclip[i*4+0] == 1 || wclip[i*4+1] ==xsize-2){\r
194                 continue;\r
195             }\r
196             if (label_pt.clip_t == 1 || label_pt.clip_b == ysize - 2)\r
197             {// if( wclip[i*4+2] == 1 || wclip[i*4+3] ==ysize-2){\r
198                 continue;\r
199             }\r
200             // 既に検出された矩形との重なりを確認\r
201             if (!overlap.check(label_pt))\r
202             {\r
203                 // 重なっているようだ。\r
204                 continue;\r
205             }\r
206 \r
207             // 輪郭を取得\r
208             coord_num = limage.getContour(i, coord_max, xcoord, ycoord);\r
209             if (coord_num == coord_max)\r
210             {\r
211                 // 輪郭が大きすぎる。\r
212                 continue;\r
213             }\r
214             //頂点候補のインデクスを取得\r
215             int vertex1 = scanVertex(xcoord, ycoord, coord_num);\r
216 \r
217             // 頂点候補(vertex1)を先頭に並べなおした配列を作成する。\r
218             normalizeCoord(xcoord, ycoord, vertex1, coord_num);\r
219 \r
220             // 領域を準備する。\r
221             NyARSquare square_ptr = (NyARSquare)o_square_stack.prePush();\r
222 \r
223             // 頂点情報を取得\r
224             if (!getSquareVertex(xcoord, ycoord, vertex1, coord_num, label_area, mkvertex))\r
225             {\r
226                 o_square_stack.pop();// 頂点の取得が出来なかったので破棄\r
227                 continue;\r
228             }\r
229             // マーカーを検出\r
230             if (!getSquareLine(mkvertex, xcoord, ycoord, square_ptr))\r
231             {\r
232                 // 矩形が成立しなかった。\r
233                 o_square_stack.pop();\r
234                 continue;\r
235             }\r
236             // 検出済の矩形の属したラベルを重なりチェックに追加する。\r
237             overlap.push(label_pt);\r
238         }\r
239         return;\r
240     }\r
241 \r
242     /**\r
243      * 辺からの対角線が最長になる点を対角線候補として返す。\r
244      * \r
245      * @param i_xcoord\r
246      * @param i_ycoord\r
247      * @param i_coord_num\r
248      * @return\r
249      */\r
250     private int scanVertex(int[] i_xcoord, int[] i_ycoord, int i_coord_num)\r
251     {\r
252         int sx = i_xcoord[0];\r
253         int sy = i_ycoord[0];\r
254         int d = 0;\r
255         int w, x, y;\r
256         int ret = 0;\r
257         for (int i = 1; i < i_coord_num; i++)\r
258         {\r
259             x = i_xcoord[i] - sx;\r
260             y = i_ycoord[i] - sy;\r
261             w = x * x + y * y;\r
262             if (w > d)\r
263             {\r
264                 d = w;\r
265                 ret = i;\r
266             }\r
267             // ここでうまく終了条件入れられないかな。\r
268         }\r
269         return ret;\r
270     }\r
271 \r
272     private NyARVertexCounter __getSquareVertex_wv1 = new NyARVertexCounter();\r
273 \r
274     private NyARVertexCounter __getSquareVertex_wv2 = new NyARVertexCounter();\r
275 \r
276     /**\r
277      * static int arDetectMarker2_check_square( int area, ARMarkerInfo2 *marker_info2, double factor ) 関数の代替関数 OPTIMIZED STEP [450->415] o_squareに頂点情報をセットします。\r
278      * \r
279      * @param i_x_coord\r
280      * @param i_y_coord\r
281      * @param i_vertex1_index\r
282      * @param i_coord_num\r
283      * @param i_area\r
284      * @param o_vertex\r
285      * 要素数はint[4]である事\r
286      * @return\r
287      */\r
288     private boolean getSquareVertex(int[] i_x_coord, int[] i_y_coord, int i_vertex1_index, int i_coord_num, int i_area, int[] o_vertex)\r
289     {\r
290         NyARVertexCounter wv1 = this.__getSquareVertex_wv1;\r
291         NyARVertexCounter wv2 = this.__getSquareVertex_wv2;\r
292         int end_of_coord = i_vertex1_index + i_coord_num - 1;\r
293         int sx = i_x_coord[i_vertex1_index];// sx = marker_info2->x_coord[0];\r
294         int sy = i_y_coord[i_vertex1_index];// sy = marker_info2->y_coord[0];\r
295         int dmax = 0;\r
296         int v1 = i_vertex1_index;\r
297         for (int i = 1 + i_vertex1_index; i < end_of_coord; i++)\r
298         {// for(i=1;i<marker_info2->coord_num-1;i++)\r
299             // {\r
300             int d = (i_x_coord[i] - sx) * (i_x_coord[i] - sx) + (i_y_coord[i] - sy) * (i_y_coord[i] - sy);\r
301             if (d > dmax)\r
302             {\r
303                 dmax = d;\r
304                 v1 = i;\r
305             }\r
306         }\r
307         double thresh = (i_area / 0.75) * 0.01 * VERTEX_FACTOR;\r
308 \r
309         o_vertex[0] = i_vertex1_index;\r
310 \r
311         if (!wv1.getVertex(i_x_coord, i_y_coord, i_vertex1_index, v1, thresh))\r
312         { // if(get_vertex(marker_info2->x_coord,marker_info2->y_coord,0,v1,thresh,wv1,&wvnum1)<\r
313             // 0 ) {\r
314             return false;\r
315         }\r
316         if (!wv2.getVertex(i_x_coord, i_y_coord, v1, end_of_coord, thresh))\r
317         {// if(get_vertex(marker_info2->x_coord,marker_info2->y_coord,v1,marker_info2->coord_num-1,thresh,wv2,&wvnum2)\r
318             // < 0) {\r
319             return false;\r
320         }\r
321 \r
322         int v2;\r
323         if (wv1.number_of_vertex == 1 && wv2.number_of_vertex == 1)\r
324         {// if(wvnum1 == 1 && wvnum2== 1) {\r
325             o_vertex[1] = wv1.vertex[0];\r
326             o_vertex[2] = v1;\r
327             o_vertex[3] = wv2.vertex[0];\r
328         }\r
329         else if (wv1.number_of_vertex > 1 && wv2.number_of_vertex == 0)\r
330         {// }else if( wvnum1 > 1 && wvnum2== 0) {\r
331             //頂点位置を、起点から対角点の間の1/2にあると予想して、検索する。\r
332             v2 = (v1 - i_vertex1_index) / 2 + i_vertex1_index;\r
333             if (!wv1.getVertex(i_x_coord, i_y_coord, i_vertex1_index, v2, thresh))\r
334             {\r
335                 return false;\r
336             }\r
337             if (!wv2.getVertex(i_x_coord, i_y_coord, v2, v1, thresh))\r
338             {\r
339                 return false;\r
340             }\r
341             if (wv1.number_of_vertex == 1 && wv2.number_of_vertex == 1)\r
342             {\r
343                 o_vertex[1] = wv1.vertex[0];\r
344                 o_vertex[2] = wv2.vertex[0];\r
345                 o_vertex[3] = v1;\r
346             }\r
347             else\r
348             {\r
349                 return false;\r
350             }\r
351         }\r
352         else if (wv1.number_of_vertex == 0 && wv2.number_of_vertex > 1)\r
353         {\r
354             //v2 = (v1-i_vertex1_index+ end_of_coord-i_vertex1_index) / 2+i_vertex1_index;\r
355             v2 = (v1 + end_of_coord) / 2;\r
356 \r
357             if (!wv1.getVertex(i_x_coord, i_y_coord, v1, v2, thresh))\r
358             {\r
359                 return false;\r
360             }\r
361             if (!wv2.getVertex(i_x_coord, i_y_coord, v2, end_of_coord, thresh))\r
362             {\r
363                 return false;\r
364             }\r
365             if (wv1.number_of_vertex == 1 && wv2.number_of_vertex == 1)\r
366             {\r
367                 o_vertex[1] = v1;\r
368                 o_vertex[2] = wv1.vertex[0];\r
369                 o_vertex[3] = wv2.vertex[0];\r
370             }\r
371             else\r
372             {\r
373                 return false;\r
374             }\r
375         }\r
376         else\r
377         {\r
378             return false;\r
379         }\r
380         o_vertex[4] = end_of_coord;\r
381         return true;\r
382     }\r
383     private int[] _xpos;\r
384     private int[] _ypos;\r
385     private NyARFixedFloatPca2d _pca;\r
386     private NyARI64Matrix22 __getSquareLine_evec = new NyARI64Matrix22();\r
387     private NyARI64Point2d __getSquareLine_mean = new NyARI64Point2d();\r
388     private NyARI64Point2d __getSquareLine_ev = new NyARI64Point2d();\r
389     private NyARI64Linear[] __getSquareLine_i64liner = NyARI64Linear.createArray(4);\r
390     /**\r
391      * arGetLine(int x_coord[], int y_coord[], int coord_num,int vertex[], double line[4][3], double v[4][2]) arGetLine2(int x_coord[], int y_coord[], int\r
392      * coord_num,int vertex[], double line[4][3], double v[4][2], double *dist_factor) の2関数の合成品です。 マーカーのvertex,lineを計算して、結果をo_squareに保管します。\r
393      * Optimize:STEP[424->391]\r
394      * \r
395      * @param i_cparam\r
396      * @return\r
397      * @throws NyARException\r
398      */\r
399     private boolean getSquareLine(int[] i_mkvertex, int[] i_xcoord, int[] i_ycoord, NyARSquare o_square) throws NyARException\r
400     {\r
401         NyARLinear[] l_line = o_square.line;\r
402         NyARI64Matrix22 evec = this.__getSquareLine_evec;\r
403         NyARI64Point2d mean = this.__getSquareLine_mean;\r
404         NyARI64Point2d ev = this.__getSquareLine_ev;\r
405         NyARI64Linear[] i64liner = this.__getSquareLine_i64liner;\r
406 \r
407 \r
408         for (int i = 0; i < 4; i++)\r
409         {\r
410             double w1 = (double)(i_mkvertex[i + 1] - i_mkvertex[i] + 1) * 0.05 + 0.5;\r
411             int st = (int)(i_mkvertex[i] + w1);\r
412             int ed = (int)(i_mkvertex[i + 1] - w1);\r
413             int n = ed - st + 1;\r
414             if (n < 2)\r
415             {\r
416                 // nが2以下でmatrix.PCAを計算することはできないので、エラー\r
417                 return false;\r
418             }\r
419             //配列作成\r
420             n = this._dist_factor.observ2IdealSampling(i_xcoord, i_ycoord, st, n, this._xpos, this._ypos, PCA_LENGTH);\r
421 \r
422             //主成分分析する。\r
423             this._pca.pcaF16(this._xpos, this._ypos, n, evec, ev, mean);\r
424             NyARI64Linear l_line_i = i64liner[i];\r
425             l_line_i.run = evec.m01;// line[i][0] = evec->m[1];\r
426             l_line_i.rise = -evec.m00;// line[i][1] = -evec->m[0];\r
427             l_line_i.intercept = -((l_line_i.run * mean.x + l_line_i.rise * mean.y) >> 16);// line[i][2] = -(line[i][0]*mean->v[0] + line[i][1]*mean->v[1]);\r
428         }\r
429 \r
430         NyARDoublePoint2d[] l_sqvertex = o_square.sqvertex;\r
431         NyARIntPoint2d[] l_imvertex = o_square.imvertex;\r
432         for (int i = 0; i < 4; i++)\r
433         {\r
434             NyARI64Linear l_line_i = i64liner[i];\r
435             NyARI64Linear l_line_2 = i64liner[(i + 3) % 4];\r
436             long w1 = (l_line_2.run * l_line_i.rise - l_line_i.run * l_line_2.rise) >> 16;\r
437             if (w1 == 0)\r
438             {\r
439                 return false;\r
440             }\r
441             l_sqvertex[i].x = (double)((l_line_2.rise * l_line_i.intercept - l_line_i.rise * l_line_2.intercept) / w1) *2/ 65536.0;\r
442             l_sqvertex[i].y = (double)((l_line_i.run * l_line_2.intercept - l_line_2.run * l_line_i.intercept) / w1) *2/ 65536.0;\r
443             // 頂点インデクスから頂点座標を得て保存\r
444             l_imvertex[i].x = i_xcoord[i_mkvertex[i]]*2;\r
445             l_imvertex[i].y = i_ycoord[i_mkvertex[i]]*2;\r
446             l_line[i].run = (double)l_line_i.run / 65536.0;\r
447             l_line[i].rise = (double)l_line_i.rise / 65536.0;\r
448             l_line[i].intercept = (double)l_line_i.intercept*2 / 65536.0;\r
449         }\r
450         return true;\r
451     }\r
452 }\r
453 \r
454 \r
455 /**\r
456  * ラベル同士の重なり(内包関係)を調べるクラスです。 \r
457  * ラベルリストに内包するラベルを蓄積し、それにターゲットのラベルが内包されているか を確認します。\r
458  */\r
459 class OverlapChecker\r
460 {\r
461     private NyARLabelingLabel[] _labels = new NyARLabelingLabel[32];\r
462 \r
463     private int _length;\r
464 \r
465     /**\r
466      * 最大i_max_label個のラベルを蓄積できるようにオブジェクトをリセットする\r
467      * \r
468      * @param i_max_label\r
469      */\r
470     public void reset(int i_max_label)\r
471     {\r
472         if (i_max_label > this._labels.length)\r
473         {\r
474             this._labels = new NyARLabelingLabel[i_max_label];\r
475         }\r
476         this._length = 0;\r
477     }\r
478 \r
479     /**\r
480      * チェック対象のラベルを追加する。\r
481      * \r
482      * @param i_label_ref\r
483      */\r
484     public void push(NyARLabelingLabel i_label_ref)\r
485     {\r
486         this._labels[this._length] = i_label_ref;\r
487         this._length++;\r
488     }\r
489 \r
490     /**\r
491      * 現在リストにあるラベルと重なっているかを返す。\r
492      * \r
493      * @param i_label\r
494      * @return 何れかのラベルの内側にあるならばfalse,独立したラベルである可能性が高ければtrueです.\r
495      */\r
496     public boolean check(NyARLabelingLabel i_label)\r
497     {\r
498         // 重なり処理かな?\r
499         NyARLabelingLabel[] label_pt = this._labels;\r
500         int px1 = (int)i_label.pos_x;\r
501         int py1 = (int)i_label.pos_y;\r
502         for (int i = this._length - 1; i >= 0; i--)\r
503         {\r
504             int px2 = (int)label_pt[i].pos_x;\r
505             int py2 = (int)label_pt[i].pos_y;\r
506             int d = (px1 - px2) * (px1 - px2) + (py1 - py2) * (py1 - py2);\r
507             if (d < label_pt[i].area / 4)\r
508             {\r
509                 // 対象外\r
510                 return false;\r
511             }\r
512         }\r
513         // 対象\r
514         return true;\r
515     }\r
516 }\r
517 \r
518 \r