OSDN Git Service

e949f723f7c312b1ac1df9bc806b213600d2405a
[nyartoolkit-and/nyartoolkit-and.git] / sample / sandbox / jp / nyatla / nyartoolkit / sandbox / x2 / NyARSquareDetector_X2.java
1 /* \r
2  * PROJECT: NyARToolkit\r
3  * --------------------------------------------------------------------------------\r
4  * This work is based on the original ARToolKit developed by\r
5  *   Hirokazu Kato\r
6  *   Mark Billinghurst\r
7  *   HITLab, University of Washington, Seattle\r
8  * http://www.hitl.washington.edu/artoolkit/\r
9  *\r
10  * The NyARToolkit is Java version ARToolkit class library.\r
11  * Copyright (C)2008 R.Iizuka\r
12  *\r
13  * This program is free software; you can redistribute it and/or\r
14  * modify it under the terms of the GNU General Public License\r
15  * as published by the Free Software Foundation; either version 2\r
16  * of the License, or (at your option) any later version.\r
17  * \r
18  * This program is distributed in the hope that it will be useful,\r
19  * but WITHOUT ANY WARRANTY; without even the implied warranty of\r
20  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the\r
21  * GNU General Public License for more details.\r
22  * \r
23  * You should have received a copy of the GNU General Public License\r
24  * along with this framework; if not, write to the Free Software\r
25  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA\r
26  * \r
27  * For further information please contact.\r
28  *      http://nyatla.jp/nyatoolkit/\r
29  *      <airmail(at)ebony.plala.or.jp>\r
30  * \r
31  */\r
32 package jp.nyatla.nyartoolkit.sandbox.x2;\r
33 import jp.nyatla.nyartoolkit.NyARException;\r
34 import jp.nyatla.nyartoolkit.core.labeling.*;\r
35 import jp.nyatla.nyartoolkit.core.labeling.artoolkit.NyARLabelingImage;\r
36 import jp.nyatla.nyartoolkit.core.labeling.artoolkit.NyARLabelingLabel;\r
37 import jp.nyatla.nyartoolkit.core.labeling.artoolkit.NyARLabelingLabelStack;\r
38 import jp.nyatla.nyartoolkit.core.raster.*;\r
39 import jp.nyatla.nyartoolkit.core.squaredetect.INyARSquareDetector;\r
40 import jp.nyatla.nyartoolkit.core.squaredetect.NyARSquare;\r
41 import jp.nyatla.nyartoolkit.core.squaredetect.NyARSquareStack;\r
42 import jp.nyatla.nyartoolkit.core.types.*;\r
43 import jp.nyatla.nyartoolkit.core2.types.*;\r
44 import jp.nyatla.nyartoolkit.core2.types.matrix.NyARI64Matrix22;\r
45 import jp.nyatla.nyartoolkit.core.*;\r
46 \r
47 \r
48 \r
49 /**\r
50  * イメージから正方形候補を検出するクラス。\r
51  * このクラスは、arDetectMarker2.cとの置き換えになります。\r
52  * \r
53  */\r
54 public class NyARSquareDetector_X2 implements INyARSquareDetector\r
55 {\r
56         private static final int AR_AREA_MAX = 100000;// #define AR_AREA_MAX 100000\r
57 \r
58         private static final int AR_AREA_MIN = 70;// #define AR_AREA_MIN 70\r
59         private final int _width;\r
60         private final int _height;\r
61 \r
62         private final NyARLabeling_ARToolKit_X2 _labeling;\r
63 \r
64         private final NyARLabelingImage _limage;\r
65 \r
66         private final OverlapChecker _overlap_checker = new OverlapChecker();\r
67         private final NyARFixedFloatObserv2IdealMap _dist_factor_ref;\r
68 //      private final NyARFixFloatCameraDistortionFactorMap _dist_factor_ref;\r
69         private final NyARFixedFloatPca2d _pca;\r
70 //      private final INyARPca2d _pca;\r
71 \r
72         /**\r
73          * 最大i_squre_max個のマーカーを検出するクラスを作成する。\r
74          * \r
75          * @param i_param\r
76          */\r
77         public NyARSquareDetector_X2(NyARFixedFloatObserv2IdealMap i_dist_factor_ref,NyARIntSize i_size) throws NyARException\r
78         {\r
79                 this._width = i_size.w;\r
80                 this._height = i_size.h;\r
81                 this._dist_factor_ref = i_dist_factor_ref;\r
82                 this._labeling = new NyARLabeling_ARToolKit_X2();\r
83                 this._limage = new NyARLabelingImage(this._width, this._height);\r
84                 this._labeling.attachDestination(this._limage);\r
85 \r
86                 // 輪郭の最大長は画面に映りうる最大の長方形サイズ。\r
87                 int number_of_coord = (this._width + this._height) * 2;\r
88 \r
89                 // 輪郭バッファは頂点変換をするので、輪郭バッファの2倍取る。\r
90                 this._max_coord = number_of_coord;\r
91                 this._xcoord = new int[number_of_coord * 2];\r
92                 this._ycoord = new int[number_of_coord * 2];\r
93                 //PCA\r
94 \r
95                 this._pca=new NyARFixedFloatPca2d();\r
96         }\r
97         private final int PCA_LENGTH=20;\r
98 \r
99         private final int _max_coord;\r
100         private final int[] _xcoord;\r
101         private final int[] _ycoord;\r
102         private final int[] _xpos=new int[PCA_LENGTH];\r
103         private final int[] _ypos=new int[PCA_LENGTH];\r
104         \r
105         private void normalizeCoord(int[] i_coord_x, int[] i_coord_y, int i_index, int i_coord_num)\r
106         {\r
107                 // vertex1を境界にして、後方に配列を連結\r
108                 System.arraycopy(i_coord_x, 1, i_coord_x, i_coord_num, i_index);\r
109                 System.arraycopy(i_coord_y, 1, i_coord_y, i_coord_num, i_index);\r
110         }\r
111 \r
112         private final int[] __detectMarker_mkvertex = new int[5];\r
113 \r
114         /**\r
115          * arDetectMarker2を基にした関数\r
116          * この関数はNyARSquare要素のうち、directionを除くパラメータを取得して返します。\r
117          * directionの確定は行いません。\r
118          * @param i_raster\r
119          * 解析する2値ラスタイメージを指定します。\r
120          * @param o_square_stack\r
121          * 抽出した正方形候補を格納するリスト\r
122          * @throws NyARException\r
123          */\r
124         public final void detectMarker(NyARBinRaster i_raster, NyARSquareStack o_square_stack) throws NyARException\r
125         {\r
126                 final NyARLabeling_ARToolKit_X2 labeling_proc = this._labeling;\r
127                 final NyARLabelingImage limage = this._limage;\r
128 \r
129                 // 初期化\r
130 \r
131                 // マーカーホルダをリセット\r
132                 o_square_stack.clear();\r
133 \r
134                 // ラベリング\r
135                 labeling_proc.labeling(i_raster);\r
136 \r
137                 // ラベル数が0ならここまで\r
138                 final int label_num = limage.getLabelStack().getLength();\r
139                 if (label_num < 1) {\r
140                         return;\r
141                 }\r
142 \r
143                 final NyARLabelingLabelStack stack = limage.getLabelStack();\r
144                 final NyARLabelingLabel[] labels = stack.getArray();\r
145                 \r
146                 \r
147                 // ラベルを大きい順に整列\r
148                 stack.sortByArea();\r
149 \r
150                 // デカいラベルを読み飛ばし\r
151                 int i;\r
152                 for (i = 0; i < label_num; i++) {\r
153                         // 検査対象内のラベルサイズになるまで無視\r
154                         if (labels[i].area <= AR_AREA_MAX) {\r
155                                 break;\r
156                         }\r
157                 }\r
158 \r
159                 final int xsize = this._width;\r
160                 final int ysize = this._height;\r
161                 final int[] xcoord = this._xcoord;\r
162                 final int[] ycoord = this._ycoord;\r
163                 final int coord_max = this._max_coord;\r
164                 final int[] mkvertex = this.__detectMarker_mkvertex;\r
165                 final OverlapChecker overlap = this._overlap_checker;\r
166                 int coord_num;\r
167                 int label_area;\r
168                 NyARLabelingLabel label_pt;\r
169 \r
170                 //重なりチェッカの最大数を設定\r
171                 overlap.reset(label_num);\r
172 \r
173                 for (; i < label_num; i++) {\r
174                         label_pt = labels[i];\r
175                         label_area = label_pt.area;\r
176                         // 検査対象サイズよりも小さくなったら終了\r
177                         if (label_area < AR_AREA_MIN) {\r
178                                 break;\r
179                         }\r
180                         // クリップ領域が画面の枠に接していれば除外\r
181                         if (label_pt.clip_l == 1 || label_pt.clip_r == xsize - 2) {// if(wclip[i*4+0] == 1 || wclip[i*4+1] ==xsize-2){\r
182                                 continue;\r
183                         }\r
184                         if (label_pt.clip_t == 1 || label_pt.clip_b == ysize - 2) {// if( wclip[i*4+2] == 1 || wclip[i*4+3] ==ysize-2){\r
185                                 continue;\r
186                         }\r
187                         // 既に検出された矩形との重なりを確認\r
188                         if (!overlap.check(label_pt)) {\r
189                                 // 重なっているようだ。\r
190                                 continue;\r
191                         }\r
192 \r
193                         // 輪郭を取得\r
194                         coord_num = limage.getContour(i, coord_max, xcoord, ycoord);\r
195                         if (coord_num == coord_max) {\r
196                                 // 輪郭が大きすぎる。\r
197                                 continue;\r
198                         }\r
199                         //頂点候補のインデクスを取得\r
200                         final int vertex1 = scanVertex(xcoord, ycoord, coord_num);\r
201 \r
202                         // 頂点候補(vertex1)を先頭に並べなおした配列を作成する。\r
203                         normalizeCoord(xcoord, ycoord, vertex1, coord_num);\r
204 \r
205                         // 領域を準備する。\r
206                         NyARSquare square_ptr = (NyARSquare)o_square_stack.prePush();\r
207 \r
208                         // 頂点情報を取得\r
209                         if (!getSquareVertex(xcoord, ycoord, vertex1, coord_num, label_area, mkvertex)) {\r
210                                 o_square_stack.pop();// 頂点の取得が出来なかったので破棄\r
211                                 continue;\r
212                         }\r
213                         // マーカーを検出\r
214                         if (!getSquareLine(mkvertex, xcoord, ycoord, square_ptr)) {\r
215                                 // 矩形が成立しなかった。\r
216                                 o_square_stack.pop();\r
217                                 continue;\r
218                         }\r
219                         // 検出済の矩形の属したラベルを重なりチェックに追加する。\r
220                         overlap.push(label_pt);\r
221                 }       \r
222                 return;\r
223         }\r
224 \r
225         /**\r
226          * 辺からの対角線が最長になる点を対角線候補として返す。\r
227          * \r
228          * @param i_xcoord\r
229          * @param i_ycoord\r
230          * @param i_coord_num\r
231          * @return\r
232          */\r
233         private int scanVertex(int[] i_xcoord, int[] i_ycoord, int i_coord_num)\r
234         {\r
235                 final int sx = i_xcoord[0];\r
236                 final int sy = i_ycoord[0];\r
237                 int d = 0;\r
238                 int w, x, y;\r
239                 int ret = 0;\r
240                 for (int i = 1; i < i_coord_num; i++) {\r
241                         x = i_xcoord[i] - sx;\r
242                         y = i_ycoord[i] - sy;\r
243                         w = x * x + y * y;\r
244                         if (w > d) {\r
245                                 d = w;\r
246                                 ret = i;\r
247                         }\r
248                         // ここでうまく終了条件入れられないかな。\r
249                 }\r
250                 return ret;\r
251         }\r
252 \r
253         private final NyARFixedFloatVertexCounter __getSquareVertex_wv1 = new NyARFixedFloatVertexCounter();\r
254 \r
255         private final NyARFixedFloatVertexCounter __getSquareVertex_wv2 = new NyARFixedFloatVertexCounter();\r
256 \r
257         /**\r
258          * static int arDetectMarker2_check_square( int area, ARMarkerInfo2 *marker_info2, double factor ) 関数の代替関数 OPTIMIZED STEP [450->415] o_squareに頂点情報をセットします。\r
259          * \r
260          * @param i_x_coord\r
261          * @param i_y_coord\r
262          * @param i_vertex1_index\r
263          * @param i_coord_num\r
264          * @param i_area\r
265          * @param o_vertex\r
266          * 要素数はint[4]である事\r
267          * @return\r
268          */\r
269         private boolean getSquareVertex(int[] i_x_coord, int[] i_y_coord, int i_vertex1_index, int i_coord_num, int i_area, int[] o_vertex)\r
270         {\r
271                 final NyARFixedFloatVertexCounter wv1 = this.__getSquareVertex_wv1;\r
272                 final NyARFixedFloatVertexCounter wv2 = this.__getSquareVertex_wv2;\r
273                 final int end_of_coord = i_vertex1_index + i_coord_num - 1;\r
274                 final int sx = i_x_coord[i_vertex1_index];// sx = marker_info2->x_coord[0];\r
275                 final int sy = i_y_coord[i_vertex1_index];// sy = marker_info2->y_coord[0];\r
276                 int dmax = 0;\r
277                 int v1 = i_vertex1_index;\r
278                 for (int i = 1 + i_vertex1_index; i < end_of_coord; i++) {// for(i=1;i<marker_info2->coord_num-1;i++)\r
279                         // {\r
280                         final int d = (i_x_coord[i] - sx) * (i_x_coord[i] - sx) + (i_y_coord[i] - sy) * (i_y_coord[i] - sy);\r
281                         if (d > dmax) {\r
282                                 dmax = d;\r
283                                 v1 = i;\r
284                         }\r
285                 }\r
286                 //final double thresh = (i_area / 0.75) * 0.01;\r
287                 final long thresh_f16 =(i_area<<16)/75;\r
288 \r
289                 o_vertex[0] = i_vertex1_index;\r
290 \r
291                 if (!wv1.getVertex(i_x_coord, i_y_coord, i_vertex1_index, v1, thresh_f16)) { // if(get_vertex(marker_info2->x_coord,marker_info2->y_coord,0,v1,thresh,wv1,&wvnum1)<\r
292                                                                                                                                                                         // 0 ) {\r
293                         return false;\r
294                 }\r
295                 if (!wv2.getVertex(i_x_coord, i_y_coord, v1, end_of_coord, thresh_f16)) {// if(get_vertex(marker_info2->x_coord,marker_info2->y_coord,v1,marker_info2->coord_num-1,thresh,wv2,&wvnum2)\r
296                         // < 0) {\r
297                         return false;\r
298                 }\r
299 \r
300                 int v2;\r
301                 if (wv1.number_of_vertex == 1 && wv2.number_of_vertex == 1) {// if(wvnum1 == 1 && wvnum2== 1) {\r
302                         o_vertex[1] = wv1.vertex[0];\r
303                         o_vertex[2] = v1;\r
304                         o_vertex[3] = wv2.vertex[0];\r
305                 } else if (wv1.number_of_vertex > 1 && wv2.number_of_vertex == 0) {// }else if( wvnum1 > 1 && wvnum2== 0) {\r
306                         //頂点位置を、起点から対角点の間の1/2にあると予想して、検索する。\r
307                         v2 = (v1-i_vertex1_index)/2+i_vertex1_index;\r
308                         if (!wv1.getVertex(i_x_coord, i_y_coord, i_vertex1_index, v2, thresh_f16)) {\r
309                                 return false;\r
310                         }\r
311                         if (!wv2.getVertex(i_x_coord, i_y_coord, v2, v1, thresh_f16)) {\r
312                                 return false;\r
313                         }\r
314                         if (wv1.number_of_vertex == 1 && wv2.number_of_vertex == 1) {\r
315                                 o_vertex[1] = wv1.vertex[0];\r
316                                 o_vertex[2] = wv2.vertex[0];\r
317                                 o_vertex[3] = v1;\r
318                         } else {\r
319                                 return false;\r
320                         }\r
321                 } else if (wv1.number_of_vertex == 0 && wv2.number_of_vertex > 1) {\r
322                         //v2 = (v1-i_vertex1_index+ end_of_coord-i_vertex1_index) / 2+i_vertex1_index;\r
323                         v2 = (v1+ end_of_coord)/2;\r
324 \r
325                         if (!wv1.getVertex(i_x_coord, i_y_coord, v1, v2, thresh_f16)) {\r
326                                 return false;\r
327                         }\r
328                         if (!wv2.getVertex(i_x_coord, i_y_coord, v2, end_of_coord, thresh_f16)) {\r
329                                 return false;\r
330                         }\r
331                         if (wv1.number_of_vertex == 1 && wv2.number_of_vertex == 1) {\r
332                                 o_vertex[1] = v1;\r
333                                 o_vertex[2] = wv1.vertex[0];\r
334                                 o_vertex[3] = wv2.vertex[0];\r
335                         } else {\r
336                                 return false;\r
337                         }\r
338                 } else {\r
339                         return false;\r
340                 }\r
341                 o_vertex[4] = end_of_coord;\r
342                 return true;\r
343         }\r
344 \r
345         private final NyARI64Matrix22 __getSquareLine_evec=new NyARI64Matrix22();\r
346         private final NyARI64Point2d __getSquareLine_mean=new NyARI64Point2d();\r
347         private final NyARI64Point2d __getSquareLine_ev=new NyARI64Point2d();\r
348         private final NyARI64Linear[] __getSquareLine_i64liner=NyARI64Linear.createArray(4);\r
349 \r
350         /**\r
351          * arGetLine(int x_coord[], int y_coord[], int coord_num,int vertex[], double line[4][3], double v[4][2]) arGetLine2(int x_coord[], int y_coord[], int\r
352          * coord_num,int vertex[], double line[4][3], double v[4][2], double *dist_factor) の2関数の合成品です。 マーカーのvertex,lineを計算して、結果をo_squareに保管します。\r
353          * Optimize:STEP[424->391]\r
354          * \r
355          * @param i_cparam\r
356          * @return\r
357          * @throws NyARException\r
358          */\r
359         private boolean getSquareLine(int[] i_mkvertex, int[] i_xcoord, int[] i_ycoord, NyARSquare o_square) throws NyARException\r
360         {\r
361                 final NyARLinear[] l_line = o_square.line;\r
362                 final NyARI64Matrix22 evec=this.__getSquareLine_evec;\r
363                 final NyARI64Point2d mean=this.__getSquareLine_mean;\r
364                 final NyARI64Point2d ev=this.__getSquareLine_ev;\r
365                 final NyARI64Linear[] i64liner=this.__getSquareLine_i64liner;\r
366         \r
367                 for (int i = 0; i < 4; i++) {\r
368 //                      final double w1 = (double) (i_mkvertex[i + 1] - i_mkvertex[i] + 1) * 0.05 + 0.5;\r
369                         final int w1 = ((((i_mkvertex[i + 1] - i_mkvertex[i] + 1)<<8)*13)>>8) + (1<<7);\r
370                         final int st = i_mkvertex[i] + (w1>>8);\r
371                         final int ed = i_mkvertex[i + 1] - (w1>>8);\r
372                         int n = ed - st + 1;\r
373                         if (n < 2) {\r
374                                 // nが2以下でmatrix.PCAを計算することはできないので、エラー\r
375                                 return false;\r
376                         }\r
377                         //配列作成\r
378                         n=this._dist_factor_ref.observ2IdealSampling(i_xcoord, i_ycoord, st, n,this._xpos,this._ypos,PCA_LENGTH);\r
379                         //主成分分析する。\r
380                         this._pca.pcaF16(this._xpos,this._ypos, n,evec, ev,mean);\r
381                         final NyARI64Linear l_line_i = i64liner[i];\r
382                         l_line_i.run = evec.m01;// line[i][0] = evec->m[1];\r
383                         l_line_i.rise = -evec.m00;// line[i][1] = -evec->m[0];\r
384                         l_line_i.intercept = -((l_line_i.run * mean.x + l_line_i.rise * mean.y)>>16);// line[i][2] = -(line[i][0]*mean->v[0] + line[i][1]*mean->v[1]);\r
385                 }\r
386 \r
387                 final NyARDoublePoint2d[] l_sqvertex = o_square.sqvertex;\r
388                 final NyARIntPoint2d[] l_imvertex = o_square.imvertex;\r
389                 for (int i = 0; i < 4; i++) {\r
390                         final NyARI64Linear l_line_i = i64liner[i];\r
391                         final NyARI64Linear l_line_2 = i64liner[(i + 3) % 4];\r
392                         final long w1 =(l_line_2.run * l_line_i.rise - l_line_i.run * l_line_2.rise)>>16;\r
393                         if (w1 == 0) {\r
394                                 return false;\r
395                         }\r
396                         l_sqvertex[i].x = (double)((l_line_2.rise * l_line_i.intercept - l_line_i.rise * l_line_2.intercept) / w1)/65536.0;\r
397                         l_sqvertex[i].y = (double)((l_line_i.run * l_line_2.intercept - l_line_2.run * l_line_i.intercept) / w1)/65536.0;\r
398                         // 頂点インデクスから頂点座標を得て保存\r
399                         l_imvertex[i].x = i_xcoord[i_mkvertex[i]];\r
400                         l_imvertex[i].y = i_ycoord[i_mkvertex[i]];\r
401                         l_line[i].run=(double)l_line_i.run/65536.0;\r
402                         l_line[i].rise=(double)l_line_i.rise/65536.0;\r
403                         l_line[i].intercept=(double)l_line_i.intercept/65536.0;\r
404                 }\r
405                 return true;\r
406         }\r
407 }\r
408 \r
409 \r
410 /**\r
411  * ラベル同士の重なり(内包関係)を調べるクラスです。 \r
412  * ラベルリストに内包するラベルを蓄積し、それにターゲットのラベルが内包されているか を確認します。\r
413  */\r
414 class OverlapChecker\r
415 {\r
416         private NyARLabelingLabel[] _labels = new NyARLabelingLabel[32];\r
417 \r
418         private int _length;\r
419 \r
420         /**\r
421          * 最大i_max_label個のラベルを蓄積できるようにオブジェクトをリセットする\r
422          * \r
423          * @param i_max_label\r
424          */\r
425         public void reset(int i_max_label)\r
426         {\r
427                 if (i_max_label > this._labels.length) {\r
428                         this._labels = new NyARLabelingLabel[i_max_label];\r
429                 }\r
430                 this._length = 0;\r
431         }\r
432 \r
433         /**\r
434          * チェック対象のラベルを追加する。\r
435          * \r
436          * @param i_label_ref\r
437          */\r
438         public void push(NyARLabelingLabel i_label_ref)\r
439         {\r
440                 this._labels[this._length] = i_label_ref;\r
441                 this._length++;\r
442         }\r
443 \r
444         /**\r
445          * 現在リストにあるラベルと重なっているかを返す。\r
446          * \r
447          * @param i_label\r
448          * @return 何れかのラベルの内側にあるならばfalse,独立したラベルである可能性が高ければtrueです.\r
449          */\r
450         public boolean check(NyARLabelingLabel i_label)\r
451         {\r
452                 // 重なり処理かな?\r
453                 final NyARLabelingLabel[] label_pt = this._labels;\r
454                 final int px1 = (int) i_label.pos_x;\r
455                 final int py1 = (int) i_label.pos_y;\r
456                 for (int i = this._length - 1; i >= 0; i--) {\r
457                         final int px2 = (int) label_pt[i].pos_x;\r
458                         final int py2 = (int) label_pt[i].pos_y;\r
459                         final int d = (px1 - px2) * (px1 - px2) + (py1 - py2) * (py1 - py2);\r
460                         if (d < label_pt[i].area / 4) {\r
461                                 // 対象外\r
462                                 return false;\r
463                         }\r
464                 }\r
465                 // 対象\r
466                 return true;\r
467         }\r
468 }