2 * PROJECT: NyARToolkit
\r
3 * --------------------------------------------------------------------------------
\r
4 * This work is based on the original ARToolKit developed by
\r
7 * HITLab, University of Washington, Seattle
\r
8 * http://www.hitl.washington.edu/artoolkit/
\r
10 * The NyARToolkit is Java edition ARToolKit class library.
\r
11 * Copyright (C)2008-2009 Ryo Iizuka
\r
13 * This program is free software: you can redistribute it and/or modify
\r
14 * it under the terms of the GNU General Public License as published by
\r
15 * the Free Software Foundation, either version 3 of the License, or
\r
16 * (at your option) any later version.
\r
18 * This program is distributed in the hope that it will be useful,
\r
19 * but WITHOUT ANY WARRANTY; without even the implied warranty of
\r
20 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
\r
21 * GNU General Public License for more details.
\r
23 * You should have received a copy of the GNU General Public License
\r
24 * along with this program. If not, see <http://www.gnu.org/licenses/>.
\r
26 * For further information please contact.
\r
27 * http://nyatla.jp/nyatoolkit/
\r
28 * <airmail(at)ebony.plala.or.jp> or <nyatla(at)nyatla.jp>
\r
31 package jp.nyatla.nyartoolkit.detector;
\r
33 import jp.nyatla.nyartoolkit.NyARException;
\r
34 import jp.nyatla.nyartoolkit.core.*;
\r
35 import jp.nyatla.nyartoolkit.core.match.*;
\r
36 import jp.nyatla.nyartoolkit.core.param.NyARParam;
\r
37 import jp.nyatla.nyartoolkit.core.pickup.*;
\r
38 import jp.nyatla.nyartoolkit.core.raster.*;
\r
39 import jp.nyatla.nyartoolkit.core.raster.rgb.*;
\r
40 import jp.nyatla.nyartoolkit.core.transmat.*;
\r
41 import jp.nyatla.nyartoolkit.core.rasterfilter.rgb2bin.*;
\r
42 import jp.nyatla.nyartoolkit.core.squaredetect.NyARCoord2Linear;
\r
43 import jp.nyatla.nyartoolkit.core.squaredetect.NyARSquareContourDetector;
\r
44 import jp.nyatla.nyartoolkit.core.squaredetect.NyARSquare;
\r
45 import jp.nyatla.nyartoolkit.core.squaredetect.NyARSquareContourDetector_Rle;
\r
46 import jp.nyatla.nyartoolkit.core.types.*;
\r
47 import jp.nyatla.nyartoolkit.core.types.stack.NyARObjectStack;
\r
49 class NyARDetectMarkerResult
\r
51 public int arcode_id;
\r
52 public double confidence;
\r
54 public NyARSquare square=new NyARSquare();
\r
58 class NyARDetectMarkerResultStack extends NyARObjectStack<NyARDetectMarkerResult>
\r
60 public NyARDetectMarkerResultStack(int i_length) throws NyARException
\r
62 super(i_length,NyARDetectMarkerResult.class);
\r
65 protected NyARDetectMarkerResult createElement()
\r
67 return new NyARDetectMarkerResult();
\r
73 * 複数のマーカーを検出し、それぞれに最も一致するARコードを、コンストラクタで登録したARコードから 探すクラスです。最大300個を認識しますが、ゴミラベルを認識したりするので100個程度が限界です。
\r
76 public class NyARDetectMarker
\r
79 * detectMarkerのコールバック関数
\r
81 private class DetectSquareCB implements NyARSquareContourDetector.DetectMarkerCallback
\r
84 public NyARDetectMarkerResultStack result_stack=new NyARDetectMarkerResultStack(NyARDetectMarker.AR_SQUARE_MAX);
\r
86 public INyARRgbRaster _ref_raster;
\r
88 private INyARColorPatt _inst_patt;
\r
89 private NyARMatchPattDeviationColorData _deviation_data;
\r
90 private NyARMatchPatt_Color_WITHOUT_PCA[] _match_patt;
\r
91 private final NyARMatchPattResult __detectMarkerLite_mr=new NyARMatchPattResult();
\r
92 private NyARCoord2Linear _coordline;
\r
94 public DetectSquareCB(INyARColorPatt i_inst_patt,NyARCode[] i_ref_code,int i_num_of_code,NyARParam i_param) throws NyARException
\r
96 final int cw = i_ref_code[0].getWidth();
\r
97 final int ch = i_ref_code[0].getHeight();
\r
99 this._inst_patt=i_inst_patt;
\r
100 this._coordline=new NyARCoord2Linear(i_param.getScreenSize(),i_param.getDistortionFactor());
\r
101 this._deviation_data=new NyARMatchPattDeviationColorData(cw,ch);
\r
103 //NyARMatchPatt_Color_WITHOUT_PCA[]の作成
\r
104 this._match_patt=new NyARMatchPatt_Color_WITHOUT_PCA[i_num_of_code];
\r
105 this._match_patt[0]=new NyARMatchPatt_Color_WITHOUT_PCA(i_ref_code[0]);
\r
106 for (int i = 1; i < i_num_of_code; i++){
\r
108 if (cw != i_ref_code[i].getWidth() || ch != i_ref_code[i].getHeight()) {
\r
109 throw new NyARException();
\r
111 this._match_patt[i]=new NyARMatchPatt_Color_WITHOUT_PCA(i_ref_code[i]);
\r
115 private NyARIntPoint2d[] __tmp_vertex=NyARIntPoint2d.createArray(4);
\r
117 * 矩形が見付かるたびに呼び出されます。
\r
118 * 発見した矩形のパターンを検査して、方位を考慮した頂点データを確保します。
\r
120 public void onSquareDetect(NyARSquareContourDetector i_sender,int[] i_coordx,int[] i_coordy,int i_coor_num,int[] i_vertex_index) throws NyARException
\r
122 NyARMatchPattResult mr=this.__detectMarkerLite_mr;
\r
124 NyARIntPoint2d[] vertex=this.__tmp_vertex;
\r
125 vertex[0].x=i_coordx[i_vertex_index[0]];
\r
126 vertex[0].y=i_coordy[i_vertex_index[0]];
\r
127 vertex[1].x=i_coordx[i_vertex_index[1]];
\r
128 vertex[1].y=i_coordy[i_vertex_index[1]];
\r
129 vertex[2].x=i_coordx[i_vertex_index[2]];
\r
130 vertex[2].y=i_coordy[i_vertex_index[2]];
\r
131 vertex[3].x=i_coordx[i_vertex_index[3]];
\r
132 vertex[3].y=i_coordy[i_vertex_index[3]];
\r
135 if (!this._inst_patt.pickFromRaster(this._ref_raster,vertex)){
\r
138 //取得パターンをカラー差分データに変換して評価する。
\r
139 this._deviation_data.setRaster(this._inst_patt);
\r
141 //最も一致するパターンを割り当てる。
\r
142 int square_index,direction;
\r
144 this._match_patt[0].evaluate(this._deviation_data,mr);
\r
146 direction=mr.direction;
\r
147 confidence=mr.confidence;
\r
149 for(int i=1;i<this._match_patt.length;i++){
\r
150 this._match_patt[i].evaluate(this._deviation_data,mr);
\r
151 if (confidence > mr.confidence) {
\r
154 // もっと一致するマーカーがあったぽい
\r
156 direction = mr.direction;
\r
157 confidence = mr.confidence;
\r
159 //最も一致したマーカ情報を、この矩形の情報として記録する。
\r
160 final NyARDetectMarkerResult result = this.result_stack.prePush();
\r
161 result.arcode_id = square_index;
\r
162 result.confidence = confidence;
\r
164 final NyARSquare sq=result.square;
\r
165 //directionを考慮して、squareを更新する。
\r
166 for(int i=0;i<4;i++){
\r
167 int idx=(i+4 - direction) % 4;
\r
168 this._coordline.coord2Line(i_vertex_index[idx],i_vertex_index[(idx+1)%4],i_coordx,i_coordy,i_coor_num,sq.line[i]);
\r
170 for (int i = 0; i < 4; i++) {
\r
172 if(!NyARLinear.crossPos(sq.line[i],sq.line[(i + 3) % 4],sq.sqvertex[i])){
\r
173 throw new NyARException();//ここのエラー復帰するならダブルバッファにすればOK
\r
177 public void init(INyARRgbRaster i_raster)
\r
179 this._ref_raster=i_raster;
\r
180 this.result_stack.clear();
\r
184 private DetectSquareCB _detect_cb;
\r
187 private static final int AR_SQUARE_MAX = 300;
\r
188 private boolean _is_continue = false;
\r
189 private NyARSquareContourDetector _square_detect;
\r
190 protected INyARTransMat _transmat;
\r
191 private NyARRectOffset[] _offset;
\r
195 * 複数のマーカーを検出し、最も一致するARCodeをi_codeから検索するオブジェクトを作ります。
\r
200 * 検出するマーカーのARCode配列を指定します。
\r
201 * 配列要素のインデックス番号が、そのままgetARCodeIndex関数で得られるARCodeインデックスになります。
\r
202 * 例えば、要素[1]のARCodeに一致したマーカーである場合は、getARCodeIndexは1を返します。
\r
203 * @param i_marker_width
\r
204 * i_codeのマーカーサイズをミリメートルで指定した配列を指定します。 先頭からi_number_of_code個の要素には、有効な値を指定する必要があります。
\r
205 * @param i_number_of_code
\r
206 * i_codeに含まれる、ARCodeの数を指定します。
\r
207 * @param i_input_raster_type
\r
208 * 入力ラスタのピクセルタイプを指定します。この値は、INyARBufferReaderインタフェイスのgetBufferTypeの戻り値を指定します。
\r
209 * @throws NyARException
\r
211 public NyARDetectMarker(NyARParam i_param,NyARCode[] i_code,double[] i_marker_width, int i_number_of_code,int i_input_raster_type) throws NyARException
\r
213 initInstance(i_param,i_code,i_marker_width,i_number_of_code,i_input_raster_type);
\r
216 protected void initInstance(
\r
217 NyARParam i_ref_param,
\r
218 NyARCode[] i_ref_code,
\r
219 double[] i_marker_width,
\r
220 int i_number_of_code,
\r
221 int i_input_raster_type) throws NyARException
\r
224 final NyARIntSize scr_size=i_ref_param.getScreenSize();
\r
226 final int cw = i_ref_code[0].getWidth();
\r
227 final int ch = i_ref_code[0].getHeight();
\r
229 //detectMarkerのコールバック関数
\r
230 this._detect_cb=new DetectSquareCB(
\r
231 new NyARColorPatt_Perspective_O2(cw, ch,4,25),
\r
232 i_ref_code,i_number_of_code,i_ref_param);
\r
233 this._transmat = new NyARTransMat(i_ref_param);
\r
234 //NyARToolkitプロファイル
\r
235 this._square_detect =new NyARSquareContourDetector_Rle(i_ref_param.getDistortionFactor(),i_ref_param.getScreenSize());
\r
236 this._tobin_filter=new NyARRasterFilter_ARToolkitThreshold(100,i_input_raster_type);
\r
239 this._offset = NyARRectOffset.createArray(i_number_of_code);
\r
240 for(int i=0;i<i_number_of_code;i++){
\r
241 this._offset[i].setSquare(i_marker_width[i]);
\r
244 this._bin_raster=new NyARBinRaster(scr_size.w,scr_size.h);
\r
248 private NyARBinRaster _bin_raster;
\r
250 private INyARRasterFilter_Rgb2Bin _tobin_filter;
\r
253 * i_imageにマーカー検出処理を実行し、結果を記録します。
\r
256 * マーカーを検出するイメージを指定します。
\r
258 * 検出閾値を指定します。0~255の範囲で指定してください。 通常は100~130くらいを指定します。
\r
259 * @return 見つかったマーカーの数を返します。 マーカーが見つからない場合は0を返します。
\r
260 * @throws NyARException
\r
262 public int detectMarkerLite(INyARRgbRaster i_raster, int i_threshold) throws NyARException
\r
265 if (!this._bin_raster.getSize().isEqualSize(i_raster.getSize())) {
\r
266 throw new NyARException();
\r
269 // ラスタを2値イメージに変換する.
\r
270 ((NyARRasterFilter_ARToolkitThreshold)this._tobin_filter).setThreshold(i_threshold);
\r
271 this._tobin_filter.doFilter(i_raster, this._bin_raster);
\r
274 this._detect_cb.init(i_raster);
\r
275 this._square_detect.detectMarkerCB(this._bin_raster,this._detect_cb);
\r
278 return this._detect_cb.result_stack.getLength();
\r
282 * i_indexのマーカーに対する変換行列を計算し、結果値をo_resultへ格納します。 直前に実行したdetectMarkerLiteが成功していないと使えません。
\r
285 * マーカーのインデックス番号を指定します。 直前に実行したdetectMarkerLiteの戻り値未満かつ0以上である必要があります。
\r
287 * 結果値を受け取るオブジェクトを指定してください。
\r
288 * @throws NyARException
\r
290 public void getTransmationMatrix(int i_index, NyARTransMatResult o_result) throws NyARException
\r
292 final NyARDetectMarkerResult result = this._detect_cb.result_stack.getItem(i_index);
\r
293 // 一番一致したマーカーの位置とかその辺を計算
\r
294 if (_is_continue) {
\r
295 _transmat.transMatContinue(result.square, this._offset[result.arcode_id], o_result);
\r
297 _transmat.transMat(result.square, this._offset[result.arcode_id], o_result);
\r
303 * i_indexのマーカーの一致度を返します。
\r
306 * マーカーのインデックス番号を指定します。 直前に実行したdetectMarkerLiteの戻り値未満かつ0以上である必要があります。
\r
307 * @return マーカーの一致度を返します。0~1までの値をとります。 一致度が低い場合には、誤認識の可能性が高くなります。
\r
308 * @throws NyARException
\r
310 public double getConfidence(int i_index)
\r
312 return this._detect_cb.result_stack.getItem(i_index).confidence;
\r
315 * i_indexのマーカーのARCodeインデックスを返します。
\r
318 * マーカーのインデックス番号を指定します。 直前に実行したdetectMarkerLiteの戻り値未満かつ0以上である必要があります。
\r
321 public int getARCodeIndex(int i_index)
\r
323 return this._detect_cb.result_stack.getItem(i_index).arcode_id;
\r
327 * getTransmationMatrixの計算モードを設定します。
\r
329 * @param i_is_continue
\r
330 * TRUEなら、transMatContinueを使用します。 FALSEなら、transMatを使用します。
\r
332 public void setContinueMode(boolean i_is_continue)
\r
334 this._is_continue = i_is_continue;
\r