2015年2月27日金曜日

OpenCV 2.4.11がリリースされた

議事録に記載されていないのに 2.4.11版が突然リリースされた。

現時点では、windowsとLinuxのみ

差分の記述がないのでMeld差分ビューワーでフォルダーを比較して気づいた点

CMakeLists.txt
デフォルトでNEONがONになっている

Haarcascadeのデータ形式が新フォーマットに

モジュールの修正が多いが、ほとんどtipoや細かいバグの修正

GPU sampleの修正が多い


全文サーチでNEONを調べるてみたが、ファイルが1個増えているが、どれか不明
oclのファイルの数は変化なし

明日といっても今日になっているが、ビルドしてパフォーマンスを見てみる

2015年2月23日月曜日

OpenCV 3.0betaでは、tbbが無効である

先週ベンチマーク用に、masterのソースを取得し、ビルドしてみたが、以前として、tbbが有効にならない

configrationでは、tbbが認識されソースもダウンロードされており、ビルドも成功するが
できた自作のベンチのスコアが芳しくない

そこでライブラリの依存関係を見てみると、3.0betaでは、tbbがリンクされていない

ldd /usr/local/lib/libopencv_core.so
    linux-vdso.so.1 =>  (0x00007fff039fe000)
    libz.so.1 => /lib/x86_64-linux-gnu/libz.so.1 (0x00007f1914166000)
    libdl.so.2 => /lib/x86_64-linux-gnu/libdl.so.2 (0x00007f1913f62000)
    libpthread.so.0 => /lib/x86_64-linux-gnu/libpthread.so.0 (0x00007f1913d43000)
    librt.so.1 => /lib/x86_64-linux-gnu/librt.so.1 (0x00007f1913b3b000)
    libm.so.6 => /lib/x86_64-linux-gnu/libm.so.6 (0x00007f1913835000)
    libstdc++.so.6 => /usr/lib/x86_64-linux-gnu/libstdc++.so.6 (0x00007f1913530000)
    libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007f191316a000)
    libgcc_s.so.1 => /lib/x86_64-linux-gnu/libgcc_s.so.1 (0x00007f1912f54000)
    /lib64/ld-linux-x86-64.so.2 (0x00007f1915049000)

ちなみに2.4.10の場合
ldd /usr/local/lib/libopencv_core.so
    linux-vdso.so.1 =>  (0x00007ffff31db000)
    libz.so.1 => /lib/x86_64-linux-gnu/libz.so.1 (0x00007f35ce7ec000)
    libpthread.so.0 => /lib/x86_64-linux-gnu/libpthread.so.0 (0x00007f35ce5ce000)
    librt.so.1 => /lib/x86_64-linux-gnu/librt.so.1 (0x00007f35ce3c5000)
    libtbb.so => /usr/local/lib/libtbb.so (0x00007f35ce19a000)
    libm.so.6 => /lib/x86_64-linux-gnu/libm.so.6 (0x00007f35cde94000)
    libstdc++.so.6 => /usr/lib/x86_64-linux-gnu/libstdc++.so.6 (0x00007f35cdb8f000)
    libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007f35cd7c9000)
    libgcc_s.so.1 => /lib/x86_64-linux-gnu/libgcc_s.so.1 (0x00007f35cd5b3000)
    /lib64/ld-linux-x86-64.so.2 (0x00007f35ceed4000)

と正しくリンクされている。

その他
3.0rcのリリース時期が、議事録では1/26日から2weeks以内と見積もりされているが、この調子では、かなり延期するのではと思われる。

OpenCV3.0betaで、HOG+SVMの辞書を作成

OpenCV 3.0 betaのサンプルのcppにtrain_HOG.cppがあるのを見つけた。
中を見てみると自分でHOGの辞書を作ることができるようだ

ソースの内容は大きく分けると

データの読み込み
ファイルリストを読み込みpositive, negativeの画像を読み込む。

ただし、この部分はINRIAデータに依存した記述になっている。
また、INRIAデータの解釈を間違っており、サンプルのままでは、よくない結果となるよ予想される。INRIAの画像は、4方に16画素のマージンが含まれており、実際の画像は、64x128が正しい

特徴量の計算
各画像のHOG特徴量を計算し、gradient_lstに格納している
hog.compute( gray, descriptors, Size( 8, 8 ), Size( 0, 0 ), location );

const vector<Point>& locationsに座標が格納されている場合は、その座標で計算する
locations.sizeが0の場合、決められた座標で計算する

SVMによる学習
SVM::Params paramsにパラメータをセットし、
Ptr<SVM> svm = StatModel::train<SVM>(train_data, ROW_SAMPLE, Mat(labels), params);
で学習を行なう

3.0はいろいろ問題があるので、2.4.10でビルドできないか試したところ、読み込みと特徴量のところは問題がなかったが、2.4.10では、mlクラスはないので、この部分を自分でlibLinearに置き換えれば、2.4.10で自分の辞書ができそうである。

2.4.10のHOGのソースの場所
opencv2410/modules/objdetect/src/hog.cpp

3.0のpython版による手書き数字識別のチュートリアル
OCR of Hand-written Data using SVM

2015年2月20日金曜日

OpenCV 3.0betaの変更点

自作のベンチマークで使用している関数が、3.0betaでエラーとなったので修正した。
いずれも3.0のマニュアルを見てもよくわからなかったので、メモを残しておく

1 TickMeter
  3.0から削除されているので2.4.10のソースからそのままコピーした
  • opencv2410/modules/contrib/include/opencv2/contrib/contrib.hpp
  • opencv2410/modules/contrib/src/spinimages.cpp

2 ORB

 コンストラクター
 cv::Ptr<cv::ORB> detector = cv::ORB::create();
 
 キーポイント
    detector->detect(gray1, keypoint1);
 
 特徴量
    detector->compute(gray1, keypoint1, descriptor1);

3 StereoBM
  コンストラクター
  cv::Ptr<cv::StereoBM> bm = cv::StereoBM::create();

 差分
    bm->compute(mat2, mat3, tmp);

以上

2015年2月17日火曜日

OpenCVのNEON対応を調べてみた

2.4.10と3.0beta(2/15日取得)のソースでNEONで全文検索(Catfish)を試してみた

moduleの下のソースで含まれていたものをそれぞれ示す
coreモジュールの対応が増えているので期待できそうである

2.4.10
 

3.0 beta

Raspberry Pi 2のOpenCVのパフォーマンスの改善を試みた

OpenCVのオプション、-DENABLE_VFPV3=ONを設定し、OpenCVをビルドしなおしてみた。

残念ながら、自作のベンチマークの処理時間は、誤差ぐらいの時間しか違いがなかった。


configureの設定のコンパイラ部分を参考に載せておく
ここに、-march=armv7-a mfpu=neon-vfpv4 がつけば良いのだが、現状-mfpu=neonだけで、ENABLE_VFPV3の設定も行われていない気がする。


C++ Compiler:                /usr/bin/c++  (ver 4.6.3)
C++ flags (Release):         -fsigned-char -W -Wall -Werror=return-type -Werror=address -Werror=sequence-point -Wformat -Werror=format-security -Wmissing-declarations -Wundef -Winit-self -Wpointer-arith -Wshadow -Wsign-promo -fdiagnostics-show-option -pthread -fomit-frame-pointer -mfpu=neon -ffunction-sections -O3 -DNDEBUG  -DNDEBUG

C Compiler:                  /usr/bin/gcc
C flags (Release):           -fsigned-char -W -Wall -Werror=return-type -Werror=address -Werror=sequence-point -Wformat -Werror=format-security -Wmissing-declarations -Wmissing-prototypes -Wstrict-prototypes -Wundef -Winit-self -Wpointer-arith -Wshadow -fdiagnostics-show-option -pthread -fomit-frame-pointer -mfpu=neon -ffunction-sections -O3 -DNDEBUG  -DNDEBUG


2/17追加

opencv2410/cmake/OpenCVCompilerOptions.cmakeを見てみると

   if (ENABLE_NEON)
    add_extra_compiler_option("-mfpu=neon")
  endif()
  if (ENABLE_VFPV3 AND NOT ENABLE_NEON)
    add_extra_compiler_option("-mfpu=vfpv3")
  endif()

となっており、NEONの場合、VFPV3は有効にならない設定である

OpenCVのビルド時間の短縮

強力なIntelマシンだとビルド時間は気にならない程度であるが、raspberry pi 2では、HDDを使用していても、ビルド時間が長く感じられる。

ビルド時間短縮ためにいつも、ドキュメント、テスト、パフォーマンステスト、サンプルなどを外し、さらに、GPUやOpenCLなど対応していない機能も外している。

それでも長いため、さらなる時間の短縮のために、最後にビルドされる opencv_traincascade などのアプリをビルドしないように試してみた

単純にapps/CMakeLists.txtを別名にしただけでは、cmakeの時にエラーが生じる。

そこで、CMakeLists.txtの名前を変え、CMakeLists.txtのからファイルを作成することでビルドされないことが確認でき、最後の数分を短縮することができた。

2/17追加
上記のようにしなくても、単に BUILD_opencv_apps を off にすればよい

Raspberry Pi 2 で OpenCV 2.4.10 をビルドした その2

もう少し速度の処理速度を速くすることができないかと、いろいろ調べてみた
再度本家のページを読み返してみると、ページの下段に

Add -DENABLE_VFPV3=ON to cmake command line to enable code generation for VFPv3

という説明を見つけた。

前回のccmakeでオプション指定を忘れているので、今度は、ENABLE_VFPV3をONにした。
また、対応していないOpenCL関連をすべてOffとし、configureとgenerateを行う
そしてmake -j4で再度ビルドを行った。

問題なくビルドが終了したので、比較ために自作のベンチマークを行う予定である。


前の記載でRasberry Pi 2の変化点として、コアが、ARMv6からARMv7に変更したこととなっていた。

Raspberry Pi 2 でそのままビルドすると ARMv6 のバイナリが生成されるため、コンパイラのオプションを変えたほうが良いとのページを見つけたが、OpenCVのcmakeでは、CPUアーキテクチャの指定方法が見つからない

この件は継続調査を行うが、あの方や、あの方が調べてくれるのではと期待もしている。


2/17追加
opencv2410/cmake/OpenCVCompilerOptions.cmake
をむりやり修正することにより

    C++ flags (Release):         -fsigned-char -W -Wall -Werror=return-type -Werror=address -Werror=sequence-point -Wformat -Werror=format-security -Wmissing-declarations -Wundef -Winit-self -Wpointer-arith -Wshadow -Wsign-promo -fdiagnostics-show-option -pthread -fomit-frame-pointer -march=armv7-a -mfpu=neon-vfpv4 -ffunction-sections -O3 -DNDEBUG  -DNDEBUG

にすることができたが、Raspberry Pi 2のコンパイラでは、-march=armv7-a -mfpu=neon-vfpv4 のオプションは聞いていないとの情報あり

この件は、継続調査

2015年2月15日日曜日

Raspberry Pi 2で赤外線カメラをnativeドライバで動作させてみた

Raspberry Pi 2のパフォーマンスが良いので、Raspberry Piに装着した赤外線カメラモジュールをPi 2に取り付けてみた

カメラを動作させるには、raspi-configでカメラを有効にし、専用のnativeドライバーを使用する必要がある

専用ドライバは、起動後に、terminalを開き
sudo modprobe bcm2835-v4l2
で読み込む必要がある

あとは、OpenCVのVideoCaptureが使用できる
VGA画像を30fpsで読み込むことができ、表示させるだけなら遅延はほとんど感じられない

残念ながらフレームレートを
mCap.set(CV_CAP_PROP_FPS, 60);
で変えることはできなかった

2015年2月9日月曜日

Raspberry Pi 2のインタビュー記事にOpenCVが述べられている

オリジナルの記事
Raspberry Pi財団の創設者 Eben Uptonに聞くRaspberry Pi 2


インタビューの最後の方にこんな言葉が

クアッドコアの登場がMakerや企業にどんな恩恵を与えるでしょうか。ハードウェアのローレベルアクセスを必要とするのは、どんな人ですか?

”すべての人にかなりの恩恵があると思います。Makerから、OpenCV+SMP+NEONを使ってもっと進化したアプリが出てくるのが楽しみですね。”

パフォーマンスも大幅に向上しているので、何か面白いものを作ってみたい

Raspberry Pi 2 と Raspberry Pi のOpenCVのパフォーマンスを比較した

Paspberry Pi 2 と Raspberry PiのUinuxBenchは公開されているので、
自作のベンチマークプログラムを使用しOpenCVの処理時間を比較してみた

Raspberry Piの方は、ソースをビルドしたものではなく
sudo apt-get install libopencv-devを使用してOpenCV 2.4.1をインストールしている。
Raspberry Pi のビルド時間が数時間と言われていたので、既存のものをそのまま利用した。
関連ページはここ


Raspberry Pi 2の方は、6倍の処理速度の評判のため、2.4.10のソースを自分でビルドした
関連ページはここ

計測方法

計測した関数は、以下のもので、使用頻度と計算量を考慮して選択している。
引数は、なるべくデフォルトのものを使用している。
計測に使用した画像は、sampleで提供されているものであり、640 x 480の画像を使用している
  • CloneRGB
  • pyrDown
  • pyrUp
  • cvtColor
  • GaussianBlur ksize(5x5)
  • Sobel CV_32F xorder
  • threshold BINARY Th 128 Max 255
  • Orb FeatureDetector
  • Orb DescriptorExtractor
  • BFMatcher NORM_L2
  • StereoBM BASIC_PRESET
  • calcOpticalFlowFarneback
  • CascadeClassifier
計測結果


単位はmsecである。
右の欄は処理時間の比である。

一声6倍と言われているが、NEONの効果かもしれないが、それ以上に改善された関数もある。
特に物体検出に利用されるCascadeClassifierが速くなったのは、嬉しいかもしれない。

2015年2月8日日曜日

Raspberry Pi 2 で OpenCV 2.4.10 をビルドした

販売当時に予約して金曜日に到着した。
Pi 2に対応した raspbian-2015-1-31のイメージを class10の16GのSDカードにインストールし、
初期設定を行った。

2.4.10のソースを格納したUSB HDDをRaspberry Pi 2に接続し、USB HDDの領域でビルドしている。

OpenCV用に以下のコマンドを実行している。

sudo apt-get install cmake cmake-curses-gui python-dev python-numpy libgtk2.0-dev

cmake ..
ccmake
make -j4
sudo make install
sudo ldconfig

make時間は1時間未満ですんだ。この後いつものテストプログラムを実行し問題なく画像は表示できた。

関連ファイルは全部インストールしていない。詳細はここ

補足 02/15
OpenCLをONにしているがRaspberry Pi 2でもOpenCLは、サポートされていないので、無駄なオプションである。

補足 02/17
Eigenを使用するには、
 sudo apt-get install libeigen3-dev
を事前に行っていないいけない




General configuration for OpenCV 2.4.10 =====================================
  OpenCV modules:
    To be built:                 core flann imgproc highgui features2d calib3d ml objdetect video ocl nonfree contrib legacy photo python stitching superres ts videostab
    Disabled:                    gpu world
    Disabled by dependency:      -
    Unavailable:                 androidcamera dynamicuda java viz

  GUI:
    QT:                          NO
    GTK+ 2.x:                    YES (ver 2.24.10)
    GThread :                    YES (ver 2.40.0)
    GtkGlExt:                    NO
    OpenGL support:              NO
    VTK support:                 NO

  Media I/O:
    ZLib:                        /usr/lib/arm-linux-gnueabihf/libz.so (ver 1.2.7)
    JPEG:                        libjpeg (ver 62)
    PNG:                         /usr/lib/arm-linux-gnueabihf/libpng.so (ver 1.2.49)
    TIFF:                        build (ver 42 - 4.0.2)
    JPEG 2000:                   build (ver 1.900.1)
    OpenEXR:                     build (ver 1.7.1)

  Video I/O:
    DC1394 1.x:                  NO
    DC1394 2.x:                  NO
    FFMPEG:                      NO
      codec:                     NO
      format:                    NO
      util:                      NO
      swscale:                   NO
      gentoo-style:              NO
    GStreamer:                   NO
    OpenNI:                      NO
    OpenNI PrimeSensor Modules:  NO
    PvAPI:                       NO
    GigEVisionSDK:               NO
    UniCap:                      NO
    UniCap ucil:                 NO
    V4L/V4L2:                    NO/YES
    XIMEA:                       NO
    Xine:                        NO

  Other third-party libraries:
    Use IPP:                     NO
    Use Eigen:                   NO
    Use TBB:                     YES (ver 4.1 interface 6102)
    Use OpenMP:                  NO
    Use GCD                      NO
    Use Concurrency              NO
    Use C=:                      NO
    Use Cuda:                    NO
    Use OpenCL:                  YES

  OpenCL:
    Version:                     dynamic
    Include path:                /opencv2410arm/3rdparty/include/opencl/1.2
    Use AMD FFT:                 NO
    Use AMD BLAS:                NO

  Python:
    Interpreter:                 /usr/bin/python2 (ver 2.7.3)
    Libraries:                   /usr/lib/python2.7/config/libpython2.7.so (ver 2.7.3)
    numpy:                       /usr/lib/pymodules/python2.7/numpy/core/include (ver 1.6.2)
    packages path:               lib/python2.7/dist-packages

  Java:
    ant:                         NO
    JNI:                         NO
    Java tests:                  NO

  Tests and samples:
    Tests:                       NO
    Performance tests:           NO
    C/C++ Examples:              NO

  Install path:                  /usr/local