使用 Orbbec Astra 3D 相機

目錄

• • 簡介
  • 安裝說明
  • 程式碼

上一個教程： 使用 Kinect 和其他相容 OpenNI 的深度感測器
下一個教程： 使用奧比中光 3D 深度攝像頭 (UVC)

簡介

本教程專門介紹奧比中光 Astra 系列 3D 深度攝像頭 (https://www.orbbec.com/products/structured-light-camera/astra-series/)。這些攝像頭除了常見的彩色感測器外，還配備了深度感測器。深度感測器可以使用開源的 OpenNI API 透過 cv::VideoCapture 類進行讀取。影片流透過常規攝像頭介面提供。

安裝說明

為了在 OpenCV 中使用 Astra 攝像頭的深度感測器，您應該執行以下步驟：

1. 下載最新版本的奧比中光 OpenNI SDK（從此處 https://www.orbbec.com/developers/openni-sdk/）。解壓存檔，根據您的作業系統選擇構建版本，並按照 Readme 檔案中提供的安裝步驟進行操作。

2. 例如，如果您使用 64 位 GNU/Linux，請執行：

   $ cd Linux/OpenNI-Linux-x64-2.3.0.63/
   $ sudo ./install.sh

   安裝完成後，請務必重新插拔您的裝置，以便 udev 規則生效。攝像頭現在應該可以作為通用攝像頭裝置工作。請注意，您當前的使用者應屬於 video 使用者組，才能訪問攝像頭。另外，請務必 source OpenNIDevEnvironment 檔案：

   $ source OpenNIDevEnvironment

   要驗證 source 命令是否有效以及 OpenNI 庫和標頭檔案是否可以找到，請執行以下命令，您應該在終端中看到類似內容：

   $ echo $OPENNI2_INCLUDE
   /home/user/OpenNI_2.3.0.63/Linux/OpenNI-Linux-x64-2.3.0.63/Include
   $ echo $OPENNI2_REDIST
   /home/user/OpenNI_2.3.0.63/Linux/OpenNI-Linux-x64-2.3.0.63/Redist

   如果上述兩個變數為空，則需要再次 source OpenNIDevEnvironment。

   注意

   奧比中光 OpenNI SDK 2.3.0.86 及更高版本不再提供 install.sh。您可以使用以下指令碼初始化環境：

   # Check if user is root/running with sudo
   if [ `whoami` != root ]; then
   echo Please run this script with sudo
   exit
   fi
    
   ORIG_PATH=`pwd`
   cd `dirname $0`
   SCRIPT_PATH=`pwd`
   cd $ORIG_PATH
    
   if [ "`uname -s`" != "Darwin" ]; then
   # Install UDEV rules for USB device
   cp ${SCRIPT_PATH}/orbbec-usb.rules /etc/udev/rules.d/558-orbbec-usb.rules
   echo "usb rules file install at /etc/udev/rules.d/558-orbbec-usb.rules"
   fi
    
   OUT_FILE="$SCRIPT_PATH/OpenNIDevEnvironment"
   echo "export OPENNI2_INCLUDE=$SCRIPT_PATH/../sdk/Include" > $OUT_FILE
   echo "export OPENNI2_REDIST=$SCRIPT_PATH/../sdk/libs" >> $OUT_FILE
   chmod a+r $OUT_FILE
   echo "exit"

   最新嘗試的版本 2.3.0.86_202210111154_4c8f5aa4_beta6 在現代 Linux 上無法正常工作，即使按照說明重建 libusb 後也如此。已知可用的最新版本是 2.3.0.63（在 Ubuntu 18.04 amd64 上測試）。該版本並未在官方下載頁面提供，而是由奧比中光技術支援人員在奧比中光社群論壇 此處 釋出。

3. 現在，您可以透過在 CMake 中設定 WITH_OPENNI2 標誌來配置啟用 OpenNI 支援的 OpenCV。您可能還希望啟用 BUILD_EXAMPLES 標誌，以獲取與 Astra 攝像頭配合使用的程式碼示例。在包含 OpenCV 原始碼的目錄中執行以下命令以啟用 OpenNI 支援：

   $ mkdir build
   $ cd build
   $ cmake -DWITH_OPENNI2=ON ..

   如果找到 OpenNI 庫，OpenCV 將構建 OpenNI2 支援。您可以在 CMake 日誌中檢視 OpenNI2 支援的狀態：

   -- Video I/O
   -- DC1394: YES (2.2.6)
   -- FFMPEG: YES
   -- avcodec: YES (58.91.100)
   -- avformat: YES (58.45.100)
   -- avutil: YES (56.51.100)
   -- swscale: YES (5.7.100)
   -- avresample: NO
   -- GStreamer: YES (1.18.1)
   -- OpenNI2: YES (2.3.0)
   -- v4l/v4l2: YES (linux/videodev2.h)

4. 構建 OpenCV

   $ make

程式碼

Astra Pro 攝像頭有兩個感測器——深度感測器和彩色感測器。深度感測器可以使用 OpenNI 介面透過 cv::VideoCapture 類讀取。影片流不透過 OpenNI API 提供，僅透過常規攝像頭介面提供。因此，要獲取深度和彩色幀，應建立兩個 cv::VideoCapture 物件：

 // 開啟深度流
 VideoCapture depthStream(CAP_OPENNI2_ASTRA);
 // 打開彩色流
 VideoCapture colorStream(0, CAP_V4L2);

第一個物件將使用 OpenNI2 API 獲取深度資料。第二個物件使用 Video4Linux2 介面訪問彩色感測器。請注意，上述示例假設 Astra 攝像頭是系統中的第一個攝像頭。如果您連線了多個攝像頭，可能需要明確設定正確的攝像頭編號。

在使用建立的 VideoCapture 物件之前，您可能希望透過設定物件的屬性來配置流引數。最重要的引數是幀寬、幀高和幀率。對於本示例，我們將兩個流的寬度和高度配置為 VGA 解析度（這是兩個感測器可用的最大解析度），並且我們希望兩個流引數相同，以便更輕鬆地進行彩色到深度資料註冊。

 // 設定彩色和深度流引數
 colorStream.set(CAP_PROP_FRAME_WIDTH, 640);
 colorStream.set(CAP_PROP_FRAME_HEIGHT, 480);
 depthStream.set(CAP_PROP_FRAME_WIDTH, 640);
 depthStream.set(CAP_PROP_FRAME_HEIGHT, 480);
 depthStream.set(CAP_PROP_OPENNI2_MIRROR, 0);

要設定和獲取感測器資料生成器的一些屬性，請分別使用 cv::VideoCapture::set 和 cv::VideoCapture::get 方法，例如：

 // 列印深度流引數
 cout << "Depth stream: "
 << depthStream.get(CAP_PROP_FRAME_WIDTH) << "x" << depthStream.get(CAP_PROP_FRAME_HEIGHT)
 << " @" << depthStream.get(CAP_PROP_FPS) << " fps" << endl;

透過 OpenNI 介面可用的以下攝像頭屬性支援深度生成器：

• cv::CAP_PROP_FRAME_WIDTH – 幀寬（畫素）。
• cv::CAP_PROP_FRAME_HEIGHT – 幀高（畫素）。
• cv::CAP_PROP_FPS – 幀率（FPS）。
• cv::CAP_PROP_OPENNI_REGISTRATION – 標誌，透過改變深度生成器的視點將深度圖重新對映到影像圖（如果標誌為“開”）或將其視點設定為正常視點（如果標誌為“關”）。註冊過程產生的影像是畫素對齊的，這意味著影像中的每個畫素都與深度影像中的一個畫素對齊。

• cv::CAP_PROP_OPENNI2_MIRROR – 標誌，用於啟用或停用此流的映象。設定為 0 可停用映象。

  以下屬性僅可用於獲取

• cv::CAP_PROP_OPENNI_FRAME_MAX_DEPTH – 攝像頭支援的最大深度（毫米）。
• cv::CAP_PROP_OPENNI_BASELINE – 基線值（毫米）。

VideoCapture 物件設定完成後，您可以開始從中讀取幀。

注意

OpenCV 的 VideoCapture 提供同步 API，因此您必須在新執行緒中抓取幀，以避免在讀取另一個流時一個流被阻塞。VideoCapture 不是執行緒安全的類，因此您需要小心，以避免任何可能的死鎖或資料競爭。

由於有兩個影片源需要同時讀取，因此有必要建立兩個執行緒以避免阻塞。以下示例實現從新執行緒中的每個感測器獲取幀，並將其與時間戳一起儲存在列表中：

 // 建立兩個列表以儲存幀
 std::list<Frame> depthFrames, colorFrames;
 const std::size_t maxFrames = 64;
 
 // 同步物件
 std::mutex mtx;
 std::condition_variable dataReady;
 std::atomic<bool> isFinish;
 
 isFinish = false;
 
 // 啟動深度讀取執行緒
 std::thread depthReader([&]
    {
 while (!isFinish)
        {
 // 抓取並解碼新幀
 if (depthStream.grab())
            {
 Frame f;
 f.timestamp = cv::getTickCount();
 depthStream.retrieve(f.frame, CAP_OPENNI_DEPTH_MAP);
 if (f.frame.empty())
                {
 cerr << "ERROR: Failed to decode frame from depth stream" << endl;
 break;
                }
 
                {
 std::lock_guard<std::mutex> lk(mtx);
 if (depthFrames.size() >= maxFrames)
 depthFrames.pop_front();
 depthFrames.push_back(f);
                }
 dataReady.notify_one();
            }
        }
    });
 
 // 啟動彩色讀取執行緒
 std::thread colorReader([&]
    {
 while (!isFinish)
        {
 // 抓取並解碼新幀
 if (colorStream.grab())
            {
 Frame f;
 f.timestamp = cv::getTickCount();
 colorStream.retrieve(f.frame);
 if (f.frame.empty())
                {
 cerr << "ERROR: Failed to decode frame from color stream" << endl;
 break;
                }
 
                {
 std::lock_guard<std::mutex> lk(mtx);
 if (colorFrames.size() >= maxFrames)
 colorFrames.pop_front();
 colorFrames.push_back(f);
                }
 dataReady.notify_one();
            }
        }
    });

VideoCapture 可以檢索以下資料

1. 深度生成器提供的資料：
   • cv::CAP_OPENNI_DEPTH_MAP - 深度值（毫米，CV_16UC1）
   • cv::CAP_OPENNI_POINT_CLOUD_MAP - XYZ 座標（米，CV_32FC3）
   • cv::CAP_OPENNI_DISPARITY_MAP - 視差（畫素，CV_8UC1）
   • cv::CAP_OPENNI_DISPARITY_MAP_32F - 視差（畫素，CV_32FC1）
   • cv::CAP_OPENNI_VALID_DEPTH_MASK - 有效畫素掩碼（未遮擋、未陰影等）（CV_8UC1）
2. 彩色感測器提供的資料是常規的 BGR 影像 (CV_8UC3)。

當新資料可用時，每個讀取執行緒使用條件變數通知主執行緒。幀儲存在有序列表中——列表中的第一幀是捕獲最早的，最後一幀是捕獲最新的。由於深度和彩色幀是從獨立源讀取的，即使兩個流都設定為相同的幀率，它們也可能不同步。可以對流應用後同步過程，將深度和彩色幀組合成對。以下示例程式碼演示了此過程：

 // 配對深度和彩色幀
 while (!isFinish)
    {
 std::unique_lock<std::mutex> lk(mtx);
 while (!isFinish && (depthFrames.empty() || colorFrames.empty()))
 dataReady.wait(lk);
 
 while (!depthFrames.empty() && !colorFrames.empty())
        {
 if (!lk.owns_lock())
 lk.lock();
 
 // 從列表中獲取幀
 Frame depthFrame = depthFrames.front();
 int64 depthT = depthFrame.timestamp;
 
 // 從列表中獲取幀
 Frame colorFrame = colorFrames.front();
 int64 colorT = colorFrame.timestamp;
 
 // 幀週期的一半是幀之間最大時間差
 const int64 maxTdiff = int64(1000000000 / (2 * colorStream.get(CAP_PROP_FPS)));
 if (depthT + maxTdiff < colorT)
            {
 depthFrames.pop_front();
 continue;
            }
 else if (colorT + maxTdiff < depthT)
            {
 colorFrames.pop_front();
 continue;
            }
 depthFrames.pop_front();
 colorFrames.pop_front();
 lk.unlock();
 
 // 顯示深度幀
 Mat d8, dColor;
 depthFrame.frame.convertTo(d8, CV_8U, 255.0 / 2500);
 applyColorMap(d8, dColor, COLORMAP_OCEAN);
 imshow("Depth (colored)", dColor);
 
 // 顯示彩色幀
 imshow("Color", colorFrame.frame);
 
 // 按 Esc 鍵退出
 int key = waitKey(1);
 if (key == 27) // ESC
            {
 isFinish = true;
 break;
            }
        }
    }

在上面的程式碼片段中，執行會一直阻塞，直到兩個幀列表都有幀。當有新幀可用時，會檢查它們的時間戳——如果它們相差超過半個幀週期，則丟棄其中一幀。如果時間戳足夠接近，則將兩幀配對。現在，我們有了兩幀：一幀包含彩色資訊，另一幀包含深度資訊。在上面的示例中，獲取的幀只是透過 cv::imshow 函式顯示，但您可以在此處插入任何其他處理程式碼。

在下面的示例影像中，您可以看到表示相同場景的彩色幀和深度幀。從彩色幀看，很難區分植物葉子和牆上畫的葉子，但深度資料使其變得容易。

完整的實現可以在 samples/cpp/tutorial_code/videoio 目錄下的 openni_orbbec_astra.cpp 檔案中找到。