如何使用背景減除方法

目錄

• 目標
  • 程式碼
• 解釋
• 結果
• 參考文獻

上一個教程: 高階影像拼接API (Stitcher 類)
下一個教程: 均值漂移和Camshift

原始作者	Domenico Daniele Bloisi
相容性	OpenCV >= 3.0

• 背景減除 (BS) 是一種常用且廣泛使用的技術，透過使用靜態攝像機生成前景掩碼（即，一個包含場景中移動物件畫素的二值影像）。
• 顧名思義，BS 透過對當前幀和背景模型進行減法運算來計算前景掩碼，背景模型包含場景的靜態部分，或者更普遍地說，根據觀察到的場景特徵，可以被視為背景的所有內容。

• 背景建模包括兩個主要步驟

  1. 背景初始化；
  2. 背景更新。

  第一步是計算背景的初始模型，而第二步是更新該模型，以適應場景中可能的變化。

• 在本教程中，我們將學習如何使用 OpenCV 進行背景減除。

目標

在本教程中，您將學習如何

1. 使用影片或影像序列讀取資料，透過使用 cv::VideoCapture；
2. 建立和更新背景模型，透過使用 cv::BackgroundSubtractor 類；
3. 獲取並顯示前景掩碼，透過使用 cv::imshow；

程式碼

您可以在下面找到原始碼。我們將允許使用者選擇處理影片檔案或影像序列。

在此示例中，我們將使用 cv::BackgroundSubtractorMOG2 來生成前景掩碼。

結果和輸入資料都會顯示在螢幕上。

C++

• 可下載程式碼: 點選這裡
• 程式碼速覽

   
  #include <iostream>
  #include <sstream>
  #include <opencv2/imgcodecs.hpp>
  #include <opencv2/imgproc.hpp>
  #include <opencv2/videoio.hpp>
  #include <opencv2/highgui.hpp>
  #include <opencv2/video.hpp>
   
  using namespace cv;
  using namespace std;
   
  const char* params
  = "{ help h | | Print usage }"
        "{ input | vtest.avi | Path to a video or a sequence of image }"
        "{ algo | MOG2 | Background subtraction method (KNN, MOG2) }";
   
  int main(int argc, char* argv[])
  {
      CommandLineParser parser(argc, argv, params);
  parser.about( "This program shows how to use background subtraction methods provided by "
                    " OpenCV. You can process both videos and images.\n" );
      if (parser.has("help"))
      {
          // 列印幫助資訊
  parser.printMessage();
      }
   
      // 建立背景減除物件
      Ptr<BackgroundSubtractor> pBackSub;
      if (parser.get<String>("algo") == "MOG2")
  pBackSub = createBackgroundSubtractorMOG2();
      else
  pBackSub = createBackgroundSubtractorKNN();
   
      VideoCapture capture( samples::findFile( parser.get<String>("input") ) );
      if (!capture.isOpened()){
          //error in opening the video input
  cerr << "Unable to open: " << parser.get<String>("input") << endl;
          return 0;
      }
   
      Mat frame, fgMask;
      while (true) {
  capture >> frame;
          if (frame.empty())
              break;
   
          // 更新背景模型
  pBackSub->apply(frame, fgMask);
   
          // 獲取幀號並寫入當前幀
  rectangle(frame, cv::Point(10, 2), cv::Point(100,20),
                    cv::Scalar(255,255,255), -1);
  stringstream ss;
  ss << capture.get(CAP_PROP_POS_FRAMES);
          string frameNumberString = ss.str();
  putText(frame, frameNumberString.c_str(), cv::Point(15, 15),
  FONT_HERSHEY_SIMPLEX, 0.5 , cv::Scalar(0,0,0));
   
          // 顯示當前幀和前景掩碼
  imshow("Frame", frame);
  imshow("FG Mask", fgMask);
   
          // 從鍵盤獲取輸入
          int keyboard = waitKey(30);
          if (keyboard == 'q' || keyboard == 27)
              break;
      }
   
      return 0;
  }

Java

• 可下載程式碼: 點選這裡
• 程式碼速覽

  import org.opencv.core.Core;
  import org.opencv.core.Mat;
  import org.opencv.core.Point;
  import org.opencv.core.Scalar;
  import org.opencv.highgui.HighGui;
  import org.opencv.imgproc.Imgproc;
  import org.opencv.video.BackgroundSubtractor;
  import org.opencv.video.Video;
  import org.opencv.videoio.VideoCapture;
  import org.opencv.videoio.Videoio;
   
  class BackgroundSubtraction {
      public void run(String[] args) {
  String input = args.length > 0 ? args[0] : "../data/vtest.avi";
          boolean useMOG2 = args.length > 1 ? args[1] == "MOG2" : true;
   
  BackgroundSubtractor backSub;
          if (useMOG2) {
  backSub = Video.createBackgroundSubtractorMOG2();
  } else {
  backSub = Video.createBackgroundSubtractorKNN();
          }
   
  VideoCapture capture = new VideoCapture(input);
          if (!capture.isOpened()) {
  System.err.println("Unable to open: " + input);
  System.exit(0);
          }
   
  Mat frame = new Mat(), fgMask = new Mat();
          while (true) {
  capture.read(frame);
              if (frame.empty()) {
                  break;
              }
   
              // 更新背景模型
  backSub.apply(frame, fgMask);
   
              // 獲取幀號並寫入當前幀
  Imgproc.rectangle(frame, new Point(10, 2), new Point(100, 20), new Scalar(255, 255, 255), -1);
              String frameNumberString = String.format("%d", (int)capture.get(Videoio.CAP_PROP_POS_FRAMES));
  Imgproc.putText(frame, frameNumberString, new Point(15, 15), Core.FONT_HERSHEY_SIMPLEX, 0.5,
                      new Scalar(0, 0, 0));
   
              // 顯示當前幀和前景掩碼
  HighGui.imshow("Frame", frame);
  HighGui.imshow("FG Mask", fgMask);
   
              // 從鍵盤獲取輸入
              int keyboard = HighGui.waitKey(30);
              if (keyboard == 'q' || keyboard == 27) {
                  break;
              }
          }
   
  HighGui.waitKey();
  System.exit(0);
      }
  }
   
  public class BackgroundSubtractionDemo {
      public static void main(String[] args) {
          // 載入本地 OpenCV 庫
  System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
   
          new BackgroundSubtraction().run(args);
      }
  }

Python

• 可下載程式碼: 點選這裡
• 程式碼速覽

  from __future__ import print_function
  import cv2 as cv
  import argparse
   
  parser = argparse.ArgumentParser(description='此程式演示瞭如何使用 OpenCV 提供的背景減除方法。\
  您可以同時處理影片和影像。')
  parser.add_argument('--input', type=str, help='影片或影像序列的路徑。', default='vtest.avi')
  parser.add_argument('--algo', type=str, help='背景減除方法 (KNN, MOG2)。', default='MOG2')
  args = parser.parse_args()
   
   
  if args.algo == 'MOG2'
  backSub = cv.createBackgroundSubtractorMOG2()
  else:
  backSub = cv.createBackgroundSubtractorKNN()
   
   
   
  capture = cv.VideoCapture(cv.samples.findFileOrKeep(args.input))
  if not capture.isOpened()
  print('無法開啟: ' + args.input)
  exit(0)
   
   
  while True
  ret, frame = capture.read()
      if frame is None
          break
   
      
  fgMask = backSub.apply(frame)
      
   
      
      cv.rectangle(frame, (10, 2), (100,20), (255,255,255), -1)
      cv.putText(frame, str(capture.get(cv.CAP_PROP_POS_FRAMES)), (15, 15),
  cv.FONT_HERSHEY_SIMPLEX, 0.5 , (0,0,0))
      
   
      
      cv.imshow('Frame', frame)
      cv.imshow('FG Mask', fgMask)
      
   
  keyboard = cv.waitKey(30)
      if keyboard == 'q' or keyboard == 27
          break

解釋

我們討論上面程式碼的主要部分

• 一個 cv::BackgroundSubtractor 物件將用於生成前景掩碼。在此示例中，使用了預設引數，但也可以在建立函式中宣告特定引數。

C++

    // 建立背景減除物件
    Ptr<BackgroundSubtractor> pBackSub;
    if (parser.get<String>("algo") == "MOG2")
pBackSub = createBackgroundSubtractorMOG2();
    else
pBackSub = createBackgroundSubtractorKNN();

Java

        BackgroundSubtractor backSub;
        if (useMOG2) {
backSub = Video.createBackgroundSubtractorMOG2();
} else {
backSub = Video.createBackgroundSubtractorKNN();
        }

Python

if args.algo == 'MOG2'
backSub = cv.createBackgroundSubtractorMOG2()
else:
backSub = cv.createBackgroundSubtractorKNN()

• 一個 cv::VideoCapture 物件用於讀取輸入影片或輸入影像序列。

C++

    VideoCapture capture( samples::findFile( parser.get<String>("input") ) );
    if (!capture.isOpened()){
        //error in opening the video input
cerr << "Unable to open: " << parser.get<String>("input") << endl;
        return 0;
    }

Java

VideoCapture capture = new VideoCapture(input);
        if (!capture.isOpened()) {
System.err.println("Unable to open: " + input);
System.exit(0);
        }

Python

capture = cv.VideoCapture(cv.samples.findFileOrKeep(args.input))
if not capture.isOpened()
print('無法開啟: ' + args.input)
exit(0)

• 每一幀都用於計算前景掩碼和更新背景。如果要更改用於更新背景模型的學習率，可以透過向 apply 方法傳遞引數來設定特定的學習率。

C++

        // 更新背景模型
pBackSub->apply(frame, fgMask);

Java

            // 更新背景模型
backSub.apply(frame, fgMask);

Python

fgMask = backSub.apply(frame)

• 當前幀號可以從 cv::VideoCapture 物件中提取，並標記在當前幀的左上角。使用一個白色矩形來突出顯示黑色的幀號。

C++

        // 獲取幀號並寫入當前幀
        rectangle(frame, cv::Point(10, 2), cv::Point(100,20),
                  cv::Scalar(255,255,255), -1);
stringstream ss;
ss << capture.get(CAP_PROP_POS_FRAMES);
        string frameNumberString = ss.str();
        putText(frame, frameNumberString.c_str(), cv::Point(15, 15),
FONT_HERSHEY_SIMPLEX, 0.5 , cv::Scalar(0,0,0));

Java

            // 獲取幀號並寫入當前幀
Imgproc.rectangle(frame, new Point(10, 2), new Point(100, 20), new Scalar(255, 255, 255), -1);
            String frameNumberString = String.format("%d", (int)capture.get(Videoio.CAP_PROP_POS_FRAMES));
Imgproc.putText(frame, frameNumberString, new Point(15, 15), Core.FONT_HERSHEY_SIMPLEX, 0.5,
                    new Scalar(0, 0, 0));

Python

    cv.rectangle(frame, (10, 2), (100,20), (255,255,255), -1)
    cv.putText(frame, str(capture.get(cv.CAP_PROP_POS_FRAMES)), (15, 15),
cv.FONT_HERSHEY_SIMPLEX, 0.5 , (0,0,0))

• 我們準備好顯示當前的輸入幀和結果。

C++

        // 顯示當前幀和前景掩碼
        imshow("Frame", frame);
        imshow("FG Mask", fgMask);

Java

            // 顯示當前幀和前景掩碼
HighGui.imshow("Frame", frame);
HighGui.imshow("FG Mask", fgMask);

Python

    cv.imshow('Frame', frame)
    cv.imshow('FG Mask', fgMask)

結果

• 使用 vtest.avi 影片，對於以下幀

MOG2 方法的程式輸出如下所示（灰色區域是檢測到的陰影）

KNN 方法的程式輸出如下所示（灰色區域是檢測到的陰影）

參考文獻

• 背景模型挑戰賽 (BMC) 網站
• 用於前景/背景提取的基準資料集 [283]