反向投影

目錄

• 目標
• 理論
  • 什麼是反向投影？
  • 它是如何工作的？
• 程式碼
• 解釋
• 結果

上一個教程： 直方圖比較
下一個教程： 模板匹配

原始作者	Ana Huamán
相容性	OpenCV >= 3.0

目標

在本教程中，您將學習

• 什麼是反向投影及其用處
• 如何使用OpenCV函式 cv::calcBackProject 計算反向投影
• 如何使用OpenCV函式 cv::mixChannels 混合影像的不同通道

理論

什麼是反向投影？

• 反向投影是一種記錄給定影像的畫素與直方圖模型中畫素分佈匹配程度的方法。
• 簡單來說：對於反向投影，你計算一個特徵的直方圖模型，然後用它在影像中查詢這個特徵。
• 應用示例：如果你有一個膚色直方圖（比如，一個色相-飽和度直方圖），那麼你可以用它在影像中查詢膚色區域。

它是如何工作的？

• 我們以皮膚為例進行解釋。
• 假設你已經根據下圖獲取了一個膚色直方圖（色相-飽和度）。旁邊的直方圖將作為我們的模型直方圖（我們知道它代表膚色的一個樣本）。你應用了蒙版來只捕獲皮膚區域的直方圖：

• 現在，讓我們想象你得到另一張手部影像（測試影像），如下圖所示：（及其相應的直方圖）：

• 我們要做的是使用我們的模型直方圖（我們知道它代表膚色）來檢測測試影像中的皮膚區域。以下是步驟：
  1. 對於測試影像中的每個畫素（即 \(p(i,j)\)），收集資料並找到該畫素對應的直方圖bin位置（即 \(( h_{i,j}, s_{i,j} )\)）。
  2. 在對應的bin（\(( h_{i,j}, s_{i,j} )\)）中查詢模型直方圖，並讀取bin值。
  3. 將此bin值儲存到新影像（反向投影）中。另外，你可能需要先對模型直方圖進行歸一化，以便測試影像的輸出對你可見。
  4. 應用上述步驟，我們得到測試影像的以下反向投影影像：

1. 從統計學角度看，儲存在反向投影中的值表示測試影像中畫素屬於皮膚區域的機率，這是基於我們使用的模型直方圖。例如，在我們的測試影像中，較亮的區域更有可能是皮膚區域（實際也確實如此），而較暗的區域機率較低（請注意，這些“暗”區域屬於有陰影的表面，這反過來會影響檢測）。

程式碼

• 此程式的作用是什麼？
  • 載入影像
  • 將原始影像轉換為HSV格式，並僅分離出色相通道用於直方圖（使用OpenCV函式 cv::mixChannels）
  • 允許使用者輸入用於直方圖計算的bin數量。
  • 計算直方圖（如果bin改變則更新）和同一影像的反向投影。
  • 在視窗中顯示反向投影和直方圖。

C++

• 可下載程式碼:
  • 點選 這裡 獲取基本版本（本教程中解釋的）。
  • 對於稍微高階一點的功能（使用H-S直方圖和floodFill定義皮膚區域的蒙版），你可以檢視 改進的演示
  • ...或者你也可以隨時檢視samples中經典的 camshiftdemo。
• 程式碼速覽

   
  #include "opencv2/imgproc.hpp"
  #include "opencv2/imgcodecs.hpp"
  #include "opencv2/highgui.hpp"
   
  #include <iostream>
   
  using namespace cv;
  using namespace std;
   
  Mat hue;
  int bins = 25;
   
  void Hist_and_Backproj(int, void* );
   
  int main( int argc, char* argv[] )
  {
      CommandLineParser parser( argc, argv, "{@input |Back_Projection_Theory0.jpg| input image}" );
  samples::addSamplesDataSearchSubDirectory("doc/tutorials/imgproc/histograms/back_projection/images");
      Mat src = imread(samples::findFile(parser.get<String>( "@input" )) );
      if( src.empty() )
      {
  cout << "Could not open or find the image!\n" << endl;
  cout << "Usage: " << argv[0] << " <Input image>" << endl;
          return -1;
      }
   
      Mat hsv;
  cvtColor( src, hsv, COLOR_BGR2HSV );
   
  hue.create(hsv.size(), hsv.depth());
      int ch[] = { 0, 0 };
  mixChannels( &hsv, 1, &hue, 1, ch, 1 );
   
      const char* window_image = "Source image";
  namedWindow( window_image );
  createTrackbar("* Hue bins: ", window_image, &bins, 180, Hist_and_Backproj );
  Hist_and_Backproj(0, 0);
   
  imshow( window_image, src );
      // Wait until user exits the program
  cv::Mat::empty
   
      return 0;
  }
   
  void Hist_and_Backproj(int, void* )
  {
      int histSize = MAX( bins, 2 );
      float hue_range[] = { 0, 180 };
      const float* ranges[] = { hue_range };
   
      Mat hist;
      calcHist( &hue, 1, 0, Mat(), hist, 1, &histSize, ranges, true, false );
      normalize( hist, hist, 0, 255, NORM_MINMAX, -1, Mat() );
   
      Mat backproj;
      calcBackProject( &hue, 1, 0, hist, backproj, ranges, 1, true );
   
      imshow( "BackProj", backproj );
   
      int w = 400, h = 400;
      int bin_w = cvRound( (double) w / histSize );
      Mat histImg = Mat::zeros( h, w, CV_8UC3 );
   
      for (int i = 0; i < bins; i++)
      {
          rectangle( histImg, Point( i*bin_w, h ), Point( (i+1)*bin_w, h - cvRound( hist.at<float>(i)*h/255.0 ) ),
                     Scalar( 0, 0, 255 ), FILLED );
      }
   
      imshow( "Histogram", histImg );
  }

Java

• 可下載程式碼:
  • 點選 這裡 獲取基本版本（本教程中解釋的）。
  • 對於稍微高階一點的功能（使用H-S直方圖和floodFill定義皮膚區域的蒙版），你可以檢視 改進的演示
  • ...或者你也可以隨時檢視samples中經典的 camshiftdemo。
• 程式碼速覽

  import java.awt.BorderLayout;
  import java.awt.Container;
  import java.awt.Image;
  import java.util.Arrays;
  import java.util.List;
   
  import javax.swing.BoxLayout;
  import javax.swing.ImageIcon;
  import javax.swing.JFrame;
  import javax.swing.JLabel;
  import javax.swing.JPanel;
  import javax.swing.JSlider;
  import javax.swing.event.ChangeEvent;
  import javax.swing.event.ChangeListener;
   
  import org.opencv.core.Core;
  import org.opencv.core.CvType;
  import org.opencv.core.Mat;
  import org.opencv.core.MatOfFloat;
  import org.opencv.core.MatOfInt;
  import org.opencv.core.Point;
  import org.opencv.core.Scalar;
  import org.opencv.highgui.HighGui;
  import org.opencv.imgcodecs.Imgcodecs;
  import org.opencv.imgproc.Imgproc;
   
  class CalcBackProject1 {
      private Mat hue;
      private Mat histImg = new Mat();
      private JFrame frame;
      private JLabel imgLabel;
      private JLabel backprojLabel;
      private JLabel histImgLabel;
      private static final int MAX_SLIDER = 180;
      private int bins = 25;
   
      public CalcBackProject1(String[] args) {
          if (args.length != 1) {
  System.err.println("You must supply one argument that corresponds to the path to the image.");
  System.exit(0);
          }
   
  Mat src = Imgcodecs.imread(args[0]);
          if (src.empty()) {
  System.err.println("Empty image: " + args[0]);
  System.exit(0);
          }
   
  Mat hsv = new Mat();
  Imgproc.cvtColor(src, hsv, Imgproc.COLOR_BGR2HSV);
   
  hue = new Mat(hsv.size(), hsv.depth());
  Core.mixChannels(Arrays.asList(hsv), Arrays.asList(hue), new MatOfInt(0, 0));
   
          // Create and set up the window.
  frame = new JFrame("Back Projection 1 demo");
  frame.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
          // Set up the content pane.
  Image img = HighGui.toBufferedImage(src);
  addComponentsToPane(frame.getContentPane(), img);
          // Use the content pane's default BorderLayout. No need for
          // setLayout(new BorderLayout());
          // Display the window.
  frame.pack();
  frame.setVisible(true);
      }
   
      private void addComponentsToPane(Container pane, Image img) {
          if (!(pane.getLayout() instanceof BorderLayout)) {
  pane.add(new JLabel("Container doesn't use BorderLayout!"));
              return;
          }
   
  JPanel sliderPanel = new JPanel();
  sliderPanel.setLayout(new BoxLayout(sliderPanel, BoxLayout.PAGE_AXIS));
   
  sliderPanel.add(new JLabel("* Hue bins: "));
  JSlider slider = new JSlider(0, MAX_SLIDER, bins);
  slider.setMajorTickSpacing(25);
  slider.setMinorTickSpacing(5);
  slider.setPaintTicks(true);
  slider.setPaintLabels(true);
  slider.addChangeListener(new ChangeListener() {
  @Override
              public void stateChanged(ChangeEvent e) {
  JSlider source = (JSlider) e.getSource();
  bins = source.getValue();
  update();
              }
          });
  sliderPanel.add(slider);
  pane.add(sliderPanel, BorderLayout.PAGE_START);
   
  JPanel imgPanel = new JPanel();
  imgLabel = new JLabel(new ImageIcon(img));
  imgPanel.add(imgLabel);
   
  backprojLabel = new JLabel();
  imgPanel.add(backprojLabel);
   
  histImgLabel = new JLabel();
  imgPanel.add(histImgLabel);
  pane.add(imgPanel, BorderLayout.CENTER);
      }
   
      private void update() {
          int histSize = Math.max(bins, 2);
          float[] hueRange = {0, 180};
   
  Mat hist = new Mat();
  List<Mat> hueList = Arrays.asList(hue);
  Imgproc.calcHist(hueList, new MatOfInt(0), new Mat(), hist, new MatOfInt(histSize), new MatOfFloat(hueRange), false);
  Core.normalize(hist, hist, 0, 255, Core.NORM_MINMAX);
   
  Mat backproj = new Mat();
  Imgproc.calcBackProject(hueList, new MatOfInt(0), hist, backproj, new MatOfFloat(hueRange), 1);
   
  Image backprojImg = HighGui.toBufferedImage(backproj);
  backprojLabel.setIcon(new ImageIcon(backprojImg));
   
          int w = 400, h = 400;
          int binW = (int) Math.round((double) w / histSize);
  histImg = Mat.zeros(h, w, CvType.CV_8UC3);
   
          float[] histData = new float[(int) (hist.total() * hist.channels())];
  hist.get(0, 0, histData);
          for (int i = 0; i < bins; i++) {
  Imgproc.rectangle(histImg, new Point(i * binW, h),
                      new Point((i + 1) * binW, h - Math.round(histData[i] * h / 255.0)), new Scalar(0, 0, 255), Imgproc.FILLED);
          }
  Image histImage = HighGui.toBufferedImage(histImg);
  histImgLabel.setIcon(new ImageIcon(histImage));
   
  frame.repaint();
  frame.pack();
      }
  }
   
  public class CalcBackProjectDemo1 {
      public static void main(String[] args) {
          // 載入本地 OpenCV 庫
  System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
   
          // Schedule a job for the event dispatch thread
          // creating and showing this application's GUI.
  javax.swing.SwingUtilities.invokeLater(new Runnable() {
  @Override
              public void run() {
                  new CalcBackProject1(args);
              }
          });
      }
  }

Python

• 可下載程式碼:
  • 點選 這裡 獲取基本版本（本教程中解釋的）。
  • 對於稍微高階一點的功能（使用H-S直方圖和floodFill定義皮膚區域的蒙版），你可以檢視 改進的演示
  • ...或者你也可以隨時檢視samples中經典的 camshiftdemo。
• 程式碼速覽

  from __future__ import print_function
  from __future__ import division
  import cv2 as cv
  import numpy as np
  import argparse
   
  def Hist_and_Backproj(val)
      
  bins = val
  histSize = max(bins, 2)
  ranges = [0, 180] # hue_range
      
   
      
  hist = cv.calcHist([hue], [0], None, [histSize], ranges, accumulate=False)
      cv.normalize(hist, hist, alpha=0, beta=255, norm_type=cv.NORM_MINMAX)
      
   
      
  backproj = cv.calcBackProject([hue], [0], hist, ranges, scale=1)
      
   
      
      cv.imshow('BackProj', backproj)
      
   
      
  w = 400
  h = 400
  bin_w = int(round(w / histSize))
  histImg = np.zeros((h, w, 3), dtype=np.uint8)
   
      for i in range(bins)
          cv.rectangle(histImg, (i*bin_w, h), ( (i+1)*bin_w, h - int(np.round( hist[i]*h/255.0 )) ), (0, 0, 255), cv.FILLED)
   
      cv.imshow('Histogram', histImg)
      
   
   
  parser = argparse.ArgumentParser(description='Code for Back Projection tutorial.')
  parser.add_argument('--input', help='Path to input image.', default='home.jpg')
  args = parser.parse_args()
   
  src = cv.imread(cv.samples.findFile(args.input))
  if src is None
  print('Could not open or find the image:', args.input)
  exit(0)
   
   
   
  hsv = cv.cvtColor(src, cv.COLOR_BGR2HSV)
   
   
   
  ch = (0, 0)
  hue = np.empty(hsv.shape, hsv.dtype)
  cv.mixChannels([hsv], [hue], ch)
   
   
   
  window_image = 'Source image'
  cv.namedWindow(window_image)
  bins = 25
  cv.createTrackbar('* Hue bins: ', window_image, bins, 180, Hist_and_Backproj )
  Hist_and_Backproj(bins)
   
   
   
  cv.imshow(window_image, src)
  cv.waitKey()
   

解釋

• 讀取輸入影像

  C++

      CommandLineParser parser( argc, argv, "{@input |Back_Projection_Theory0.jpg| input image}" );
  samples::addSamplesDataSearchSubDirectory("doc/tutorials/imgproc/histograms/back_projection/images");
      Mat src = imread(samples::findFile(parser.get<String>( "@input" )) );
      if( src.empty() )
      {
  cout << "Could not open or find the image!\n" << endl;
  cout << "Usage: " << argv[0] << " <Input image>" << endl;
          return -1;
      }

  Java

          if (args.length != 1) {
  System.err.println("You must supply one argument that corresponds to the path to the image.");
  System.exit(0);
          }
   
  Mat src = Imgcodecs.imread(args[0]);
          if (src.empty()) {
  System.err.println("Empty image: " + args[0]);
  System.exit(0);
          }

  Python

  parser = argparse.ArgumentParser(description='Code for Back Projection tutorial.')
  parser.add_argument('--input', help='Path to input image.', default='home.jpg')
  args = parser.parse_args()
   
  src = cv.imread(cv.samples.findFile(args.input))
  if src is None
  print('Could not open or find the image:', args.input)
  exit(0)

• 將其轉換為HSV格式

  C++

      Mat hsv;
      cvtColor( src, hsv, COLOR_BGR2HSV );

  Java

  Mat hsv = new Mat();
  Imgproc.cvtColor(src, hsv, Imgproc.COLOR_BGR2HSV);

  Python

  hsv = cv.cvtColor(src, cv.COLOR_BGR2HSV)

• 對於本教程，我們將僅使用色相值來構建我們的一維直方圖（如果你想使用更標準的H-S直方圖，其效果更好，請檢視上面連結中的更高階程式碼）。

  C++

  hue.create(hsv.size(), hsv.depth());
      int ch[] = { 0, 0 };
      mixChannels( &hsv, 1, &hue, 1, ch, 1 );

  Java

  hue = new Mat(hsv.size(), hsv.depth());
  Core.mixChannels(Arrays.asList(hsv), Arrays.asList(hue), new MatOfInt(0, 0));

  Python

  ch = (0, 0)
  hue = np.empty(hsv.shape, hsv.dtype)
  cv.mixChannels([hsv], [hue], ch)

• 如你所見，我們使用函式 cv::mixChannels 從hsv影像中只獲取通道0（色相）。它接受以下引數：
  • &hsv: 要從中複製通道的源陣列
  • 1: 源陣列的數量
  • &hue: 複製通道的目標陣列
  • 1: 目標陣列的數量
  • ch[] = {0,0}: 指示通道如何複製的索引對陣列。在這種情況下，&hsv的色相(0)通道被複制到&hue的0通道（單通道）。
  • 1: 索引對的數量

• 為使用者建立一個軌跡條以輸入bin值。軌跡條上的任何更改都將呼叫 Hist_and_Backproj 回撥函式。

  C++

      const char* window_image = "Source image";
      namedWindow( window_image );
      createTrackbar("* Hue bins: ", window_image, &bins, 180, Hist_and_Backproj );
  Hist_and_Backproj(0, 0);

  Java

  JPanel sliderPanel = new JPanel();
  sliderPanel.setLayout(new BoxLayout(sliderPanel, BoxLayout.PAGE_AXIS));
   
  sliderPanel.add(new JLabel("* Hue bins: "));
  JSlider slider = new JSlider(0, MAX_SLIDER, bins);
  slider.setMajorTickSpacing(25);
  slider.setMinorTickSpacing(5);
  slider.setPaintTicks(true);
  slider.setPaintLabels(true);
  slider.addChangeListener(new ChangeListener() {
  @Override
              public void stateChanged(ChangeEvent e) {
  JSlider source = (JSlider) e.getSource();
  bins = source.getValue();
  update();
              }
          });
  sliderPanel.add(slider);
  pane.add(sliderPanel, BorderLayout.PAGE_START);

  Python

  window_image = 'Source image'
  cv.namedWindow(window_image)
  bins = 25
  cv.createTrackbar('* Hue bins: ', window_image, bins, 180, Hist_and_Backproj )
  Hist_and_Backproj(bins)

• 顯示影像並等待使用者退出程式

  C++

      imshow( window_image, src );
      // Wait until user exits the program
      waitKey();

  Java

          // Use the content pane's default BorderLayout. No need for
          // setLayout(new BorderLayout());
          // Display the window.
  frame.pack();
  frame.setVisible(true);

  Python

  cv.imshow(window_image, src)
  cv.waitKey()

• Hist_and_Backproj 函式： 初始化 cv::calcHist 所需的引數。bin的數量來自軌跡條。

  C++

      int histSize = MAX( bins, 2 );
      float hue_range[] = { 0, 180 };
      const float* ranges[] = { hue_range };

  Java

          int histSize = Math.max(bins, 2);
          float[] hueRange = {0, 180};

  Python

  bins = val
  histSize = max(bins, 2)
  ranges = [0, 180] # hue_range

• 計算直方圖並將其歸一化到 \([0,255]\) 範圍。

  C++

      Mat hist;
      calcHist( &hue, 1, 0, Mat(), hist, 1, &histSize, ranges, true, false );
      normalize( hist, hist, 0, 255, NORM_MINMAX, -1, Mat() );

  Java

  Mat hist = new Mat();
  List<Mat> hueList = Arrays.asList(hue);
  Imgproc.calcHist(hueList, new MatOfInt(0), new Mat(), hist, new MatOfInt(histSize), new MatOfFloat(hueRange), false);
  Core.normalize(hist, hist, 0, 255, Core.NORM_MINMAX);

  Python

  hist = cv.calcHist([hue], [0], None, [histSize], ranges, accumulate=False)
      cv.normalize(hist, hist, alpha=0, beta=255, norm_type=cv.NORM_MINMAX)

• 透過呼叫函式 cv::calcBackProject 獲取同一影像的反向投影。

  C++

      Mat backproj;
      calcBackProject( &hue, 1, 0, hist, backproj, ranges, 1, true );

  Java

  Mat backproj = new Mat();
  Imgproc.calcBackProject(hueList, new MatOfInt(0), hist, backproj, new MatOfFloat(hueRange), 1);

  Python

  backproj = cv.calcBackProject([hue], [0], hist, ranges, scale=1)

• 所有引數都是已知的（與計算直方圖時使用的相同），我們只添加了backproj矩陣，它將儲存源影像（&hue）的反向投影。

• 顯示backproj

  C++

      imshow( "BackProj", backproj );

  Java

  Image backprojImg = HighGui.toBufferedImage(backproj);
  backprojLabel.setIcon(new ImageIcon(backprojImg));

  Python

      cv.imshow('BackProj', backproj)

• 繪製圖像的一維色相直方圖

  C++

      int w = 400, h = 400;
      int bin_w = cvRound( (double) w / histSize );
      Mat histImg = Mat::zeros( h, w, CV_8UC3 );
   
      for (int i = 0; i < bins; i++)
      {
          rectangle( histImg, Point( i*bin_w, h ), Point( (i+1)*bin_w, h - cvRound( hist.at<float>(i)*h/255.0 ) ),
                     Scalar( 0, 0, 255 ), FILLED );
      }
   
      imshow( "Histogram", histImg );

  Java

          int w = 400, h = 400;
          int binW = (int) Math.round((double) w / histSize);
  histImg = Mat.zeros(h, w, CvType.CV_8UC3);
   
          float[] histData = new float[(int) (hist.total() * hist.channels())];
  hist.get(0, 0, histData);
          for (int i = 0; i < bins; i++) {
  Imgproc.rectangle(histImg, new Point(i * binW, h),
                      new Point((i + 1) * binW, h - Math.round(histData[i] * h / 255.0)), new Scalar(0, 0, 255), Imgproc.FILLED);
          }
  Image histImage = HighGui.toBufferedImage(histImg);
  histImgLabel.setIcon(new ImageIcon(histImage));

  Python

  w = 400
  h = 400
  bin_w = int(round(w / histSize))
  histImg = np.zeros((h, w, 3), dtype=np.uint8)
   
      for i in range(bins)
          cv.rectangle(histImg, (i*bin_w, h), ( (i+1)*bin_w, h - int(np.round( hist[i]*h/255.0 )) ), (0, 0, 255), cv.FILLED)
   
      cv.imshow('Histogram', histImg)

結果

以下是使用示例影像（你猜怎麼著？另一隻手）的輸出。你可以調整bin值，你會觀察到它如何影響結果：