前言

前段时间在华为云-云享MindTalks第十二期中分享了双目视觉，个人的水平比较菜，分享时间也比较短，只能简单地分享一下基础和思路；制作PPT时主要参考了一些论文，同时也参考了一些网上的博客；

目录

单目视觉

双目视觉

1）双目摄像头

2）打开双目摄像头

3）双目测距

4）立体视觉系统

双目立体匹配（额外讲解）

参考

---

开始分享

 

单目视觉

下面几款是比较常见的单目摄像头；有的用于工业、有的用于学习开发、有的是用于监控。

 

 

双目视觉

1）双目摄像头

2）打开双目摄像头

链接

3）双目测距

 

4）立体视觉系统

 

双目标定

• 摄像头由于光学透镜的特性使得成像存在着径向畸变，可由三个参数k1,k2,k3确定。
• 由于装配方面误差，传感器与光学镜头之间并非完全平行，因此成像存在切向畸变，可由两个参数p1,p2确定。
• 单个摄像头的定标主要是计算出摄像头的内参（焦距f、成像原点，五个畸变参数即：一般只需要计算出k1,k2,p1,p2，对于鱼眼镜头等径向畸变特别大的才需要计算k3。
• 双目摄像头定标不仅要得出每个摄像头的内部参数，还需要通过标定来测量两个摄像头之间的相对位置（即右摄像头相对于左摄像头的旋转矩阵R、平移向量t）

 参考： 基于MATLAB的双目视觉标定

 

双目标定参数

这里说一些旋转矩阵，它是3x3的矩阵（9个参数）；有的朋友标准出来是一个旋转向量（3个参数），需要把旋转向量转换为旋转矩阵；相关代码对于开头注释的地方。

 

双目立体匹配（额外讲解）

代价函数 

• AD/BT
• AD+Gradient
• Census transform
• SAD/SSD
• NCC
• AD+Census
• CNN

 

端到端视差计算网络

 Disp-Net (2016)

 GC-Net (2017)

 iRestNet (2018)

 PSM-Net (2018)

 Stereo-Net (2018)

 GA-Net (2019)

 EdgeStereo (2020)

双目测距总结

优势：

（1）成本比单目系统要高，但尚处于可接受范围内，并且与激光雷达等方案相比成本较低；

（2）没有识别率的限制，因为从原理上无需先进行识别再进行测算，而是对所有障碍物直接进行测量；

（3）直接利用视差计算距离，精度比单目高；

（4）无需维护样本数据库，因为对于双目没有样本的概念。

难点：

（1）计算量大，对计算单元的性能要求高，这使得双目系统的产品化、小型化的难度较；（芯片或FPGA）

（2）双目的配准效果，直接影响到测距的准确性；

（3）对环境光照非常敏感；（光照角度、光照强度）

（4）不适用于单调缺乏纹理的场景；（天空、白墙、沙漠）

（5）相机基线限制了测量范围。（基线越大，测量范围越远；基线越小，测量范围越近）

 

参考：

1）[Wang 2015] Wang W, Yan J, Xu N, et al. Real-time high-quality stereo vision system in FPGA. IEEE Transactions on Circuitsand Systems for Video Technology, 2015, 25(10): 1696-1708.2）

2）[Kim 2016] K.-R. Kim and C.-S. Kim. Adaptive smoothness constraints for efficient stereo matching using texture and edgeinformation. ICIP 2016.

3）[Zbontar 2016] Zbontar J, LeCun Y. Stereo matching by training a convolutional neural network to compare image patches.Journal of Machine Learning Research, 2016.

4）[Park 2017] Park H, Lee K M. Look wider to match image patches with convolutional neural networks. IEEE Signal ProcessingLetters, 2017.

5）Leonid Keselman, et al. Intel R RealSenseTM Stereoscopic Depth Cameras. CVPRW. 2017.

6）立体匹配算法原理与应用.奥比研究院.徐玉华

7）基于双目视觉的空间非合作目标姿态测量技术研究.颜坤

8）https://www.bilibili.com/video/BV1ka4y1L7xT?from=search&seid=5727123941116684431

9）https://blog.csdn.net/u011808673/article/details/90641589 10）https://www.cnblogs.com/polly333/p/5130375.html