图像

原标题：CCCV2017讲习班笔记-基于图像的大规模场景三维重建（上）

雷锋网AI科技评论按，本文作者究竟灰，本文首发于知乎，雷锋网AI科技评论获其授权转载。

今天去CCCV2017讲习班听了中科院自动化所模式识别国重实验室的申抒含老师和崔海楠老师的关于基于凸显的大规模场景三维重建的讲习班，把笔记整理了一下。（本文为上篇，内容为第一章：简介和第二章：稀疏重建。）

<imgdata-rawheight="2305"src="https://static.leiphone.com/uploads/new/article/pic/201711/54ceb03759beacf16cbe254399c3f0f8.jpg"data-rawwidth="2807"class="origin_imagezh-lightbox-thumb"width="2807"data-original="http://p0.ifengimg.com/pmop/2017/1105/D9627022210A9FADEC9AB455C3B2B03A6A3BCF6B_size821_w2807_h2305.jpeg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/54ceb03759beacf16cbe254399c3f0f8.jpg"/>

主要分为四点展开：

简介稀疏重建sfm稠密重建mvs资源

1.简介

首先讲了现在cv与类脑。

<imgdata-rawheight="745"src="https://static.leiphone.com/uploads/new/article/pic/201711/c1b107af8fac89261fd6b489bf03397d.jpg"data-rawwidth="979"class="origin_imagezh-lightbox-thumb"width="979"data-original="https://pic1.zhimg.com/v2-01d9fd0743616b209d01985d992765f4_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/c1b107af8fac89261fd6b489bf03397d.jpg"/>

脑的腹部通道进行物体视觉，现在CV上主要采用基于学习的方法。脑的背部通道进行空间视觉，现在CV上主要采用基于几何的方法。最后上述两者信息在前额汇集，综合处理。

接着讲了几何视觉的核心问题：主要是机器人在三维环境中需要：

对二维图像理解对三维环境感知

而三维结构和相机的六自由度空间位姿是机器人感知决策动作的基础信息。

<imgdata-rawheight="784"src="https://static.leiphone.com/uploads/new/article/pic/201711/72c401fed6d09fdcb5c66f3807ebd361.jpg"data-rawwidth="1000"class="origin_imagezh-lightbox-thumb"width="1000"data-original="https://pic1.zhimg.com/v2-4a86433a54170c6b688716ceb5089850_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/72c401fed6d09fdcb5c66f3807ebd361.jpg"/>

接着讲了图像三维重建的基本流程：

<imgdata-rawheight="767"src="https://static.leiphone.com/uploads/new/article/pic/201711/4a0b32f9f18c5a0c3f29a1b1c33df4df.jpg"data-rawwidth="1000"class="origin_imagezh-lightbox-thumb"width="1000"data-original="https://pic4.zhimg.com/v2-b274f27a55d58e52cfdaf0188ffc92db_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/4a0b32f9f18c5a0c3f29a1b1c33df4df.jpg"/>

基本流程包括：

多视角图像图像特征提取匹配稀疏重建Sfm稠密重建MVS点云模型化生成三维模型

然后科普了一下一些基础知识：

小孔成像：世界中的一个点经过小孔在图像平面上会形成一个倒立缩小的像。这就形成了几何相似三角形关系。如果我们把成像平面放到前面来，就是正立缩小的像。具体的焦距、图像片面，相机中心什么就不赘述了。右下角公式表示通过一个相似性（比例）可以建立图像坐标系和世界坐标系的关系。

<imgdata-rawheight="1805"src="https://static.leiphone.com/uploads/new/article/pic/201711/282d5e0cac607e60298f37f3ee33ae77.jpg"data-rawwidth="2393"class="origin_imagezh-lightbox-thumb"width="2393"data-original="https://pic4.zhimg.com/v2-ffe63c86b93a1ac0219f0f6c4e8cdb2f_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/282d5e0cac607e60298f37f3ee33ae77.jpg"/>

然后说到了无穷远元素。它们用现在的xyz方法没办法表示。

<imgdata-rawheight="2097"src="https://static.leiphone.com/uploads/new/article/pic/201711/e7652aa72ed051dfa8ecbd22cc5becdc.jpg"data-rawwidth="2801"class="origin_imagezh-lightbox-thumb"width="2801"data-original="https://pic3.zhimg.com/v2-15ef121536766dc469b8311b27de139e_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/e7652aa72ed051dfa8ecbd22cc5becdc.jpg"/>

于是提出了射影空间，齐次坐标是射影空间的坐标表达方式：一般的坐标在xyz后面加一个1，无穷远点最后一个为0.

<imgdata-rawheight="664"src="https://static.leiphone.com/uploads/new/article/pic/201711/86f825a6215ff2ae45399b829f08d702.jpg"data-rawwidth="882"class="origin_imagezh-lightbox-thumb"width="882"data-original="https://pic4.zhimg.com/v2-e0f41535e38b8752254849e7bbef80b3_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/86f825a6215ff2ae45399b829f08d702.jpg"/>

当然齐次非齐次的坐标转换通过除以最后一个来实现。

这里有一个等价关系，即当非齐次坐标通过除以一个值之后变成齐次而与一个已经存在的齐次坐标相等时为：齐次坐标在相差一个尺度时的等价。

<imgdata-rawheight="675"src="https://static.leiphone.com/uploads/new/article/pic/201711/39c3d0169151b38eea41304bb78c212f.jpg"data-rawwidth="871"class="origin_imagezh-lightbox-thumb"width="871"data-original="https://pic3.zhimg.com/v2-b905f7bfcbb3fbdcb9fd0d20da4eaef2_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/39c3d0169151b38eea41304bb78c212f.jpg"/>

那么小孔成像模型可以表达出来。

为焦距，为主点：光心与相机平面的交点。

<imgdata-rawheight="588"src="https://static.leiphone.com/uploads/new/article/pic/201711/8de1681bc7aac2e388fd475e411f9b82.jpg"data-rawwidth="810"class="origin_imagezh-lightbox-thumb"width="810"data-original="https://pic1.zhimg.com/v2-795e622f5ad91088b543ed4267b05398_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/8de1681bc7aac2e388fd475e411f9b82.jpg"/>

接着介绍了相机坐标系和世界坐标系之间存在一个欧式坐标变换：

中间的矩阵由R转移矩阵和t平移向量组成。

<imgdata-rawheight="608"src="https://static.leiphone.com/uploads/new/article/pic/201711/060a46c68075c9cf637b06642a679d77.jpg"data-rawwidth="838"class="origin_imagezh-lightbox-thumb"width="838"data-original="https://pic2.zhimg.com/v2-6bd8365211b250b315b882ae712b326d_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/060a46c68075c9cf637b06642a679d77.jpg"/>

把两个式子写到一起：

<imgdata-rawheight="740"src="https://static.leiphone.com/uploads/new/article/pic/201711/f69cff48e5eb0bfd9494c8f927481a60.jpg"data-rawwidth="975"class="origin_imagezh-lightbox-thumb"width="975"data-original="https://pic3.zhimg.com/v2-3a064a2177b711133d84dd40ea001c16_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/f69cff48e5eb0bfd9494c8f927481a60.jpg"/>

可以得到图像点和空间点的关系。通过相机内参数K、相机旋转R和相机平移建立关系。

相机的内参数由相机硬件决定，而旋转平移由相机位姿决定。空间点是场景结构点。

接着说了由单张图是无法重建场景结构的。

<imgdata-rawheight="680"src="https://static.leiphone.com/uploads/new/article/pic/201711/db61d6dc6de7d62aba2c24b9e07335d1.jpg"data-rawwidth="996"class="origin_imagezh-lightbox-thumb"width="996"data-original="https://pic2.zhimg.com/v2-c1c3a160772df2e391454fd2100df795_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/db61d6dc6de7d62aba2c24b9e07335d1.jpg"/>

于是引出了多视图几何

<imgdata-rawheight="439"src="https://static.leiphone.com/uploads/new/article/pic/201711/bc79bb14ce9a62c0dc98b2fbdff6144f.jpg"data-rawwidth="593"class="origin_imagezh-lightbox-thumb"width="593"data-original="https://pic1.zhimg.com/v2-d8ee050d89eef452f92be855a75a7a1c_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/bc79bb14ce9a62c0dc98b2fbdff6144f.jpg"/>

然后说求解思路：最小化重投影误差平方和

其中

即空间点X通过之前说的坐标变换（左乘P投影到图像平面上）与图像平面上的x可以产生一个L2范数作为误差。建立一个目标函数为所有点的误差和。

<imgdata-rawheight="512"src="https://static.leiphone.com/uploads/new/article/pic/201711/189dacc30c1401ba4597e7335b9a187f.jpg"data-rawwidth="674"class="origin_imagezh-lightbox-thumb"width="674"data-original="https://pic2.zhimg.com/v2-0a8c4c36d88be589159226f53d12b809_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/189dacc30c1401ba4597e7335b9a187f.jpg"/>

接着推导就可以写成的形式。

<imgdata-rawheight="792"src="https://static.leiphone.com/uploads/new/article/pic/201711/597588926a502a5053b113cf93f93f98.jpg"data-rawwidth="1037"class="origin_imagezh-lightbox-thumb"width="1037"data-original="https://pic2.zhimg.com/v2-f3c218f3d4ac3c4fe9439496177d7d19_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/597588926a502a5053b113cf93f93f98.jpg"/>

这样求解重投影误差最小化问题是一个高维非线性最小二乘问题。未知数数量由图像数量乘以旋转矩阵、平移向量、内参数、畸变加上稀疏点数目乘以世界坐标X。

<imgdata-rawheight="724"src="https://static.leiphone.com/uploads/new/article/pic/201711/26bedc611de5ff094f5baf5230df45c2.jpg"data-rawwidth="1174"class="origin_imagezh-lightbox-thumb"width="1174"data-original="https://pic4.zhimg.com/v2-afd13c70f19652117d5476d7bddc703f_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/26bedc611de5ff094f5baf5230df45c2.jpg"/>

求解可以用捆绑调整的工具做。BundleAdjustment.它是一种启发式的阻尼高斯牛顿法。

<imgdata-rawheight="176"src="https://static.leiphone.com/uploads/new/article/pic/201711/ea8605972e1922ee7ca539d82c07e4f7.jpg"data-rawwidth="942"class="origin_imagezh-lightbox-thumb"width="942"data-original="https://pic1.zhimg.com/v2-452b54769e35356f3e79e9d5410a4838_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/ea8605972e1922ee7ca539d82c07e4f7.jpg"/>

因为要做初始值求解，接着科普两视图几何：

平面1上面的点p与其相机中心o连线，延长。这个线r在平面2中投影出一条极线。

<imgdata-rawheight="591"src="https://static.leiphone.com/uploads/new/article/pic/201711/0817cb861a1a6a88a4018f70fa4cdd48.jpg"data-rawwidth="948"class="origin_imagezh-lightbox-thumb"width="948"data-original="https://pic1.zhimg.com/v2-e6a32dcea2921eaafc3d6984e0557880_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/0817cb861a1a6a88a4018f70fa4cdd48.jpg"/>

同理也可以在平面1投影出极线。连接ot这条线叫基线。这三条线在一个平面上，这个平面叫做极平面。

<imgdata-rawheight="644"src="https://static.leiphone.com/uploads/new/article/pic/201711/7f810ea08204737dcf8516232c53b9bd.jpg"data-rawwidth="967"class="origin_imagezh-lightbox-thumb"width="967"data-original="https://pic2.zhimg.com/v2-fa3adac088c1cc1f3eb460fbbc11a911_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/7f810ea08204737dcf8...