三维

在通用机械设计领域，绘制零件工程图，装配工程图，总装图等平面图纸的需求必不可少，而总装图在生产的组装环节中，运用最为广泛。使用总装图中，最常见的有零件的序号标注，BOM表，等重要信息。序号标注一般只显示ID的序号，查看零件名称等信息，需要在BOM表格里查找序号标注相对应的ID号，在查看相应的信息。

想要一眼直观的在序号ID旁边看到相应零件名称信息，则需要用文字的方式在序号标注的ID旁添加BOM里描述的信息，传统方法添加的字符属性不带关联性，且写入修改也比较麻烦。中望3D2017最新版本针对于这种场景的这一问题，提供了表格数据链接到文本这一功能，字符数据直接从表格里提取，表里的数据字符发生改变，则相应的文本也会发生改变，使工程师能够提高工作效率。

现以上面总装图为例，给大家介绍一下表格数据链接到文本的应用。

1、选择文字命令，选择好文字位置，输入的文字选择在编辑器里选择链接到单元表命令。

2、在使用链接到单元表格命令后，只需要在要链接的表格里点击左键就可以选择表

格里的字符数据链接到文本了，也可以选择整列和整行、或是全选。

3、表格文字就直接链接到文本了。

4、依次完成所有文本的添加。

中望3D的表格单元格式链接到文本功能，可以快速的在文本里提取相关信息，不止是BOM表可以，其他表格如：孔表、电极表、焊件切割表等这些表格单元都支持链接到文本功能。

想了解中望３Ｄ更多实用的新功能，请到中望官网下载试用吧！

原标题：CCCV2017讲习班笔记-基于图像的大规模场景三维重建（上）

雷锋网AI科技评论按，本文作者究竟灰，本文首发于知乎，雷锋网AI科技评论获其授权转载。

今天去CCCV2017讲习班听了中科院自动化所模式识别国重实验室的申抒含老师和崔海楠老师的关于基于凸显的大规模场景三维重建的讲习班，把笔记整理了一下。（本文为上篇，内容为第一章：简介和第二章：稀疏重建。）

<imgdata-rawheight="2305"src="https://static.leiphone.com/uploads/new/article/pic/201711/54ceb03759beacf16cbe254399c3f0f8.jpg"data-rawwidth="2807"class="origin_imagezh-lightbox-thumb"width="2807"data-original="http://p0.ifengimg.com/pmop/2017/1105/D9627022210A9FADEC9AB455C3B2B03A6A3BCF6B_size821_w2807_h2305.jpeg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/54ceb03759beacf16cbe254399c3f0f8.jpg"/>

主要分为四点展开：

简介稀疏重建sfm稠密重建mvs资源

1.简介

首先讲了现在cv与类脑。

<imgdata-rawheight="745"src="https://static.leiphone.com/uploads/new/article/pic/201711/c1b107af8fac89261fd6b489bf03397d.jpg"data-rawwidth="979"class="origin_imagezh-lightbox-thumb"width="979"data-original="https://pic1.zhimg.com/v2-01d9fd0743616b209d01985d992765f4_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/c1b107af8fac89261fd6b489bf03397d.jpg"/>

脑的腹部通道进行物体视觉，现在CV上主要采用基于学习的方法。脑的背部通道进行空间视觉，现在CV上主要采用基于几何的方法。最后上述两者信息在前额汇集，综合处理。

接着讲了几何视觉的核心问题：主要是机器人在三维环境中需要：

对二维图像理解对三维环境感知

而三维结构和相机的六自由度空间位姿是机器人感知决策动作的基础信息。

<imgdata-rawheight="784"src="https://static.leiphone.com/uploads/new/article/pic/201711/72c401fed6d09fdcb5c66f3807ebd361.jpg"data-rawwidth="1000"class="origin_imagezh-lightbox-thumb"width="1000"data-original="https://pic1.zhimg.com/v2-4a86433a54170c6b688716ceb5089850_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/72c401fed6d09fdcb5c66f3807ebd361.jpg"/>

接着讲了图像三维重建的基本流程：

<imgdata-rawheight="767"src="https://static.leiphone.com/uploads/new/article/pic/201711/4a0b32f9f18c5a0c3f29a1b1c33df4df.jpg"data-rawwidth="1000"class="origin_imagezh-lightbox-thumb"width="1000"data-original="https://pic4.zhimg.com/v2-b274f27a55d58e52cfdaf0188ffc92db_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/4a0b32f9f18c5a0c3f29a1b1c33df4df.jpg"/>

基本流程包括：

多视角图像图像特征提取匹配稀疏重建Sfm稠密重建MVS点云模型化生成三维模型

然后科普了一下一些基础知识：

小孔成像：世界中的一个点经过小孔在图像平面上会形成一个倒立缩小的像。这就形成了几何相似三角形关系。如果我们把成像平面放到前面来，就是正立缩小的像。具体的焦距、图像片面，相机中心什么就不赘述了。右下角公式表示通过一个相似性（比例）可以建立图像坐标系和世界坐标系的关系。

<imgdata-rawheight="1805"src="https://static.leiphone.com/uploads/new/article/pic/201711/282d5e0cac607e60298f37f3ee33ae77.jpg"data-rawwidth="2393"class="origin_imagezh-lightbox-thumb"width="2393"data-original="https://pic4.zhimg.com/v2-ffe63c86b93a1ac0219f0f6c4e8cdb2f_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/282d5e0cac607e60298f37f3ee33ae77.jpg"/>

然后说到了无穷远元素。它们用现在的xyz方法没办法表示。

<imgdata-rawheight="2097"src="https://static.leiphone.com/uploads/new/article/pic/201711/e7652aa72ed051dfa8ecbd22cc5becdc.jpg"data-rawwidth="2801"class="origin_imagezh-lightbox-thumb"width="2801"data-original="https://pic3.zhimg.com/v2-15ef121536766dc469b8311b27de139e_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/e7652aa72ed051dfa8ecbd22cc5becdc.jpg"/>

于是提出了射影空间，齐次坐标是射影空间的坐标表达方式：一般的坐标在xyz后面加一个1，无穷远点最后一个为0.

<imgdata-rawheight="664"src="https://static.leiphone.com/uploads/new/article/pic/201711/86f825a6215ff2ae45399b829f08d702.jpg"data-rawwidth="882"class="origin_imagezh-lightbox-thumb"width="882"data-original="https://pic4.zhimg.com/v2-e0f41535e38b8752254849e7bbef80b3_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/86f825a6215ff2ae45399b829f08d702.jpg"/>

当然齐次非齐次的坐标转换通过除以最后一个来实现。

这里有一个等价关系，即当非齐次坐标通过除以一个值之后变成齐次而与一个已经存在的齐次坐标相等时为：齐次坐标在相差一个尺度时的等价。

<imgdata-rawheight="675"src="https://static.leiphone.com/uploads/new/article/pic/201711/39c3d0169151b38eea41304bb78c212f.jpg"data-rawwidth="871"class="origin_imagezh-lightbox-thumb"width="871"data-original="https://pic3.zhimg.com/v2-b905f7bfcbb3fbdcb9fd0d20da4eaef2_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/39c3d0169151b38eea41304bb78c212f.jpg"/>

那么小孔成像模型可以表达出来。

为焦距，为主点：光心与相机平面的交点。

<imgdata-rawheight="588"src="https://static.leiphone.com/uploads/new/article/pic/201711/8de1681bc7aac2e388fd475e411f9b82.jpg"data-rawwidth="810"class="origin_imagezh-lightbox-thumb"width="810"data-original="https://pic1.zhimg.com/v2-795e622f5ad91088b543ed4267b05398_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/8de1681bc7aac2e388fd475e411f9b82.jpg"/>

接着介绍了相机坐标系和世界坐标系之间存在一个欧式坐标变换：

中间的矩阵由R转移矩阵和t平移向量组成。

<imgdata-rawheight="608"src="https://static.leiphone.com/uploads/new/article/pic/201711/060a46c68075c9cf637b06642a679d77.jpg"data-rawwidth="838"class="origin_imagezh-lightbox-thumb"width="838"data-original="https://pic2.zhimg.com/v2-6bd8365211b250b315b882ae712b326d_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/060a46c68075c9cf637b06642a679d77.jpg"/>

把两个式子写到一起：

<imgdata-rawheight="740"src="https://static.leiphone.com/uploads/new/article/pic/201711/f69cff48e5eb0bfd9494c8f927481a60.jpg"data-rawwidth="975"class="origin_imagezh-lightbox-thumb"width="975"data-original="https://pic3.zhimg.com/v2-3a064a2177b711133d84dd40ea001c16_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/f69cff48e5eb0bfd9494c8f927481a60.jpg"/>

可以得到图像点和空间点的关系。通过相机内参数K、相机旋转R和相机平移建立关系。

相机的内参数由相机硬件决定，而旋转平移由相机位姿决定。空间点是场景结构点。

接着说了由单张图是无法重建场景结构的。

<imgdata-rawheight="680"src="https://static.leiphone.com/uploads/new/article/pic/201711/db61d6dc6de7d62aba2c24b9e07335d1.jpg"data-rawwidth="996"class="origin_imagezh-lightbox-thumb"width="996"data-original="https://pic2.zhimg.com/v2-c1c3a160772df2e391454fd2100df795_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/db61d6dc6de7d62aba2c24b9e07335d1.jpg"/>

于是引出了多视图几何

<imgdata-rawheight="439"src="https://static.leiphone.com/uploads/new/article/pic/201711/bc79bb14ce9a62c0dc98b2fbdff6144f.jpg"data-rawwidth="593"class="origin_imagezh-lightbox-thumb"width="593"data-original="https://pic1.zhimg.com/v2-d8ee050d89eef452f92be855a75a7a1c_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/bc79bb14ce9a62c0dc98b2fbdff6144f.jpg"/>

然后说求解思路：最小化重投影误差平方和

其中

即空间点X通过之前说的坐标变换（左乘P投影到图像平面上）与图像平面上的x可以产生一个L2范数作为误差。建立一个目标函数为所有点的误差和。

<imgdata-rawheight="512"src="https://static.leiphone.com/uploads/new/article/pic/201711/189dacc30c1401ba4597e7335b9a187f.jpg"data-rawwidth="674"class="origin_imagezh-lightbox-thumb"width="674"data-original="https://pic2.zhimg.com/v2-0a8c4c36d88be589159226f53d12b809_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/189dacc30c1401ba4597e7335b9a187f.jpg"/>

接着推导就可以写成的形式。

<imgdata-rawheight="792"src="https://static.leiphone.com/uploads/new/article/pic/201711/597588926a502a5053b113cf93f93f98.jpg"data-rawwidth="1037"class="origin_imagezh-lightbox-thumb"width="1037"data-original="https://pic2.zhimg.com/v2-f3c218f3d4ac3c4fe9439496177d7d19_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/597588926a502a5053b113cf93f93f98.jpg"/>

这样求解重投影误差最小化问题是一个高维非线性最小二乘问题。未知数数量由图像数量乘以旋转矩阵、平移向量、内参数、畸变加上稀疏点数目乘以世界坐标X。

<imgdata-rawheight="724"src="https://static.leiphone.com/uploads/new/article/pic/201711/26bedc611de5ff094f5baf5230df45c2.jpg"data-rawwidth="1174"class="origin_imagezh-lightbox-thumb"width="1174"data-original="https://pic4.zhimg.com/v2-afd13c70f19652117d5476d7bddc703f_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/26bedc611de5ff094f5baf5230df45c2.jpg"/>

求解可以用捆绑调整的工具做。BundleAdjustment.它是一种启发式的阻尼高斯牛顿法。

<imgdata-rawheight="176"src="https://static.leiphone.com/uploads/new/article/pic/201711/ea8605972e1922ee7ca539d82c07e4f7.jpg"data-rawwidth="942"class="origin_imagezh-lightbox-thumb"width="942"data-original="https://pic1.zhimg.com/v2-452b54769e35356f3e79e9d5410a4838_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/ea8605972e1922ee7ca539d82c07e4f7.jpg"/>

因为要做初始值求解，接着科普两视图几何：

平面1上面的点p与其相机中心o连线，延长。这个线r在平面2中投影出一条极线。

<imgdata-rawheight="591"src="https://static.leiphone.com/uploads/new/article/pic/201711/0817cb861a1a6a88a4018f70fa4cdd48.jpg"data-rawwidth="948"class="origin_imagezh-lightbox-thumb"width="948"data-original="https://pic1.zhimg.com/v2-e6a32dcea2921eaafc3d6984e0557880_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/0817cb861a1a6a88a4018f70fa4cdd48.jpg"/>

同理也可以在平面1投影出极线。连接ot这条线叫基线。这三条线在一个平面上，这个平面叫做极平面。

<imgdata-rawheight="644"src="https://static.leiphone.com/uploads/new/article/pic/201711/7f810ea08204737dcf8516232c53b9bd.jpg"data-rawwidth="967"class="origin_imagezh-lightbox-thumb"width="967"data-original="https://pic2.zhimg.com/v2-fa3adac088c1cc1f3eb460fbbc11a911_r.jpg"_src="https://static.leiphone.com/uploads/new/article/pic/201711/7f810ea08204737dcf8...