计算机立体视觉技术范例

计算机立体视觉技术范文1

理论双目运动平台的动力学仿真分析

一、引言

随着信息、处理、计算机的发展，人们对于机器能够仅仅获取以一些平面的二维视觉信息越来越不满意，人们设想借助计算机的技术，能使机器人真正能“看到”精彩的三维世界。计算机技术、视觉传感器技术、摄像技术以及立体视觉理论的发展，利用视觉传感器来获取环境图像，并用计算机实现对视觉信息的处理，从而形成立体视觉，逐渐使这一设想变成现实[1-4]。本文采用了目前国内外进行机电一体化系统设计时最常用的虚拟样机技术，基于3D数字化设计平台UG，采用赫尔姆霍茨模型作为参考设计了一种新型的具有三自由度的双目立体视觉运动平台，如图1所示。

二、运动学仿真验证立体视觉运动平台的运动空间范围

运动学仿真的目的是为了验证立体视觉运动平台动力模型建模的合理性，检查运动自由度范围是否达到设计指标中要求的“眼睛”左右偏航运动空间范围（±60o）、“头部”俯仰运动空间范围（±45o）。同时通过运动学仿真，还可以检查视觉运动平台动力模型各个部件的之间有没有产生运动碰撞干涉。本文采用机械系统动力学自动分析软件ADAMS对运动平台进行运动仿真分析[5]。

经过运行运动学仿真，可以得知各个自由度的运动空间范围如下：

（一）左偏航极限±60度、右偏航极限±60度、俯仰极限±45度位置，如图2所示

（三）没有发生偏航运动，仰视极限负45度位置，如图4所示

偏航和俯仰运动各个自由度运动范围曲线图如图5，图6，图7所示。从上面各个极限位置、偏航和俯仰运动各个自由度运动空间范围曲线图可以观察到部件之间没有产生运动碰撞干涉现象，各个自由度的运动空间范围达到了设计的要求，从仿真结果也可以看出本运动平台运动空间范围广，验证了本视觉运动平台达到了运动功能的要求，说明本立体视觉运动平台的机械系统结构设计是合理的，这为一般机器人立体视觉运动平台的机械结构设计提供实用的改进和参考依据。

三、驱动电机的输入扭矩分析

要验证选择的驱动电机的输入扭矩是否够，那么要测量俯仰电机和偏航电机的扭矩。在立体视觉运动平台中，电机主要是要克服转动过程中转动头和摄像机等运动部件的负载转矩。运动部件的负载扭矩在ADAMS中通过测量扭矩的方式测量出来，如下图8，图9分别是偏航电机和俯仰电机的负载扭矩。

通过图8和图9，可以知道偏航和俯仰电机的负载是时间连续曲线。当偏航或俯仰运动到极限点时，驱动电机要进行变向运行，负载扭矩的方向也发生变化而出现突变拐点，拐点的值便是负载扭矩最大值，可以得知选择的电机的扭矩是足够的。仿真结果对双目立体视觉运动平台的控制系统的性能定性分析提供了一种评价手段。

四、结论

仿真的结果验证了视觉运动平台的俯仰和左右偏航自由度的运动空间范围符合设计要求。根据仿真结果可以看出本运动平台运动空间范围广，验证了本视觉运动平台达到了运动功能的要求，说明本立体视觉运动平台的机械机构设计是合理的，这为一般机器人立体视觉运动平台的机械系统结构设计提供实用的改进和参考依据。

并通过仿真求解出俯仰电机和左右偏航电机的负载扭矩曲线，仿真结果对双目立体视觉运动平台的控制系统的性能定性分析提供了一种评价手段。

参考文献：

[2]贾云得.机器视觉[M].北京:科学出版社,2000,(4):1-10.

计算机立体视觉技术范文2

双目立体视觉是计算机视觉的一个重要分支，即由不同位置的两台或者一台摄像机（CCD）经过移动或旋转拍摄同一幅场景，通过计算空间点在两幅国像中的视差，获得该点的三维坐标值。80年代美国麻省理工学院人工智能实验室的Marr提出了一种视觉计算理论并应用在双睛匹配上，使两张有视差的平面图产生在深度的立体图形，奠定了双目立体视觉发展理论基础。相比其他类的体视方法，如透镜板三维成像、投影式三维显示、全息照相术等，双目本视直接模拟人类双眼处理景物的方式，可靠简便，在许多领域均极具应用价值，如微操作系统的位姿检测与控制、机器人导航与航测、三维测量学及虚拟现实等。

1 双目体视的技术特点

。

1.1 图像获取

双目体视的图像获取是由不同位置的两台或者一台摄像机（CCD）经过移动或旋转拍摄同一幅场景，获取立体图像对。其针孔模型如图1。假定摄像机C1与C2的角距和内部参数都相等，两摄像机的光轴互相平行，二维成像平面X1O1Y1和X2O2Y2重合，P1与P2分别是空间点P在C1与C2上的成像点。但一般情况下，针孔模型两个摄像机的内部参数不可能完成相同，摄像机安装时无法看到光轴和成像平面，故实际中难以应用。

    上海交大在理论上对会摄式双目体视系统的测量精度与系统结构参数之间的关系作了详尽分析，并通过试验指出，对某一特定点进行三角测量。该点测量误差与两CCD光轴夹角是一复杂的函数关系；若两摄像头光轴夹角一定，则被测坐标与摄像头坐标系之间距离越大，测量得到点距离的误差就越大。在满足测量范围的前提下，应选择两CCD之间夹角在50℃～80℃之间。

1.2 摄像机的标定

对双目体视而言，CCD摄像机、数码相机是利用计算机技术对物理世界进行重建前的基本测量工具，对它们的标定是实现立体视觉基本而又关键的一步。通常先采用单摄像机的标定方法，分别得到两个摄像机的内、外参数；再通过同一世界坐标中的一组定标点来建立两个摄像机之间的位置关系。目前常用的单摄像机标定方法主要有：

。利用至少17个参数描述摄像机与三维物体空间的结束关系，计算量非常大。

（2）直接线性变换性。涉及的参数少、便于计算。

（3）透视变换短阵法。从透视变换的角度来建立摄像机的成像模型，无需初始值，可进行实时计算。

（4）相机标定的两步法。首先采用透视短阵变换的方法求解线性系统的摄像机参数，再以求得的参数为初始值，考虑畸变因素，利用最优化方法求得非线性解，标定精度较高。

（5）双平面标定法。

在双摄像机标定中，需要精确的外部参数。由于结构配置很难准确，两个摄像机的距离和视角受到，一般都需要至少6个以上（建议取10个以上）的已知世界坐标点，才能得到比较满意的参数矩阵，所以实际测量过程不但复杂，而且效果并不一定理想，大大地了其应用范围。此外双摄像机标定还需考虑镜头的非线性校正、测量范围和精度的问题，目前户外的应用还有少。

上海大学通信与信息工程学院提出了基于神经网络的双目立体视觉摄像机标定方法。首先对摄像机进行线性标定，然后通过网络训练建立起三维空间点位置补偿的多层前馈神经网络模型。此方法对双目立体视觉摄像机的标定具有较好的通用性，但是精确测量控制点的世界坐标和图像坐标是一项严格的工作。因此神经网络中训练样本集的获得非常困难。

1.3 特征点提取

；具有足够的鲁棒性和一致性。需要说明的是：在进行特征点像的坐标提取前，需对获取的图像进行预处理。因为在图像获取过程中，存在一系列的噪声源，通过此处理可显著改进图像质量，使图像征点更加突出。

1．4 立体匹配

立体匹配是双目体视中最关系、困难的一步。与普通的图像配准不同，立体像对之间的差异是由摄像时观察点的不同引起的，而不是由其它如景物本身的变化、运动所引起的。根据匹配基元的不同，立体匹配可分为区域匹配、特征匹配和相位匹配三大类。

区域匹配算法的实质是利用局部窗口之间灰度信息的相关程度，它在变化平缓且细节丰富的地方可以达到较高的精度。但该算法的匹配窗大小难以选择，通常借助于窗口形状技术来改善视差不连续处的匹配；其次是计算量大、速度慢，采取由粗至精分级匹配策略能大大减少搜索空间的大小，与匹配窗大小无关的互相关运算能显著提高运算速度。

特片匹配不直接依赖于灰度，具有较强的抗干扰性，计算量小，速度快。但也同样存一些不足：特征在图像中的稀疏性决定特征匹配只能得到稀疏的视差场；特征的撮和定位过程直接影响匹配结果的精确度。改善办法是将特征匹配的鲁棒性和区域匹配的致密性充分结合，利用对高频噪声不敏感的模型来提取和定位特征。

相位匹配是近二十年才发展起来的一类匹配算法。相位作为匹配基元，本身反映信号的结构信息，对图像的高频噪声有很好的抑制作用，适于并行处理，能获得亚像素级精度的致密视差。但存在相位奇点和相位卷绕的问题，需加入自适应滤波器解决。

1．5 三维重建

在得到空间任一点在两个图像中的对应坐标和两摄像机参数矩阵的条件下，即可进行空间点的重建。通过建立以该点的世界坐标为未知数的4个线性方程，可以用最小二乘法求解得该点的世界坐标。实际重建通常采用外极线结束法。空间眯、两摄像机的光心这三点组成的平面分别与两个成像平面的交线称为该空间点在这两个成像平面中的极线。一旦两摄像机的内外参数确定，就可通过两个成像平面上的极线的约束关系建立对应点之间的关系，并由此联立方程，求得图像点的世界坐标值。对图像的全像素的三维重建目前仅能针对某一具体目标，计算量大且效果不明显。

2 双目体视的最新应用

2．1 国外研究动态

双目体视目前主要应用于四个领域：机器人导航、微操作系统的参数检测、三维测量和虚拟现实。

日本大阪大学自适应机械系统研究院研制了一种自适应双目视觉伺服系统，利用双目 体视的原理，如每幅图像中相对静止的三个标志为参考，实时计算目标图像的雅可比短阵，从而预测出目标下一步运动方向，实现了对动方式未知的目标的自适应跟踪。该系统仅要求两幅图像中都有静止的参考标志，无需摄像机参数。而传统的视觉跟踪伺服系统需事先知道摄像机的运动、光学等参数和目标的运动方式。

日本奈良科技大学信息科学学院提出了一种基于双目立体视觉的增强现实系统（AR）注册方法，通过动态修正特征点的位置提高注册精度。该系统将单摄像机注册（MR）与立体视觉注册（SR）相结合，利用MR和三个标志点算出特征点在每个图像上的二维坐标和误差，利用SR和图像对计算出特征点的三维位置总误差，反复修正特征点在图像对上的二维坐标，直至三维总误差小于某个阈值。该方法比仅使用MR或SR方法大大提高了AR系统注册深度和精度。实验结果如图2，白板上三角开的三顶点被作为单摄像机标定的特征点，三个三角形上的模型为虚拟场景，乌龟是真实场景，可见基本上难以区分出虚拟场景（恐龙）和现实场景（乌龟）。

日本东京大学将实时双目立体视觉和机器人整体姿态信息集成，开发了仿真机器人动态行长导航系统。该系统实现分两个步骤：首先，利用平面分割算法分离所拍摄图像对中的地面与障碍物，再结合机器人身体姿态的信息，将图像从摄像机的二维平面坐标系转换到描述躯体姿态的世界坐标系，建立机器人周围区域的地图；基次根据实时建立的地图进行障碍物检测，从而确定机器人的行走方向。

日本冈山大学使用立体显微镜、两个CCD摄像头、微操作器等研制了使用立体显微镜控制微操作器的视觉反馈系统，用于对细胞进行操作，对钟子进行基因注射和微装配等。

。

华盛顿大学与微软公司合作为火星卫星“探测者”号研制了宽基线立体视觉系统，使“探测者”号能够在火星上对其即将跨越的几千米内的地形进行精确的定位玫导航。系统使用同一个摄像机在“探测者”的不同位置上拍摄图像对，拍摄间距越大，基线越宽，能观测到越远的地貌。系统采用非线性优化得到两次拍摄图像时摄像机的相对准确的位置，利用鲁棒性强的最大似然概率法结合高效的立体搜索进行图像匹配，得到亚像素精度的视差，并根据此视差计算图像对中各点的三维坐标。相比传统的体视系统，能够更精确地绘制“探测者”号周围的地貌和以更高的精度观测到更远的地形。

2.2 国内研究动态

浙江大学机械系统完全利用透视成像原理，采用双目体视方法实现了对多自由度机械装置的动态、精确位姿检测，仅需从两幅对应图像中抽取必要的特征点的三维坐标，信息量少，处理速度快，尤其适于动态情况。与手眼系统相比，被测物的运动对摄像机没有影响，且不需知道被测物的运动先验知识和条件，有利于提高检测精度。

东南大学电子工程系基于双目立体视觉，提出了一种灰度相关多峰值视差绝对值极小化立体匹配新方法，可对三维不规则物体（偏转线圈）的三维空间坐标进行非接触精密测量。

    哈工大采用异构双目活动视觉系统实现了全自主足球机器人导航。将一个固定摄像机和一个可以水平旋转的摄像机，分别安装在机器人的顶部和中下部，可以同时监视不同方位视点，体现出比人类视觉优越的一面。通过合理的资源分配及协调机制，使机器人在视野范围、测跟精度及处理速度方面达到最佳匹配。双目协调技术可使机器人同时捕捉多个有效目标，观测相遇目标时通过数据融合，也可提高测量精度。在实际比赛中其他传感器失效的情况下，仅仅依靠双目协调仍然可以实现全自主足球机器人导航。

火星863计划课题“人体三维尺寸的非接触测量”，采用“双视点投影光栅三维测量”原理，由双摄像机获取图像对，通过计算机进行图像数据处理，不仅可以获取服装设计所需的特征尺寸，还可根据需要获取人体图像上任意一点的三维坐标。该系统已通过中国总后勤部军需部鉴定。可达到的技术指标为：数据采集时间小于5s/人；提供身高、胸围、腰围、臀围等围度的测量精度不低于1.0cm。

3 双目体视的发展方向

就又目立体视觉技术的发展现状而言，要构造出类似于人眼的通用双目立体视觉系统，还有很长的路要走，进一步的研究方向可归纳如下：

（1）如何建立更有效的双目体视模型，能更充分地反映立体视觉不确定性的本质属性，为匹配提供更多的约束信息，降低立体匹配的难度。

（2）探索新的适用于全面立体视觉的计算理论和匹配策略，选择有效的匹配准则和算法结构，以解决存在灰度失真、几何畸变（透视、旋转、缩放等）、噪声干扰、特殊结构（平坦匹域、重复相似结构等）及遮掩景物的匹配问题；

（3）算法向并行化发展，提高速度，减少运算量，增强系统的实用性。

计算机立体视觉技术范文3

在立体视觉中，视差间接反映物体的深度信息，视差计算是深度计算的基础。常见的视差计算方法研究都是面向双目立体视觉，而双焦单目立体视觉的视差分布不同于双目视差，具有沿极线辐射的特点。针对双焦单目立体视觉的特点，提出了一种单目立体视差的计算方法。对于计算到的初步视差图，把视差点分类为匹配计算点和误匹配点。通过均值偏移向量（MeanShift）算法，实现了对误匹配点依赖于匹配点和图像分割的视差估计，最终得到致密准确的视差图。实验证明，这种方法可以通过双焦立体图像对高效地获得场景的视差图。

ス丶词：

立体视差；双焦单目立体；视差图；图像分割；MeanShift算法

ブ型挤掷嗪牛 TP391.41

文献标志码：A

英文标题

Extracting disparity map from bifocal monocular stereo vision in a novel way

び⑽淖髡呙

XU Shushu1, WANG Yuanqing1, ZHANG Zhaoyang2

び⑽牡刂(

1. School of Electronic Science and Engineering, Nanjing University, Nanjing Jiangsu 210093, China;

2. School of Comminication and Information Engineering, Shanghai University, Shanghai 200072, China

英文摘要

)

Abstract:

Disparity is a key point in stereo vision as it shows the depth information of the scene indirectly, and disparity calculation is the basis of the depth calculation. The traditional disparity calculation methods are all targeted at binocular stereo. However, compared with disparity in binocular, the disparity in monocular stereo is radial along epipolar line. Concerning the characteristics of bifocal monocular stereo vision, an approach to get disparity map from bifocal images was proposed in this paper. Preliminary depth map was obtained by matching cost calculated. By using MeanShift algorithm, discontinuities and misunderstandings in primary depth map were smoothed and eliminated according to the matched points and graph cut result. The experimental results show that this method can get disparity map efficiently from pairs of bifocal images.

英文关键词

Key words:

stereo disparity; bifocal monocular stereo; disparity map; graph cut; MeanShift algorithm

0 引言

视差最初在人类视觉系统中是用来描述相关特征在左右眼中位置不同的程度。。双目立体视觉中，立体视差是同一点投影到左右平面的矢量差，当左右成像相机光轴平行时，视差严格反映成水平视差。视差的估计过程就是在对应立体图像对中寻找匹配对的过程，立体视差估计关键在立体匹配算法。立体匹配可以分为特征匹配［1］和稠密匹配［2］两大类。特征匹配通过提取图像中的点、线、面特征或者相位特征等作为匹配基元，计算立体图像对的相关性得到稀疏的视差数据。稠密匹配对每个像素都计算对应点的左右图位置，得到稠密的视差结果。相对于特征匹配，稠密匹配不需要特征提取和特征描述步骤，算法简单，但是计算量大。目前有很多研究集中于双目立体视觉视差的获得，Scharstein等人［3］对这些方法做了分类和评估。

除了双目立体视觉，近年来，单目立体成像系统由于体积小、定点观察等特点，越来越多地被采用。Saxena等人［4］采用一系列单目图像及其真实深度图为信息，用机器学习的方法训练马尔可夫场函数，以预测单目图像中的视差分布。。不同于双目立体视觉中水平视差的特点，单目双焦立体视觉中视差的表现为成像点关于成像中心的位移。本文针对于单目视觉的这个“辐射”特点，提出了一种新的不依赖于先验知识的视差估计方法。

1 单目立体视觉特点

单目双焦立体视觉系统中，通过变焦方式来获得物点的深度信息。实际摄像系统的光学图如图1所示，它由两个双焦距成像透镜lens1和lens2组成。f1和f2是成像系统的两个透镜的焦距；O1、O2分别是两个透镜的光学中心，它们距离为L。。オ

图1

实际摄像系统光学图［5-6］

物点的深度的计算公式如下：

r1f1=RL+Z

r2f2=RZ；

Z=f2×Lr2r1×f1－f2В1）

r2r1=f2f1+LZ×f2f1=(1+LZ)f2f1В2）

式（1）是双焦单目立体中深度计算公式。。双目立体视觉中，深度信息反映为像点在立体图对中的水平视差，类似地在单目双焦立体视觉系统中，物体深度信息反映为像点距离光学中心的径向位移缩放，随着Z的增大而减小。。

图2中：P、Q为空间中的两个物点，OO′是两双焦透镜成像光学中心连线，O1和O2是双焦图像对的成像中心，P、Q像点通过两透镜成的像分别为P1、P2和Q1、Q2。把双焦图像对的中心记成Oc，由于双焦立体图像对的视差径向辐射特性，像点P2在OcP1的延长线上，Q2在OcQ1的延长线上。单目双焦立体视觉中，把OcP1叫做P点的极线，OcQ1叫做Q点的极线。

图2

双焦单目成像示意图

与双目立体视觉系统一样，单目双焦立体系统的极线，是由物点、两透镜光心组成的平面与成像平面相交行程的直线。单目双焦立体的极线约束条件表现为:物点在双焦图像对中的像点必定落在极线上，并且两点与图像中心连线的距离之比与物点深度有关，深度越大，比值越小，即单目双焦视差越小。オ

┑2期

徐姝姝等：新的单目立体视觉的视差图的获得方法

┆扑慊应用 ┑31卷

2 单目视差估计算法

根据单目双焦立体图像对的视差特点，可以将小焦距图像围绕图像中心以比例序列缩放映射，计算对应像素点处的相似性，将最相似时图像的缩放比作为该点的视差。

2.1 相似判定策略

判断点匹配的方法有计算区域相关性［7］等，本文的算法中采用SSD（Sum of Squared Difference）来判断点匹配程度。

ssd(x,y)=∑i=x+σi=x－σ∑j=y+σj=y－σF1(i, j)－F2(i, j)(3)

式(3)是SSD的计算公式，F1(i, j)和F2(i, 。SSD计算的是点Вx,y）窗口区域内像素值差的总和，与区域相关算法（Cross Correlation）［8］相比，SSD算法对于图像的亮度变化更为敏感；但是能克服对于相似纹理区域的误判决，计算快速。为了克服SSD对于亮度噪声的敏感，对其做改进，将方向梯度的偏差加入代价函数：オ

ssdg(x,y)=∑i=x+σi=x－σ∑j=y+σj=y－σFg1(i, j)－Fg2(i, j)(4)

Fg1(i, j)、Fg2(i, j)分别是焦距f1和f2下图像在点（i，j）处的梯度值（可以用Sobel算子等计算梯度）。Иssdg(x,y)Ъ扑懔舜翱谀谔荻炔钪和。将像素绝对差之和与梯度差之和结合，构造新的相似性度量函数为：

SSD(x,y)=ssd(x,y)+w×ssdg(x,y)(5)

其中w是权重系数，实验中取w=5。新的相似性度量函数不仅计算量小，而且能克服亮度噪声的影响。オ

2.2 匹配点与误匹配点判决

相似性判断对于图像对中纹理丰富区域的点可以匹配，判断结果良好；但是对于图像平滑渐变区域，往往通过相似性匹配找到的对应点是假匹配点，所以要对相似判决后匹配点对作分类。

。计算f2焦距下成像结果中每个像素点与放大序列中相应位置点的相似度差异，取相似度差异最小的放大倍率为该点的视差值，各像素点初步视差值形成初步视差图disp1；类似在f2焦距下将图像序列的缩小，计算像素的相似度差异，将各像素点差异最小处的缩小倍率倒数作为各点视差值，得到初步视差图disp2，对两幅视差结果优化得到初始视差结果。

对于视差图中的点(i, j)，如果存在|disp1(i, j)－disp2(i, j)|T(其中d为视差容错极限，T是判断该点纹理性的阈值)，那么标记该点为已匹配，(i, j)的视差为min(disp1(i, j),disp2(i, j))；否则标记为误匹配点。オ

2.3 用MeanShift算法对初步视差图滤波

对于初步视差图中的误匹配点，可以借助MeanShift算法，纠正错误匹配点对，生成致密连续的视差图。

MeanShift算法由Fukunaga和Hostetler在1975年提出，当时作为概率密度梯度估计的一种方法。。

m(x)=∑s∈SK(s-x)s∑s∈SK(s-x)(6)

其中：S是采样点集；K是一个核函数；m(x)－x就是点x处的MeanShift向量，计算过程就是点x向S点集的质心的移动过程。将m(x)替代x反复迭代，直至m(x)=x。x，m(x)，m(m(x))…是点x的MeanShift轨迹，最终点xа刈弄MeanShift轨迹趋向于附近采样点决定的中心。

常用的核函数有均匀核函数：

K(x)=1, x≤λ0,x>λ(7)

和高斯核函数：

K(x)=e x2 (8)

把均匀核函数和高斯核函数结合：

K(x)=e－x2,x≤λ0, x>λ В9）

MeanShift算法在致密视差生成中有两个重要作用，即图像分割和视差滤波估计。

1）图像分割。

对于复杂场景的双焦图像对，通过MeanShift运算迭代的方法可以获得比形态学方法（分水岭算法等）更为理想的图像分割结果。这样，在估计误匹配点视差值时，基于同一图像区域的已匹配点的视差，避免了由于场景物体间跨度的阶跃视差带来的估计误差。

图像分割时，首先选择合适的核函数对图像进行MeanShift运算；记录各像素最终收敛点的位置，对各点按照收敛结果分类；最后，对分割成的各类合并归纳，得到最终的图像分割结果。

2）视差滤波估计。

在图像分割区域内，误匹配点的视差可以由已匹配点的概率密度梯度估计得到。将误匹配点周围的各点的视差作为MeanShift运算的输入，误匹配点的视差由输入视差迭代运算估计得到，是周围点视差决定的质心值。

2.4 算法流程

1）将双焦图像围绕图像中心缩放，计算对应像素的相似性函数，取最大相似性，得到初步的视差图对。

2）对视差图对中的点分类出已匹配点和误匹配点，得到视差图。

3）MeanShift算法对图像分割。

4）对标记的误匹配点基于图像分割区域和区域内匹配点视差滤波，得到真实视差结果。

3 实验结果

由于双焦单目视觉系统的光学结构的特殊性，利用3DSMAX模拟拍摄系统。采用本文的视差估计算法，对3DS MAX下拍摄［10］的双焦单目立体对生成的近距和远距图像对分别计算视差图。

图3 是3DS MAX下拍摄双焦图像对视差估计的实验结果。在3DS MAX模拟双焦单目的拍摄条件，拍摄场景最远处距离相机Z┆max=3@m。

图3(a)是近距拍摄的双焦图1，┩3(b)是L=0.5@m时拍摄的双焦图2，图3(c)是未经过MeanShift滤波前的初步视差图，由于假匹配，存在若干视差不连续点，图3（e）是对近距图像1采用MeanShift方法得到的图像分割结果。再在图像分割与匹配点视差的基础上经过滤波后，图3（c）为做视差估计的误匹配点，得到场景的基本完整连续的致密视差图(图3(e))。

图4是3DS MAX下拍摄双焦图像对视差估计的实验结果。拍摄场景最远距离相机Z┆max=90@m。图4(a)是双焦单目图1，图4(b)是L=2.5@m时双焦图像2，图4(c)是未经过MeanShift滤波前的初步视差图，图4（e）是双焦图1采用MeanShift方法得到的图像分割结果，图4(e)是最终得到的视差图。图4(c)中屋顶大片平滑区域难以估计的视差值通过滤波估计，在图4（e）中生成了连续可靠的视差图。

从图3和图4可以看到，本文的视差估计方法对于近距和远距的双焦单目图像对都能计算得到致密真实的视差图，能够克服纹理匮乏区域视差值难以估计的缺点。

图3

近距双焦单目立体图对视差计算结果

图4

远距双焦单目立体图对视差计算结果

4 结语

本文结合单目双焦立体视觉的特点在传统立体视差计算的基础上，提出了一种适合单目双焦立体图像对的快速视差估计方法。基于双焦单目图像对视差沿着极线方向径向辐射的特点，采用缩放序列的双焦图像计算对应点的相似度的方法得到初步视差图。算法中将改进的SSD作为相似度判定，有效地提高了算法计算速度和抗噪能力。此外，MeanShift算法在深度图修正和致密化上有重要作用，它既被用于图像分割也被用于视差图的滤波。通过点匹配情况分类判断和滤波，有效避免了立体图像中平滑区域相似误匹配率高，深度难以估计的情况。

通过3DS MAX模拟拍摄实验，在近距和远距情况下调整系统参数拍摄双焦单目立体图像对，计算结果都证明本算法能够有效地获得场景的致密深度图。单目双焦系统视差图的估计计算对于后续基于双焦图像对的三维场景恢复等研究有重要的意义。

参考文献:

[1]

陈棣湘，罗飞路，潘孟春. 立体视觉测量中的图像匹配策略研究［J］. 光学技术，2002, 28(5):392-394.

［2］

CRIMINISI A, SHOTTON J. Efficient densestereo and novelview synthesis for gaze manipulation in onetoone teleconferencing［R］. Microsoft, 2003.

［3］

SCHARSTEIN D, SZELISKI R. A taxonomy and evaluation of dense twoframe stereo correspondence algorithms［J］. International Journal of Computer Vision, 2002, 47(1/2/3):7-42.

［4］

SAXENA A, SUN M, NG A Y. Make3D: Learning 3D scenestructure from a single still image［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(5):824-840

［5］

ZHENG DAN, WANG YUANQING. Depth measurement based on bifocus imaging［C］// 2nd International Congress on Image and Signal Processing. Washington, DC: IEEE Computer Society, 2009: 1-5.

［6］

王元庆. 双焦距立体视觉中的光学成像模型［J］. 光学技术, 2007, 33(6):935-936.

［7］

GARCIA M A, VINTIMILLA B X, SAPPA A D. Efficient approximation of grayscale images through bounded error triangular meshes［C］// IEEE International Conference on Image Processing. Washington, DC: IEEE Computer Society, 1999: 168-170.

［8］

刘莹,曹剑中,许朝晖. 基于灰度相关的图像匹配算法的改进［J］. 光学技术，2007, 28(5):536-540.

［9］

CHENG YIZONG. Meanshift, mode seeking, and clustering［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1995，17(8):790-799.

计算机立体视觉技术范文4

在“问题01”我们曾经介绍过人眼直接看到真实大千世界立体视觉的原理：人类的两只眼睛相距6～7Cm，有一定的距离(瞳距)，所以在观察一个三维物体时，两只眼睛看到的图像是不同的，它们之间存在着一个像差。由于这个像差的存在，通过人类的大脑，我们可以感到一个三维世界的深度立体变化，这就是所谓的立体视觉原理。

根据立体视觉原理，如果能够让我们的左右眼分别看到两幅在不同水平位置拍摄的相同构图的图像，我们的大脑应该可以从这两幅图像感受到一个立体的三维空间。

。

。。

如果是在三维动画软件中制作3D立体节目，在创建脚本的时候必须有立体图形师(stereographer)创建的深度脚本(depth script)，这一步对与整个影片的立体效果来说显得至关重要：一方面，它帮助决定了每一个镜头的景深度；另一方面，有利于前后镜头间的深度衔接，确保观众能观看到舒适的画面。虽然在最终渲染时只需对应“左右眼影像”的两台虚拟摄像机，但在制作过程中一般需要建立三台虚拟摄像机组成一个camera rig(立体摄像机支架)，其中位于的摄像机为观测摄像机，其余两台的为渲染摄像机用以渲染出左右眼影像。

如上期杂志“问题02”所言，除了以上两种方式外，近年来随着计算机图像处理技术的发展，2D转3D技术也成为3D立体节目的重要制作手段之一。

2D转3D技术

第一种情况，以色键(抠像)手段为主的影视节目。。

第二种情况，针对纯三维动画影片，如果完整保留了原始工程文件，那么只需在这些三维场景中增加一台虚拟摄像机重新渲染“左右眼影像”即可。

第三种情况，专用硬件设备转换。在电视EFP现场节目制作和播出环节，某些无法实现双摄像机的特殊机位，使用专用立体转换处理器转为3D左右眼信号，再进入切换台。。

在电影院，人眼如何看到3D立体技术制作的立体影像?

那么，这种制作出来的角度稍不同的“左右限”影像将如何再现，让我们的眼睛重新看到立体视觉呢?最简单的办法是通过某种装置，让我们的左眼只看到制作完成的“左眼影像”，让右眼只看到“右眼影像”，通过大脑的综合分析获得立体视觉。。在中国电影博物馆立体电影展区，每天都在循环播放1962年拍摄的中国首部立体彩《魔术师的奇遇》，观看者通过左右两只圆孔直接看到立体感颇强的魔术表演。如果大家有机会参观电影博物馆的话，一定别忘了在这里体验一下昔日国产立体电影的别样味道。

这种方式虽然简单，但是只能一个人观看，并且限于两只眼睛要同时看到左右并置的两个图像，图像和眼睛的距离不能太大，图像的显示面积也不能太大。如果要多人同时在大银幕上或高清电视机上观看视野更加宽阔的3D立体节目，显然就不能使用这种方式了。

如何让人的双眼在大银幕上同时观看到制作的“左右眼影像”?上个世纪50年代，电影技术工程师们采用了“空间复用”的方式，即在同一块银幕上同时投射制作好的“左右眼影像”，观众戴上一种左右镜片滤色性能相反的眼镜，就能使左眼只看到银幕上的“左眼影像”，右眼只看到银幕上的“右眼影像”。

最早采用“空间复用”原理的电影放映技术包括分光技术和分色技术。其中分光技术采用双机双拷贝放映、在放映机镜头前安装偏振镜，左右画面以偏振轴互为90度的偏振光放映在不会破坏偏振方向的金属幕上，成为重叠的双重影像，观看时观众戴上偏振轴互为90度、并与放映画面的偏振光相应的偏光眼镜，即可把双影分开获得立体效果。分光技术色彩效果好，但由于需要发行两套分别记录“左右眼影像”的拷贝，并需要两台放映机严格同步放映，发行成本和放映成本较高。

分色技术相对比较简单，它是把拍摄制作好的“左右眼影像”的两套胶片母版通过特制滤色镜叠印在一套胶片拷贝上，这样发行和放映时只需要一套电影拷贝和一台电影放映机就能完成了，降低了发行和放映成本。观众在观看这种立体电影时，需要佩戴红蓝或红绿眼镜，两只镜片分别滤掉部分光线，使得左眼只看到“左眼影像”，右眼只看到“右眼影像”。在实际应用中，由于在滤掉另外一只眼睛对应影像的同时，也把这只眼睛对应图像中的某种颜色(红、蓝、绿等)也过滤掉了，因此整体上色彩损失较为严重。

计算机立体视觉技术范文5

关键词:夏玉米 动态监测 数字图像 株高

中图分类号:TP31 文献标识码:A 文章编号:1672-3791(2011)09(a)-0169-02

随着计算机技术,尤其是图形图像处理技术的迅猛发展,使得用计算机视觉技术进行作物长势的自动化监测成为可能,该方法能解决一些手工测定难以解决的问题,尤其是计算机有着比人眼更精确的分辨能力,使其在农业中发挥着巨大的作用。本文利用基于嵌入式网络技术和CDMA服务的远程农田信息监控系统作为工具来实现夏玉米长势的实时图像获取和信息的远程自动无线传输,在终端计算机上进行相应的数字图像处理和分析,根据计算结果对夏玉米的长势远程实时动态监测,为夏玉米的精准管理、数字化管理提供技术支撑。

1系统设计与实现

1.1 长势实时图像获取

夏玉米长势的实时图像由嵌入式网络技术和CDMA服务的远程农田信息监控系统来采集。该监控系统由现场监控服务器和远程信息服务器组成。。。传感模块利用嵌入网络式芯片来获取温度、湿度、地温、土壤水分等土壤和环境参数。远程信息服务器由VPN路由器和终端服务计算机组成。该系统通过带有VPN功能的CDMA设备与中国农业科学院国家测土施肥实验室终端服务器端的VPN路由器之间建立基于Ipsec的VPN通道后,利用终端服务器端的AGENT程序即可存储传输过来的动态图像。

1.2 株高测量系统

本系统用双目立体视觉技术实现对夏玉米的株高测量,一般采用的方法是两个摄像机以不同角度同时拍摄目标物体,获取目标物体及周围景物的两幅数字图像后,基于视差原理,在已知两摄像机位置关系的基础上,恢复出目标物体的三维空间信息,并进一步重建目标物体的三维形状与空间位置。

1.2.1 摄像机标定

双目立体视觉系统经过摄像机获取三维目标物体的二维图像,这个过程经历了四个不同坐标系之间的变换。首先,从世界坐标系变换为摄像机坐标系,然后由摄像机坐标系变换到无失真的图像坐标系,再由无失真的图像坐标系变换到带有切向畸变的实际图像坐标系,最后由带有切向畸变的实际图像坐标系变换到计算机图像坐标系。摄像机标定法有线性法、非线性法、两步法等。本系统采用线性法进行标定,为了三维标定和测量的方便,在监控区域增设四根摄像机标定杆和一根高度标定杆,采用采集标定杆图像的方法对摄像机进行标定。如图1所示。

利用VisualC++编程,提取各标定点在左右图像对中的图像坐标,同时输入世界坐标与之相对应,系统利用最小二乘法即可求出透视投影矩阵,摄像机的内参和外参就包含在矩阵当中,即CLB格式文件中。存储在一定的路径下,作为后续三维合成过程中的文件输入。

1.2.2 图像预处理与特征提取

由光学成像系统生成的二维图像,包含各种随机噪声和畸变,因此需要对原始图像进行预处理,突出有用信息,抑制无用信息,改善图像的质量。本系统对获取的图像采用了图像分割与噪声去除方法。对于绿色作物与背景的分割而言,通常有两种比较好的分割因子。一种是色彩分割因子2G-R-B;另一种是将R,G,B值归一化后得到r,g,b后再用2g-r-b处理。此处采用(2G-R-B)来灰度化生长前期夏玉米图像,然后再用最大类间方差法自动寻找阐值分割图像,结果发现此灰度图能够较容易的分割出目标。如图2所示。

彩色图像灰度化后使用中值滤波去噪,因为图像在采集、传输的过程中引入了大量的杂点,噪声的去除使得后续的图像分割更加容易进行,且图像分割后使用了膨胀与腐蚀去噪,因为图像在分割过程中又引入了大量的椒盐噪声,会阻碍后续的特征提取、图像分析的进行。

1.2.3 双目立体视觉系统的立体匹配与三维重建

立体匹配指根据所选特征的计算,建立特征间的对应关系,将同一空间实体点在不同图像中的映像点对应起来,由此得到相应的视差图像,然后根据三角关系获得景物的深度。本系统采用对左右视觉区域进行网格化匹配处理,把测量区域划分为mxm网格。如图3所示。

从图3中可以看出,黄色箭头所指这个网格,尽管在左右图像中的位置不一样,但是它在世界坐标系下代表同一区域,具有唯一的三维坐标,这为立体匹配提供了依据。在二值化图像中,白色代表作物,黑色代表背景,对白色区域网格进行匹配。对于全为白色像素的网格,直接进行匹配。对于不全为白色像素的网格,设置了这样的匹配准则,计算各个网格中白色像素数占其网格区域总像素数的比例,如果左右图像对应网格中的像素比例都大于设定值(例如0.5),则判定该网格为需要匹配的网格,否则作为背景放弃匹配。

对上述匹配成功的网格进行三维重建,网格的大小会随着网格数量的变化而变化,给三维重建增添了难度。本系统采取提取每个子网格的质心,然后对质心进行三维重建。子网格质心坐标(Xc,Yc)表达式为,其中,n为子网格中白色像素的个数,和为白色像素的在图像中的坐标。通过计算得到(Xc,Yc)值,即网格的质心图像坐标。结合标定好的摄像机参数,即可获得质心点的三维空间坐标,达到了三维重建的目的。通过求取重建后的子网格质心的Y坐标平均值,得到玉米作物的株高。

2实验结果

本试验以m=20,40进行比较,即把投影区域划分为400,1600个网格进行测验,用以寻求恰当的m值。同时投影面上显示的绿色部分,不仅包括顶层作物,还包括未被顶层作物所摘挡的中下层作物。把Y区域分为0.1,0.25,0.5,0.75,1五个区间,依次来测量株高数据。图4为夏玉米株高的计算机解析结果。

计算机立体视觉技术范文6

关键词：双目视觉；三维可视化；信息融合

1.引言

随着计算机软、硬件突飞猛进的发展，社会的各行各业对三维可视化技术的需求已经越来越突出。当前三维显示技术已在军事、航空、航天、医学、地质勘探、文化娱乐和艺术造型等方面得到广泛应用。

为实现变电站的三维可视化，需要对变电站进行三维建模，构建变电站的三维模型。。

2.三维可视化技术研究现状

（1）研究现状

1）建模软件

目前应用较多的是欧特克（Autodesk） 公司的 3ds MAX 和Maya；Multigen 公司的 Creator；Google 公司的 Sketch Up；Microsoft旗下Caligari公司的trueSpace等。这些建模软件，几乎可以满足我们所见到的任何现实世界中的物体模型的建立，比如房屋、道路、管道、植物、动物、日常用品以及我们现实生活中见到的一切。

2）平台软件和应用软件

三维可视化软件大都依赖于计算机图形学和可视化技术的发展。人们对计算机可视化技术的研究已经历了一个很长的历程，而且形成了许多可视化工具，比如 Directx 和 OpenGL，尤其在地里信息系统领域，当前Arc/info，MapInfo，MAPGIS，SuperMap，GeoStar等国内外专业二维 GIS 软件都有自己专有的三维GIS 子系统。比较专业的三维可视化系统软件或平台有：美国 ERDAS 公司的 IMAGINE Virtual GIS；美国 Skyline 软件；国内适普软件有限公司的 IMAGIS Classic；国内灵图的VRMap。

另外，像国内的武汉吉奥公司的CCGIS、上海杰图三维展示系统、中视典的 VRP 产品体系，在三维可视化方面都有自己独特的功能。

（2）双目立体视觉与三维重建

双目立体视觉是计算机视觉的基础内容，它利用成像设备在不同角度获取目标物体的两幅图像，然后基于视差原理，计算两幅图像中对应点的位置偏差，获取物体空间信息的方法。

3.信息融合技术发展状况及方法

（1）发展状况

信息融合技术是智能信息处理的一个重要研究领域。1973年，美国国防部自主开发了声呐信号理解系统，数据融合技术在该系统中得到最早的体现。此后，数据融合技术蓬勃发展，不仅在人工系统中尽可能采用多种传感器来收集信息，而且在工业控制和管理等领域也朝着多传感器方向发展。20世纪70年代末，在公开的技术文献中开始出现基于多传感器信息整合意义的融合一词，并开始广泛应用与军事与民用领域。

在美用电子技术带动下，20世纪80年代后期以来西方其他先进技术国家也先后加强多传感器信息融合研究活动，而且很快向民用部门扩展。1987年2月，美国国家科学基金会（NSF）首次在犹他州召开了“制造自动化中的多传感器信息融合”学术研讨会。

同年10月，全美人工智能学会（AAL）在伊利诺斯州召开了“空间推进与多传感器融合”学术研讨会。。同年，美国国防部把信息融合技术列为90年代重点研究开发的二十项关进技术之一，且列为最优先发展的A类。19年，北约组织也在巴黎召开了这方面的会议，主题是“计算机视觉中的多传感器融合”。美国一实验室理事会（JDL）下设的C3技术委员会（TPC3）专门成立了信息融合学术会议，并通过SPIE传感器融合专辑、IEEE Trans，On AES，AC等发表有关论著；为了进行广泛的国际交流，1998年成立了国际信息融合学会，总部设在美国，每年举行一次信息融合研究国际学术大会。

到目前为止，美、英、法、意、日等国已研究出上百个军用融合系统，取得了一定的成果，但还存在着一些难题没有完全解决。如传感器模型、融合过程的推理以及有关算法的研究等。

。20世纪90年代初，这一领域在国内才逐渐形成。在、军方和各种基金部门的资助下，国内一批高校和研究所开始广泛从事这一技术的研究工作，出现了一大批理论研究成果。

。

（2）信息融合技术方法

信息融合作为对多源信息的综合处理过程，具有本质的复杂性。传统的估计理论和识别算法，以及新兴的基于统计推断、人工智能和信息论的新方法，都可以用来解决信息融合问题。

1）信号处理与估计理论方法

这种方法包括小波变换技术、加权平均、最小二乘、卡尔曼滤波等线性估计技术，以及扩展卡尔曼滤波（EKF）、高斯和滤波（GSF）等非线性估计技术，以及近年来发展的 UKF滤波、粒子滤波和马尔科夫链蒙特卡洛（Markov Chain Monte Carlo， MCMC）等非线性估计技术。

2）统计推断方法

统计推断方法包括经典推理、贝叶斯推理、证据推理、随机集（random set）理论以及支持向量机理论等

3）信息论方法

信息论方法运用优化信息度量的手段融合多源数据。典型算法有熵方法、最小描述长度方法（MDL）等。

4）决策论方法

决策论方法往往应用与高级别的决策融合。

5）人工智能方法

人工智能方法包括模糊逻辑、神经网络、遗传算法、基于规则的推理，以及专家系统、逻辑模板法和品质因数法等。

6）几何方法

几何方法通过充分探讨环境以及传感器模型的几何属性来达到多传感器信息融合的目的。

4.总结

随着新技术的不断发展，未来还会应用到更多更新的领域中，本文对三维可视化技术和信息融合技术的研究现状及原理进行了分析，相信基于信息融合的三维可视化技术未来也将在电网建设中进一步深化应用。

参考文献

[1]郭玲. 华南理工大学，2013.

[2]孙振宇. 双目视觉重构算法及其在变压器中的应用[D]. 东北电力大学，2015.

[3]余小欢，韩波，张宇等. 基于双目视觉的微型无人机室内3维地图构建[J]. 信息与控制，2014，43（4）：392-397.

[4]常文凯，李恩，杨国栋等. 基于双目视觉的输电线路近距离三维位置测量[J]. 华中科技大学学报，2015，43：144-147.