基于机器视觉的人眼跟踪系统的设计和实现

摘要

摘要

随着人机交互技术的不断发展，除了传统成熟的鼠标、键盘等输入方式外，语音输入也进入了实用化阶段，人眼视线由于其本身包含较多当前任务信息也自然成作为一种候选的输入通道。

目前对于人眼视线的人机交互技术研究渐渐受到人们的重视。本文就人眼视线的人机交互技术，将当前比较成熟、完善的机器视觉技术与虚拟仪器相结合，利用市场上比较常见的摄像头对人眼进行非接触式的图像采集，由LabVIEW和Vision Assistant以及IMAQ Vision组成的虚拟仪器，对采集的图像进行处理和识别。最终建立人机交互平台，并完成人眼视觉对电脑鼠标控制的人眼追踪系统。

本系统是将机器视觉与虚拟仪器相结合，完成人眼视线与机器人机交互的一次新的尝试，是一个较有价值的研究方向。

关键字：人机交互人眼追踪虚拟仪器LabVIEW

Abstract

Abstract

With the development of Human-Computer Interaction Techniques, except the traditional mouse and keyboard, voice input method has entered practical stage. Because of the human sight includes a lot of information of current tasks, it can naturally becomes a candidate input channel. Human-Computer Interaction Techniques research about human sight is becoming more and more important.

In this paper, our method is based on the Human-Computer Interaction of human sight to combine mature machine-vision and virtual instruments. We used the camera which can be easily found on the market to gather the images of human eye by untouched way and the virtual instrument which consist LabVIEW, Vision Assistant and IMAQ Vision to process and identify the gathered images. At last, we had built Human-Computer Interaction platform to accomplish eye tracking system which uses human sight to control computer mouse.

This system combined machine-vision and virtual instruments to accomplish a new try of Human-Computer Interaction of human sight and computer. This is a valuable research field.

Keyword: Human-Computer Interaction Eye tracking LabVIEW

Virtual Instrumen t

目录1

目录

第一章绪论 (1)

1.1 研究的目的与意义 (1)

1.2 国内外机器视觉和人眼跟踪的发展现状 (2)

1.2.1 机器视觉的概况 (2)

1.2.2 人眼跟踪技术的概述 (4)

1.3 论文工作以及组织结构 (6)

第二章机器视觉系统的概述 (7)

2.1机器视觉的概念 (7)

2.1.1 机器视觉的引入 (7)

2.1.2 机器视觉的优缺点 (7)

2.2 机器视觉的系统构成 (8)

2.2.1 系统构成 (8)

2.2.2 系统硬件的选择 (10)

2.3 机器视觉系统的工作原理 (12)

2.4 本章小结 (13)

第三章LabVIEW虚拟仪器和数字图像处理概述 (15)

3.1 LabVIEW概念 (15)

3.2 视觉开发软件概述 (16)

3.3 数字图像处理概述 (17)

3.4 本章小结 (20)

第四章人眼跟踪系统的设计 (21)

4.1 系统的设计思路 (21)

4.2 硬件设计 (21)

4.2.1 光源 (22)

4.2.2 照明方式 (23)

4.2.3 摄像头 (24)

4.3 软件设计 (25)

4.3.1 主体部分 (25)

4.3.2 图片采集部分 (27)

4.3.3 图片处理部分 (27)

4.3.4 循环处理部分 (28)

4.4 本章小结 (28)

第五章人眼跟踪系统图像处理模块 (29)

5.1 图像的灰度变换 (29)

5.2 图像的平滑处理 (30)

5.2.1 邻域平均滤波法 (32)

5.2.2 中值滤波法 (33)

5.3 图像增强 (34)

5.3.1 灰度线性变换 (35)

5.3.2 灰度的非线性变换 (36)

5.4 人眼眼球的识别 (38)

5.5 NI Vision Assistant中的图像处理操作 (39)

5.6 本章小结 (42)

第六章人眼跟踪系统的LabVIEW模块 (43)

6.1 人眼跟踪系统前面板的设计 (43)

6.2 人眼跟踪系统程序面板的设计 (44)

6.2.1 人眼跟踪系统的预定位 (45)

6.2.2 人眼跟踪系统程序面板的设计 (46)

6.2.3 鼠标控制的算法 (47)

6.3 本章小结 (47)

第七章结束语 (49)

致谢 (51)

参考文献 (53)

第一章绪论

随着人们对人机交互技术研究的不断深入，多通道的人机交互备受关注［1］。人机界面更强调“以人为中心的原则”，使用户能运用各种感觉通道，以最自然的方式和计算机交互。现有的人机交互输入绝大多数通过鼠标、键盘等实现，这些输入需要视觉或听觉接收输出信息相配合。此外，语音识别输入技术在逐渐成熟，而对身体姿势的理解、触觉的输入输出等技术在智能虚拟现实环境中得到了较多的研究。

人们在观察外部世界时，眼睛总是与其它人体活动自然协调地工作，并且眼动所需的认知负荷很低，人眼的注视包含着当前的任务状况以及人的内部状态等信息，因此人眼注视是一种非常好的，能使人机对话变得简便、自然的候选输入通道。

目前对于人眼视线的人机交互的研究还处于起步阶段，虽然有多种方法可以对人眼视线进行检测，但是由于人眼在观察时移动的速度较快，范围较小，大多数的检测方法精确度不够，并且对人眼的影响较大。目前研究的人眼跟踪系统存在两个方面的问题：一方面对人的影响较大，如头盔式和眼电式人眼跟踪系统；另一方面，硬件成本较高。

本文尝试性的将机器视觉技术与虚拟仪器相结合，利用市场上常见的摄像头、个人电脑及虚拟仪器软件LabVIEW、Vision Assistant和IMAQ Vision搭建简单、有效的人眼跟踪的人机交互平台。在通过机器视觉对人眼眼球进行图像检测识别的基础上，最终在LabVIEW平台上完成鼠标移动控制的人机交互。

1.1 研究的目的与意义

本研究将机器视觉技术和虚拟仪器应用到人眼跟踪上，利用机器视觉对人眼进行图像采集和处理，达到人眼跟踪的目的，最终达到人眼眼动对电脑鼠标进行移动操作。该系统基于机器视觉技术、美国NI公司的软件开发平台LabVIEW 8.5和图像处理软件包IMAQ VISION等软件及普通摄像头和个人电脑进行系统的开发。主要目的是：

1) 开发对人眼的图像采集、人眼眼球的模式识别以及人眼眼球中心位置的分析系统。实现对人眼眼球的跟踪，并得到人眼眼球的中心位置信息。

2) 根据要得到的人眼眼球信息，基于LabVIEW平台的编程处理，达到人眼眼动对电脑鼠标的实时控制。

利用机器视觉，虚拟仪器软件开发研究人眼跟踪系统，对于工业自动化、军事、助残等领域具有重要的现实意义，主要表现为：

1) 利用该系统，在工业方面可以实现人眼对方向的实时控制；在军事上可以实现人眼对目标的自动瞄准；在助残领域可以实现人眼对轮椅控制，人眼实现人机交互等，可以有效提高残疾人的处理水平和生活质量。

2) 运用NI公司的图形化设计语言LabVIEW作为开发平台，LabVIEW是图形化的程序语言，用“绘制”流程图代替编写程序代码，能使设计出的人机界面更为美观，能兼容C、VC、VB语言的编程，开发的软件移植性强［2－3］。

3) 目前国内对于人眼跟踪的研究大多还数还处于起步阶段，在应用于实际方面并不成熟，在将机器视觉应用于人眼跟踪方向并最终用于对电脑鼠标的移动操作方面几乎还没有研究。本系统将机器视觉与虚拟仪器相结合，将摄像控制、图像采集、图像分析、识别以及对鼠标操作集于一体，是一项有实用意义的尝试性研究。

1.2 国内外机器视觉和人眼跟踪的发展现状

1.2.1 机器视觉的概况

机器视觉历经50多年的发展，取得了一些令人欢欣鼓舞的成果，但仍有很多技术难题尚待突破。国外机器视觉发展的起点难以准确考证，其大致的发展历程是20世纪50年代提出机器视觉概念，20世纪60年代真正开始发展，20世纪70年代进入发展正轨，20世纪80年代发展趋于成熟，20世纪80年代后高速发展。在机器视觉发展的历程中，有3个明显的标志点：一是机器视觉最先的应用来自“机器人”的研制，也就是说，机器视觉首先是在机器人的研究中发展起来的；二是20世纪70年代CCD图像传感器的出现，CCD摄像机替代硅靶摄像是机器视觉发展历程中的一个重要转折点；三是20世纪80年代CPU、DSP等图像处理硬件技术的飞速进步，为机器视觉飞速发展提供了全新的基础条件［4－6］。

从上述数据可以看出机器视觉的发展之快。国内的机器视觉发展较发达国家晚，各行业的领先企业在解决了生产自动化的问题以后，已开始将目光转向视觉测量自动化方面。其市场潜力不可忽视。目前在我国随着配套基础建设的完善，技术、资金的积累，各行各业对采用图像和机器视觉技术的工业自动化、智能化需求开始广泛出现，国内有关大专院校、研究所和企业近几年在图像和机器视觉技术领域进行了积极思索和大胆的尝试，逐步开始了工业化的应用[7-10]。

机器视觉是一门涉及神经生理学、认知心理学、物理学、数学、计算机科学、

图像处理、模式识别和人工智能等多个领域的新技术，这些领域的迅速发展有力地促进了视觉技术的进步。目前已在医疗诊断、各类自动检测与控制、智能机器人、军事、遥感、科研、生活等方面得到广泛应用，取得了巨大的经济与社会效益［11］。

1) 医学方面：对染色体切片、癌细胞切片、x射线图像、超声波图像的自动检查、诊断，注射器针头的质量检查，药片包装有无缺损等。

2) 工业方面：生产线上自动焊接、切割加工，大规模集成电路生产线上自动连接引线、对准芯片和封装，纺织印染业自动分色、配色，木材、焊缝、铸件杂质和断口、瓷片、玻璃产品、印刷品等在线质量检查，零件尺寸测量等，将图像和视觉技术用于生产自动化，可以加快生产速度，保证质量的一致性，还可以避免人的疲劳、注意力不集中等带来的误判。

3) 农业方面：农产品质量自动检验与分级，涉及水果、农作物籽粒、蔬菜、家畜、禽蛋等，如自动分辨并剔除己发芽的土豆，获取作物生长状态信息，农业资源管理、植物病理研究、遗传细胞工程研究等。

4) 军事方面：自动监视军事目标，自动发现、跟踪运动目标，自动巡航捕获目标和确定距离。

5) 遥感方面：自动制图，卫星图像与地形图对准，自动测绘地图、森林、水面和土地资源管理，环境、火警自动检测等。它可以帮助人们超越人的生理极限，“亲临其境”，提高工作效率。

6) 商业、生活方面：自动巡视、跟踪、报警、人像安全检查以及为盲人引路的“带路机器狗”等。

目前，机器视觉技术的发展在国外已达到了实用水平，从单纯地模拟人眼的视觉响应，发展到与具体检测目标相适应的视觉延伸，并强调精度和速度及现场环境下的可靠性，具有无损、高效等优点。作为实现智能化、高效率途径中不可缺少的功能模块，视觉系统在一些电子专用设备、工业自动化领域中的应用较成熟，并逐步与运动控制、网络通讯等先进技术相结合进而改变了传统生产、生活的面貌。而国内起步较晚，从静态研究到实时动态处理，其系统构建、软件开发因应用环境的不同要求有高度专业化的知识背景，多数仍处于研究开发阶段。

机器视觉被称为“自动化的眼睛”，它的诞生和应用，极大地解放了人类劳动力，提高了生产自动化水平，改善了人类生活现状。它可以通过敏感器件形成红外线、微波、超声波等图像，观察人眼无法观察到的范围，从一定程度上扩展了人类视觉，但是人类视觉具有视野范围大、易于定性区分颜色、纹理和形状的特点，某些识别能力机器视觉无法比拟，但机器视觉具有再现性、重复性、定量性的优点，所以机器视觉技术的开发和研究，应注重其特长的发挥，然后融入人类智能化的模式识别方法，这正是机器视觉技术发展的方向。完全可以相信随着

相关技术的发展和各行各业对于机器视觉系统的迫切需求，机器视觉的研究与应用将会得到突飞猛进的发展。其应用前景极为广阔，而机器视觉的发展也同样促进相关学科的发展［12－16］。

但是应该看到，现在各主要视觉产品提供商几乎都是国外的厂家，国内的厂家在图像采集卡方面有一些研发，但其质量与国外相比也有一定的差距，而在技术含量比较高的软件方面，我国还几乎是空白。国内机器视觉的研究既是挑战，也是机遇。所以有必要紧跟国际最新动态，在消化吸收国外先进产品的基础上开拓创新，提高我国图像处理软硬件的水平。

1.2.2 人眼跟踪技术的概述

目前用户界面所使用的任何人机交互技术几乎都有视觉参与。早期的人眼跟踪技术首先应用于心理学研究（如阅读研究），后被用于人机交互。眼动在人的视觉信息加工过程中，起着重要的作用。它有三种主要形式：跳动(Saccades)，注视(Fixations)和平滑尾随跟踪(Smooth Pursuit)。人眼跟踪精度与在测量时对用户的限制和干扰就是一对矛盾。在人机交互中，减少这种限制和干扰是非常重要的，人眼作为交互装置最直接的用处就是代替鼠标器作为一种指点装置。

1）人眼跟踪的基本原理与方法

人眼跟踪技术的装置有强迫式(intrusiveness)与非强迫式(non-intrusiveness)、穿戴式与非穿戴式、接触式（如：Eyeglass-mounted）与非接触式（如：Remote）之分；其精度从0.1°~1°或2°不等，制造成本也有巨大差异。在价格、精度与方便性等因素之间做出权衡是一件困难的事情，例如人眼跟踪精度与对用户的限制和干扰就是一对尖锐的矛盾。有关视觉输入的人机界面研究主要涉及两个方面：一是人眼跟踪原理和技术的研究；二是在使用这种交互方式后，人机界面的设计技术和原理的研究。

眼睛能平滑地追踪运动速度为1到30度/秒的目标，这种缓慢、联合追踪眼动通常称为平滑尾随跟踪。平滑尾随跟踪必须有一个缓慢移动的目标，在没有目标的情况下，一般不能执行这种眼动。在人机交互中，主要表现为跳动和注视两种形式。主要的人眼跟踪技术方法有眼电图法(EOG)，虹膜——巩膜边缘法，角膜反射法，瞳孔－角膜反射向量法，接触镜法五种主要的人眼跟踪技术。人眼追踪的基本工作原理是利用图像处理技术，使用能锁定眼睛的特殊摄像机。通过摄入从人的眼角膜和瞳孔反射的红外线连续地记录人眼变化，从而达到记录分析人眼追踪过程的目的。在人机交互中对人眼追踪的基本要求是：

①要保证一定的精度，满足使用要求；

②对用户基本无干扰；

第一章绪论5

③可作为计算机的标准外设[17]。

2）人眼跟踪技术在人机交互通道中的特点

从人眼跟踪装置得到的原始数据必须经过进一步的处理才能用于人机交互。数据处理的目的是从中滤除噪声，识别定位及局部校准与补偿等，最重要的是提取出用于人机交互所必需的眼睛定位坐标。但是由于眼动存在固有的抖动以及眼睛眨动所造成的数据中断，即使在定位这段数据段内，仍然存在许多干扰信号，这导致提取有意眼动数据的困难，解决此问题的办法之一是利用眼动的某种先验模型加以弥补。

将人眼应用于人机交互必须克服的另一个固有的困难是避免所谓的“米达斯”接触(Midas Touch)问题。如果鼠标器光标总是随着用户的人眼移动，可能会引起他的厌烦，因为用户可能希望能随便看着什么而不必非“意味着”什么。在理想情况下，应当在用户希望发出控制时，界面及时地处理其人眼输入，而在相反的情况下则忽略其人眼的移动。然而，这两种情况一般不可能区分。

3）视线跟踪技术在人机交互领域中的应用及前景

视线跟踪技术还处于起步阶段。视线跟踪技术主要是解决眼睛运动特性的检测问题，目前主要的检测方法有接触镜法，电磁线圈法，红外光电反射法，红外电视法等。其中红外电视法具有操作方便，对人无干扰、可移动、非接触等优点。基于红外电视法的眼睛盯视人机交互技术是通过眼睛盯视激活对话框，从而实现对外部设备的控制。对正常人来说，通过对鼠标和键盘操作，就能实现与计算机间的交互，但是对某些瘫痪病人或四肢麻痹，又不能说话的人来说，如此简单的任务却无法完成。有关资料统计显示，全国至少有50万的人口存在不同程度的肢体瘫痪，生活不能自理。那么如果他们能用眼睛来代替手操作，以后再加上机电控制技术情况就不一样了，就完全可以增加他们的独立能力，提高生活质量。另外，通过眼睛盯视对外部设备进行控制可以实现多任务操作，比如在军事上，飞行员如果发现了目标，在手动操作应付不过来的时候，可以通过眼睛瞄准的同时用眼睛来控制火控系统的发射。这样可以使飞行员既为驾驶员又为武器操纵员，同时在飞行加速度环境下，飞行员的头部和手部活动受到极大的限制，但眼睛却还可以自由转动，这对于增加战斗力非常有意义。随着研究工作的深入，这项技术必将服务于医学、军事及教育等各个方面。

总之，我们也应看到尽管视线跟踪技术的应用存在着诱人的前景，但由于各方面技术的不成熟性，目前，还未达到实用化阶段，成功的、有效益的演示性项目还很少。在多通道用户界面基础上，要进行进一步的原型探索分析，必须对人机交互设备的性能加以改善，同时注意有关标准的建立，以便把视线跟踪技术更好地与现有技术结合起来。

6基于机器视觉的人眼跟踪系统的设计和实现

1.3 论文工作以及组织结构

本文在充分总结和分析机器视觉技术与人眼跟踪技术的研究现状和水平的基础上，以系统的实用化应用和经济性为出发点和落脚点，将机器视觉系统与虚拟仪器技术相结合，设计了一套成本低，确实有效的可实现人眼控制鼠标的人眼跟踪系统。对人眼的图像采集、人眼的图像处理、人眼眼球的模式识别、人眼与电脑的交互进行了实验和研究，实现了人眼对电脑的鼠标控制。

本文的主要内容和组织结构如下：

第一章，阐述论文的研究背景，意义和目的，并概述了机器视觉和人眼追踪技术国内外研究的现状，最后给出论文的组织结构。

第二章，对机器视觉系统的发展概况、优缺点、系统的组成、系统的硬件选择及工作原理进行了阐述。

第三章，介绍了LabVIEW虚拟仪器及视觉开发软件并对数字图像处理技术进行了概述。

第四章，对人眼跟踪系统进行了系统的设计，包括系统硬件的搭建及选择和软件的设计思路及流程。

第五章，详细说明了人眼跟踪系统图像处理模块对人眼图像的各种处理方法，并对各种方法进行比较，最终选择处理效果最好的方法对图像进行处理、识别。

第六章，用LabVIEW虚拟仪器设计了人眼跟踪系统的人机交互平台，包括了平台的前面板设计和图形化程序框图的设计过程。

第七章，对本文工作进行总结，并对下一步研究内容和方向进行展望。

第二章机器视觉系统的概述7

第二章机器视觉系统的概述

2.1机器视觉的概念

2.1.1 机器视觉的引入

人类在征服自然、改造自然和推动社会进步的过程中，面临着自身能力、能量的局限性，因而发明和创造了许多机器来辅助或代替人类完成任务。智能机器，包括智能机器人，是这种机器最理想的形式，也是人类科学研究中所面临的最大挑战之一。智能机器是指这样一种系统，它能模拟人类的功能，能感知外部世界并有效地解决人所能解决的问题。人类感知外部世界主要是通过视觉、触觉、听觉和嗅觉等感觉器官，其中约80%的信息是由视觉获取的。因此，对于智能机器来说，赋予机器以人类视觉功能对发展智能机器是及其重要的，也由此形成了一门新的学科——机器视觉。机器视觉的发展不仅将大大推动智能系统的发展，也将拓宽计算机与各种智能机器的研究范围和应用领域。由此人们开始考虑利用光电成像系统采集被控目标的图像，而后经计算机或专用的图像处理模块进行数字化处理，根据图像的像素分布、亮度和颜色等信息，来进行尺寸、形状、颜色等的判别。这样，就把计算机的快速性、可重复性，与人眼视觉的高度智能化和抽象能力相结合，由此产生了机器视觉的概念。

由此人们开始考虑利用光电成像系统采集被控目标的图像，而后经计算机或专用的图像处理模块进行数字化处理，根据图像的像素分布、亮度和颜色等信息，来进行尺寸、形状、颜色等的判别。这样，就把计算机的快速性、可重复性，与人眼视觉的高度智能化和抽象能力相结合，由此产生了机器视觉的概念。

由于机器视觉涉及到多个学科，给出一个精确的定义是很难的，而且在这个问题上见仁见智。本文采用美国制造业工程师协会给出的正式定义：机器视觉是使用器件进行非接触感知，自动获取和解释一个真实场景的图像，用来获取信息和（或）控制机器的过程［18－20］。

2.1.2 机器视觉的优缺点

市场的扩展得益于机器视觉技术的进步，这体现在简单化、丰富的产品特性和较高的成功率。一个成功的机器视觉系统是一个经过细致工程处理来满足一系列明确要求的系统。当这些要求完全确定后，这个系统就设计并建立来满足这些

8基于机器视觉的人眼跟踪系统的设计和实现

精度的要求。机器视觉系统是实现仪器设备精密控制、智能化、自动化的有效途径，堪称现代工业生产的“机器眼睛”。其最大的优点为：

1) 实现非接触测量。对观测与被观测者都不会产生任何损伤，从而提高了系统的可靠性。

2) 具有较宽的光谱响应范围。机器视觉则可以利用专用的光敏元件，可以观测到人类无法看到的世界，从而扩展了人类视觉范围。

3) 长时间工作。人类难以长时间的对同一对象进行观察。机器视觉系统则可以长时间地执行观测、分析与识别任务，并可应用与恶劣的工作环境。

总的来说，机器视觉的优点包括以下几点：精度高、连续性好、成本效率高和灵活性强。机器视觉比光学或机器传感器有更好的可适用性，它们使自动机器具有了多样性、灵活性和可重组性。当需要改变生产过程时，对机器视觉来说“工具更换”仅仅是软件的变换而不是更昂贵的硬件。当生产线重组后，视觉系统往往可以重复使用。机器视觉的应用正越来越多地代替人去完成许多工作，这无疑在很大程度上提高了生产自动化水平和检测系统的智能水平[21]。

事实上任何系统都有它的缺陷，视觉系统再快也快不过机械系统，产品的优良品质是靠全过程控制出来的，并不只是检测出来的。

2.2 机器视觉的系统构成

2.2.1 系统构成

机器视觉系统完成的主要功能是指通过机器视觉产品（即图像摄取装置，分为CMOS和CCD两种）将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布、亮和颜色等信息，进行各种运算来提取目标特征，参照标准信号进行比较得出判别结果，最终控制现场执行机构实现所需的功能动作。

典型的视觉系统一般包括：光源、光学镜头、摄像机、图像采集卡、图像处理软件及执行部件等。

1) 光源，光源是为确保视觉系统正常取像，获得足够的光信息而提供照明的装置。光源的目的有以下几点：

①将待测区域与背景明显区分开；

②将运动目标“凝固”在图像上；

③增强待测目标边缘清晰度；

④消除阴影；

⑤抵消噪光。

第二章机器视觉系统的概述9

光源可分为荧光灯，卤素灯/光纤导管，LED光源和其他（激光、紫外光等）四类。光源是一个视觉系统开始工作的第一步，合适的光源可以提高系统检测精度、运行速度及工作效率。

2) 光学镜头，光学镜头包括以下几个基本概念：

①视野(FOV)，图像采集设备所能够覆盖的范围，它可以是在监视器上可以见到的范围，也可以是使设备所输出的数字图像所能覆盖的最大范围。

②最大/最小工作距离(Work Distance)，从物镜到被检测物体的距离的范围，小于最小工作距离或大于最大工作距离时系统均不能正确成像。

③景深(Depth of Field)，在某个调焦位置上，景深内的物体都可以清晰成像。

④畸变，几何畸变指的是由于镜头方面的原因导致的图像范围内不同位置上的放大率存在的差异。几何畸变主要包括径向畸变和切向畸变。如枕形或桶形失真。

⑤镜头接口，包含C-MOUNT（镜头的标准接口之一，镜头的接口螺纹参数：公称直径：1毫米，螺距：32牙），CS-MOUNT（是C-MOUNT的一个变种，区别仅仅在于镜头定位面到图像传感器光敏面的距离不同，C-MOUNT是17.5mm，CS-MOUNT是12.5mm），C/CS（能够匹配最大的图像传感器的尺寸不超过1毫米）。

⑥成像面，可以在镜头的像面上清晰成像的物体平面。

⑦光圈与F值，光圈是一个用来控制镜头通光量装置，它通常是在镜头内。光圈大小用F值表示，如：f1.4，f2，f2.8等。

⑧焦距，焦距是像方主面到像方焦点的距离。

⑨分辨率，测量系统能够重现的最小的细节的尺寸常常用每毫米线对来表示，也就是根据这个镜头能够分辨一毫米内多少对直线。选择镜头的时候必须注意厂商给出的分辨率的定义方式。

光学镜头按照功能可分为变焦距镜头，定焦距镜头，定光圈镜头；按照用途可分为微距镜头和远心镜头。

3) 摄像机，图像摄取装置。目前工业上主要分为CMOS和CCD两中，将被摄取目标转换为图像信号，传送给上位机。但随着通讯方式的发展，USB、FIREWIRE1384、TCP/IP等新的通讯方式越来越简单方面，将成为未来的主流。

4) 图像采集卡，是将摄像装置采集的图像传入上位机的硬件设备。主要有CMOS和CCD接口的图像采集卡，在本研究中采用了USB口的摄像头，无需图像采集卡。

5) 图像处理软件，一般集成于单片机或嵌入式系统或是PC中专门的图像处理软件。根据需要对摄取的图像进行数字化处理，达到测量、定位、识别、匹配等目的。

6) 执行部件，一般是经过图像处理后，将控制信息传入执行部件，执行所要

10基于机器视觉的人眼跟踪系统的设计和实现

求的操作，如机械臂的控制、产品检测筛选等。

2.2.2 系统硬件的选择

在视觉系统中，根据项目目的的不同，所要求图像的分辨率、亮度、清晰度、对比度和系统软件图图像处理的方式不同，需要选用不同的软硬件，以达到既能节约成本，又能有效完成项目的目的。

光源的选择，光源是为确保视觉系统正常取像，获得足够的光信息而提供照明的装置，在选取光源时应遵循以下几点：

1) 背光：测量系统的最佳选择；

2) 亮场：最直接的照明；

3) 暗场：适合光滑表面的照明；

4) 结构光法：最简便的三维测量的选择；

5) 影子的利用：适用于间接测量；

6) 彩色的考虑。

常用灯源的分析，如表2.1。

表2.1常用灯源的分析

镜头的选择，从技术因素考虑有以下几点：

1) 镜头与相机的匹配

●镜头接口是否为工业标准接口，C/CS接口；

●镜头成像面是否大于等于相机CCD尺寸。若相机CCD为1/2毫米，

而镜头为1/3毫米，则该镜头与相机不匹配；

第二章机器视觉系统的概述11

2) 系统工作空间

●镜头最短焦距是否适合系统工作空间；

●注意镜头焦距与最短焦距间的关系；

3) 系统精度

●获取最佳视野；

●镜头畸变对系统精度的影响；

●镜头分辨率对系统精度的影响；

4) 纵深成像

●物体纵深方向的成像是否在镜头景深范围之内；

5) 其他

●超大，超小物体的检测；

常见镜头的对比如表2.2。

表2.2常见镜头对比

相机的选择，在选择相机时需要从以下几个方面考虑：

1) 系统精度要求与相机的分辨率

●相机分辨率（X方向）＝最佳视野范围（X方向）/理论像素值（X方

向）；

●相机分辨率（Y方向）＝最佳视野范围（Y方向）/理论像素值（Y方

向）；

●理论值的得出，要由系统精度及亚像素综合考虑。

2) 系统速度要求与相机成像速度

●系统单次运行速度＝系统成像速度+系统检测速度。

12基于机器视觉的人眼跟踪系统的设计和实现

●异步触发。

●快门速度。

3) 与视觉板卡的匹配

●视频信号的匹配。对于模拟信号相机来说，有两种格式，CCIR/RS170。

通常采集卡都同时支持这两种相机。

●分辨率的匹配。每款板卡都只支持某一分辨率范围内的相机。

●特殊功能的匹配。如要使用相机的特殊功能，先确定所用板卡支持此

功能。

●接口的匹配。确定相机与板卡的接口相匹配。如CAMERALINK，

FIREWIRE1384等。

4) 其他

●动态成像；

●色彩检测；

●超大目标检测；

●数字相机。

系统平台的选择，目前市场上主流的硬件平台主要分为PC式系统和嵌入式系统，在选择时需要考虑以下因素：

1) 系统板卡硬件功能、软件包的功能、系统开发时限。

2) 系统开发的成本。

PC式视觉系统和嵌入式视觉系统的对比，如表2.3。

机器视觉系统的软硬件选择是一个需要综合考虑的问题，需要根据项目目的、成本和实用效果来综合考虑具体选择什么样的软件和硬件。这是机器视觉系统中很重要的一个步骤。

2.3 机器视觉系统的工作原理

机器视觉系统的输出并非图像视频信号。而是经过运算处理之后的检测结果（如面积数据）。通常，机器视觉测试就是用机器代替人眼来测量和判断。首先采用CCD照相机将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号。图像系统对这些信号进行各种运算来抽取目标的特征，如：面积、长度、数量、位置等。最后，根据预设的容许度和其他条件输出结果，如：尺寸、角度、偏移量、个数、合格/不合格、有/无等。上位机（如PC和PLC）实时获得检测结果后，指挥运动系统或I/O系统执行相应的控制动作（如定位和分类）。机器视觉系统基本的流程图如图2.1。

第二章机器视觉系统的概述13表2.3PC式机器视觉系统和嵌入式视觉系统的对比

图2.1机器视觉系统基本的流程图

2.4 本章小结

本章主要介绍了机器视觉系统的概况，机器视觉系统的构成和系统软硬件选择的考虑因素，以及机器视觉系统的基本流程。为本文研究人眼追踪系统的搭建提供了理论依据。

第三章 LabVIEW虚拟仪器和数字图像处理概述

3.1 LabVIEW概念

利用在PC上运行的软件平台，将以往依靠专用仪器完成的测控任务改由软件和模块化硬件集成的平台来实现。这打破了专用台式仪器在行业的垄断，突出了软件的强大功能和优势，而且能够让用户灵活的自定义不同任务要求，从而产生了具有里程碑意义的新一代仪器——虚拟仪器。其中最有影响力和发展前景的虚拟仪器编程语言是1886年美国国家仪器公司——NI公司(National Instruments Corporation)设计的LabVIEW(laboratory virual instrument engineering workbench)和LabWindows/CVI(C for Virtual Instruments)。

软件是虚拟仪器的灵魂，LabVIEW是目前国际上唯一的编译型图形化编程语言，使用“所见即所得”的可视化技术建立人机界面，形象逼真，操作简单。它是用工程人员所熟悉的术语、图形等图形化符号代替常规的文本语言编程（如BASIC、C语言等），具有丰富的和功能强大的函数库，很多函数可直接以子程序的方式进行调用，从底层各种数据采集板的控制子程序到大量的仪器驱动程序；从基本的功能函数到高级分析函数，几乎涵盖了仪器设计中需要的所有函数，同时LabVIEW还支持网络通讯协议(TCP/IP)、动态数据交换(DDE)和网络化多媒体对象技术(ActiveX)等应用软件标准。它广泛地被工业界、学术界和研究实验室所接受，被公认为是标准的数据采集和仪器控制软件。利用LabVIEW，可生成独立可运行的可执行文件，它是一个真正的32位编译器。像许多重要的软件一样，LabVIEW提供Windows、UNIX、Linux、Macintosh的多种版本。

用LabVIEW进行原理研究、设计、测试并实现仪器系统，可以节省大量系统开发时间，即使对于没有文本语言编程基础的非软件工程师，也可以很快学习、掌握并应用LabVIEW来开发虚拟仪器。利用计算机的强大功能和灵活性，工程师和科学家拥有了前所未有的能力来有效地测量、控制、监视、诊断、自动化、测试和描述任何过程。无论工程过程所涉及的行业或领域如何，LabVIEW从设计至验证到生产都提供了解决方案[22-23]。LabVIEW具有以下特点：

1) 采用图形数据流编程。

2) 有专门用于数据采集和仪器控制设计的功能和开发工具库。

3) 拥有大量的调试手段。除了提供常规的程序调试机制，如单步、设置断点以外，还提供了能够更直观、更清晰地观测程序执行流程的调试方法（比如数据流动态显示、错误句柄等），同时，它还提供两种运行状态，即编辑状态和执行

状态，从而将系统的开发与运行环境有机地结合起来。

4) 具有很强的灵活性，虚拟仪器的功能由用户自己定义，这意味着可自由地组合计算机平台、硬件、软件以及各种实现应用系统所需要的附件[24]。

LabWindows/CVl是美国NI公司所提供的另一套优秀的开发产品。它以C语言为核心，将计算机软件设计平台与数据的采集、分析、处理及结果表达等仪器专业工具有机地结合起来，为熟悉C语言的开发人员建立检测系统、测量系统、数据采集系统及过程监控系统等提供了一个理想的软件开发环境。

3.2 视觉开发软件概述

机器视觉系统的核心是数字图像处理，为适应这一需要，NI公司于2003年推出了一种简化机器视觉中的数字图像处理的模块化的视觉开发软件(Vision Development Module)，它是无须编程即可创建、校准并部署一个视觉应用程序，用于自动检测的视觉生成器(Vision Builder for Automated Inspection)。视觉开发模块是可在机器视觉中应用的强大的程序库，可缩短开发周期，节省时间和金钱。

该视觉开发模块是为方便工程师和科研人员在机器视觉和数字成像领域的研发工作而提供的应用软件平台，功能强大，它包括视觉助手(Vision Assistant)和视觉采集(IMAQ Vision)两个子模块。其中，视觉助手是一个交互式的平台，开发者可以很快地用它建立视觉模型，而IMAQ Vision具有强大的图像处理函数库，提供了大量科研和工程中常用的图像采集和处理功能，例如各类边缘检测算法、自动阈值处理、各种形态学算法、滤波器、FFT等。把视觉助手和IMAQ Vision有效地结合起来，更加简化视觉软件开发。视觉助手不但可以自动生成实时的LabVIEW 流程图或LabWindows/CVI，C，Visual C++和Visual Basic程序代码，直接运行生成的代码，还将数据采集、触发、控制、分析评价等多项功能集为一体。充分利用它快速显示、分析、处理的图形界面功能和数值分析、信号处理和设备驱动等功能，就能大大提高工作效率[25]。

在图像处理方面，NI公司提供了IMAQ vision工具包，它含有300多种机器视觉和科学图像处理的函数库，IMAQ Vision软件在LabVIEW中增加了机器视觉和图像处理的功能，它提供了大量的图像预处理、图像分割、图像理解函数库和开发工具，用于完成灰度、彩色以及二值图像的显示图像处理（包括统计、滤波和凡何变换)形状匹配、斑点分析、计算和测量等，用户可以很方便的进行图像采集分析，创建功能强大的嵌入式图像应用系统，与用传统的语言进行图像处理系统的开发相比，大幅度的降低了难度和开发周期[26]。

3.3 数字图像处理概述

自然界中任何物体的颜色都是由物体反射光特性决定的，因此，物体表现的颜色就取决于光源的特征和物体表面的物理、化学特性。人眼的视网膜有感光细胞覆盖，感光细胞分为杆状细胞和锥状细胞，其中锥状细胞提供了在较高的光学亮度下的彩色视觉。锥状细胞将电磁光谱的可见部分分为三个波段：红、绿和蓝，因此这三种颜色被称为人类视觉的三基色。视觉中能够感受到的任何颜色都可由红、绿和蓝作为基色。通过改变各自的数量，混合得出。

为了对颜色进行合理的测定、描述和定量表示，研究人员建立了许多颜色模型，如：RGB颜色模型，R(red)，G(green)，B(blue)分别代表了图像的红、绿和蓝三种颜色分量；HSI颜色模型，H(hue)，S(saturation)，I(intensity)分别代表图像的色度、饱和度和强度三个分量。各种颜色模型各有其特点，RGB模型是面向硬件设备最常用的模型，HSI模型是面向彩色处理最常用的模型，在实际应用中，根据不同的要求选用不同的模型来表征物体的颜色特征。

1) RGB颜色模型

在这种颜色模型下，图像中每个像素有三个灰度值，分别对应于红、绿、蓝三基色。因为自然界中人所能够感受到的色彩均可以用不同值的三基色混合表示，因此用三基色来表示一幅彩色图像，可以真实的反映出人眼观察物体的色彩。该模型将图像中每一像素都映射为三维空间中第一象限的一个点，用一个空间立方体来表示这个模型，如图3.1所示。

蓝 B

白图3.1彩色立方体

2) HSI颜色模型

HSI颜色模型是Munseu提出的一种彩色系统格式，它反映了人们观察彩色的方式，在彩色图像处理中占有重要的地位。其中，H代表色度，表明该颜色最接近什么样的光谱波长；S代表饱和度，表示颜色的浓淡程度；I代表强度，是指人眼所感

机器视觉基础知识详解

机器视觉基础知识详解 随着工业4.0时代的到来，机器视觉在智能制造业领域的作用越来越重要，为了能让更多用户获取机器视觉的相关基础知识，包括机器视觉技术是如何工作的、它为什么是实现流程自动化和质量改进的正确选择等。小编为你准备了这篇机器视觉入门学习资料。 机器视觉是一门学科技术，广泛应用于生产制造检测等工业领域，用来保证产品质量，控制生产流程，感知环境等。机器视觉系统是将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。 机器视觉优势：机器视觉系统具有高效率、高度自动化的特点，可以实现很高的分辨率精度与速度。机器视觉系统与被检测对象无接触，安全可靠。人工检测与机器视觉自动检测的主要区别有：

为了更好地理解机器视觉，下面，我们来介绍在具体应用中的几种案例。 案例一：机器人+视觉自动上下料定位的应用： 现场有两个振动盘，振动盘1作用是把玩偶振动到振动盘2中，振动盘2作用是把玩偶从反面振动为正面。该应用采用了深圳视觉龙公司VD200视觉定位系统，该系统通过判断玩偶正反面，把玩偶处于正面的坐标值通过串口发送给机器人，机器人收到坐标后运动抓取产品，当振动盘中有很多玩偶处于反面时，VD200视觉定位系统需判断反面玩偶数量，当反面玩偶数量过多时，VD200视觉系统发送指令给振动盘2把反面玩偶振成正面。 该定位系统通过玩偶表面的小孔来判断玩偶是否处于正面，计算出玩偶中心点坐标，发送给机器人。通过VD200视觉定位系统实现自动上料，大大减少人工成本，大幅提高生产效率。 案例二：视觉检测在电子元件的应用： 此产品为电子产品的按钮部件，产品来料为料带模式，料带上面为双排产品。通过对每个元器件定位后，使用斑点工具检测产品固定区域的灰度值，来判断此区域有无缺胶情况。 该应用采用了深圳视觉龙公司的DragonVision视觉系统方案，使用两个相机及光源配合机械设备，达到每次检测双面8个产品，每分钟检测大约1500个。当出现产品不良时，立刻报警停机，保证了产品的合格率和设备的正常运行，提高生产效率。

机器视觉系统设计五大难点

机器视觉系统设计五大难点 机器视觉系统的组成 机器视觉系统是指用计算机来实现人的视觉功能，也就是用计算机来实现对客观的三维世界的识别。按现在的理解，人类视觉系统的感受部分是视网膜，它是一个三维采样系统。三维物体的可见部分投影到网膜上，人们按照投影到视网膜上的二维的像来对该物体进行三维理解。所谓三维理解是指对被观察对象的形状、尺寸、离开观察点的距离、质地和运动特征（方向和速度）等的理解。 机器视觉系统的输入装置可以是摄像机、转鼓等，它们都把三维的影像作为输入源，即输入计算机的就是三维管观世界的二维投影。如果把三维客观世界到二维投影像看作是一种正变换的话，则机器视觉系统所要做的是从这种二维投影图像到三维客观世界的逆变换，也就是根据这种二维投影图像去重建三维的客观世界。 机器视觉系统主要由三部分组成：图像的获取、图像的处理和分析、输出或显示。 将近80%的工业视觉系统主要用在检测方面，包括用于提高生产效率、控制生产过程中的产品质量、采集产品数据等。产品的分类和选择也集成于检测功能中。下面通过一个用于生产线上的单摄像机视觉系统，说明系统的组成及功能。 视觉系统检测生产线上的产品，决定产品是否符合质量要求，并根据结果，产生相应的信号输入上位机。图像获取设备包括光源、摄像机等；图像处理设备包括相应的软件和硬件系统；输出设备是与制造过程相连的有关系统，包括过程控制器和报警装置等。数据传输到计算机，进行分析和产品控制，若发现不合格品，则报警器告警，并将其排除出生产线。机器视觉的结果是CAQ系统的质量信息来源，也可以和CIMS其它系统集成。 图像的获取 图像的获取实际上是将被测物体的可视化图像和内在特征转换成能被计算机处理的一系列数据，它主要由三部分组成： ＊照明

机器视觉系统中常用工业相机的种类

机器视觉系统中常用工业相机的分类 根据不同感光芯片划分 我们知道感光芯片是摄像机的核心部件，目前摄像机常用的感光芯片有CCD和CMOS 两种： １．CCD摄像机，CCD称为电荷耦合器件，CCD实际上只是一个把从图像半导体中出 来的电子有组织地储存起来的方法。 称为互补金属氧化物半导体，CMOS实际上只是将晶体管２．CMOS摄像机，CMOS“” 放在硅块上的技术，没有更多的含义。 表示互补金属氧化物半导体，但是不论CCD 表示电荷耦合器件而CMOS“” 尽管CCD“” 对于图像感应都没有用，真正感应的传感器称做图像半导体，CCD和CMOS 或者CMOS“” 传感器实际使用的都是同一种传感器图像半导体，图像半导体是一个P N结合半导体，能 “” 够转换光线的光子爆炸结合处成为成比例数量的电子。电子的数量被计算信号的电压，光线进入图像半导体得越多，电子产生的也越多，从传感器输出的电压也越高。 1 因为人眼能看到Lux照度（满月的夜晚）以下的目标，CCD传感器通常能看到的照度 传感器感光度的到倍，所以目前一般CCD摄像机的图像质范围在Lux，是CMOS310 0.1~3 量要优于CMOS摄像机。CMOS可以将光敏元件、放大器、A/D转换器、存储器、数字 信号处理器和计算机接口控制电路集成在一块硅片上，具有结构简单、处理功能多、速度快、耗电低、成本低等特点。CMOS摄像机存在成像质量差、像敏单元尺寸小、填充率低等问题，年后出现了有源像敏单元结构，不仅有光敏元件和像敏单元的寻址开关，而且还1989“” 有信号放大和处理等电路，提高了光电灵敏度、减小了噪声，扩大了动态范围，使得一些参数与CCD摄像机相近，而在功能、功耗、尺寸和价格方面要优于CCD，逐步得到广泛的应用。CMOS传感器可以做得非常大并有和CCD传感器同样的感光度，因此非常适用于特殊 应用。CMOS传感器不需要复杂的处理过程，直接将图像半导体产生的电子转变成电压信号，因此就非常快，这个优点使得CMOS传感器对于高帧摄像机非常有用，高帧速度能达 到到帧秒。 400100000/ 按输出图像信号格式划分 模拟摄像机 模拟摄像机所输出的信号形式为标准的模拟量视频信号，需要配专用的图像采集卡才能 转化为计算机可以处理的数字信息。模拟摄像机一般用于电视摄像和监控领域，具有通用性好、成本低的特点，但一般分辨率较低、采集速度慢，而且在图像传输中容易受到噪声干扰，导致图像质量下降，所以只能用于对图像质量要求不高的机器视觉系统。常用的摄像机输出信号格式有： 中国电视标准，行，场 PAL（黑白为CCIR），62550

机器视觉系统模块的原理分析及设计

机器视觉系统模块的原理分析及设计 一、概述 视觉技术是近几十年来发展的一门新兴技术。机器视觉可以代替人类的视觉从事检验、目标跟踪、机器人导向等方面的工作，特别是在那些需要重复、迅速的从图象中获取精确信息的场合。尽管在目前硬件和软件技术条件下，机器视觉功能还处于初级水平，但其潜在的应用价值引起了世界各国的高度重视，发达国家如美国、日本、德国、法国等都投入了大量的人力物力进行研究，近年来已经在机器视觉的某些方面获得了突破性的进展，机器视觉在车辆安全技术、自动化技术等应用中也越来越显示出其重要价值。本文根据最新的CMOS 图像采集芯片设计了一种通用的视觉系统模块，经过编制不同的图像处理、模式识别算法程序本模块可以应用到足球机器人，无人车辆等各种场合。 二、设计原理 系统原理框图如图1所示。 系统包含5个主要芯片：图像采集芯片OV7620，高速微处理器SH4，大规模可编程阵列FPGA，和串口通讯控制芯片MAX232。FPGA内部编程设立两个双口RAM，产生图像传感器所需的点频，行场同步等信号，以及控制双口RAM的存储时序。SH4负责对OV7620通过I2C进行配置，读取双口RAM的图像数据，进行处理，并通过串口实现图像资料的上传或控制步进电机等其他设备。 三、图像采集模块 系统模块以CMOS图像传感器OV7620为核心，还包括一个聚光镜头和其他一些辅助

元器件比如27MHZ的晶振，电阻电容等。 COMS图像传感器是近几年发展较快的新型图像传感器，由于采用了相同COMS技术，因此可以将像素阵列与外围支持电路集成在同一块芯片上，是一个完整的图像系统(Camera on Chip)。本系统采用的是Ommnvision公司推出的一块CMOS彩色图像传感器OV7620，分辨率为640x480。它能工作在逐行扫描方式下，也能工作在隔行扫描方式下。它不仅能输出彩色图像，也可用作黑白图像传感器。这块芯片支持的图像输出格式有很多种： 1)YCrCb4:2:2 16 bit/8 bit格式；2)ZV端口输出格式；3)RGB原始数据16 bit/8 bit； 4)CCIR601/CCIR656格式。其功能包括有对比度、亮度、饱和度、白平衡及自动曝光、同步信号位置及极性输出，帧速率和输出格式等都可以通过I2C 总线进行编程配置片内寄存器控制。 聚光镜头选用桑来斯公司生产的DSL103镜头。此镜头体积小，适合嵌入式视觉传感器的应用场合。 四、FPGA接口模块 FPGA采用Xilinx公司的XC2S100，这款芯片内部集成了10000个逻辑门。接口程序采用VHDL(Very High Speed Integrated Circuit Hardware Description Language)书写。为了提高数据的传输速率，在XC2S100 内部分配了2个双口RAM缓冲区，其大小为127KB，每个双口RAM存储1行的图像数据。两组双口RAM进行奇偶行计数器进行切换。当一行存储完毕后，立即向SH4传生一个读取该行数据的中断的申请信号。FPGA内部结构如图2所示。 这里主要问题在于FPGA内部的双口RAM读写操作共用同一数据总线和地址总线，当同时进行读写操作的时候就会产生时序问题导致写入或读出的数据错误。在这两个过程中为了防止数据和地址总线冲突，在FPGA内部设计了一个中央总线仲裁器。根据公共数据传输的先后顺序，中央仲裁器先接受图像传感器的总线请求，当图像存储到RAM之中后，中央仲裁器才响应单片机系统的读信号请求。

嵌入式机器视觉系统设计

嵌入式机器视觉系统设计 熊　超　田小芳　陆起涌 (复旦大学电子工程系　上海　200433) 摘要　机器视觉系统是智能机器人的一个重要标志,也是近年来的一个研究热点,现有研究成果在系统复杂度、价格和性能之间很难达到平衡。针对此问题,设计了一个CM O S摄像头为图像采集设备、DM CU为核心处理器的嵌入式机器视觉系统,并实现了实时双目测距。该系统简单、实时性好。 关键词　嵌入式系统　DM CU　机器视觉　双目测距 The Design of Embedded Machine Vision System Xiong　Chao　Tian Xiaofang　Lu Qiyo ng (E.E.D ep ar tment,F udan U niv er sity,Shanghai200433,China) Abstract　M achine vision is an act ive research area in recent years,which is an import ant symbol of intelligent robot,but t he present research product ion has not f ound a balance among the system complexit y,cost and per-formance.T o solve the problem,a new embedded machine vision system is proposed,which t akes t he CM OS sense as the image acquisit ion unit and DM CU as cent ral processor,and real-time depth measurement is realized. T he system is simple and st able,and has a good perf ormance in real-time operation. Key words　Embedded syst em　DM CU　M achine vision　Binocular dept h measurement 1　引 言 机器视觉系统是智能机器人的一个重要标志,其模拟了人的感知功能,具有探测范围宽、目标信息完整等优势,因此越来越受到人们的关注。其中,机器视觉测量障碍物距离是近年来的研究热点,并取得了一定的效果[1～3]。但这些视觉测距系统往往比较复杂、价格高,或者实时性差。在此设计了一个以CM OS摄像模块为图像采集设备、DM CU为核心处理器的嵌入式机器视觉系统,并实现了双目视觉实时测距。该系统集成度高、功耗低、实时性好,还有丰富的外围接口,可以广泛应用于智能机器人导航、目标定位等领域。 2　嵌入式系统设计 系统采用的摄像模块为台湾原相公司的CM OS 图像传感器PAS109B,工作电压2.4～3.6V,分辨率164×124,像素大小7.25 m×7.25 m,图像帧率最高60fps(frame per second),支持I2C接口。处理器采用台湾俊亿公司提供的DM CU处理器KBD0001B。DM-CU是为了适应现代便携设备发展而出现的一种全新体系结构,整合了DSP高效的运算能力和M CU强大的控制能力。K BD0001B字长16位,内部有RO M 32kW,有两种RA M:XRA M(16kW)和YRA M (8kW),可在一个时钟周期内分别从这两个RA M中得到两个操作数。K BD0001B运算速度最高可达25M IPS,采用了4级流水线结构,每条指令执行时间均为一个时钟周期。K BD0001B提供48个通用I/O接口,支持SPI、I2C、U A RT、PWM,内嵌了LCD控制器。 这里设计的机器视觉系统以K BD0001B为核心处理器,CM OS摄像模块为图像采集设备,大大降低该系统的复杂度。将该系统安装于一个移动小车上,通过双目视觉的方法测量障碍物的距离,实现了小车自主行驶和避障,如图1所示。 嵌入式机器视觉系统框图如图2所示。 为实时地测量障碍物距离,系统利用外极线约束[4]重整图像,这样每次只需分别从两图像传感器中 第26卷第8期增刊 仪　器　仪　表　学　报 2005年8月

机器视觉入门知识详解

机器视觉入门知识详解 随着工业4.0时代的到来，机器视觉在智能制造业领域的作用越来越重要，为了能让更多用户获取机器视觉的相关基础知识，包括机器视觉技术是如何工作的、它为什么是实现流程自动化和质量改进的正确选择等。小编为你准备了这篇机器视觉入门学习资料。 机器视觉是一门学科技术，广泛应用于生产制造检测等工业领域，用来保证产品质量，控制生产流程，感知环境等。机器视觉系统是将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。 机器视觉优势：机器视觉系统具有高效率、高度自动化的特点，可以实现很高的分辨率精度与速度。机器视觉系统与被检测对象无接触，安全可靠。人工检测与机器视觉自动检测的主要区别有：

为了更好地理解机器视觉，下面，我们来介绍在具体应用中的几种案例。 啤酒厂采用的填充液位检测系统为例来进行说明： 当每个啤酒瓶移动经过检测传感器时，检测传感器将会触发视觉系统发出频闪光，拍下啤酒瓶的照片。采集到啤酒瓶的图像并将图像保存到内存后，视觉软件将会处理或分析该图像，并根据啤酒瓶的实际填充液位发出通过-未通过响应。如果视觉系统检测到一个啤酒瓶未填充到位，即未通过检测，视觉系统将会向转向器发出信号，将该啤酒瓶从生产线上剔除。操作员可以在显示屏上查看被剔除的啤酒 瓶和持续的流程统计数据。

机器人视觉引导玩偶定位应用： 现场有两个振动盘，振动盘1作用是把玩偶振动到振动盘2中，振动盘2作用是把玩偶从反面振动为正面。该应用采用了深圳视觉龙公司VD200视觉定位系统，该系统通过判断玩偶正反面，把玩偶处于正面的坐标值通过串口发送给机器人，机器人收到坐标后运动抓取产品，当振动盘中有很多玩偶处于反面时，VD200视觉定位系统需判断反面玩偶数量，当反面玩偶数量过多时，VD200视觉系统发送指令给振动盘2把反面玩偶振成正面。 该定位系统通过玩偶表面的小孔来判断玩偶是否处于正面，计算出玩偶中心点坐标，发送给机器人。通过VD200视觉定位系统实现自动上料，大大减少人工成本，大幅提高生产效率。 视觉检测在电子元件的应用：

机器视觉系统的5个主要组成结构介绍

机器视觉系统的５个主要组成结构介绍 从机器视觉系统字面意思就可看出主要分为三部分：机器、视觉和系统。机器负责机械的运动和控制；视觉通过照明光源、工业镜头、工业相机、图像采集卡等来实现；系统主要是指软件，也可理解为整套的机器视觉设备。下面我们重点说下机器视觉系统中的五大模块： 1.机器视觉光源（即照明光源） 照明光源作为机器视觉系统输入的重要部件，它的好坏直接影响输入数据的质量和应用效果。由于没有通用的机器视觉照明设备，所以针对每个特定的应用实例，要选择相应的视觉光源，以达到最佳效果。常见的光源有：LED环形光源、低角度光源、背光源、条形光源、同轴光源、冷光源、点光源、线型光源和平行光源等。 2.工业镜头 镜头在机器视觉系统中主要负责光束调制，并完成信号传递。镜头类型包括：标准、远心、广角、近摄和远摄等，选择依据一般是根据相机接口、拍摄物距、拍摄范围、CCD尺寸、畸变允许范围、放大率、焦距和光圈等。 3.工业相机 工业相机在机器视觉系统中最本质功能就是将光信号转变为电信号，与普通相机相比，它具有更高的传输力、抗干扰力以及稳定的成像能力。按照不同标准可有多种分类：按输出信号方式，可分为模拟工业相机和数字工业相机；按芯片类型不同，可分CCD工业相机和CMOS工业相机，这种分类方式最为常见。 4.图像采集卡 图像采集卡虽然只是完整机器视觉系统的一个部件，但它同样非常重要，直接决定了摄像头的接口：黑白、彩色、模拟、数字等。比较典型的有PCI采集卡、1394采集卡、VGA 采集卡和GigE千兆网采集卡。这些采集卡中有的内置多路开关，可以连接多个摄像机，同时抓拍多路信息。 5.机器视觉软件

机器视觉检测系统的最经典结构

机器视觉检测系统的最经典结构一个典型的机器视觉系统主要包括五大块，分别是照明、镜头、相机、图像采集和视觉处理器。 下面，我们就来认识一下这五个结构的用途、特点与工作情况。 照明是影响机器视觉系统输入的重要因素，它直接影响输入数据的质量和应用效果。 照明系统可以将被测物特征最大化，并减少相应的背景中对比物的影响，使高速相机可以清晰地“看见”被测物。 高对比的图像可以降低系统难度并提高系统的稳定性；反之，低对比的图像会增加系统的处理时间并使加大系统的复杂度。 机器视觉应用的成功很大一部分取决于照明设置，一个合适的照明系统可以使整个视觉检测系统更具有效率和准确性。 由于没有通用的机器视觉照明设备，所以针对每个特定的应用实例，要选择相应的照明装置，以达到最佳效果。

光源可分为可见光和不可见光。常用的几种可见光源是白炽灯、日光灯、水银灯和钠 光灯。 可见光的缺点是光能不能保持稳定。如何使光能在一定的程度上保持稳定，是实用化过程中急需要解决的问题。 另一方面，环境光有可能影响图像的质量，所以可采用加防护屏的方法来减少环境光的影响。

照明系统按其照射方法可分为：背向照明、前向照明、结构光和频闪光照明等。 其中，背向照明是被测物放在光源和摄像机之间，它的优点是能获得高对比度的图像。 前向照明是光源和摄像机位于被测物的同侧，这种方式便于安装。 结构光照明是将光栅或线光源等投射到被测物上，根据它们产生的畸变，解调出被测物的三维信息。 频闪光照明是将高频率的光脉冲照射到物体上，摄像机拍摄要求与光源同步。 机器视觉照明要点有使用强光检测缺失的材料、使用合适的波长进行精确定位、使用非散射照明检测玻璃裂缝、使用扩散光检查透明包装、使用颜色来创建对比度等。 相机镜头由多个透镜、可变（亮度）光圈和对焦环组成。使用时由操作者观察相机显示屏来调整可变光圈和焦点，以确保图像的明亮程度及清晰度。 在选择镜头时需要考虑多个方面的因素如焦距、目标高度、影像高度、放大倍数、影像至目标的距离等。 在实际应用中“选择与视场相符的透镜”及“以大景深聚焦图像”是选择镜头时非常重要的两个方面。 机器视觉相机的目的是将通过镜头投影到传感器的图像传送到能够储存、分析和（或者）显示的机器设备上。

机器视觉系统设计五大难点【详解】

机器视觉系统设计五大难点 内容来源网络，由“深圳机械展（11万㎡，1100多家展商，超10万观众）”收集整理！ 更多cnc加工中心、车铣磨钻床、线切割、数控刀具工具、工业机器人、非标自动化、数字化无人工厂、精密测量、数控系统、3D打印、激光切割、钣金冲压折弯、精密零件加工等展示，就在深圳机械展. 机器视觉系统的组成 机器视觉系统是指用计算机来实现人的视觉功能，也就是用计算机来实现对客观的三维世界的识别。按现在的理解，人类视觉系统的感受部分是视网膜，它是一个三维采样系统。三维物体的可见部分投影到网膜上，人们按照投影到视网膜上的二维的像来对该物体进行三维理解。所谓三维理解是指对被观察对象的形状、尺寸、离开观察点的距离、质地和运动特征（方向和速度）等的理解。 机器视觉系统的输入装置可以是摄像机、转鼓等，它们都把三维的影像作为输入源，即输入计算机的就是三维管观世界的二维投影。如果把三维客观世界到二维投影像看作是一种正变换的话，则机器视觉系统所要做的是从这种二维投影图像到三维客观世界的逆变换，也就是根据这种二维投影图像去重建三维的客观世界。 机器视觉系统主要由三部分组成：图像的获取、图像的处理和分析、输出或显示。 近80%的工业视觉系统主要用在检测方面，包括用于提高生产效率、控制生产过程中的产品质量、采集产品数据等。产品的分类和选择也集成于检测功能中。下面通过一个用于生产线上的单摄像机视觉系统，说明系统的组成及功能。 视觉系统检测生产线上的产品，决定产品是否符合质量要求，并根据结果，产生相应的信号输入上位机。图像获取设备包括光源、摄像机等；图像处理设备包括相应的

软件和硬件系统；输出设备是与制造过程相连的有关系统，包括过程控制器和报警装置等。数据传输到计算机，进行分析和产品控制，若发现不合格品，则报警器告警，并将其排除出生产线。机器视觉的结果是CAQ系统的质量信息来源，也可以和CIMS 其它系统集成。 图像的获取 图像的获取实际上是将被测物体的可视化图像和内在特征转换成能被计算机处理的一系列数据，它主要由三部分组成： ＊照明 ＊图像聚焦形成 ＊图像确定和形成摄像机输出信号 1、照明 照明和影响机器视觉系统输入的重要因素，因为它直接影响输入数据的质量和至少30%的应用效果。由于没有通用的机器视觉照明设备，所以针对每个特定的应用实例，要选择相应的照明装置，以达到最佳效果。 过去，许多工业用的机器视觉系统用可见光作为光源，这主要是因为可见光容易获得，价格低，并且便于操作。常用的几种可见光源是白帜灯、日光灯、水银灯和钠光灯。但是，这些光源的一个最大缺点是光能不能保持稳定。以日光灯为例，在使用的第一个100小时内，光能将下降15%，随着使用时间的增加，光能将不断下降。因此，如何使光能在一定的程度上保持稳定，是实用化过程中急需要解决的问题。 另一个方面，环境光将改变这些光源照射到物体上的总光能，使输出的图像数据存在噪声，一般采用加防护屏的方法，减少环境光的影响。

解读机器视觉系统解析及优缺点

解读机器视觉系统解析及优缺点 在现代工业自动化生产中，涉及到各种各样的检验、生产监视及零件识别应用，例如零配件批量加工的尺寸检查，自动装配的完整性检查，电子装配线的元件自动定位，IC上的字符识别等。通常人眼无法连续、稳定地完成这些带有高度重复性和智能性的工作，其它物理量传感器也难有用武之地。 由此人们开始考虑利用光电成像系统采集被控目标的图像，而后经计算机或专用的图像处理模块进行数字化处理，根据图像的像素分布、亮度和颜色等信息，来进行尺寸、形状、颜色等的判别。这样，就把计算机的快速性、可重复性，与人眼视觉的高度智能化和抽象能力相结合，由此产生了机器视觉的概念。 一个成功的机器视觉系统是一个经过细致工程处理来满足一系列明确要求的系统。当这些要求完全确定后，这个系统就设计并建立来满足这些精确的要求。 机器视觉的优点包括以下几点： ■精度高 作为一个精确的测量仪器，设计优秀的视觉系统能够对一千个或更多部件的一个进行空间测量。因为此种测量不需要接触，所以对脆弱部件没有磨损和危险。 ■连续性 视觉系统可以使人们免受疲劳之苦。因为没有人工操作者，也就没有了人为造成的操作变化。多个系统可以设定单独运行。 ■成本效率高 随着计算机处理器价格的急剧下降，机器视觉系统成本效率也变得越来越高。一个价值10000美元的视觉系统可以轻松取代三个人工探测者，而每个探测者每年需要20000美元的工资。另外，视觉系统的操作和维持费用非常低。 ■灵活性 视觉系统能够进行各种不同的测量。当应用变化以后，只需软件做相应变化或者升级以适应新的需求即可。 许多应用满意过程控制（SPC）的公司正在考虑应用机器视觉系统来传递持续的、协调的和精确的测量SPC命令。在SPC中，制造参数是被持续监控的。整个过程的控制就是要保证这些参数在一定的范围内。这使制造者在生产过程失去控制或出现坏部件时能够调节过程参数。 机器视觉系统比光学或机器传感器有更好的可适应性。它们使自动机器具有了多样性、灵活性和可重组性。当需要改变生产过程时，对机器视觉来说“工具更换”仅仅是软件的变换而不是更换昂贵的硬件。当生产线重组后，视觉系统往往可以重复使用 机器视觉系统的构成 机器视觉技术用计算机来分析一个图像，并根据分析得出结论。现今机器视觉有两种应用。机器视觉系统可以探测部件，在此光学器件允许处理器更精确的观察目标并对哪些部件可以通过哪些需要废弃做出有效的决定；机器视觉也可以用来创造一个部件，即运用复杂光学器件和软件相结合直接指导制造过程。 尽管机器视觉应用各异，但都包括以下几个过程；

机器视觉检测台自动控制系统设计毕业设计

毕业设计题目：机器视觉检测台自动控制系统设计 姓名： 学号： 学院：机电学院 专业：机械工程及自动化 指导教师： 协助指导教师： 201 年月日

摘要 为了提高机器视觉检测系统中摄像头的定位精度和实现摄像头的全自动调节，本文结合实际工业生产需求详细叙述了怎样进行机械机构设计、硬件选型与硬件接线以及精度计算设计等工作。其中硬件设计包含怎么选择合适的控制器、控制工艺、驱动设备、上位监控软件及网络通信方式等机器视觉检测台自动控制系统中的重要组成部分；精度计算设计主是指通过计算步进电机步距角与其高速脉冲频率的关系来实现摄像头移动位置的精确定位。 关键词：自动检测系统、PLC、步进电机

Abstract Precision detection technology as the key to promoting industrial development and the efficiency of detection to some extent reflects the development of the manufacturing sector; for machine vision inspection system has the advantage of high precision, on-line, real-time, non-contact, etc., with industrial production field of automation requirements continue to increase, machine vision inspection applications in various fields more widely, such as assembly line parts recognition positioning, size and location of the measurement of mechanical components, parts flaw detection, mechanical parts assembly Appearance inspection and product testing completely. In order to improve the positioning accuracy of the machine vision inspection system in the camera and the camera's automatic adjustment realization, this paper actual industrial production requirements described in detail how mechanical structure design, hardware selection and the hardware wiring and accuracy of the calculation and design work. The hardware design includes how to choose the right controller to control the process, drives, PC and network monitoring software, communications and other machine vision inspection station automatic control system, an important part; precision computing design of the main means by calculating the stepper motor step Relationship angle from its high-speed pulse frequency to achieve precise positioning camera movement position. Keywords: Automatically Detecting System, PLC, Stepper Motor.

机器视觉系统设计的五大难点

上海嘉肯光电科技有限公司:机器视觉光源的研发https://www.sodocs.net/doc/ae7355521.html, 机器视觉系统设计的五大难点 第一：打光的稳定性 工业视觉应用一般分成四大类：定位、测量、检测和识别，其中测量对光照的稳定性要求最高，因为光照只要发生10-20%的变化，测量结果将可能偏差出1-2个像素，这不是软件的问题，这是光照变化，导致了图像上边缘位置发生了变化，即使再厉害的软件也解决不了问题，必须从系统设计的角度，排除环境光的干扰，同时要保证主动照明光源的发光稳定性。 第二：工件位置的不一致性 一般做测量的项目，无论是离线检测，还是在线检测，只要是全自动化的检测设备，首先做的第一步工作都是要能找到待测目标物。每次待测目标物出现在拍摄视场中时，要能精确知道待测目标物在哪里，即使你使用一些机械夹具等，也不能特别高精度保证待测目标物每次都出现在同一位置的，这就需要用到定位功能，如果定位不准确，可能测量工具出现的位置就不准确，测量结果有时会有较大偏差。 第三：标定 一般在高精度测量时需要做以下几个标定，一光学畸变标定（如果您不是用的软件镜头，一般都必须标定），二投影畸变的标定，也就是因为您安装位置误差代表的图像畸变校正，三物像空间的标定，也就是具体算出每个像素对应物空间的尺寸。

上海嘉肯光电科技有限公司:机器视觉光源的研发https://www.sodocs.net/doc/ae7355521.html, 第四：物体的运动速度 如果被测量的物体不是静止的，而是在运动状态，那么一定要考虑运动模糊对图像精度（模糊像素=物体运动速度*相机曝光时间），这也不是软件能够解决的。 第五：软件的测量精度 在测量应用中软件的精度只能按照1/2—1/4个像素考虑，最好按照1/2，而不能向定位应用一样达到1/10-1/30个像素精度，因为测量应用中软件能够从图像上提取的特征点非常少。 上海嘉肯光电科技有限公司是一家专业从事机器视觉光源的研发、生产和销售为一体的高新技术企业。以工业检测、机器视觉、图像处理、科学研究等领域为主要研发及经营方向。此外，公司还代理工业镜头、工业相机、图像采集卡、图像处理软件和各类视觉附件。??上海嘉肯光电科技有限公司?将坚持“用心，创造未来”的企业经营理念，并持续不断地把最优秀、性价比最高的视觉产品提供给广大用户，以不断满足客户日益增长的要求。

机器视觉基础知识详解

机器视觉基础知识详解 随着工业4、0时代的到来,机器视觉在智能制造业领域的作用越来越重要,为了能让更多用户获取机器视觉的相关基础知识,包括机器视觉技术就是如何工作的、它为什么就是实现流程自动化与质量改进的正确选择等。小编为您准备了这篇机器视觉入门学习资料。 机器视觉就是一门学科技术,广泛应用于生产制造检测等工业领域,用来保证产品质量,控制生产流程,感知环境等。机器视觉系统就是将被摄取目标转换成图像信号,传送给专用的图像处理系统,根据像素分布与亮度、颜色等信息,转变成数字化信号;图像系统对这些信号进行各种运算来抽取目标的特征,进而根据判别的结果来控制现场的设备动作。 机器视觉优势:机器视觉系统具有高效率、高度自动化的特点,可以实现很高的分辨率精度与速度。机器视觉系统与被检测对象无接触,安全可靠。人工检测与机器视觉自动检测的主要区别有: 为了更好地理解机器视觉,下面,我们来介绍在具体应用中的几种案例。 案例一:机器人+视觉自动上下料定位的应用:

现场有两个振动盘,振动盘1作用就是把玩偶振动到振动盘2中,振动盘2作用就是把玩偶从反面振动为正面。该应用采用了深圳视觉龙公司VD200视觉定位系统,该系统通过判断玩偶正反面,把玩偶处于正面的坐标值通过串口发送给机器人,机器人收到坐标后运动抓取产品,当振动盘中有很多玩偶处于反面时,VD200视觉定位系统需判断反面玩偶数量,当反面玩偶数量过多时,VD200视觉系统发送指令给振动盘2把反面玩偶振成正面。 该定位系统通过玩偶表面的小孔来判断玩偶就是否处于正面,计算出玩偶中心点坐标,发送给机器人。通过VD200视觉定位系统实现自动上料,大大减少人工成本,大幅提高生产效率。 案例二:视觉检测在电子元件的应用: 此产品为电子产品的按钮部件,产品来料为料带模式,料带上面为双排产品。通过对每个元器件定位后,使用斑点工具检测产品固定区域的灰度值,来判断此区域有无缺胶情况。 该应用采用了深圳视觉龙公司的DragonVision视觉系统方案,使用两个相机及光源配合机械设备,达到每次检测双面8个产品,每分钟检测大约1500个。当出现产品不良时,立刻报警停机,保证了产品的合格率与设备的正常运行,提高生产效率。 案例三:啤酒厂采用的填充液位检测系统案例:

机器视觉基础知识详解

机器视觉基础知识详解 随着工业 4.0时代的到来，机器视觉在智能制造业领域的作用越来越重要，为了能让 更多用户获取机器视觉的相关基础知识， 包括机器视觉技术是如何工作的、 它为什么是实现 流程自动化和质量改进的正确选择等。小编为你准备了这篇机器视觉入门学习资料。 机器视觉是一门学科技术，广泛应用于生产制造检测等工业领域，用来保证产品质量， 控制生产流程，感知环境等。机器视觉系统是将被摄取目标转换成图像信号, 传送给专用的 I 图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信 号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。 光源 机器视觉优势：机器视觉系统具有高效率、 高度自动化的特点， 可以实现很高的分辨率精度 与速度。机器视觉系统与被检测对象无接触， 安全可靠。人工检测与机器视觉自动检测的主 要区别有: C C D 相机 高題 T 作时闻 工仙『可肖限 不易信息■棗成 人;」和倉理或本不斬上升 不适合齡和措辭境 V 工件 可靠性

为了更好地理解机器视觉，下面，我们来介绍在具体应用中的几种案例。 案例一：机器人+ 视觉 自动上下料定位的应用: 从反面振动为正面。该应用采用了深圳视觉龙公司 VD200视觉定位系统，该系统通过判断玩 偶正反面，把玩偶处于正面的坐标值通过串口发送给机器人， 机器人收到坐标后运动抓取产 品，当振动盘中有很多玩偶处于反面时， VD200视觉定位系统需判断反面玩偶数量，当反面 玩偶数量过多时，VD200视觉系统发送指令给振动盘 该定位系统通过玩偶表面的小孔来判断玩偶是否处于正面， 计算出玩偶中心点坐标，发 送给机器人。通过VD200视觉定位系统实现自动上料， 大大减少人工成本， 大幅提高生产效 率。 案例二：视觉检测在电子元件的应用: 此产品为电子产品的按钮部件，产品来料为料带模式，料带上面为双排产品。通过对 每个元器件定位后，使用斑点工具检测产品固定区域的灰度值， 来判断此区域有无缺胶情况。 该应用采用了深圳视觉龙公司的 Drag on Visi on 视觉系统方案，使用两个相机及光源配 合机械设备，达到每次检测双面 8个产品，每分钟检测大约 1500个。当出现产品不良时, 立刻报警停机，保证了产品的合格率和设备的正常运行，提高生产效率。 2把反面玩偶振成正面。 SB 3^ I i- I" 现场有两个振动盘，振动盘1作用是把玩偶振动到振动盘 2中，振动盘2作用是把玩偶

机器视觉系统设计五大难点【详解】

机器视觉系统设计五大难点【详 解】 机器视觉系统设计五大难点 内容来源网络，由“深圳机械展（11万m2, 1100 多家展商，超10万观众）”收集整理！ 更多cnc加工中心、车铣磨钻床、线切割、数控刀具工具、工业机器人、非标自动化、数字化无人工厂、精密测量、数控系统、3D打印、激光 切割、钣金冲压折弯、精密零件加工等展示，就在深圳机械展. 机器视觉系统的组成 机器视觉系统是指用计算机来实现人的 视觉功能，也就是用计算机来实现对客观的三维世界的识别。按现在的理解，人类视觉系统的感受部

分是视网膜，它是一个三维采样系统。三维物体的可见部分投影到网膜上，人们按照投影到视网膜上的二维的像来对该物体进行三维理解。所谓三维理解是指对被观察对象的形状、尺寸、离开观察点的距离、质地和运动特征（方向和速度）等的理解。 机器视觉系统的输入装置可以是摄像机、转鼓等，它们都把三维的影像作为输入源，即输入计算机的就是三维管观世界的二维投影。如果把三维客观世界到二维投影像看作是一种正变换的话，则机器视觉系统所要做的是从这种二维投影图像到三维客观世界的逆变换，也就是根据这种二维投影图像去重建三维的客观世界。 机器视觉系统主要由三部分组成：图像的获取、图像的处理和分析、输出或显示。 近80%的工业视觉系统主要用在检测方面，包括

用于提高生产效率、控制生产过程中的产品质量、采集产品数据等。产品的分类和选择也集成于检测功能中。下面通过一个用于生产线上的单摄像机视觉系统，说明系统的组成及功能。 视觉系统检测生产线上的产品，决定产品是否符合质量要求，并根据结果，产生相应的信号输入上位机。图像获取设备包括光源、摄像机等；图像处理设备包括相应的软件和硬件系统；输出设备是与制造过程相连的有关系统，包括过程控制器和报警装置等。数据传输到计算机，进行分析和产品控制，若发现不合格品，则报警器告警，并将其排除出生产线。机器视觉的结果是CAQ系统的质量信息来源，也可以和CIMS其它系统集成。 图像的获取

基于LabVIEW的机器视觉实验系统开发

基于LabVIEW的机器视觉实验系统开发 针对精密测控技术与仪器实验室的虚拟仪器实践平台，对其嵌入式测控系统的图像处理功能进行再开发。为虚拟仪器课程设计提供技术支持，开发一套集表现性、可欣赏性、实用性和应用性与一体的视觉平台。针对以上要求，本平台以电子芯片表面为处理对像，以图像处理的手段实现不同芯片的识别功能，平台的实现具体应包括以下几个部分： 1)硬件平台搭建，包括摄像头、CCD、图像采集卡等。 2)软件平台搭建，包括： a)图像处理程序，包括视觉系统基本功能模块的搭建； b)平台交互界面，在Labview环境下调用所采集图像与图像处理的功 能模块，完成对图像的处理等功能。 1系统介绍 图1 机器视觉实验平台流程 该系统主要由图像获取和图像处理平台组成，系统流程如图1所示。 1.1硬件平台的搭建 硬件部分主要包括成像CCD及摄像头、图像采集卡、数据传输线和计算机

等，其实物如图2所示。 图2 机器视觉系统硬件 1.1.1 相机（成像CCD 和摄像头）的选择 本系统是一个视觉系统的演示平台，以电子芯片表面为处理对象，为了应用在更多其它对象上，所以假定视觉范围为100×100mm2，对于芯片表面的字符要求能检测出0.2mm 大小的线条或瑕疵。 根据以上条件，可以将0.2mm 假定为理论像素值。也就是说，只要像素值能达到0.2mm ，就可以满足测量精度方面要求。根据上面计算相机X 方向或Y 方向的分辨率公式为： 100（X/Y 方向视野范围）÷0.2（X/Y 方向理论像素值）=200（X/Y 方向分辨率） 可知，只要相机的分辨率高于200×200，就是适合此系统的相机。通过调查市场现有相机参数，同时考虑到成本，本系统的相机CCD 采用奥尼克斯的MBC-5050，其主要参数为： 成像器件：1/3英寸CCD 信号系统：CCIR 黑白制式 CCD 摄像头 PXI-1409图像采集卡 数据传输线

解析机器视觉系统设计的五大难点

解析机器视觉系统设计的五大难点 文章出处：David 发布时间：2014/08/20 | 498 次阅读 每天新产品时刻新体验一站式电子数码采购中心专业PCB打样工厂，24小时加急出货工业视觉应用一般分成四大类：定位、测量、检测和识别，其中测量对光照的稳定性要求最高。 机器视觉系统的组成 机器视觉系统是指用计算机来实现人的视觉功能，也就是用计算机来实现对客观的三维世界的识别。按现在的理解，人类视觉系统的感受部分是视网膜，它是一个三维采样系统。三维物体的可见部分投影到网膜上，人们按照投影到视网膜上的二维的像来对该物体进行三维理解。所谓三维理解是指对被观察对象的形状、尺寸、离开观察点的距离、质地和运动特征（方向和速度）等的理解。 机器视觉系统的输入装置可以是摄像机、转鼓等，它们都把三维的影像作为输入源，即输入计算机的就是三维管观世界的二维投影。如果把三维客观世界到二维投影像看作是一种正变换的话，则机器视觉系统所要做的是从这种二维投影图像到三维客观世界的逆变换，也就是根据这种二维投影图像去重建三维的客观世界。 机器视觉系统主要由三部分组成：图像的获取、图像的处理和分析、输出或显示。 将近80%的工业视觉系统主要用在检测方面，包括用于提高生产效率、控制生产过程中的产品质量、采集产品数据等。产品的分类和选择也集成于检测功能中。下面通过一个用于生产线上的单摄像机视觉系统，说明系统的组成及功能。 视觉系统检测生产线上的产品，决定产品是否符合质量要求，并根据结果，产生相应的信号输入上位机。图像获取设备包括光源、摄像机等；图像处理设备包括相应的软件和硬件系统；输出设备是与制造过程相连的有关系统，包括过程控制器和报警装置等。数据传输到计算机，进行分析和产品控制，若发现不合格品，则报警器告警，并将其排除出生产线。机器视觉的结果是CAQ系统的质量信息来源，也可以和CIMS其它系统集成。 图像的获取 图像的获取实际上是将被测物体的可视化图像和内在特征转换成能被计算机处理的一系列数据，它主要由三部分组成： * 照明 * 图像聚焦形成 * 图像确定和形成摄像机输出信号