搜档网
当前位置:搜档网 › 机器人视觉伺服研究综述

机器人视觉伺服研究综述

机器人视觉伺服研究综述
机器人视觉伺服研究综述

第3卷第2期2008年4月

智能系统学报

CAAITransactionsonIntelligentSystems

V01.3№.2

Apr.2008

机器人视觉伺服研究综述

方勇纯

(南开大学信息技术科学学院,天津300071)

摘要:首先对于3种机器人视觉伺服策略,即基于位置的视觉伺服、基于图像的视觉伺服以及2.5维视觉伺服进行了讨论.然后,对于视觉伺服的研究方向和面l临的主要问题,如机器人位姿提取、视觉伺服系统的不确定性研究、图像空问的路径规划、智能视觉伺服等进行了分析和讨论.在此基础【:,对于机器人视觉伺服领域的未来研究重点,包括如何使参考点位于视场之内,高速伺服策略以及鲁棒视觉伺服技术进行了分析和展望.

关键词:机器人;视觉伺服;轨迹规划;鲁棒性

中图分类号:TP24文献标识码:A文章编号:1673—4785(2008)02-0109—06

Asurveyofrobotvisualservoing

FANGYong-chun

(CollegeofInformationTechnicalScience,NankaiUniversity,Tianjin300071.China)

Abstract:Inthissurveyofvisualservoinginroboticsthreevisualservoingstrategiesarediscussed:posi—tion-basedvisualservoing,image-basedvisualservoing,and2.5Dvisualservoing.Themainresearchdi—rectionsandsomechallengingproblemsinthevisualservoingfieldarediscussed,includingtheextractionofposition/poseinformationfromimages,uncertaintiesinvisualservoingsystems,pathplanninginanim—agespace,andintelligentvisualseroving.Additionally,possiblefutureresearchareasareanalyzed.Ex-amplesarethechallengeofkeepingreferencepointswithincameraimages,fastservoingstrategies,androbustvisualservoingtechnologies.

Keywords:robot;visualservoing;。pathplanning;robustness

为了使机器人能够在不确定动态环境下工作,必须提高它的学习能力与智能化水平,使其在恶劣或者危险环境下完成自身定位、地图构建、自主搜索等任务.为此,必须为机器人本体装配各种传感器,使它们能够获取关于外部环境的有关信息.

视觉传感器由于具有成本低、信息丰富、算法简单、可靠性高等优点而被广泛应用于机器人控制系统,因此基于视觉的机器人控制——视觉伺服逐渐发展成为机器人领域最活跃的研究方向之一.所谓机器人视觉伺服,就是采用视觉传感器来间接检测机器人当前位姿或者其关于目标体的相对位姿,在此基础上,实现机器人的定位控制或者轨迹跟

收稿日期:2007—09—20.

基金项目:围家自然科学基金资助项目(60574027);天津市应用基础研究计划资助项目(071CYBj0)5400);教育部额世纪优秀

人才支持计划资助项日(NCET-06—0210).

通讯作者:方勇纯.E—mail:yfang@robot.nankai.edu.ell踪[1-2|.这是一个集计算机、机器视觉、自动控制、机器人、实时系统分析等领域于一体的新兴交叉学科[3。4].近年来,随着图像处理、模式识别等领域的快速发展,图像中蕴含的信息被更多地挖掘出来并得以应用,视觉伺服的精度和可靠性也日益提高,因此增强了机器人对周同环境的学习能力,使其能够根据对环境的了解来进行智能决策,并完成指定的任务.

机器人视觉伺服策略

根据反馈信息类型的差别,机器人视觉伺服一般分为基于位置的视觉伺服(i维视觉伺服)和基于图像的视觉伺服(二维视觉伺服)2种[5].由于这2种伺服方法各自存在不同的缺陷,后来又提出了将两者相结合的2.5维视觉伺服方法.

1.1基于位置的视觉伺服

基于位置的视觉伺服基本结构如图l所示,它

 万方数据

智能系统学报第3卷

利用摄像机的参数来建立图像信号与机器人的位置/姿态信息之间的映射,然后在伺服过程中,借助于图像信号来提取机器人的位置/姿态信息,并将它们与给定位姿进行比较,形成闭环反馈控制[6].显然,这种方法成功与否很大程度上取决于能否从图像信号中准确提取机器人的位置/姿态信息,而这又决定于摄像机参数的准确性以及图像信号中噪声的大小.此外,对于这种方法而言,由于图像信号独立于控制环节之外,因此在伺服过程中,无法保证机器人或者参考物体始终位于摄像机的视野之内[7].箜h蠼俐鉴黔哑峭

位姿l逆映射l信号l理环肖I’

劂I几何知识l

图I基于位置的视觉伺服基本结构

Fig.1

Schemeofposition-basedvisualservoing1.2基于图像的视觉伺服

与三维视觉伺服不同,基于图像的视觉伺服将实时测量得到的图像信号与给定图像信号直接进行在线比较,然后利用所获得的图像误差进行反馈来形成闭环控制r8。10|.基于图像的视觉伺服系统的结构如图2所示.

图2基于图像的视觉伺服基本结构

Fig.2Schemeofimage-basedvisualservoing

基于图像的视觉伺服系统,伺服律通常选择为

T—t,}(s—s’).

式中:T是控制量,J,是当前位姿的图像雅可比矩阵,而J产则是它的伪逆矩阵,s和s’则分别表示当前图像坐标和目标图像坐标.由于图像雅可比矩阵上中包含有未知的深度信息,因此无法得到‘,,及其伪逆矩阵.为此,一般通过深度估计等方法来求解图像雅可比矩阵[1¨,或者直接利用目标位姿的图像雅可比矩阵来近似代替时变矩阵‘,;,在这种近似处理下,上述方法只有在初始位姿位于目标位姿附近时,才能完成伺服任务.

基于图像的视觉伺服对于摄像机模型的偏差具有较强的鲁棒性,通常也能较好地保证机器人或者

参考物体位于摄像机的视野之内,但是在设计视觉伺服控制器时,这种方法又不可避免地遇到了图像雅可比矩阵J,的奇异性以及局部极小等问题[7].1.32.5维视觉伺服策略

考虑到以上2种视觉伺服方法的局限性,法国机器人视觉控制专家F.Chaumette等人提出了2.5维视觉伺服[12],其基本结构如图3所示.这种方法能成功地将图像信号与根据图像所提取的位置/姿态信号进行有机结合,并利用它们产生一种综合的误差信号进行反馈:

e—f-efT气T]T.

式中:e,表示平移误差,它主要根据图像信号,并结合单应矩阵日分解得到的深度比来定义:

e。一Eu—U’口一口+log(r)]T.

式中:(“,u)和(“+,可‘)分别表示当前图像和目标图像坐标,而r则是当前深度和目标深度之间的比值.转动误差气定义为

气一p0.

式中:p表示单位转轴,而曰则是与之相对应的转角,两者都可以通过H分解后得到的旋转矩阵计算出来.上述误差定义方法使平移控制基本上在二维图像坐标下完成,而姿态控制则需要利用三维信息来实现,因此这是一种将二维信息与i维信息有机结合的混合伺服方法,通常将其称为2.5维视觉伺服.日本机器人专家Deguchi也提出了类似的分解与伺服方法,不同的是,Deguehi分别采用三维信息和二维图像信息来实现平移和姿态控制[13|.簋H鋈辫颦删到粼l—雄图像信引

当前图像处

理环节

图32.5维视觉伺服基本结构

Fig.3

Schemeof2.5Dvisualservoing

2.5维视觉伺服可以在一定程度上解决以上提到的鲁棒性、奇异性、局部极小等问题,因此它是非常富有前景的一种视觉伺服策略.遗憾的是,这种方法仍然无法确保在伺服过程中参考物体始终位于摄像机的视野之内,另外,在分解单应矩阵时,有时存在解不惟一的问题.

2视觉伺服领域的主要研究方向尽管近年来,视觉伺服得到了机器人以及自动控制领域专家的广泛关注,并在伺服策略和视觉伺服实际应用方面取得了较大的发展,但是现有的机

 万方数据

第2期方勇纯:机器人视觉伺服研究综述

器人视觉伺服策略没有综合考虑系统中的各种不确定因素,如摄像机内/外参数的标定误差、图像信号中的噪声等,致使所设计的系统精度和可靠性不高,对于环境因素的变化缺乏鲁棒性.

因此,如何有机地将各种先进控制方法应用于视觉伺服系统,解决系统中存在的图像偏离摄像机视野、图像误差、摄像机参数不确定性等问题,进一步提高视觉伺服系统的精度、效率和可靠性,是当前机器人视觉伺服的研究热点.

2.1从图像中获取机器人位姿方法研究

视觉伺服需要实现关于机器人位置和姿态的控制目标,为此,必须从图像中提取位姿信息来实现反馈控制.近年来,很多专家就如何从二维图像中尽可能准确地得到机器人位姿信息进行了研究,所采用的主要方法是特征点匹配和图像比较,即对当前图像和目标图像进行分析和对比,从中获得机器人位姿与目标值之间的偏差,具体算法包括单应矩阵计算和分解[14-1S]、本质矩阵分解等[16。17|.另外,在视觉伺服过程中,当参考物体全部或者部分偏离于摄像机的视野之外,或者出现自遮挡(self-occlusion)等现象时,通常需要结合图像轨迹的特点来估计单应矩阵或者本质矩阵,在此基础上,计算得到摄像机的位姿信号‘18].

另一方面,为了从二维图像信号中提取机器人的位置/姿态信息,可以利用深度传感器,如激光等,来测量深度信号,并通过传感器之间的融合来获取位姿信息;或者是采用多个摄像机,通过立体视觉方法来获取三维信息[1引.这些方法具有较高的精度,但是会提高系统设计与分析的复杂度.基于这种原因,一些机器人领域的专家采用软测量的方法来在线估计深度信息.他们通过对视觉系统的动态特性进行详细分析,在此基础上,利用二维图像信号,并结合其动态特性以及其他有关信号来设计观测器,渐近估计伺服过程中的深度信息,并进而计算得到参考点的j维笛卡儿坐标以及机器人的位姿信息[2∽3|.如W.Dixon和方勇纯等人采用李雅普诺夫方法构造了一种具有滑模结构的非线性观测器,这种观测器可以在线估计视觉系统中的深度信号,并实现三维直角坐标估计误差的渐近收敛【2川.而Y.Chen等人则通过将非线性视觉系统近似为一组线性时变系统,然后采用标准的线性观测器来估计得到深度信息L2引.

2.2视觉伺服的鲁棒性和自适应性研究

视觉伺服是一个具有非线性特性的复杂过程,并且伺服过程中存在各种不确定因素,例如摄像机参数的标定误差,机器人动、静态特性中的不确定因素,以及工作环境中地面平滑程度的差异等等.为了

提高机器人伺服系统的精度和可靠性,机器人领域

的许多学者对上述不确定因素进行了深入研究.他们将非线性控制理论应用于机器人视觉伺服系统,

分别采用自适应控制和鲁棒控制等方法来提高机器

人视觉伺服系统对于这些不确定因素的适应能力.很多专家针对视觉伺服系统中摄像机内外参数的不确定性进行了深入研究[24_30J.其中,方勇纯等人采用李雅普诺夫方法设计了一系列视觉伺服策略,

分别实现了机器手臂和直角坐标式机器人对于摄像

机内外参数的鲁棒和自适应控制[2睨8j.Y.Liu等人

设计了一种基于图像的动态视觉伺服策略,它可以

通过自适应算法来在线估计未知的摄像机内/外参数,在图像信号畸变与存在噪声等情况下实现了位

置误差的渐近收敛L29].而文献[30]中,G.L.Mari—ottini等人所设计的基于图像的视觉伺服算法对于

摄像机的部分内参数,如摄像机焦距等具有较强的

鲁棒性.

在视觉伺服过程中,机器人工作环境的地理特性以及地面的光滑程度等都会影响到伺服的精度,

因此一些专家对此进行了研究L31321.例如,K.1ag-

nemma等人设计了一种实时观测算法来估计地面的主要特性参数,并根据估计结果进行路径规划,寻

找到合适的路径以使机器人顺利达到目标点[313.2.3视觉伺服路径规划研究

为了提高伺服系统的效率,在保证参考物体位于摄像机视野的同时,应该尽可能地实现直线或者

准直线伺服,使机器人快速准确地达到期望位置与

姿态[3川.为了实现上述目标,很多视觉伺服系统预先在机器人起始位姿和目标位姿之间进行路径规划,并设计合适的控制器使机器人沿规划好的路径运动.为此,通常是将势场(potentialfield)和导航函数(navigationfunction)等方法应用于视觉伺服系

统来规划图像平面的路径.例如,Y.Mezouar等人应用势场方法在图像空间构造了一条路径,并利用二维视觉伺服使机器人跟踪这条路径f34。5I.此外,’也可以利用几何方法,根据视觉图像的运动特点来规划伺服路径.例如,Hashimoto等人在摄像机初始位置与目标位置之问规划了一条近似于圆周运动的轨迹r36|,以确保伺服过程中,参照物体始终位于摄像机的视野之内.

2.4智能视觉伺服方法研究

为了处理视觉伺服系统中存在的各种不确定性,许多专家将各种智能算法,如神经网络、模糊控

 万方数据

?112?智能系统学报第3卷

制、遗传算法等,引入到视觉伺服系统中,通过智能视觉伺服来提高系统的可靠性.其中,基于神经网络的视觉伺服充分利用神经网络对于非线性映射的逼近能力,利用它来建立机器人空间与图像空间的对应关系[37|.这种方法无需对视觉模型等进行理论分析,但是通常需要对网络进行大量训练,并且其外推能力不强,因此,对于不同的r丁作环境,网络需要重新学习.基于模糊规则的伺服方法则根据人类视觉系统的经验来计算控制信号L38-39].这种方法对于环境中的不确定性适应性强,但是伺服的精度一般不高,并且需要较长时间来总结伺服规则.

3结论与展望

综述国内外的研究情况可以看出,视觉伺服是一项多学科交叉的新兴研究领域,其研究进展将促进机器人在SLAM(机器人同时定位与地图构建)、智能搜索等方面的研究,从而为提高机器人的智能化水平与T作能力,扩展其在家庭服务、反恐防暴等方面的进一步应用提供良好的技术积累.

作为当前智能机器人领域一个方兴未艾的关键研究方向,现在世界各国,如法国、日本、美国、意大利等发达国家都在大力进行视觉伺服方面的研究,并取得了较大的进展.但是,现有的各种视觉伺服方法,包括基于图像的视觉伺服、基于位置的视觉伺服以及2.5维视觉伺服,都存在奇异性、局部极小等不同的缺陷.此外,通常的视觉伺服系统实时性较差,并且其中的伺服算法都局限于解决问题的某一个方面,一般都只能适用于某些特定的理想条件,特别是当系统中存在各种不确定凶素,包括外界光照条件变化、摄像机参数误差、机器人未知的运动特性、图像噪声等时,现有的视觉伺服系统很难获得满意的伺服性能.

为了将视觉伺服技术真正应用于机器人系统,必须提高视觉伺服系统的速度和精确度、鲁棒性、可靠性以及智能化程度,使其在具有各种不确定因素的复杂环境下能够可靠地工作.根据上述目标,视觉伺服将可能在以下几个方面进行重点研究:

1)确保伺服过程中参考物体始终位于摄像机视野之内.对于现有的视觉伺服系统而言,当机器人的起始位姿与目标位姿相差较远时,在伺服过程中,参考物体经常偏离于摄像机视野之外,致使伺服失败.这种缺陷严重地阻碍了视觉伺服技术的进一步应用.为了解决上述问题以提高伺服系统的可靠性,一方面,可以采用图像平面路径规划方法,即在图像平面上构造一条目标路径,它由起始图像、目标图像以及它们之间的一系列中间图像共同构成,这样可以将大范围的视觉伺服问题分解为若干个小范围的视觉伺服子任务,对每个子任务而言,其目标是控制机器人,使其到达轨迹上的相邻一幅图像;另一方面,也可以通过主动视觉等技术来解决特征点偏离视野的问题.例如,在伺服过程中,根据机器人的运动特性对下一时刻的图像进行预测,在此基础上,通过云台等来调整摄像机的方向,使参考物体尽可能位于像平面中心.

2)高速伺服策略研究.视觉信息非常丰富,但是图像采集频率不高.此外,在伺服过程中,一般要通过特征点提取、匹配、分析、比较等方法来获取机器人的位姿以实现反馈控制.整个过程计算量很大,周期较长.上述原因导致常见的伺服系统实时陛较差,难以满足动态目标体跟踪等场合的需要.为了拓展视觉伺服领域的应用前景,必须开展高速视觉伺服策略研究.一方面,需要研究计算机视觉的有关算法,降低特征点提取和匹配等环节的复杂度,从图像中快速可靠地获取机器人位姿信息,同时在控制方法上应该通过图像特征预测等措施来降低信息反馈的时延;另一方面,可以充分利用其他辅助传感器,如移动机器人上广泛配置的光电码盘、声呐等,将视觉和其他传感信号互相融合来提高伺服的速度.3)鲁棒视觉伺服技术研究.为了使视觉伺服系统能够在复杂环境下工作,必须提高它对于各种不确定凶素的鲁棒性.为此,需要从理论上分析系统中的各种不确定因素对伺服性能的影响,在此基础上,采用李雅普诺夫等方法来设计自适应、滑模切换等各种非线性反馈环节,或者采用神经网络等智能控制方法,使伺服系统能够适应自身以及环境因素的变化,使之在外界光照条件变化、摄像机参数突变、存在图像畸变和噪声等情况下,仍然能够获得满意的伺服性能.

参考文献:

[1]CHAUMETTEF,HUTCHINSONs.Visualservocon-trolpartI:basicapproachesrJ].IEEERobotics&Au—tomationMagazine,2006(12):82—90.

[-2]CHAUMETTEF,HUTCHINSON&Visualservocon-trolpart11:advancedapproaches[J].IEEERobotics&AutomationMagazine,2007(3):109—118.

[3]王麟琨,徐德,谭民.机器人视觉伺服研究进展EJ].机器人,2004,26(3):‘277—282.

WANGLinkun,XUDe,TANMirrSurveyofresearchonroboticvisualservoing[J].Robot,2004,26(3):277—282.

 万方数据

第2期方勇纯:机器人视觉伺服研究综述

[43赵清杰,连广宇,孙增圻.机器人视觉伺服综述[J].控制与决策,2001,16(6):849—853.

ZHAoQingjie。LIANGuangyu,SUNZengqi.Surveyofrobotvisualservoing[J].ControlandDecision,2001,16(6):849—853.

[5]薛定宇,项龙江,司秉玉,等.视觉伺服分类及其动态过程[J].东北大学学报(自然科学版),2003,24(6):543—547.

xUEDingyu,X1ANGLongjiang,SIBingyu,etaLClassificationofroboticsvisualservoinganditsdynamicsinvestigation[J].JournalofNortheasternUniversity(NaturalScience),2003,24(6):543—547.

[6]TAYLORG,KLEEMANI.Hybridpositionbasedvis—ualservoingwithonlinecalibrationforahumanoidrobot[C]//ProcofIEEE/RsJInternationalConferenceonIn-telligentRobotsandSysten卫s.Sandai,Japan,2004:686—691.

[73CHAUME'FTEF.Potentialproblemsofstabilityandconvergenceinimage-basedandposition-basedvisualservoing[C-1//TheConferenceofVisionandControl。

Volume237ofLectureNotesanControlandInformationSciences.IS.1.]:Springer-Verlag,1998.

[8]CONTICEI。LIF。ALLOTTARNonlinearcontrollabili—

tyandstabilityanalysisofadaptiveimage-basedsystems口].IEEETransactionsonRoboticsandAutomation,2001,17(2):208—214.

[9]COWANNJ,WEINGARTENJD,KoDITAcHEKD

EVisualservoingvianavigationfunctionsI-J].IEEE

TransonAutomaticcontrol,2002,18(4):1-13.

[103MARCHANDE。COMPORTA,CHAuMIHTEF.

Improvementsinrobust2Dvisualservoing[-C]//Proeofthe2004IEEEInternationalConference

onRobotics&Automation.NewOrleans,USA,2004:745—750.

[11]CHAUMETTEF,BOUKIRs.Structurefromcon-

trolledmotion[J].IEEETransactionsonPatternAnal—ysisandMachineIntelligence,1996,18(5):492—504.[12]MAI.ISE。CHAuMFⅣEF。BODETs.21/2Dvis—ualservoing[J].IEEETransactionsonRoboticsandAutomation,1999,15(2):238-250.

[13]DEGUCHIKOptimalmotioncontrolforimage-based

visualservoingbydecouplingtranslationandrotation[C]//ProcoftheIntlConfonIntelligentRobotsandSystems.[s.L].1998:705—711.

[14]FANGY,BEHAI。A,DIx0NwE,eta1.Adaptive2.5Dvisualservoingofkinematicallyredundantrobotmanipulators[Cl//ProcoftheIEEEConferenceonDe—cisionandContr01.LasVegas,USA,2002:2860-2865.

[15]FANGY,DIXONWE,DAWSONDM,eta1.Homog-raphy-basedvisualservoingofmobilerobots[J].IEEE

TransactionsonSystems。ManandCybernetics-PartB:

Cybernetics,2005,35(5):1041—1050.

[16]HATLEYRMultipleviewgeometryincomputervi—sion[M].Cambridge:CambridgeUniversityPress,2004.

[17]WENGJ,HUANGT,AHuJAN.Motionandstnlc-turefromtwoperspectiveviews:algorithms,errora—nalysis,anderror

estimation[J].IEEETransPatternAmlysisand

Machine

Intelligence,1989,II(5):451—476.

[18]CHESILG。HAsHIM()T0KCameraposeestimationfromlessthaneightpointsinvisualservoing[C]//Proc

ofthe2004IEEEInternationalConference

onRobotics&Automation.NewOrleans,USA,2004:733—738.[19]PARKJs,cHuNGMJ.Pathplanningwithuncali—bratedstereorigforimage-basedvisualservoingunderlargeposediscrepancy[J].IEEETransactionsonRo—boticsandAutomation,2003,19(2):250—258.

[20]DIXONWE,FANGY,DAWSONDM,FLYNNTJ.Rangeidentificationforperspectivevisionsystems[J].IEEETransactionson

AutomaticControl,2003,48(12):2232-2238.

[21]KARAGIANNISD.Asr0LFIAAnewsolutiontotheproblemofrangeidentificationinperspectivevisionsystems[J].IEEETransonAutomaticControl,2005,50(12):2074—2077.

[22]AGUIARAP,HEsPANHAJP.Minimum-energystateestimationforsystemswithperspectiveoutputs[J].IEEETransonAutomaticControl,2006,51(2):226—241.

[23]MAL,CHENY。MOOREKLRangeidentificationforperspectivedynamicsystemsusinglinearapproxima—tion[C]//Procofthe2004InternationalConferenceonRobotics&Automation.NewOrleans,UsA,2004:1658—1663.

[24]PIEPMEIERJA,MCMURRAYGV,I。IPKINH.Unealibrateddynamicvisualservoing[J].IEEETrans—actionsonR0130ticsandAutomation,2004,20(12):143-147。

[25]ZACHIA,LIUH,0RTEGAR,eta1.Immersionandinvarianceadaptivevisualservoingofmanipulatorswithuncertaindynamics[C]//ProcoftheAmericanControlConference.Boston,USA,2004:1510—1515.

[26]FANGY,DIXONWE,DAWSONDM,eta1.Robust2.5Dvisualservoingforrobotmanipulators[C]//ProcoftheAmericanControlConference.Denver,USA,2003:331卜3316.

[27]FANGY,DIXONWE,DAWSONDM,eta1.Anex—ponentialclassofmodel-freevisualservoingcontrollersinthepresenceofuncertaincameracalibration[J].In—

 万方数据

智能系统学报第3卷

ternationalJournalofRoboticsandAutomation,2006,21(4):247—255.

[283FANGY。DIXoNwE,DAws0ND^量Adaptive2.5Dvisualservoingofcartesianrobots[C]//ProeoftheEighthInternationalConfe!renceonContr01.Auto—mation,RoboticsandVision.Kunming,China,2004:68-73.

[29]I。IUY,WANGH,LAMKDynamicvisualservoingofrobotsinuncalibratedenvironment[C]//ProcoftheIEEEConferenceonRoboticsandAutomationBarcelo—na,Spain,2005:.3142—3147.

[30]MARIOTTINIGL,ORl01.0G,PRATTlCHIZZ0nEpipole-basedvisualservoingfornonholonomicmobilerobots[C]//InternationalConferenceonRoboticsandAutomation.NewOrleans,USA,2004:497—503.

[31]IAGNEMMAK,KANGS,sHIBLYH,eta1.OnlineterrainparameterestimationforwheeledmobilerobotswithapplicationtOplanetaryrovers[J].IEEETransonRobotics,2004,20(5):92l一927.

1-323YEC,BoRENsTEINJ.Anovelfilterforterrainmap—pingwithlaserrangefinders[J].IEEETranson

Robot—iCS,2004,20(5):913-921.

[33]CHESIG,PRATTICHIZz()D,VICINOAStraightlinepath-planninginvisualservoing[J].JournalofDy-namicSystems,Measurement,andControl,2007,129:541-543.

[343MEz0UARY。CHAUⅣrE可TEF.Pathplanningforrobustimage-basedcontrol[J].IEEETransactionsonRoboticsandAutomation,2002,18(4):534—549.

[35]MEZOUARY,CHAUMETTEF.Pathplanninginimagespaceforrobustvisualservoing[C]//ProcofIn-temationalConferenceonRoboticsandAutomation.Piscataway,USA,2000:2759-2764.[363CHESIG,HASHIMCrroK,PRATTICHIZZOD,eta1.Keepingfeaturesinthefieldofviewineye-in-handvisualservoing:aswitchingapproach[J].IEEETransonRobotics,2004,20(5):908-913.

[373谢冬梅,曲道奎,徐方.基于神经网络的机器人视觉伺服控制[J].微计算机信息,2006,22(4):4-6.

XIEDongmei,QUDaokui,XUFang.Designofrobot—ievisualservocontrolbasedonneuralnetwork[J].ControlandAutomation,2006,22(4):4-6.

[38]张玉洁,徐纲.基于神经网络的视觉机器人模糊控制[J].深圳大学学报(理工版),2004,21(4):301—305.

ZHANGYujie,XUGang.Fuzzycontrolofvisualrobotbasedonneuralnetwork[J].JournalofShenzhenUni—versity,2004,21(4):301—305.

[39]钟金明,徐刚,张海波.模糊逆运动学控制方法在机器人视觉伺服中的应用EJ].组合机床与自动化加工技术,2005(7):48—51.

ZHONGJinming,XUGang,ZHANGHaibo.Afuzzyinferenceresolvedmotionratecontrolforavisualservorobot[J].ModularMachineTool&AutomaticManu—faeturingTechnique,2005(7):48—51.

作者简介:

方勇纯,男,1973年生,教授,博

士生导师,IEEE高级会员,中国自动化

学会智能自动化专业委员会委员,主要

研究方向为复杂系统非线性控制、机器

人视觉控制等.2006年入选教育部“新

世纪优秀人才支持计划”,发表论文60

多篇,其中40余篇被SCI或EI检索.

第四届拟人系统大会

2008InternationalConferenceHumanizedSystems

自涂序彦教授在国内首次发起“拟人系统”研究以来,拟人系统科学受到广泛关注和深入研究。2005年召开了第一届拟人系统大会。经过几年的沉淀和积累,第四届国际拟人系统大会将于2008年10月19—2Z日在北京召开。会议主题涉及很多领域,包括人工生命、人工情感、复杂计算、脑科学、人工神经网络、自适应系统、非线性系统、智能Agent、认知科学等。期盼广大研究者从不同领域、不同学科、不同视角剖析拟人科学的奥秘和精华。希望人工智能学会的各位理事能够积极参与到“拟人系统”的研究中来,踊跃投稿,以文会友。论文将在2008年6月1日截稿,会议文章ISTP检索,部分优秀论文推荐EI检索杂志发表。

联系人:杜军平(junpingdu@126.corn),郑金鑫(ichs08@gmail.com),王大亮(greateking@gmail.com).

会议网址:http://caai.en:8086/ichs08.

 万方数据

机器人视觉伺服系统综述

机器人视觉伺服系统综述 摘要:对机器人视觉伺服系统进行阐述,介绍了机器人视觉伺服系统的概念、发展历程以及研究背景;并从不同的角度对机器人视觉伺服系统进行了分类。最后介绍了该领域的研究现状、所取得的成就,以及今后的发展趋势。 关键词:机器人;视觉伺服;综述 Survey of robot visual servoing system Abstract:: In this paper,the survey of robot visual servoing system are introduced.The paper reviews the concept and history background of robot visual servoing system.This article also classify the robot visual servo system from different aspects. Finally, it introduce the research status quo, achievements and future trends in the field. Key words:robot, visual servoing, summary 1.引言 随着先进科学技术的不断发展,机器人已经在生产和生活中起到了越来越重要的作用,因次人们不断对机器人技术提出更高的要求。为了使机器人能够完成更加复杂的工作,适应更加复杂的环境,机器人不仅需要更加完善的控制统,还需要能够更多的感知环境的变化。而影响其发展的一个重要原因就是机器人缺少像人一样的感知能力,在人们为机器人添加各种外部传感器的过程中,机器人视觉以其信息大、信息完整成为最重要的机器人感知功能[1]。 机器人的视觉伺服系统是机器人的视觉和机器人控制的相结合的复杂系统。其内容包括了图像的采集与处理、运动学和动力学、自动控制理论及其系统数据实时分析等领域于一体的新兴交叉学科。随着摄像技术和计算机技术的发展,以及相关理论的日益完善和实践的不断检验,视觉伺服已具备了在实际中应用的条件;而随着机器人应用领域的不断扩展,重要性也不断提高,与其相关技术问题已经成为了当前的研究热点[2]。所以实现机器人视觉伺服控制有相当的难度,是机器人研究领域中具有挑战性的课题。 2.机器人视觉伺服系统 2.1机器人视觉伺服系统的定义

机器视觉技术发展现状文献综述

机器视觉技术发展现状 人类认识外界信息的80%来自于视觉,而机器视觉就是用机器代替人眼来做 测量和判断,机器视觉的最终目标就是使计算机像人一样,通过视觉观察和理解 世界,具有自主适应环境的能力。作为一个新兴学科,同时也是一个交叉学科,取“信息”的人工智能系统,其特点是可提高生产的柔性和自动化程度。目前机器视觉技术已经在很多工业制造领域得到了应用,并逐渐进入我们的日常生活。 机器视觉是通过对相关的理论和技术进行研究,从而建立由图像或多维数据中获机器视觉简介 机器视觉就是用机器代替人眼来做测量和判断。机器视觉主要利用计算机来模拟人的视觉功能,再现于人类视觉有关的某些智能行为,从客观事物的图像中提取信息进行处理,并加以理解,最终用于实际检测和控制。机器视觉是一项综合技术,其包括数字处理、机械工程技术、控制、光源照明技术、光学成像、传感器技术、模拟与数字视频技术、计算机软硬件技术和人机接口技术等,这些技术相互协调才能构成一个完整的工业机器视觉系统[1]。 机器视觉强调实用性,要能适应工业现场恶劣的环境,并要有合理的性价比、通用的通讯接口、较高的容错能力和安全性、较强的通用性和可移植性。其更强调的是实时性,要求高速度和高精度,且具有非接触性、实时性、自动化和智能 高等优点,有着广泛的应用前景[1]。 一个典型的工业机器人视觉应用系统包括光源、光学成像系统、图像捕捉系统、图像采集与数字化模块、智能图像处理与决策模块以及控制执行模块。通过 CCD或CMOS摄像机将被测目标转换为图像信号,然后通过A/D转换成数字信号传送给专用的图像处理系统,并根据像素分布、亮度和颜色等信息,将其转换成数字化信息。图像系统对这些信号进行各种运算来抽取目标的特征,如面积、 数量、位置和长度等,进而根据判别的结果来控制现场的设备动作[1]。 机器视觉一般都包括下面四个过程:

自由漂浮空间机器人视觉伺服系统研究

第38卷第2期一一一一一一一一一一一哈一尔一滨一工一程一大一学一学一报一一一一一一一一一一Vol.38?.2 2017年2月一一一一一 一一 一一一 JournalofHarbinEngineeringUniversity一一一一一一一一一一一Feb.2017 自由漂浮空间机器人视觉伺服系统研究 刘阳,谢宗武,王滨,刘宏,蔡鹤皋 (哈尔滨工业大学机器人技术与系统国家重点实验室,黑龙江哈尔滨150001) 摘一要:为了将动力学模块引入传统的视觉伺服控制算法,使其更加符合真实模型三本文以自由漂浮空间机器人视觉伺服为目标,分析了其系统组成与工作原理三采用广义雅克比的方法完成其速度级的运动学建模,并在6D空间下分析其动力学模型三机械臂采用PD与前馈控制完成笛卡尔空间点到点连续路径规划三借助双目手眼相机完成非合作目标位姿的提取,进而完成视觉伺服系统的搭建三本文算法可将机械臂控制算法引入到空间机器人视觉伺服系统,使得机器人控制更加方便,具有结构简单成本低等优点三通过搭建SimMechanics仿真模型,实现了对期望轨迹的跟踪,验证了视觉伺服算法的正确性三 关键词:空间机器人;视觉伺服;自由漂浮;动力学;双目视觉DOI:10.11990/jheu.201605027 网络出版地址:http://www.cnki.net/kcms/detail/23.1390.u.20161116.1613.002.html中图分类号:TP242.3一文献标志码:A一文章编号:1006-7043(2017)02-0153-07 Researchonthevisualservosystemofafree?floatingspacerobot LIUYang,XIEZongwu,WANGBin,LIUHong,CAIHegao (StateKeyLaboratoryofRoboticsandSystem,HarbinInstituteofTechnology,Harbin150001,China) Abstract:Inordertoaddthedynamicmodelofthespacerobottothetraditionalvisualservoalgorithmandenhancetheauthenticityofthesimulationsystem,thispaperanalyzesthecompositionandprincipleofafree?floatingspacerobot,focusingonitsvisualservosystem.GeneralizedJacobianmatrixwasusedtocompletekinematicmodelofthefree?floatingspacerobot,andthedynamicsmodelwasdiscussedundertheconditionof6Dspatialvector.BasedonPDandfeedforwardcontrol,thepathplanningoftherobotwasprogrammedinCartesianspace.Abinocularhand?eyecamerasystemwasbuilttoextracttheposeofthenon?cooperativesatellitewhichfurtherusedtocompletethevisualservosystem.Variousrobotcontrolalgorithmscanbeintroducedtothevisualservosystemthatmakesitmoreconvenientandtakesadvantageofsimplemechanismwithlowcost.BybuildingaSimMechanicsmodel,theexpec?tedtrajectoryhadbeentrackedsuccessfullywhichprovedthevisualservosystemright.Keywords:spacerobot;visualservo;free?floating;dynamics;binocularvision收稿日期:2016-05-09.网络出版日期:2016-11-16.基金项目:国家重点基础研究发展计划(2013CB733105).作者简介:刘阳(1990-),男,博士研究生; 谢宗武(1973-),男,教授,博士生导师;王滨(1973-),男,副教授; 刘宏(1966-),男,教授,博士生导师, 长江学者计划 特聘教授; 蔡鹤皋(1934-),男,教授,博士生导师,中国工程院院士.通信作者:王滨,E?mail:wbhit@hit.edu.cn. 一一随着科学技术水平的发展,每年发射进入太空的航天器数目在逐渐增大三UCS(unionofconcernedscientists)卫星数据显示[1],截止到2016年1月1日,太空中活动卫星的数量为1381,其中493颗卫星运行于同步地球轨道三这些活动卫星中大约有68%的卫星处于不受控状态,如废弃卫星二火箭残留物以及太空垃圾[2]三每年都有卫星由于发射失败 而无法正确进入轨道,从而造成大量的经济损失三此类卫星经过在轨维护,大多可以继续服务三 作为主要的在轨维护设备,空间机器人能够胜任卫星维修二能源补充二货物运输等多项太空任务[3-8]三随着太空任务的复杂化,宇航员的操作风险大大提高,利用空间机器人代替宇航员完成空间工作已成为当前空间探索的新趋势三中国将在未来五年内建成我国独立自主研发的空间站,空间站各舱段之间的组装依赖的也是空间机器人三 空间机器人是一个强非线性系统,其运动学与动力学之间存在着动力学耦合[9]三空间微重力环境下对其进行实时控制存在很大困难,同时风险高二难度大三视觉伺服的引入使得空间机器人在执行空间任务时变得智能化,能够根据不同的环境采取不 万方数据

(完整版)工业机器人文献综述

工业机器人文献综述 生产力在不断进步,推动养科技的进步与革新,以建立更加合理 的生产关系。自工业革命以来,人力劳动己经逐渐被机械所取代,而这种变革为人类社会创造出巨大的财富,极大地推动了人类社会的进步时至今天,机电一体化,机械智能化等技术应运而生并己经成为时代的主旋律。 1.工业机器人的发展: 1.1 机器人概念的诞生 机器人技术一词虽然出现的较晚,但这一概念在人类的想象中却早已出现。自古以来,有不少科学家和杰出工匠都曾制造出具有人类特点或具有动物特征的机器人雏形。我国西周时期的能工巧匠就研制出了能歌善舞的伶人,这是我国最早的涉及机器人概念的文章记录,此外春秋后期鲁班制造过一只木鸟,能在空中飞行,体现了我国劳动人民的智慧。机器人一词由捷克作家--卡雷尔.恰佩克在他的讽刺剧《罗莎姆的万能机器人》中首次提出,剧中描述了一机器奴仆Robot。此次Robot被沿用下来,中文译成机器人。1942年美国科幻作家埃萨克.阿西莫夫在他的科幻小说《我.机器人》中提出了“机器人三大定律”,这三大定律后来成为学术界默认的研发原则。现代机器人出现于20世纪中期,当计算机技术出现,电子技术的进步,数控机床的出现及与机器人相关的控制技术和零件加工技术的成熟,为现代机器人的发展打下了基础。 1.2 国内机器人的发展史 在我国目前采用工业机器人的行业主要有汽车行业、摩托车、电 器、工程机械、石油化工等行业。我国作为亚洲第三大的工业机器人需求国,对于工业机器人的需求量在逐年增加,从而吸引了大批工业机器人的制造商,加快了我国工业机器人技术的发展第一阶段是20世纪80年代,我国为t跟踪国际机器人技术的道路,当时以原机械工业部为主,航天工业部等部门联合组织国内的相关研究单位开展了工业机器人的研究,先后推出了弧焊、点焊、喷漆等多种工业机器人。直到90年代,通过国家863计划等的K77,我国具备t独!)设计不}}生产工业机器人的能力,培养了一批高水平的研究生产队伍进入21世纪,中国的工业机器人发展进入t一个崭新的阶段,其中最大的特点是以企业为主体,以市场为导向、赢利为目标的机器人产业开发群体止在形成。尽管国外大的工业机器人公司为了占领中国不断扩大的市场,加大了其在中国的经销力度,但是中国的机器人企业以自己独有的市场信息优势、售前售后的服}}c势、针对中国企业的工艺特点的专门化设计优势努力争取自己的市场地位随养全球经济的一体化发展,世界制造中心向中国转移的趋势,中国工业机器人的产业会快速的发展起来,特别重要的是研制单位必须和需求紧密结合,让机器人走进工厂,实现真止的产业化。 经过20多年的探索,我国的工业机器人自动化技术取得t长足的发展,但是与世界发达国家相比,还有不小的差距;机器人应用工程起步也较晚,应用领域窄,生产线系统技术落后随养我国制造业-尤其是汽车行业的发展,对工业机器人的需求日益增长,工业机器人的拥有量远远不能满足需求量。尤其是基础零部件和元器件生产和制造、机器人可靠性以及成木等问题,都存在很多问题。尤其在大负载工业机器人方而,不仅产品长期大量依靠从国外引进,在维护、更新改造方而对国外的依赖也相当严重。 1.3国内外工业机器人的发展方向

视觉伺服控制算法优化综述

视觉伺服控制算法优化综述 摘要:系统论述了视觉伺服控制的应用现状。重点介绍了针对不同的实际情况,提出优化的基于位置的视觉伺服系统和基于图像的视觉伺服系统的控制算法。优化后的算法效率高,具有很强的有效性和可行性。优化后的控制系统功能更强,更精确有效。 关键词:视觉伺服;优化;算法 Survey of Visual Servoing control algorithm Abstract:The application status of the visual servo control are reviewed . For different realities , we put fortward an improved position-based visual servo systems and image -based visual servo control algorithm of the system. High efficiency of the improved algorithm has strong effectiveness and feasibility. The improved control system functions stronger, and become more precise and effective. Keywords:Visual Servoing;improve;Algorithm

1 引言 随着科技的快速发展,在现代工业自动化生产过程中,机器视觉正成为一种提高生产效率和保证产品质量的关键技术,如机械零件的自动检测、智能机器人控制及生产线的自动监控等。 基于视觉的伺服策略是采用相机所观察的特征来控制机器人移动的一种灵活有效的方法。视觉伺服主要分为3种:基于位置的视觉伺服(PBVS)、基于图像的视觉伺服(IBVS)和混合控制视觉伺服。早期的研究主要是基于位置的视觉伺服研究,近年来主要是基于图像的视觉伺服研究。 PBVS的反馈偏差在3D笛卡尔空间进行计算,IBVS的反馈偏差在2D图像平面空间进行计算。PBVS 的控制方式直接在笛卡尔空间下进行位姿估计和运动控制,具有很好的直观性和简单有效性。IBVS的控制方式其期望给定值直接以图像特征信息表示,所以不需要将特征信息投影逆变换到工作空间的过程,因此基于图像的控制方式对标定误差和空间模型误差不敏感,具有更高地定位精度,为多数的视觉伺服系统所采用。 2 视觉伺服控制算法 在进行任何一个基于伺服控制的控制系统的分析、综合或设计时,首先应建立该系统的数学模型,确定其控制算法。它反映了系统输入、内部状态和输出之间的数量和逻辑关系,这些关系式为计算机进行运算处理提供了依据。控制算法的正确与否直接影响控制系统的品质,甚至决定整个系统的成败。 2.1 基于位置的视觉伺服算法的优化 对于不同的功能要求,采用传统的基于位置的视觉伺服控制算法,常常造成稳定性不够、精度不够、准确性不足等问题,我们需要对算法进行优化处理,来满足要求。 例如,针对家庭环境中服务机器人物品的抓取问题,提出一种改进的基于位置的视觉伺服抓取算法。该算法主要包括4个部分: 1.基于Naomark 标签的物体识别,根据Naomark的ID确定抓取方式,并利用世界单应分解算法对目标物位姿进行估计。 通过在具有不同形状和特征的各类物品上布置Naomark 标签的方式,可以实现被操作物的快速识别与定位,从而解决家庭环境中物品种类多、操作方式复杂带来的困难。 利用Hough 变换和边缘检测可以得到Naomark 的各特征点。 2.对NAO机器人的五自由度手臂进行运动学建模,计算出运动学正解和逆解。

机器视觉的辅助驾驶系统的视频中行人检测跟踪讲解

机器视觉的辅助驾驶系统的视频中行人 实时检测识别研究文献综述 1机器视觉发展 国外机器视觉发展的起点难以准确考证,其大致的发展历程是:20世纪50年代提出机器视觉概念,20世纪70年代真正开始发展,20世纪80年代进入发展正轨,20世纪90年代发展趋于成熟,20世纪90年代后高速发展。在机器视觉发展的历程中,有3个明显的标志点,一是机器视觉最先的应用来自“机器人”的研制,也就是说,机器视觉首先是在机器人的研究中发展起来的;二是20世纪70年代CCD图像传感器的出现,CCD摄像机替代硅靶摄像是机器视觉发展历程中的一个重要转折点;三是20世纪80年代CPU、DSP等图像处理硬件技术的飞速进步,为机器视觉飞速发展提供了基础条件。 国内机器视觉发展的大致历程:真正开始起步是20世纪80年代,20世纪90年代进入发展期,加速发展则是近几年的事情。中国正在成为世界机器视觉发展最活跃的地区之一,其中最主要的原因是中国已经成为全球的加工中心,许许多多先进生产线己经或正在迁移至中国,伴随这些先进生产线的迁移,许多具有国际先进水平的机器视觉系统也进入中国。对这些机器视觉系统的维护和提升而产生的市场需求也将国际机器视觉企业吸引而至,国内的机器视觉企业在与国际机器视觉企业的学习与竞争中不断成长。 未来机器视觉的发展将呈现下列趋势: (1)技术方面的趋势是数字化、实时化、智能化 图像采集与传输的数字化是机器视觉在技术方面发展的必然趋势。更多的数字摄像机,更宽的图像数据传输带宽,更高的图像处理速度,以及更先进的图像处理算法将会推出,将会得到更广泛的应用。这样的技术发展趋势将使机器视觉系统向着实时性更好和智能程度更高的方向不断发展。 (2)产品方面:智能摄像机将会占据市场主要地位 智能摄像机具有体积小、价格低、使用安装方便、用户二次开发周期短的优点,非常适合生产线安装使用,越来越受到用户的青睐,智能摄像机所采用的许多部件与技术都来自IT行业,其价格会不断降低,逐渐会为最终用户所接受。因此,

毕业设计(论文)机器人行走机构 文献综述

重庆理工大学 毕业设计(论文)文献综述题目机器人行走机构设计 二级学院重庆汽车学院 专业机械设计制造及其自动化班级 姓名学号 指导教师系主任 时间

评阅老师签字:

机器人行走机构 吴俊 摘要:行走机器人是机器人学中的一个重要分支。行走机构可以是轮式的、履带式的 和腿式的等,能适应地上、地下、水中、空中、宇宙等作业环境的各种移动机构。本 文从国内外的研究状况着手,介绍了行走机器人的发展历史,研究现状和发展趋势。本文还介绍了国内最新的研究成果。 关键字:机器人行走机构发展现状应用 Keyword:robot travelling mechanism developing current situation application 一,前言 行走机器人是机器人学中的一个重要分支。关于行走机器人的研究涉及许多方面,首先,要考虑移动方式,可以是轮式的、履带式的和腿式的等;其次,必须考虑 驱动器的控制,以使机器人达到期望的行为;第三,必须考虑导航或路径规划。因此,行走机器人是一个集环境感知、动态决策与规划、行为控制与执行等多种功能于一体 的综合系统。机器人的机械结构形式的选型和设计,应该根据实际需要进行。在机器 人机构方面,应当结合机器人在各个领域及各种场合的应用,开展丰富而富有创造性 的工作。对于行走机器人,研究能适应地上、地下、水中、空中、宇宙等作业环境的 各种移动机构。当前,对足式步行机器人、履带式和特种机器人研究较多,但大多数 仍处于实验阶段,而轮式移动机器人由于其控制简单,运动稳定和能源利用率高等特点,正在向实用化迅速发展,从阿波罗登月计划中的月球车到美国最近推出的NASA 行星漫游计划中的六轮采样车,从西方各国正在加紧研制的战场巡逻机器人、侦察车 到新近研制的管道清洗检测机器人,都有力地显示出行走机器人正在以其使用价值和 广阔的应用前景而成为智能机器人发展的方向之一。 二、课题国内外现状 多足步行机器人是一种具有冗余驱动、多支链、时变拓扑运动机构, 是模仿多足 动物运动形式的特种机器人, 是一种足式移动机构。所谓多足一般指四足及四足其以上, 常见的多足步行机器人包括四足步行机器人、六足步行机器人、八足步行机器人等。 步行机器人历经百年的发展, 取得了长足的进步, 归纳起来主要经历以下几个 阶段: 第一阶段, 以机械和液压控制实现运动的机器人。 第二阶段, 以电子计算机技术控制的机器人。 第三阶段, 多功能性和自主性的要求使得机器人技术进入新的发展阶段。 三、研究主要成果 国内多足步行机器人的研究成果[1]: 1991年,上海交通大学马培荪等研制出JTUWM[1]系列四足步行机器人。JTUWM-III是模仿马等四足哺乳动物的腿外形制成,每条腿有3个自由度,由直流伺服

基于图像的视觉伺服系统

基于图像的机器人视觉伺服系统研究 班级:自121 姓名:成佳宇 学号:3120413006

基于图像的机器人视觉伺服系统 摘要本文采用基于图像的眼在手(eye in hand)视觉伺服结构,通过计算图像雅克比矩阵实现机械手的定位任务。本文采用应用最广泛的机器人工具箱(Robotics Toolbox for Matlab),在该工具箱的基础上,运用Sub-system实现Matlab和Simulink的有机结合,建立基于图像反馈的六自由度PUMA560机器人视觉伺服系统Simulink模型,仿真验证该模型的有效性。 关键字:puma560机器人;视觉伺服;图像的雅可比矩阵Abstract:In this paper,we use Image-based visual servoing control system, via image jacobin matrix function the positioning of the manipulator by calculation task. on the basis of Robotics Toolbox for Matlab, and using Sub - system to realize the organic combination of Matlab and Simulink, based on the image feedback Simulink model of six degrees of freedom PUMA560 robot visual servoing system, the simulation verify the validity of the model. Keyword:PUMA560robot;IBVS;Image jacobin 引言: 机器人视觉伺服己成为机器人领域重要的研究内容之一,但是机器人视觉伺服系统是一个十分复杂的非线性系统。视觉是一种复杂的感官,视觉信息中包含有大量的数据,要从 中提取特征信息,需要复杂的算法及耗费大量的运算时间,

基于机器视觉的工件识别和定位文献综述

基于机器视觉的工件识别和定位文献综述 1.前言 1.1工业机器人的现状与发展趋势 机器人作为一种最典型的应用范围广、技术附加值高的数字控制装备,在现代先进生产制造业中发挥的作用越来越重要,机器人技术的发展将会对未来生产和社会发展起到强有力的推动作用。《2l 世纪日本创建机器人社会技术发展战略报告》指出,“机器人技术与信息技术一样,在强化产业竞争力方面是极为重要的战略高技术领域。培育未来机器人产业是支撑2l 世纪日本产业竞争力的产业战略之一,具有非常重要的意义。” 研发工业机器人的初衷是为了使工人能够从单调重复作业、危险恶劣环境作业中解脱出来,但近些年来,工厂和企业引进工业机器人的主要目的则更多地是为了提高生产效率和保证产品质量。因为机器人的使用寿命很长,大都在10 年以上,并且可以全天后不间断的保持连续、高效地工作状态,因此被广泛应用于各行各业,主要进行焊接、装配、搬运、加工、喷涂、码垛等复杂作业。伴随着工业机器人研究技术的成熟和现代制造业对自动生产的需要,工业机器人越来越被广泛的应用到现代化的生产中。 现在机器人的价格相比过去已经下降很多,并且以后还会继续下降,但目前全世界范围的劳动力成本都有所上涨,个别国家和地区劳动力成本又很高,这就给工业机器人的需求提供了广阔的市场空间,工业机器人销量的保持着较快速度的增长。工业机器人在生产中主要有机器人工作单元和机器人工作生产线这两种应用方式,并且在国外,机器人工作生产线已经成为工业机器人主要的应用方式。以机器人为核心的自动化生产线适应了现代制造业多品种、少批量的柔性生产发展方向,具有广阔的市场发展前景和强劲生命力,已开发出多种面向汽车、电气机械等行业的自动化成套装备和生产线产品。在发达国家,机器人自动化生产线已经应用到了各行各业,并且已经形成一个庞大的产业链。像日本的FANUC、MOTOMAN,瑞典的ABB、德国的KUKA、意大利的COMAU 等都是国际上知名的被广泛用于自动化生产线的工业机器人。这些产品代表着当今世界工业机器人的最高水平。 我国的工业机器人前期发展比较缓慢。当将被研发列入国家有关计划后,发展速度就明显加快。特别是在每次国家的五年规划和“863”计划的重点支持下,我国机器人技术的研究取得了重大发展。在机器人基础技术和关键技术方面都取得了巨大进展,科技成果已经在实际工作中得到转化。以沈阳新松机器人为代表的国内机器人自主品牌已迅速崛起并逐步缩小与国际品牌的技术差距。 机器人涉及到多学科的交叉融合,涉及到机械、电子、计算机、通讯、控制等多个方面。在现代制造业中,伴随着工业机器人应用范围的扩大和机器人技术的发展,机器人的自动化、智能化和网络化的程度也越来越高,所能实现的功能也越来越多,性能越来越好。机器人技术的内涵已变为“灵活应用机器人技术的、具有实在动作功能的智能化系统。”目前,工业机器人技术正在向智能机器和智能系统的方向发展,其发展趋势主要为:结构的模块化和可重构化;控制技术的开放化、PC 化和网络化;伺服驱动技术的数字化和分散化;多传感器融合技术的实用化;工作环境设计的优化和作业的柔性化以及系统的网络化和智能化等方面。 1.2机器视觉在工业机器人中的应用 工业机器人是FMS(柔性加工)加工单元的主要组成部分,它的灵活性和柔性使其成为自动化物流系统中必不可少的设备,主要用于物料、工件的装卸、分捡和贮运。目前在全世界有数以百万的各种类型的工业机器人应用在机械制造、零件加工和装配及运输等领域,

机器人视觉伺服技术发展概况综述

机器人视觉伺服技术发展概况综述 目前,在全世界的制造业中,工业机器人已经在生产中起到了越来越重要的作用。为了使机器人能够胜任更复杂的工作,机器人不但要有更好的控制系统,还需要更多地感知环境的变化。其中机器人视觉以其信息量大、信息完整成为最重要的机器人感知功能。 机器人视觉伺服系统是机器视觉和机器人控制的有机结合,是一个非线性、强耦合的复杂系统,其内容涉及图象处理、机器人运动学和动力学、控制理论等研究领域。随着摄像设备性能价格比和计算机信息处理速度的提高,以及有关理论的日益完善,视觉伺服已具备实际应用的技术条件,相关的技术问题也成为当前研究的热点。 本文对机器人视觉伺服技术进行了综述,介绍了机器人视觉伺服系统的概念及发展历程和分类,重点介绍了基于位置的视觉伺服系统和基于图像的视觉伺服系统。对机器人视觉所涉及的前沿问题做了概括,并指出了目前研究中所存在的问题及今后发展方向。 机器人视觉伺服系统 视觉伺服的定义: 人类对于外部的信息获取大部分是通过眼睛获得的,千百年来人类一直梦想着能够制造出智能机器,这种智能机器首先具有人眼的功能,可以对外部世界进行认识和理解。人脑中有很多组织参与了视觉信息的处理,因而能够轻易的处理许多视觉问题,可是视觉认知作为一个过程,人类却知道的很少,从而造成了对智能机器的梦想一直难以实现。随着照相机技术的发展和计算机技术的出现,具有视觉功能的智能机器开始被人类制造出来,逐步形成了机器视觉学科和产业。所谓机器视觉,美国制造工程师协会(sme society of manufacturing engineers)机器视觉分会和美国机器人工业协会(ria robotic industries association) 的自动化视觉分会给出的定义是: “机器视觉是通过光学的装置和非接触的传感器自动地接收和处理一个真实物体的图像,以获得所需信息或用于控制机器人运动的装置。”

基于机器视觉的产品检测技术研究文献综述

基于机器视觉的产品识别检测技术研究 摘要:机器视觉检测系统采用CCD照相机将被检测的目标转换成图像信号,传送给图像处理系统,根据像素分布和亮度、颜色等信息,转变成数字化信号,图像处理系统对这些信号进行各种运算来抽取目标特征,如面积、数量、位置,再根据预设的允许度和其他条件输出结果,包括尺寸、个数、合格/不合格、标识有无等,实现自动识别功能。机器视觉的研究是从20世纪60年代中期开始70年代已形成几个重要研究分支:目标制导的图像处理、图像处理和分析的并行运算、序列图像分析和运动参量求值、视觉知识的表示、视觉系统的知识库等。 关键词:机器视觉;CCD相机;图像处理;产品检测。

引言 机器视觉就是用机器代替人眼来做测量和判断,它是一项综合技术,其中包括数字图像处理技术、控制技术、电光源照明技术、光学成像技术、传感技术、模拟与数字视频技术等,机器视觉更强调实用性,要求能够适应工业生产中恶略的环境,要有通用的工业接口。电视摄像技术的成熟与计算机技术的发展使得机器视觉研究成为可能,它作为早期人工智能的一部分,由于技术条件的限制进展缓慢。后来在随着计算机技术的快速发展,机器视觉的研究得到了迅速发展在国外,机器视觉的应用普及主要体现在半导体及电子行业,机器视觉系统在产品检测方面已经得到了广泛的应用。在中国机器视觉技术应用开始与90年代,目前国内机器视觉大多为外国品牌,不过随着机器视觉的应用,国内公司技术上已经逐渐成熟。与此同时,随着配套基础设施建设的完善,技术、资金的积累,各行各业对机器视觉技术的工业自动化、智能化需求开始广泛出现。国内高校校、研究所和企业在这个领域进行了积极探索和大胆尝试,这都将促进工业检测自动化技术向智能化发展。

攀爬机器人文献综述

攀爬机器人文献综述 攀爬机器人文献综述 对攀登机器人结构点性能计算和实验的研究 摘要 本文介绍了并联攀爬机器人性能的运动学和动力学研究,从而避免结构框架上的节点。为了避免结构节点,攀爬并联机器人可以取得某种确定的动作。一系列的动作组合起来,可以方便沿着结构节点的攀登运动。必须对并联攀爬机器人的姿态予以研究,因为在其独特的配置下,姿势能够驱动机器人。此外,需要对执行机构为了避免机构节点而产生的力进行评估。因此本文的目的要表明,Stewart–Gough 并行平台能够作为攀爬机器人,与其他机器人相反,并行攀爬机器人能后轻易而优雅地避免结构节点。为了支持第一部分中描述的模拟结果,实验测试平台已经发展到围绕结构节点对并联攀爬机器人地动力性能进行研究。获得的结果非常有趣,显示了潜在的在工业中使用平行S-G机器人作为攀岩机器人的存在。 关键词:爬壁机器人、动力学、并联机器人、奇点

一简介 当需要在一些危险或者难以到达的地方执行任务时,具有在不同结构上攀爬和滑行能力的机器人是非常重要的,比如在检查和维修金属桥梁、通信天线以及深入核工业结构内部过程中使用的机器人。通常,这些类型的金属结构是由聚合在一起的杆构成,是一种联合机械,每一个都可以描述为棱柱元素变截面和尺寸的扩展。所有这些元素组合产生晶格不同的几何结构,其中结构性因素在不同点的结合称为结构节点。这类结构的尺寸和形状取决于它应用的设计。在这一类型设置中不同任务的机器人化已经被广泛地记载在文献中。在许多情况下,有人提出使用连接机构和多腿机器人来实现位移的随即移动。另外,许多这些机器人是被设计用来在墙壁或管道攀爬和工作。一些建议的解决方案在机械上是非常复杂的,需要在运动控制方面有高水平的发展和阐述。一种用来给双层底部板件焊接的机器人正在研制当中。该型机器人是由一种有选择顺应性装配机器手臂配置的四足机器组成。该机器人通过抓住加强筋移动,但由于其几何结构不能移动通过结构节点。Balaguer提出了一种能够在复杂的三维金属基结构的爬壁机器人。该机器人采用“毛毛虫“的概念来取代这些结构,并实时生成控制设计从而确保稳定的自我支持。Longo建议一个城市侦察双足机器人。这种机器人能够在表面上实现交替移动,并且小到足以穿越密闭空间。Minor and Rossman 提出了一种有腿的机器人,能够通过移动其身体从而产生推力。这些机器人的结构让它们沿着管道和梁结构,并通过内爬管道,但机器人不能够避免节点。在本篇论文中提出的机器人能够围绕结构节点移动。 对于位移和攀爬金属结构的最优解问题在理论上是基于一种原理,动力执行机构是机器人结构的一部分,直接连接到并联机器人地末端,并用一种几何技巧克服了用于微小运动时的障碍。此外,机器人要轻便,机械结构简单,具有大的载荷和高速运转能力。这些条件基本都是由并联机器人实现。基于这个原因,用一种改进的的并联机器人作为攀爬机器人完全是有可能的。 基本上,并联机器人用于攀登必须用适当的夹具系统改变两个环中的一个,并取代另一个环,并通过预先设定的位移方向实现几何构型的动作。对并联机器人而言,这个过程简单且自然。

工业网络控制

机器视觉技术及其工业应用 学院: 学号: 姓名: 导师:

摘要 机器视觉是一门交叉学科,有着广泛的应用领域。近年来,随着理论的创新和技术的发展,该学科发展迅猛。本文介绍了机器视觉的关键技术,如光源照明、光学镜头、摄像机、图像采集、信号处理、执行机构等的发展状况。同时,从自动检测、智能装配、视觉伺服三个方面对工业机器视觉应用系统进行了综述。 关键词:机器视觉;工业应用

0 引言: 机器视觉是一门涉及人工智能、神经生物学、心理物理学、计算机科学、图像处理、模式识别等诸多领域的交叉学科。它综合了各种技术, 其中包括数字图像处理技术、机械工程技术、控制技术、光源照明技术、光学成像技术、传感器技术、模拟与数字视频技术、计算机软、硬件技术和人机接口技术等。机器视觉主要用计算机来模拟人的视觉功能,但并不仅仅是人眼的简单延伸,更重要的是具有人脑的一部分功能从客观事物的图像中提取信息,进行处理并加以理解,最终用于实际检测、测量和控制。它是实现精确定位、精密检测、自动化生产的有效途径, 同时它具有实现非接触测量、具有较宽光谱相应范围、可长时间工作等优点。 近年来,随着计算机技术尤其是多媒体技术以及数字图像处理与分析理论的不断发展完善,加之大规模集成电路的飞速发展与应用,机器视觉技术得到了广泛的应用研究,如工业制造、医学、导航和遥感图像分析等。特别是近几年发展十分迅速。本文在查阅大量文献资料的基础上,对机器视觉的技术发展及其工业应用作一综述。 1关键技术: 图1 典型工业机器视觉系统 参见图 1 ,我们可以发现机器视觉是一项综合技术, 它包括图像处理、机械工程技术、控制、电光源照明、光学成像、传感器、模拟与数字视频技术、计算机软硬件技术( 图像增强和分析算法、图像卡、I/ O 卡等)。这些技术在机器

文献综述

文献综述 随着社会经济的发展,企业所面临的外部经营环境发生了明显的变化。战略管理和项目管理作为应对变化的有效手段被越来越多的企业所采用,同时,随着企业规模的扩大,项目的数量和规模急剧扩增,企业中的项目越来越多,企业在面临众多项目而资源有限的情况下,如何组织好、协调好多个项目,同时又要使其与企业战略目标一致成为亟待解决的问题。项目组合管理架起了战略管理与项目管理的桥梁,它是帮助实现项目与企业战略相结合的有效理论和工具。 1 项目组合管理理论 项目组合管理要对每一个项目进行商业价值和利益的评判,集合成项目组合的战略价值,去实现一定的组织目标和利益,项目组合不再是简单的进行多个项目的管理[1]。 项目组合管理是将一系列项目纳入到同一个组合当中,这个组合有独立的项目组合评审报告记录了各个项目的目标、成本、时限、专业技术水平、资源、风险和其他的关键因素。然后项目执行主管便能从整体上把握该组合,恰当地配置资源和调整项目,以使部门的利益回报最大化[2]。 项目组合管理是将单个项目、活动和所需资源与公司战略相联系的过程,从而确保投入的有限资源具有最高的价值和最低的风险。此外,这个过程允许贯穿整个组织的战略沟通,进而更好的选择和执行那些支持公司战略的项目和活动,同时剔除那些劣质项目[3]。 项目组合管理是对项目集进行选择、评价、策划、实施、管理的有效过程[4]。 PMI对组合管理的定义为[5]: 项目组合管理不是简单地管理多个项目,每个项目组合都需要根据自身的商业价值和公司战略来评价,并且要实现一定的商业目标或商业利益。 PMBOK2004这样定义项目组合 组织依据其具体的目标来管理项目组合。项目组合管理的目标之一

机器人视觉伺服系统的控制结构

机器人视觉伺服系统的控制结构

机器人视觉伺服系统的控制结构 1 前言 对机器人视觉伺服系统的研究是机器人领域中的重要内容之一,其研究成果可直接用于机器人手—眼系统、移动机器人的自动避障及对周围环境的自适应、轨线跟踪等问题中。通常所说的机器视觉是指:自动获取并分析图像,以得到一组可对景物描述的数据或控制某种动作的数据。而视觉伺服则不同于机器视觉,它利用机器视觉的原理对图像进行自动获取与分析,以实现对机器人的某项控制为目的。正是由于系统以实现某种控制为目的,所以视觉伺服系统中的图像处理过程必须快速准确。 视觉伺服系统采用视觉反馈环形成闭环,在视觉反馈环中抽取某种图像特征。图像特征可以是点、曲线、图像上的某一区域等,比如,它可以是点在图像平面的坐标位置,或投影面的形心及其惯量的高次幂。 2 视觉伺服系统的分类 视觉伺服的控制策略主要基于以下两个问题: 1)是否采用分层控制结构?即机器人是否需要闭环关节控制器?进一步说,就是系统的视觉反馈是为机器人的关节控制闭环提供输入量,还是由视觉控制器直接控制机器人各关节。 2)误差输入量是以机器人所在空间的三维坐标表示,还是以图像特征? 按控制策略2)区分,视觉伺服系统分为两类:基于位置的控制系统(position-based control,又称3D视觉伺服,3Dvisualservoing),基于图像的控制系统(image-base control,或称2D视觉伺服,2Dvisualservoing)。由于基于位置和基于图像的视觉伺服各有其优缺点,于是近年有学者综合上述两类视觉伺服系统的优点,设计出2-1/2D视觉伺服系统。 按控制策略1)区分,视觉伺服系统可分为动态观察—移动系统和直接视觉伺服。前者采用机器人关节反馈内环稳定机械臂,由图像处理模块计算出摄像机应具有的速度或位置增量,反馈至机器人关节控制器;后者则由图像处理模块直接计算机械壁各关节运动的控制量。 3 视觉伺服系统的控制结构 3.1 基于位置的视觉伺服控制结构

机器视觉文献综述

文献综述 河北科技师范学院 文献综述 题目:基于计算机视觉测量技术 姓名:张力坤 一.国内外现状 机器视觉自起步发展到现在,已有将近20年的发展历史。应该说机器视觉作为一种应用系统,其功能特点是随着工业自动化的发展而逐渐完善和发展的。 目前全球整个视觉市场总量大概在70~80亿美元,是按照每年8.8%的增长速度增长的。而在中国,这个数字目前看来似乎有些庞大,但是随着加工制造业的发展,中国对于机器视觉的需求将承上升趋势。 何谓机器视觉? 简言之,机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是指通过机器视觉产品(即图像摄取装置,分CMOS和CCD 两种)将被摄取目标转换成图像信号,传送给专用的图像处理系统,根据像素分布和亮度、颜色等信息,转变成数字化信号;图像系统对这些信号进行各种运算来抽取目标的特征,进而根据判别的结果来控制现场的设备动作。 机器视觉系统的特点是提高生产的柔性和自动化程度。在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合,常用机器视觉来替代人工视觉;同时在大批量工业生产过程中,用人工视觉检查产品质量效率低且精度不高,用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现信息集成,是实现计算机集成制造的基础技术。 正是由于机器视觉系统可以快速获取大量信息,而且易于自动处理,也易于同设计信息以及加工控制信息集成,因此,在现代自动化生产过程中,人们将机器视觉系统广泛地用于工况监视、成品检验和质量控制等领域。在中国,这种应用也在逐渐被认知,且带来最直接的反应就是国内对于机器视觉的需求将越来越多。 机器视觉在国内外的应用现状在国外,机器视觉的应用普及

机械手控制一个通过视觉伺服

通过视觉伺服系统的机械手控制 文摘:在本文中,我们提出一个方法通过传感器来控制机器人手臂位移。因为该机械手通常是开环控制关节定位是无法利用的,所以为了获得更有效的控制界面,我们还提出了一种闭环系统的基础在一个眼对手视觉伺服方法。我们发现通过使用这样的一个方法,就是测量机械手的运动传感器的下意识不能精确控制机器人末端执行器运动。我们提出的解决方案,就是控制基础位置的机械手的速度控制。为了保持最后控制装置的视觉领域,相机方向也要被控制,其结果表明了该算法的有效性和效率的方法。 关键词:眼,手视觉伺服;无本体传感器;构成的计算; 1介绍 视觉伺服【哈钦森96】长期以来被证明是一种在恶劣的环境中非常有效地来控制机械手方法(核环境、空间、水下机器人等)。在本文中我们提出了一个通用的框架来控制一个大致的模型和使用一个眼对手视觉伺服系统校准机械手【艾伦93年,黑格95年,Horaud 98】。推动力是维克多6000机械手的控制。维克多6000[诺金 97]是一个深海远程操作工具,通过法国海洋研究所建造和营运,被用来探索海洋的地板。这是一个可以用船控制的海底车,目的是进行光学调查,进行局部作业、执行仪器仪表控制和样品水、沉积物或岩石鉴定采集。维克多6000配备两臂:6自由度机械手叫迈斯卓,一个四自由度的机械手叫夏尔巴人。在这个水下环境,眼对手视觉伺服已经用来控制远程操作工具(如【河流 97 地段 00 地段 01 范德荷兰尼克森 01】)。正如已经开始的,目标不止是控制远程操作工具本身,而是利用由一个相机提供的信息来控制机械手的运动。这台相机是安装在一个带有掀动头效果水下机器人上并遵守机械手的末端手爪控制。为了降低成本,这机械手并不灵敏,没有加装某些装置。并且由于缺乏本体感受的传感器,在量距和一些个别关节位置并不适合有效的,所以机器人通常是通过操纵杆开环控制着。因此如果没有外部传感器是用来提供的一个闭环系统是没有办法衡量机械手,并且任何运动控制将会是不精确的。这更促进一种通过在视觉伺服的框架下的移动相机到一个通用的框架来控制移动机械的方法引入。 该基准方法的几种主要利益特征和贡献。恶劣的环境(如,深海压力条件)在这种情况下的传感器可能会有剧烈损耗。我们在本文中说明的这些传感器使用方法是不需要精准的控制 一个手末端爪的。事实上,控制环路是被相机“封闭”的,现在由有效的传感器代替。这个控治可以被实现,即使相机本身就是运动。最后,这个方法能很好地抑制坏/粗略校准系统。此外,一个主要的利处是决定于手臂所达到的独立的位置以及不同建模和校准的错误,还有手臂上的的传感器,它有可能通机械手传达所指派的工作,由传感器直接在空间进行测量。

相关主题