一种基于视觉的手势识别系统

电子设计工程

ElｅｃｔrｏｎｉｃDｅsｉgｎEｎgｉｎｅｅrｉｎg

第２5卷Vｏl．２5第１７期Nｏ．１７２０１７年９月Sｅｐ．２０１７

收稿日期：２０１6-０９-０１

稿件编号：２０１6０９０１０

作者简介：付潇聪（１９９２—），男，江苏南通人，硕士。研究方向：计算机视觉。

随着计算机技术的迅速发展，人机交互（HMI ）在我们的日常生活中扮演者越来越重要的角色。

HMI 的目的是使人与机器的交流变得更加方便，传

统的人机交互手段有利用鼠标、键盘、触摸屏等，相比较而言，手势控制是一种更自然的交互方式[１]。

手的检测和数据获取是手势识别系统中第一步也是最重要的一步，检测结果直接影响识别的准确性。目前主流的手势获取方法有两种，一种是基于数据手套的手势获取，另一种为基于视觉的手势获取。基于数据手套的设备，例如CybｅrGlｏvｅ从上世纪９０年代开始流行，被用于获取手势动作兵进行实时手势识别。台湾大学的Lｉａｎg 利用数据手套识别了７１-

２5０个连续手语，识别率达到９０%[２]，KｉsｔｉGrｏbｅl ａｎd Mａrｃｅll Assａｎ实现了２6２个手语词汇的识别，识别

率达到９１．3%[3]。但是数据手套及其附属的连接线会给使用者带来不便，同时手套的价格对普通消费者来说也较昂贵。而基于视觉的手势获取只需要一个摄像头，研究者主要将精力放在复杂背景中分割手的算法研究，同时需要满足实时性、准确性和鲁棒性等要求。

在分割完成之后，需要对能代表手势的特征进行提取并用这些特征训练相应的分类器，常用的分类器有SVM 和人工神经网络等。Q．Cｈｅｎ等人利用

Hａａr-lｉkｅ特征直接训练分类器，能识别４中特定手势，识别率达到９5%[４]，Y．Lｉu 也采用了Hａａr-lｉkｅ特征，但是将特征用于SVM 分类器的训练，实现了3种不同手势的识别[5]。使用Hａａr-lｉkｅ特征的缺点也

很明显，识别手势数量有限，而且训练过程较长，一般需要一个星期至一个月进行训练。人工神经网络

一种基于视觉的手势识别系统

付潇聪，王浩平

（南京理工大学南京江苏２１００００）

摘要：本文提出一种基于视觉的手势识别方法。系统由两部分组成：分割部分与识别部分。对手掌的分割：采用基于肤色的阈值分割结合YCrCb 颜色空间算法，同时能够去掉人脸、多余的胳膊部分及其他噪声，得到只包含手掌的二值图。对手势的识别：采用二值图片Hu 矩作为手势特征，利用BP 神经网络对特征进行训练，最终实现对手指根数及一些特殊手势的识别。实验表明，该系统能有效分割手掌部分，达到对静态手势９5%以上的识别率。关键词：手势识别；手势分割；Hu 矩；人工神经网络中图分类号：TP-９

文献标识码：A

文章编号：１6７４-6２36（２０１７）１７-００２6-０5

A vision-based hand gesture recognition system

FU Xｉａｏ-ｃｏｎg ，WANG Hａｏ-ｐｉｎg

（Nanjing University of Science &Technology ，Nanjing ２１００００，China ）

Abstract:Iｎｔｈｉs ａrｔｉｃlｅ，ａvｉsｉｏｎ-bａsｅd ｈａｎd gｅsｔurｅrｅｃｏgｎｉｔｉｏｎsysｔｅｍｉs ｐrｏｐｏsｅd．Tｈｅsysｔｅｍｃｏｎsｉsｔs ｏf ｔwｏｍｏdulｅs:ｔｈｅsｅgｍｅｎｔａｔｉｏｎｐａrｔａｎd ｔｈｅrｅｃｏgｎｉｔｉｏｎｐａrｔ．Iｎｔｈｅsｅgｍｅｎｔａｔｉｏｎｐａrｔ，ａdｅｔｅｃｔｉｏｎｍｅｔｈｏd bａsｅd ｏｎskｉｎｃｏlｏr ｉs usｅd．Tｈｉs ｍｅｔｈｏd ｉs ａlsｏａblｅｔｏsｅgｍｅｎｔｈuｍａｎfａｃｅ，ａrｍａｎd ｏｔｈｅr sｍａll skｉｎ-ｃｏlｏr-lｉkｅd ｎｏｉsｅａｎd kｅｅｐｏｎly ｔｈｅｐａlｍ．Iｎｔｈｅrｅｃｏgｎｉｔｉｏｎｐａrｔ，ｔｈｅHu ｍｏｍｅｎｔs ａrｅusｅd ａs fｅａｔurｅs ｏf ｈａｎd's bｉｎａry ｉｍａgｅ．Tｈｅｎwｅａｐｐly ｔｈｅａrｔｉfｉｃｉａl ｎｅurａl ｎｅｔwｏrk （ANN ）ｔｏdｏｔｈｅｔrａｉｎｉｎg ａｎd fｉｎａl rｅｃｏgｎｉｔｉｏｎ．A sｅrｉｅs ｏf ｅxｐｅrｉｍｅｎｔs ａrｅｔｅsｔｅd ｏｎｔｈｅsysｔｅｍ，ａｎd wｅｈａvｅｍｏrｅｔｈａｎ９5%ａｃｃurａｃy．

Key words:ｈａｎd gｅsｔurｅrｅｃｏgｎｉｔｉｏｎ；ｈａｎd sｅgｍｅｎｔａｔｉｏｎ；Hu ｍｏｍｅｎｔ；ａrｔｉfｉｃｉａl ｎｅurａl ｎｅｔwｏrk

-２6-

万方数据