三种简单手势识别

简单手势识别

一、背景

随着计算机的发展，人机交互技术由传统的鼠标键盘时代发展到了以语音输入、动作识别等技术为代表的自然交互时代n1。特别是视觉计算技术的发展，使计算机获得了初步视觉感知的能力，能“看懂”用户的动作。手势识别作为一种直观自然的输入方式，把人们从传统接触性的输入装置中解放出来，可以以一种更自然的方式与计算机交互，使计算机界面变得更加易‘引。

手势主要分为静态手势和动态手势两种，动态手势可以看作是连续的静态手势序列。动态手势具有丰富和直观的表达能力，与静态手势结合在一起，能创造出更丰富的语义。利用动态手势识别构建新型的交互界面，是新一代的人机交互界面对输入方式自然性的要求，可以弥补传统交互方式的不足。基于视觉和手势识别研究正处于蓬勃发展的阶段，仍存着的许多值得研究的问题。研究基于视觉的动态手势识别对于构建更加好友的人机交互界面很有意义。

二、手势识别概述

2.1、手势识别的概念

手势是姿势的一个子集，姿势这个概念没有精确的定义。一般认为，手势概念经过人的手转化为的手势动作，观察者看到的是手势动作的图像。手势的产生过程如图2-1所示。

图2-1 手势的产生过程

手势识别的过程则找一个从图像V到概念动作G的变换而，如图2-2所示。

2.2、手势识别流程

随着计算机的发展，人机交互技术由传统的鼠标键盘时代发展到了以语音输入、动作识别等技术为代表的自然交互时代n1。特别是视觉计算技术的发展，使计算机获得了初步视觉感知的能力，能“看懂”用户的动作。手势识别作为一种直观自然的输入方式，把人们从传统接触性的输入装置中解放出来，可以以一种更自然的方式与计算机交互，使计算机界面变得更加容易。

手势主要分为静态手势和动态手势两种，动态手势可以看作是连续的静态手势序列。动态手势具有丰富和直观的表达能力，与静态手势结合在一起，能创造出更丰富的语义。利用动态手势识别构建新型的交互界面，是新一代的人机交互界面对输入方式自然性的要求，可以弥补传统交互方式的不足。基于视觉和手势识别研究正处于蓬勃发展的阶段，仍存着的许多值得研究的问题。研究基于视觉的动态手势识别对于构建更加好友的人机交互界面很有意义。

2.3、手势建模

在手势识别框架中，手势模型是一个最基本的部分。根据不同的应用背景，手势识别采用的模型会有不同，而对于不同的手势模型，采用的手势检测与跟踪算法、特征提取、识别技术也会有差别。手势建模主要分为基于表观的手势模型与基于三维的手势模型。

2.4、手势特征提取

手势特征的提取是与手势模型密切相关的，不

同的手势模型会有不同有手势特征。例如基于模型的手势模型有手的每个关节的状态特征，基于表观模型的手势特征是轮廓特征、位置特征等。静态手势识别和动态于势识别的特征也不同，静态手势的特征只是描述的手的静态信息，例如轮廓、面积等。动态手势特征是连续的静态特征序列。

三、手势识别

3.1、设计思路

常用的静态手势特征有轮廓、位置、面积、分布等。

本文主要利用对手势面积大小的识别来达到手势识别的目的，这里直接比较手型面积有交大困难。在手势的定位与分割时，产生了手势区域的方框，我们运用这个面积来代替手势的面积，具有较好的效果。当用摄像头采集到手势时，先将采集到的手势与采集到的手势库进行比较，比较得出与摄像头所得手势较吻合的的手势，在屏幕上显示相关手势的名称。

3.2、手势采集

对于手势识别，首先得要求有用来对比识别的手势，我们采集的简单的手势有以下几种：拳头、布、剪刀。如下图所示：

3.3、相关程序

本文的识别程序是在“肤色识别”的基础上进行一定修改形成的。通过读程序，我们发现原程序较慢，我们删除了一部分无关程序，提高了识别的速度。通过了Cr和Cb来判断Y的值，再利用Y的面积来判断不同的手势。程序详见报告。

三、手势识别

3.1、设计思路

常用的静态手势特征有轮廓、位置、面积、分布等。

本文主要利用对手势面积大小的识别来达到手势识别的目的，这里直接比较手型面积有交大困难。在手势的定位与分割时，产生了手势区域的方框，我们运用这个面积来代替手势的面积，具有较好的效果。当用摄像头采集到手势时，先将采集到的手势与采集到的手势库进行比较，比较得出与摄像头所得手势较吻合的的手势，在屏幕上显示相关手势的名称。

3.4、识别结果

对于不同的手势所得识别结果如下：

由识别结果可以看出：在合适位置随着手势的变换，在屏幕上显示的文字作相应变化。实验中发现，在不同摄像头背景下，实验结果存在较大差别，于是，我们采取了纯黑色的背景进行实验。

四、实验总结

手势识别技术的实现使人机交互更近一步，提高了人机交互的能力，对生产生活有很大的好处。通过查阅相关资料，我们认识到了手势识别在各方面的实际意义。本次实验实现了较为简单的手势识别，但不足之处较多，还有许多需完善的部分。

通过这次DSP课程学习，我们觉得在做实验时我们应该先确定自己实验的目标，本次实验我们欠缺一定讨论，一开始对实验的方向不太明确，之后是在实验过程中才慢慢发现运用面积大小对手势进行识别能产生较好效果。

--田伟民

以前也学过一点图像处理的的基本知识，也学过PHOTOSHOP的软件，也对图像的处理比较感兴趣，所以选择了这个课程。在DSP图像处理里面也学到了很多的东西尤其是图像的显示的最基本的知识，从采集，编码，到输出。对我来说意义最大的是用程序来实现了图像的处理，以前都是用软件来处理的，这是我接近计算机的方法更近了一步。DSP课程对我来说最难的是C语言编程，我们花了很多的时间在C语言的编程上，开始的时候总是在改子程序，读程序，后来开始尝试一些自己写字程序。在不断的尝试中摸索出来了一些方法和技巧，收获了不少的东西无论是图像处理上还是在编程上。我们总是在不断地尝试中，不断地努力中，渐渐形成了自己的想法和思路。

--温兴泵

通过这次实验，我们几个人分工合作，达到了很好的效果！首先，通过对程序的熟悉掌握相关的知识点，并能运用其知识点进行自己的设计，把前面几次的实验的讨论的结果成果运用在了这次的实验中，我们从显示字到画矩形边框，再到比较框里面的白色的面积比例确定显示哪个字符，这个完全是不断比较程序实践出来的，同时，我们对以前的显示轮廓的程序进行改进，实现了能够快速切换摄像头的功能，从而使界面平滑流畅，可以方便快捷地进行测试，达到了很好的效果！这次实验，几个人搞了很长的时间，首先是程序的熟悉方面就花了大概半天的时间，然后反复实验反复修改，最后总算书县的我们想要的功能--手势识别！虽然结果不是特别完美，但是感觉还是学习到了很多，可以说是对以前的知识的一次大的总结。通过对手势识别的研究，我深深感受到了DSP图象处理技术的神奇，同时心理也为掌握了很多这个方面的知识而感到欣喜。不过，这个也还是冰山一角，相信能进一步

非接触式电子设计—手势感应、手势识别芯片IC

非接触式的好处：健康、安全和便利 如果接触式按键和触摸屏工作正常，为什么要替换它们呢？其实，红外线系统不会取代现有的系统，而是增强用户使用体验。增强的集成度和小型化正在改变客户使用电子产品的方式。现如今人们随身携带着智能手机、个人媒体播放器、电子书和平板电脑，“计算机”不再仅仅使用于用户家中或办公桌面。 咖啡馆、餐厅、健身房、巴士站、飞机候车厅，甚至卫生间正在成为新一代嵌入式电子产品的使用环境。在这些不同的操作环境中，用户的手有时会被占用、变脏、出汗或沾有食物 - 所有这些条件不利于触摸屏操作。如果客户是在健身房阅读电子图书，希望在跑步机上一边跑步一边翻页，这将更容易通过非接触式手势识别来翻页，而不是物理接触触摸屏或按下一个小按钮。 阿达电子公司 ADD01S、ADD01T手势识别芯片设有HMI人机对话接口，芯片内部集成最基本的手势识别和照明调光的控制功能，用户无需增加额外的单片机以及复杂的软件工作，是一款完整功能的手势识别解决方案，适用于所有类型的照明应用中，也可广泛应用于开关、探测物体、调光等多种非接触式的手势感应产品中。除此之外，该手势识别解决方案也为用户预留有一定的空间，可根据实际的需求进行一些个性化的设计和优化。 无需看到即可控制设备有很多好处。例如，一个非接触式界面，可以让汽车司机使用非接触式挥手实现安全的启动/结束通话或调整音量，而不需要找到复杂仪表上的调整按钮。并非所有的设备需要带触摸屏的复杂图形显示，非接触式用户界面能够提供新颖和差异化的操作方式。 多-LED感应系统可以基于用户是否接近系统而改变系统操作。机顶盒或HVAC控制面板显示器可以保持关闭，直到系统检测到一定距离内的用户才打开，这能有效降低功耗。电视也可以基于手势输入打开或关闭、公共场所的小型视频广告牌可以基于用户的靠近或远离而改变显示内容，可以使用手势输入与潜在客户交流，这是一种比采用触摸屏更卫生的方法。这种“环境感知”电子产品能够使终端产品更加智能， 同时也更加省电。 融合多-LED接近感应器和主机MCU（例如阿达电子公司的电容式触摸感应微控制器）的设计，打开了灵活使用电容式触摸和红外线非接触式技术实现用户界面的大门。主机触摸感应MCU提供必要的计算能力去解释红外线感应器的输出，帮助调整非接触式手势的时序和灵敏度。MCU还可以用于感应器的实时配置，

基于STM32的手势识别控制器的设计

0 引言 操作控制器作为一种人机交互设备有着广泛的应用，比如在日常生活中，各种家电玩具的遥控器、触摸屏等，在工业生产领域各种仪器仪表设备的操作、设置和校验等。传统的操作控制器主要是通过人机接触的方式进行操作，比如按键，触摸屏等，这种操作方式容易产生静电，对于敏感的精密仪器设备影响较大，产生干扰[1]。有些设备会安置在高温高压或者有辐射的环境中，人机接触会给人体带来伤害，安全性低。市面上有些仪器仪表配有手持操作设备可以通过无线通信的方式进行操作，这种方式成本高，手持操作设备携带不方便。本文基于ARM 处理器芯片和光学数组式传感器设计了一种非接触的手势识别操作器，可将手势动作转化为控制信号，对于目标设备进行操作，安全便捷，可靠性高，具有广泛的应用场景[2]。 1 系统总体设计 本文设计的手势识别操作控制器系统总体分为三大模块,如图1所示，分别是手势检测模块，系统控制模块，和信号传输模块。 手势检测模块的主要任务是实时感应监测范围内的手 势活动，将感应到的手势活动信息转化为电信号并传输给控制系统模块。控制系统模块的功能是根据接收到的手势检测模块的电信号，经过处理识别具体的手势动作并转化为数字信号生成控制信息，通过信号传输模块对于目标设备进行操作[3]。 2 系统硬件设计 2.1 手势检测模块 手势识别传感器模块采用了采用原相科技（Pixart）公司的PAJ7620U2芯片，芯片结构如图2所示，该芯片内部集成了光学数组式传感器，以使复杂的手势和光标模式输出，可以检测出九种手势动作，支持上、下、左、右、前、后、顺时针旋转、逆时针旋转和挥动的手势动作识别，以及支持物体接近检测等功能。芯片结构功能如图所示，该芯片具体积小、灵敏度高、支持中断输出、兼容3.3V/5V 系统、使用方便等特点。 手势检测模块电路设计如图3所示，通过两个3.3V 超低压差稳压芯片，给PAJ7620芯片供电，外部分供电电源使用5V。IIC 通信时钟线IIC_SCL、IIC 通信数据线IIC_SDA 和中断输出引脚配有4.7引上拉电阻用于稳定信号输出。PAJ7620内部自带LED 驱动器，传感器感应阵列、目标信息提取阵列和手势识别阵列。PAJ7620工作时通过内部LED 驱动 器，驱动红外LED 向外发射红外线信号，当传感器阵列在有效的距离中探测到物体时，目标信息提取阵列会对探测目标进行特征原始数据的 获取，获取的数据会存在寄存器中，同时手势识 are operated by recognizing gesture movements. The application shows that the design is easy to operate, small size, high security, and can be widely used in scenarios.Key words : gesture recognition; sensor; STM32; operator 图1 系统结构图

2018年TI杯手势识别

2018年TI杯大学生电子设计竞赛手势识别装置（D题） 2018年7月23日

手势识别装置（D题） 【本科组】 摘要 手势识别作为人机交互的重要组成部分，其研究发展影响着人机交互的自然性和灵活性。 为了满足手势识别的设计要求，本次设计使用以测量电路为核心的系统。主要由五个模块组成，包括测量电路模块、传感器模块、显示模块、控制模块、电源模块组成。控制模块采用的是独立按键和MSP430F5529单片机，用以控制工作模式（训练和判决）；测量电路模块采用的是MSP430F5529单片机；传感器模块采用的是FDC2214电容传感器；显示模块采用12864LCD液晶显示屏；电源模块采用220V转5V的USB接口输出模块。本装置通过FDC2214电容传感器和MSP430F5529单片机测量频率值，再通过频率值判断手势，并显示在LCD液晶显示屏上。 关键词：手势识别MSP430F5529FDC2214 12864LCD

目录 一、系统方案 (1) 1.测量电路模块的选择 (1) 2.显示模块的选择 (1) 3.传感器模块 (1) 4.电源模块 (2) 5.方案确定 (2) 二、理论分析与计算 (2) 1.理论分析 (2) 2.计算 (2) 三、电路与程序设计 (3) 1.电路设计 (3) （1）系统总体框图 (3) （2）控制模块系统框图 (4) 2.程序设计 (4) （1）程序流程图 (4) （2）判决的流程图 (4) 四、测试方案与测试结果 (5) 1.测试方案 (5) （1）硬件测试 (5) （2）软件仿真测试 (5) （3）硬件软件联调 (5) 2.测试条件与仪器 (5) 五、测试结果 (6) 1.测试结果 (6) 2.误差分析 (6) 六、心得 (6) 七、参考文献 (7) 附录：电路原理图 (8) 一、

基于FDC2214的手势识别系统设计与实现

? 159 ? ELECTRONICS WORLD ? 技术交流 系统采用了STM32作为核心控制芯片，使用FDC2214芯片获取电容值，通过滤波后，与样本数据对比，找到最短的k 个样本，判断其类型数量，达到识别手势的目的。 1.总体设计 系统总体设计框架如图1所示，采用了STM32F103ZET6作为核心控制芯片，而核心检测芯片则采用的是TI 公司的FDC2214来处理极板与手之间的容值。得到的数据通过卡尔曼滤波和knn 算法来判断出不同手势之间的区别。 以独立按键来调节菜单和录入手势模板，通过oled 显示屏做出反馈并显示结果。 将手势录入一边，系统会自动处理好数据，再进入判决模式就 可以识别手势。 图1 系统总体设计框架 2.系统硬件设计 2.1 控制部分 本系统的控制核心采用了STM32单片机，它具有72M 主频，64K RAM 和512K ROM ，拥有多达14个定时器，自带PWM ，ADC ，DA,实时时钟等功能。非常满足作为嵌入式系统的控制需求。2.2 检测部分 电容检测部分是整个系统中最为重要的一部分，它决定了系统的识别率高低与否，整个系统的数据采样与检测都是建立在电容检测芯片的准确性上，因此选取TI 公司的FDC2214芯片来做为电容检测芯片，这是一种非接触式电容传感器，还有一个重要特性就是采用了EMI （抗电磁干扰）架构，因此它可以屏蔽高噪声环境干扰，在复杂环境确保传感器数据的准确性（周孟强，刘会衡，基于FDC2214手势识别装置的设计与实现：电子制作，2019）。2.3 极板部分 极板采用的是三层结构，最下面一层使用亚克力板，主要用作 的oled 显示屏，它小巧精致，分辨率高，相比液晶屏幕它更加节能，非常适合作为系统的显示模块。 输入部分由4个独立按键组成。4个独立按键分别作为切换键，确认键，返回键和系统复位键。 2.5 供电部分 电源部分采用了两块锂电池作为电源，使用稳压模块将电压降为5v 并后接入整个系统。 3.系统软件设计 软件系统流程图如图3所示。3.1 数据滤波算法设计数据滤波是去除噪音干扰的有 基于FDC2214的手势识别系统设计与实现 杨凌职业技术学院 陈 阳 图2 极板实物图支撑。中间一层使用铝箔胶带作为极板的金属层。最上面一层采用硬质透明塑料膜，有防止手直接和铝箔接触和保护极板的作用（郭霞，谭亚丽，申淼，基于FDC2214的手势识别系统：传感器与微系统，2018）。这样的设计好处在于可以很方便的自行调整和更换极板上的铝箔来达到不同的检测要求。2.4 人机交互部分 人机交互部分由显示部分和按键输入组成，分别采用oled 显示屏和独立按键组成。 显示部分采用了0.96 英寸 图3 系统软件流程图 效方法，本系统采用卡尔曼滤波算法，这是一种当下使用非常广泛的滤波算法，它有计算量小，易于计算机实现等特点（张辉，卜雯意，施豪，基于FDC2214电容传感器的手势识别装置的设计与实现：巢湖学院学报，2018 ）。将极板上采集的数据进行实时的处理，将数据中 图4 系统整机实物图的噪音清除，把误差降到最小。3.2 数据分类算法 kNN （k 最近邻算法）是一种数据分类方法，在学习模式下，将多次手势进行采样并滤波后，获取其特征向量作为样本数据，之后进入判定模式，系统会实时采样当数据稳定后，得到其特征向量，计算其特征向量与样 本数据之间的欧氏距离，找到相 距最短的k 个样本，判断其类型，即可识别手势（张硕，基于KNN 算法的空间手势识别研究与应用：吉林大学，2017）。 表1 石头，剪刀，布手势测试结果 手势实测结果石头石头正确石头石头正确石头石头正确石头石头正确石头石头正确剪刀剪刀正确剪刀剪刀正确剪刀剪刀正确剪刀剪刀正确剪刀剪刀正确布布正确布布正确布布正确布布正确布布 正确 正确率：100%

基于FDC2214设计的手势识别系统

- 75 - 第2期 2019年1月No.2January，2019 现介绍一种利用电容及谐振等原理，基于FDC2214非接触式电容传感器设计的手势识别系统的方法[1]，该设计方案简单、动态响应速度快、稳态精度高、抗干扰能力强，将此方法应用在人工智能、无人驾驶、智能家居等某些方面，取得了很好的控制效果。1 设计方案及工作原理1.1 设计方案 采用FDC 传感器的一个通道，每个通道的两个输入端各接一个铜板，相当于电容板的两个极板，两个极板并排放置，通过一个通道的频率值判断手势，具体如图1所示。 图1 总体方案框图 1.2 工作原理 FDC 电容传感器4个通道每个通道接一个LC 谐振回路，且每个通道接两个铜板，相当于电容极板，根据电容定义： 4k S C d επ= （1）当介电常数ε或者极板间距离d 变化，电容也变化。手 势变化导致C 变化，LC 的谐振频率变化[2] ，FDC2214电容传 感器将频率转换为数字量，每一个电容值对应一个确定的数字量，具体如图2所示。2 核心部件电路设计2.1 电源电路设计 系统单片机需要3.3 V 电源供电，而FDC2214EV M 板采用2.7～3.6 V 供电，综合测试方便等各种因素，最 终采用220 V 交流电压经过变压器、整流电路、滤波器、 稳压电路产生5 V 供电电压，为防止芯片损坏以及获得较大的电路输出，采用7805系列芯片输出5 V 电压，然后通过AMS1117_3.3稳压芯片产生3.3 V 。 图2 测试原理图 2.2 FDC2214电路设计 FDC2214采用2.7～3.6 V 供电，激励频率为10 kHz ～ 10 MHz ，设计中采用AMS 1117系列产生3.3 V 电压，采用AMS1117系列稳压芯片产生3.3 V 供电电压。用40 M 有源晶振作为输入激励频率，4个通道分别接LC 谐振电路，电路如图3所示。 图3 FDC2214应用电路 3 系统软件设计 软件设计原理框图如图4所示[3]。 作者简介：黄冬梅（1968— ），女，辽宁岫岩人，教授，硕士；研究方向：嵌入式系统设计，新能源应用技术。 摘 要：文章采用TI 公司FDC2214非接触式电容传感器设计的手势识别系统，系统依据电容并联求和及LC 谐振原理，通过 FDC 测量返回信号的频率计算出相应的电容，从而达到通过测量电容变化进而感知手势变化的一种测量方式。此外，当环境以及人员变化时，该系统具备重新学习以适应变化的环境和人物，且系统抗干扰能力强。该系统的设计机理有望应用在未来无人驾驶、人工智能等方面。关键词：FDC2214；MSP430F5529；手势识别基于FDC2214设计的手势识别系统 黄冬梅1，王树鑫2 （1.哈尔滨职业技术学院 机电工程学院，黑龙江 哈尔滨 150080；2.哈尔滨工业大学 计算机学院，黑龙江 哈尔滨 150001） 无线互联科技 Wireless Internet Technology

手势识别智能小车创意书

2014年重庆大学生 “合泰杯”单片机应用设计竞赛参赛 作品创意书 作品名称：手势智能小车 参赛学校：重庆工商职业学院 系名称：电子信息工程学院 指导老师：刘旭飞老师 参赛学生1：易虹羊 参赛学生2：胡照华 参赛学生3：姚正兰 2014年12月26日

作品创意书 一、摘要 智能小车作为现代的新发明，是以后的发展方向，他可以按照预先设定的模式在一个环境里自动的运作，不需要人为的管理，可应用于科学勘探等等的用途。智能小车能够实时显示时间、速度、里程，具有自动寻迹、寻光、避障功能，可程控行驶速度、准确定位停车，远程传输图像等功能。手势控制智能小车的移动，小车具有自动循迹、避障等功能。提供一种更有趣、更方便的服务。 二、作品介绍 基于目前的普遍情况来看，多数智能小车遥控方式包括无线电遥控、红外线遥控和超声波遥控等。随着计算机的广泛应用，人机交互（Human Computer Interaction，HCI）已成为人们日常生活中的重要部分。人机交互的最终目标是实现人与机器自然的交流，因此手势识别研究顺应了发展需求。 1、国外手势识别研究状况 目前，手势识别已被广泛研究，尤其是基于视觉的手势识别。韩国Inda大学和Korea Polytechnic大学的JongShill Lee、YouongJoo Lee 等人用熵分析法从背景复杂的视频流中分割出手势区域并进行手势识别。使用链码的方法检测手势区域的轮廓，最后计算出从手势区域的质心到轮廓边界的距离。该系统课识别6种手势，平均识别率超过95%；6个人分别做每个手势的识别率平均达到90%—100%。印度研究者Meenaskshi Panwar 在视觉手势识别的基础上提出了一种基于结