怎样使用OpenCV进行人脸识别
怎样使用OpenCV进行人脸识别
本文大部分来自OpenCV官网上的Face Reconition with OpenCV这节内容
(https://www.sodocs.net/doc/c11898872.html,/modules/contrib/doc/facerec/facerec_tutorial.html)，小弟我尝试翻译一些重要内容。这部分内容是Philipp Wagner写的，他的github：https://https://www.sodocs.net/doc/c11898872.html,/bytefish，他的网站http://www.bytefish.de/，应该是个德国人。下面应该是他的照片。
友情提示，要看懂代码前，你得先知道OpenCV的安装和配置，会用C++，用过一些OpenCV函数。基本的图像处理和矩阵知识也是需要的。[gm:我是箫鸣的注释]由于我仅仅是翻译，对于六级才过的我，肯定有一些翻译错的或者不当的地方，所以请大家纠错。
1.1.介绍Introduction
从OpenCV2.4开始，加入了新的类FaceRecognizer，我们可以使用它便捷地进行人脸识别实验。本文既介绍代码使用，又介绍算法原理。(他写的源代码，我们可以在OpenCV的
opencv\modules\contrib\doc\facerec\src下找到，当然也可以在他的github中找到，如果你想研究源码，自然可以去看看，不复杂)
目前支持的算法有
Eigenfaces特征脸createEigenFaceRecognizer()
Fisherfaces createFisherFaceRecognizer()
Local Binary Patterns Histograms局部二值直方图createLBPHFaceRecognizer()
下面所有的例子中的代码在OpenCV安装目录下的samples/cpp下面都能找到，所有的代码商用或者学习都是免费的。
1.2.人脸识别Face Recognition
对人类来说，人脸识别很容易。文献[Tu06]告诉我们，仅仅是才三天的婴儿已经可以区分周围熟悉的人脸了。那么对于计算机来说，到底有多难？其实，迄今为止，我们对于人类自己为何可以区分不同的人所知甚少。是人脸内部特征(眼睛、鼻子、嘴巴)还是外部特征(头型、发际线)对于人类识别更有效?我们怎么分析一张图像，大脑是如何对它编码的？David Hubel和T orsten Wiesel向我们展示，我们的大脑针对不同的场景，如线、边、角或者运动这些局部特征有专门的神经细胞作出反应。显然我们没有把世界看成零散的块块，我们的视觉皮层必须以某种方式把不同的信息来源转化成有用的模式。自动人脸识别就是如何从一幅图像中提取有意义的特征，把它们放入一种有用的表示方式，然后对他们进行一些分类。基于几何特征的人脸的人脸识别可能是最直观的方法来识别人脸。第一个自动人脸识别系统在[Kanade73]中又描述：标记点(眼睛、耳朵、鼻子等的位置)用来构造一个特征向量(点与点之间的距离、角度等)。通过计算测试和训练图像的特征向量的欧氏距离来进行识别。这样的方法对于光照变化很稳健，但也有巨大的缺点：标记点的确定是很复杂的，即使是使用最先进的算法。一些几何特征人脸识别近期工作在文献[Bru92]中有描述。一个22维的特征向量被用在一个大数据库上，单靠几何特征不能提供足够的信息用于人脸识别。
特征脸方法在文献[TP91]中有描述，他描述了一个全面的方法来识别人脸：面部图像是一个点，这个点是从高维图像空间找到它在低维空间的表示，这样分类变得很简单。低维子空间低维是使用主元分析(Principal Component Analysis,PCA)找到的，它可以找拥有最大方差的那个轴。虽然这样的转换是从最佳重建角度考虑的，但是他没有把标签问题考虑进去。[gm:读懂这段需要一些机器学习知识]。想象一个情况，如果变化是基于外部来源，比如光照。轴的最大方差不一定包含任何有鉴别性的信息，因此此时的分类是不可能的。因此，一个使用线性鉴别(Linear Discriminant Analysis,LDA)的特定类投影方法被提出来解决人脸识别问题[BHK97]。其中一个基本的想法就是，使类内方差最小的同时，使类外方差最大。
近年来，各种局部特征提取方法出现。为了避免输入的图像的高维数据，仅仅使用的局部特征描述图像的方法被提出，提取的特征(很有希望的)对于局部遮挡、光照变化、小样本等情况更强健。有关局部特征提取的方法有盖伯小波(Gabor Waelets)([Wiskott97])，离散傅立叶变换(Discrete Cosinus
Transform,DCT)([Messer06])，局部二值模式(Local Binary Patterns,LBP)([AHP04])。使用什么方法来提取时域空间的局部特征依旧是一个开放性的研究问题，因为空间信息是潜在有用的信息。
1.3.人脸库Face Database
我们先获取一些数据来进行实验吧。我不想在这里做一个幼稚的例子。我们在研究人脸识别，所以我们需要一个真的人脸图像！你可以自己创建自己的数据集，也可以从这里(https://www.sodocs.net/doc/c11898872.html,/databases/)下载一个。
A T&T Facedatabase又称ORL人脸数据库，40个人，每人10张照片。照片在不同时间、不同光照、不同表情(睁眼闭眼、笑或者不笑)、不同人脸细节(戴眼镜或者不戴眼镜)下采集。所有的图像都在一个黑暗均匀的背景下采集的，正面竖直人脸(有些有有轻微旋转)。
Y ale Facedatabase A ORL数据库对于初始化测试比较适合，但它是一个简单的数据库，特征脸已经可以达到97%的识别率，所以你使用其他方法很难得到更好的提升。Y ale人脸数据库是一个对于初始实验更好的数据库，因为识别问题更复杂。这个数据库包括15个人(14个男人,1个女人)，每一个都有11个灰度图像，大小是320*243像素。数据库中有光照变化(中心光照、左侧光照、右侧光照)、表情变化(开心、正常、悲伤、瞌睡、惊讶、眨眼)、眼镜(戴眼镜或者没戴)。
坏消息是它不可以公开下载，可能因为原来的服务器坏了。但我们可以找到一些镜像(比如the MIT)
但我不能保证它的完整性。如果你需要自己剪裁和校准图像，可以阅读我的笔记
(bytefish.de/blog/fisherfaces)。
Extended Y ale Facedatabase B此数据库包含38个人的2414张图片，并且是剪裁好的。这个数据库重点是测试特征提取是否对光照变化强健，因为图像的表情、遮挡等都没变化。我认为这个数据库太大，不适合这篇文章的实验，我建议使用ORL数据库。
1.3.1.准备数据
我们从网上下了数据，下了我们需要在程序中读取它，我决定使用CSV文件读取它。一个CSV文件包含文件名，紧跟一个标签。
/path/to/image.ext;0
假设/path/to/image.ext是图像，就像你在windows下的c:/faces/person0/image0.jpg。最后我们给它一个标签0。这个标签类似代表这个人的名字，所以同一个人的照片的标签都一样。我们对下载的ORL数据库进行标识，可以获取到如下结果：
./at/s1/1.pgm;0
./at/s1/2.pgm;0
...
./at/s2/1.pgm;1
./at/s2/2.pgm;1
...
./at/s40/1.pgm;39
./at/s40/2.pgm;39
想象我已经把图像解压缩在D:/data/at下面，而CSV文件在D:/data/at.txt。下面你根据自己的情况修改替换即可。一旦你成功建立CSV文件，就可以像这样运行示例程序：
facerec_demo.exe D:/data/at.txt
1.3.2Creating the CSV File
你不需要手工来创建一个CSV文件，我已经写了一个Python程序来做这事。
[gm:说一个我实现的方法
如果你会cmd命令，或者称DOS命令，那么你打开命令控制台。假设我们的图片放在J:下的Faces文件夹下，可以输入如下语句：
J:\Faces\ORL>dir /b/s *.bmp > at.txt
然后你打开at.txt文件可能看到如下内容(后面的0，1..标签是自己加的)：
。。。。
J:\Faces\ORL\s1\1.bmp;0
J:\Faces\ORL\s1\10.bmp;0
J:\Faces\ORL\s1\2.bmp;0
J:\Faces\ORL\s1\3.bmp;0
J:\Faces\ORL\s1\4.bmp;0
J:\Faces\ORL\s1\5.bmp;0
J:\Faces\ORL\s1\6.bmp;0
J:\Faces\ORL\s1\7.bmp;0
J:\Faces\ORL\s1\8.bmp;0
J:\Faces\ORL\s1\9.bmp;0
J:\Faces\ORL\s10\1.bmp;1
J:\Faces\ORL\s10\10.bmp;1
J:\Faces\ORL\s10\2.bmp;1
J:\Faces\ORL\s10\3.bmp;1
J:\Faces\ORL\s10\4.bmp;1
J:\Faces\ORL\s10\5.bmp;1
J:\Faces\ORL\s10\6.bmp;1
。。。。
自然还有c++编程等方法可以做得更好，看这篇文章反响，如果很多人需要，我就把这部分的代码写出来。
(遍历多个文件夹，标上标签)
]
特征脸Eigenfaces
我们讲过，图像表示的问题是他的高维问题。二维灰度图像p*q大小，是一个m=qp维的向量空间，所以一个100*100像素大小的图像就是10，000维的图像空间。问题是，是不是所有的维数空间对我们来说都有用？我们可以做一个决定，如果数据有任何差异，我们可以通过寻找主元来知道主要信息。主成分分析(Principal Component Analysis,PCA)是Karl Pearson (1901)独立发表的，而Harold Hotelling (1933)把一些可能相关的变量转换成一个更小的不相关的子集。想法是，一个高维数据集经常被相关变量表示，因此只有一些的维上数据才是有意义的，包含最多的信息。PCA方法寻找数据中拥有最大方差的方向，被称为主成分。
算法描述Algorithmic Description
令表示一个随机特征，其中.
1. 计算均值向量
2. 计算协方差矩阵S
3. 计算的特征值和对应的特征向量
4. 对特征值进行递减排序，特征向量和它顺序一致. K个主成分也就是k个
最大的特征值对应的特征向量。
x的K个主成份:
其中（11）.
PCA基的重构:
其中.
然后特征脸通过下面的方式进行人脸识别：
A．把所有的训练数据投影到PCA子空间
B．把待识别图像投影到PCA子空间
C．找到训练数据投影后的向量和待识别图像投影后的向量最近的那个。
还有一个问题有待解决。比如我们有400张图片，每张100*100像素大小，那么PCA需要解决协方差矩阵的求解，而X的大小是10000*400，那么我们会得到10000*10000大小的矩阵，这需要大概
0.8GB的内存。解决这个问题不容易，所以我们需要另一个计策。就是转置一下再求，特征向量不变化。
文献[Duda01]中有描述。
[gm:这个PCA还是自己搜着看吧，这里的讲的不清楚，不适合初学者看]
OpenCV中使用特征脸Eigenfaces in OpenCV
给出示例程序源代码
#include "opencv2/core/core.hpp"
#include "opencv2/contrib/contrib.hpp"
#include "opencv2/highgui/highgui.hpp"
#include
#include
#include
usingnamespace cv;
usingnamespace std;
static Matnorm_0_255(InputArray_src){
Matsrc=_src.getMat();
// 创建和返回一个归一化后的图像矩阵:
Matdst;
switch(src.channels()){
case1:
cv::normalize(_src,dst,0,255,NORM_MINMAX,CV_8UC1);
break;
case3:
cv::normalize(_src,dst,0,255,NORM_MINMAX,CV_8UC3);
break;
default:
src.copyTo(dst);
break;
}
return dst;
}
//使用CSV文件去读图像和标签，主要使用stringstream和getline方法
static void read_csv(const string&filename,vector
std::ifstreamfile(filename.c_str(),ifstream::in);
if(!file){
stringerror_message="No valid input file was given, please check the given filename.";
CV_Error(CV_StsBadArg,error_message);
}
stringline,path,classlabel;
while(getline(file,line)){
stringstreamliness(line);
getline(liness,path,separator);
getline(liness,classlabel);
if(!path.empty()&&!classlabel.empty()){
images.push_back(imread(path,0));
labels.push_back(atoi(classlabel.c_str()));
}
}
}
int main(int argc,const char*argv[]){
// 检测合法的命令，显示用法
// 如果没有参数输入则退出！.
if(argc<2){
cout<<"usage: "< exit(1); } stringoutput_folder; if(argc==3){ output_folder=string(argv[2]); } //读取你的CSV文件路径. stringfn_csv=string(argv[1]); // 2个容器来存放图像数据和对应的标签 vector vector // 读取数据. 如果文件不合法就会出错 // 输入的文件名已经有了. try{ read_csv(fn_csv,images,labels); }catch(cv::Exception&e){ cerr<<"Error opening file \""< // 文件有问题，我们啥也做不了了，退出了 exit(1); } // 如果没有读取到足够图片，我们也得退出. if(images.size()<=1){ stringerror_message="This demo needs at least 2 images to work. Please add more images to your data set!"; CV_Error(CV_StsError,error_message); } // 得到第一张照片的高度. 在下面对图像 // 变形到他们原始大小时需要 int height=images[0].rows; // 下面的几行代码仅仅是从你的数据集中移除最后一张图片 //[gm:自然这里需要根据自己的需要修改，他这里简化了很多问题] MattestSample=images[images.size()-1]; int testLabel=labels[labels.size()-1]; images.pop_back(); labels.pop_back(); // 下面几行创建了一个特征脸模型用于人脸识别， // 通过CSV文件读取的图像和标签训练它。 // T这里是一个完整的PCA变换 //如果你只想保留10个主成分，使用如下代码 // cv::createEigenFaceRecognizer(10); // // 如果你还希望使用置信度阈值来初始化，使用以下语句： // cv::createEigenFaceRecognizer(10, 123.0); // // 如果你使用所有特征并且使用一个阈值，使用以下语句： // cv::createEigenFaceRecognizer(0, 123.0); // Ptr model->train(images,labels); // 下面对测试图像进行预测，predictedLabel是预测标签结果 int predictedLabel=model->predict(testSample); // // 还有一种调用方式，可以获取结果同时得到阈值: // int predictedLabel = -1; // double confidence = 0.0; // model->predict(testSample, predictedLabel, confidence); // stringresult_message=format("Predicted class = %d / Actual class = %d.",predictedLabel,testLabel); cout< // 这里是如何获取特征脸模型的特征值的例子，使用了getMat方法: Mateigenvalues=model->getMat("eigenvalues"); // 同样可以获取特征向量: MatW=model->getMat("eigenvectors"); // 得到训练图像的均值向量 Matmean=model->getMat("mean"); // 现实还是保存: if(argc==2){ imshow("mean",norm_0_255(mean.reshape(1,images[0].rows))); }else{ imwrite(format("%s/mean.png",output_folder.c_str()),norm_0_255(mean.reshape(1,images[0].rows ))); } // 现实还是保存特征脸: for(int i=0;i stringmsg=format("Eigenvalue #%d = %.5f",i,eigenvalues.at cout< // 得到第 #i个特征 Matev=W.col(i).clone(); //把它变成原始大小，为了把数据显示归一化到0~255. Matgrayscale=norm_0_255(ev.reshape(1,height)); // 使用伪彩色来显示结果，为了更好的感受. Matcgrayscale; applyColorMap(grayscale,cgrayscale,COLORMAP_JET); // 显示或者保存: if(argc==2){ imshow(format("eigenface_%d",i),cgrayscale); }else{ imwrite(format("%s/eigenface_%d.png",output_folder.c_str(),i),norm_0_255(cgrayscale)); } } // 在一些预测过程中，显示还是保存重建后的图像: for(int num_components=10;num_components<300;num_components+=15){ // 从模型中的特征向量截取一部分 Matevs=Mat(W,Range::all(),Range(0,num_components)); Matprojection=subspaceProject(evs,mean,images[0].reshape(1,1)); Matreconstruction=subspaceReconstruct(evs,mean,projection); // 归一化结果，为了显示: reconstruction=norm_0_255(reconstruction.reshape(1,images[0].rows)); // 显示或者保存: if(argc==2){ imshow(format("eigenface_reconstruction_%d",num_components),reconstruction); }else{ imwrite(format("%s/eigenface_reconstruction_%d.png",output_folder.c_str(),num_components),re construction); } } // 如果我们不是存放到文件中，就显示他，这里使用了暂定等待键盘输入: if(argc==2){ waitKey(0); } return0; } 我使用了伪彩色图像，所以你可以看到在特征脸中灰度值是如何分布的。你可以看到特征脸不但对人脸特征进行编码，还对这些图像中的光照进行编码。(看第四张图像是左侧的光照，而第五张是右侧的光照)[gm:PCA对光照变化图像识别效果很差，自然有一些改进方法，有后再谈] (15) 我们已经看到了，我们可以利用低维近似来重构人脸，我们看看对于一个好的重构，需要多少特征脸。我将依次画出10，30，。。310张特征脸时的效果。 for(int num_components=10;num_components<300;num_components+=15){ Matevs=Mat(W,Range::all(),Range(0,num_components)); Matprojection=subspaceProject(evs,mean,images[0].reshape(1,1)); Matreconstruction=subspaceReconstruct(evs,mean,projection); reconstruction=norm_0_255(reconstruction.reshape(1,images[0].rows)); if(argc==2){ imshow(format("eigenface_reconstruction_%d",num_components),reconstruction); }else{ imwrite(format("%s/eigenface_reconstruction_%d.png",output_folder.c_str(),num_components),re construction); } } 显然10个特征向量[gm:1个特征向量可以变形成一个特征脸，这里特征向量和特征脸概念有些近似]是不够的，50个特征向量可以有效的编码出重要的人脸特征。在ORL数据库中，当使用300个特征向量时，你将获取一个比较好的和重构结果。有定理指出重构需要选择多少特征脸才合适，但它严重依赖于人脸数据库。[gm:也就是没啥讨论意义，针对现实情况做出考虑吧]。文献[Zhao03]是一个好的开始研究起点。 Fisherfaces 主成分分析是一种基于特征脸的方法，找到使数据中最大方差的特征线性组合。这是一个表现数据的强大方法，但它没有考虑类别信息，并且在扔掉主元时，同时许多有鉴别的信息都被扔掉。假设你数据库中的变化主要是光照变化，那么PCA此时几乎失效了。[gm:把光照情况类似的照片认为一样，而不管人脸其他细节]可以看去http://www.bytefish.de/wiki/pca_lda_with_gnu_octave看下例子。 线性鉴别分析在降维的同时考虑类别信息，由统计学家Sir R. A. Fisher发明。在他1936年的文献中，他成功对花进行了分类：The use of multiple measurements in taxonomic problems[Fisher36]。为了找到一种特征组合方式，达到最大的类间离散度和最小的类内离散度。这个想法很简单：在低维表示下，相同的类应该紧紧的聚在一起，而不同的类别尽量距离越远。这也被Belhumeur, Hespanha和Kriegman所认同，所以他们把鉴别分析引入到人脸识别问题中[BHK97]。 算法描述Algorithmic Description 令x是一个来自c个类中的随机向量， 散度矩阵和S_{W}如下计算: , 其中是全部数据的均值: （21） 而是某个类的均值: Fisher的分类算法可以看出一个投影矩阵, 使得类的可分性最大: (26) 接下来[BHK97], 一个解决这个普通特征值优化问题的方法被提出: 还有一个问题未解决，Sw的排列最多只有（N-c）, N个样本和c个类别。在模式识别中，样本数据个数N的大小一般小于输入数据的维数。 [gm:比如说之前的图片，N=400，而10000就是数据维数]那么，散度矩阵Sw就是奇异的(可以看文献[RJ91])。在文献[BHK97]中，使用PCA把数据投影到(N-c)维的子空间，然后再使用线性鉴别分析，因为Sw不是奇异矩阵了(可逆矩阵)。 然后优化问题可以写成： 投影矩阵W，可以把样本投影到(c-1)维的空间上，可以表示为 (29) Fisherfaces in OpenCV #include "opencv2/core/core.hpp" #include "opencv2/contrib/contrib.hpp" #include "opencv2/highgui/highgui.hpp" #include #include #include usingnamespace cv; usingnamespace std; static Matnorm_0_255(InputArray_src){ Matsrc=_src.getMat(); // 创建和返回归一化的图像: Matdst; switch(src.channels()){ case1: cv::normalize(_src,dst,0,255,NORM_MINMAX,CV_8UC1); break; case3: cv::normalize(_src,dst,0,255,NORM_MINMAX,CV_8UC3); break; default: src.copyTo(dst); break; } return dst; } static void read_csv(const string&filename,vector std::ifstreamfile(filename.c_str(),ifstream::in); if(!file){ stringerror_message="No valid input file was given, please check the given filename."; CV_Error(CV_StsBadArg,error_message); } stringline,path,classlabel; while(getline(file,line)){ stringstreamliness(line); getline(liness,path,separator); getline(liness,classlabel); if(!path.empty()&&!classlabel.empty()){ images.push_back(imread(path,0)); labels.push_back(atoi(classlabel.c_str())); } } } int main(int argc,const char*argv[]){ // 判断输入命令是否有效，输出用法 // 如果没有输入参数. if(argc<2){ cout<<"usage: "< exit(1); } stringoutput_folder; if(argc==3){ output_folder=string(argv[2]); } // 获取CSV文件的路径. stringfn_csv=string(argv[1]); // 这些容器存放图片和标签. vector vector // 载入数据.如果不合理，会出错 // 输入文件名fn_csv已经有了. try{ read_csv(fn_csv,images,labels); }catch(cv::Exception&e){ cerr<<"Error opening file \""< // 什么也不能做了 exit(1); } // 如果没有足够图像就退出掉. if(images.size()<=1){ stringerror_message="This demo needs at least 2 images to work. Please add more images to your data set!"; CV_Error(CV_StsError,error_message); } int height=images[0].rows; MattestSample=images[images.size()-1]; int testLabel=labels[labels.size()-1]; images.pop_back(); labels.pop_back(); // 如果想保存10个fisherfaces // cv::createFisherFaceRecognizer(10); // // 如果要以123.0作为置信阈值 // cv::createFisherFaceRecognizer(0, 123.0); // Ptr model->train(images,labels); int predictedLabel=model->predict(testSample); // // model->predict(testSample, predictedLabel, confidence); // stringresult_message=format("Predicted class = %d / Actual class = %d.",predictedLabel,testLabel); cout< Mateigenvalues=model->getMat("eigenvalues"); MatW=model->getMat("eigenvectors"); Matmean=model->getMat("mean"); if(argc==2){ imshow("mean",norm_0_255(mean.reshape(1,images[0].rows))); }else{ imwrite(format("%s/mean.png",output_folder.c_str()),norm_0_255(mean.reshape(1,images[0].rows ))); } //显示还是保存, 最多16 Fisherfaces: for(int i=0;i stringmsg=format("Eigenvalue #%d = %.5f",i,eigenvalues.at cout< Matev=W.col(i).clone(); Matgrayscale=norm_0_255(ev.reshape(1,height)); // 使用Bone伪彩色图像来显示. Matcgrayscale; applyColorMap(grayscale,cgrayscale,COLORMAP_BONE); if(argc==2){ imshow(format("fisherface_%d",i),cgrayscale); }else{ imwrite(format("%s/fisherface_%d.png",output_folder.c_str(),i),norm_0_255(cgrayscale)); } } for(int num_component=0;num_component Matev=W.col(num_component); Matprojection=subspaceProject(ev,mean,images[0].reshape(1,1)); Matreconstruction=subspaceReconstruct(ev,mean,projection); reconstruction=norm_0_255(reconstruction.reshape(1,images[0].rows)); if(argc==2){ imshow(format("fisherface_reconstruction_%d",num_component),reconstruction); }else{ imwrite(format("%s/fisherface_reconstruction_%d.png",output_folder.c_str(),num_component),re construction); } } if(argc==2){ waitKey(0); } return0; } 在这个例子中，我使用Y ale A人脸数据库，仅仅因为显示更好些。每一个Fisherface都和原始图像有同样长度，因此它可以被显示成图像。下面显示了16张Fisherfaces图像。 Fisherfaces方法学习一个正对标签的转换矩阵，所依它不会如特征脸那样那么注重光照。鉴别分析是寻找可以区分人的面部特征。需要说明的是，Fisherfaces的性能也很依赖于输入数据。实际上，如果你对光照好的图片上学习Fisherfaces，而想对不好的光照图片进行识别，那么他可能会找到错误的主元，因为在不好光照图片上，这些特征不优越。这似乎是符合逻辑的，因为这个方法没有机会去学习光照。[gm:那么采集图像时就要考虑光照变化，训练时考虑所有光照情况，数据库multi-pie就考虑很多种光照] Fisherfaces允许对投影图像进行重建，就行特征脸一样。但是由于我们仅仅使用这些特征来区分不同的类别，因此你无法期待对原图像有一个好的重建效果。[gm:也就是特征脸把每个图片看成一个个体，重建时效果也有保证，而Fisherfaces把一个人的照片看成一个整体，那么重建时重建的效果则不是很好]。对于Fisherfaces方法我们将把样本图像逐个投影到Fisherfaces上。因此你可以获得一个好的可视效果，每个Fisherfaces特征可以被描述为 for(int num_component=0;num_component Matev=W.col(num_component); Matprojection=subspaceProject(ev,mean,images[0].reshape(1,1)); Matreconstruction=subspaceReconstruct(ev,mean,projection); reconstruction=norm_0_255(reconstruction.reshape(1,images[0].rows)); if(argc==2){ imshow(format("fisherface_reconstruction_%d",num_component),reconstruction); }else{ imwrite(format("%s/fisherface_reconstruction_%d.png",output_folder.c_str(),num_component),re construction); } } 对于人类眼睛来说，差异比较微妙，但你还是可以看到一些差异的。 （31） 局部二值模式直方图Local Binary Patterns Histograms Eigenfaces和Fisherfaces使用整体方法来进行人脸识别[gm:直接使用所有的像素]。你把你的数据当作图像空间的高维向量。我们都知道高维数据是糟糕的，所以一个低维子空间被确定，对于信息保存可能很好。Eigenfaces是最大化总的散度，这样可能导致，当方差由外部条件产生时，最大方差的主成分不适合用来分类。所以为使用一些鉴别分析，我们使用了LDA方法来优化。Fisherfaces方法可以很好的运作，至少在我们假设的模型的有限情况下。 现实生活是不完美的。你无法保证在你的图像中光照条件是完美的，或者说1个人的10张照片。所以，如果每人仅仅只有一张照片呢？我们的子空间的协方差估计方法可能完全错误，所以识别也可能错误。是否记得Eigenfaces在AT&T数据库上达到了96%的识别率？对于这样有效的估计，我们需要多少张训练图像呢？下图是Eigenfaces和Fisherfaces方法在AT&T数据库上的首选识别率，这是一个简单的数据库： 因此，若你想得到好的识别率，你大约需要每个人有8(7~9)张图像，而Fisherfaces在这里并没有好的帮助。以上的实验是10个图像的交叉验证结果，使用了facerec框架：https://https://www.sodocs.net/doc/c11898872.html,/bytefish/facerec。 这不是一个刊物，所以我不会用高深的数学分析来证明这个图像。当遇到小的训练数据集时，可以看一下文献[KM01]，了解二种方法的细节分析。 一些研究专注于图像局部特征的提取。主意是我们不把整个图像看成一个高维向量，仅仅用局部特征来描述一个物体。通过这种方式提取特征，你将获得一个低维隐式。一个好主意！但是你很快发现这种图像表示方法不仅仅遭受光照变化。你想想图像中的尺度变化、形变、旋转—我们的局部表示方式起码对这些情况比较稳健。正如SIFT，LBP方法在2D纹理分析中举足轻重。LBP的基本思想是对图像的像素和它局部周围像素进行对比后的结果进行求和。把这个像素作为中心，对相邻像素进行阈值比较。如果中心像素的亮度大于等于他的相邻像素，把他标记为1，否则标记为0。你会用二进制数字来表示每个像素，比如11001111。因此，由于周围相邻8个像素，你最终可能获取2^8个可能组合，被称为局部二值模式，有时被称为LBP码。第一个在文献中描述的LBP算子实际使用的是3*3的邻域。 算法描述Algorithmic Description 一个更加正式的LBP操作可以被定义为 其中是中心像素，亮度是；而则是相邻像素的亮度。s是一个符号函数： (38) 这种描述方法使得你可以很好的捕捉到图像中的细节。实际上，研究者们可以用它在纹理分类上得到最先进的水平。正如刚才描述的方法被提出后，固定的近邻区域对于尺度变化的编码失效。所以，使用一个变量的扩展方法，在文献[AHP04]中有描述。主意是使用可变半径的圆对近邻像素进行编码，这样可以捕捉到如下的近邻： 对一个给定的点，他的近邻点可以由如下计算： 其中，R是圆的半径，而P是样本点的个数。 这个操作是对原始LBP算子的扩展，所以有时被称为扩展LBP(又称为圆形LBP)。如果一个在圆上的点不在图像坐标上，我们使用他的内插点。计算机科学有一堆聪明的插值方法，而OpenCV使用双线性插值。 LBP算子，对于灰度的单调变化很稳健。我们可以看到手工改变后的图像的LBP图像(你可以看到LBP图像是什么样子的！) （44） 那么剩下来的就是如何合并空间信息用于人脸识别模型。Ahonen et. Al在文献[AHP04]中提出表示方法，对LBP图像成m个块，每个块提取直方图。通过连接局部特直方图(而不是合并)然后就能得到空间增强的特征向量。这些直方图被称为局部二值模式直方图。 OpenCV中的局部二值模式直方图Local Binary Patterns Histograms in OpenCV #include "opencv2/core/core.hpp" #include "opencv2/contrib/contrib.hpp" #include "opencv2/highgui/highgui.hpp" #include #include #include usingnamespace cv; usingnamespace std; static void read_csv(const string&filename,vector std::ifstreamfile(filename.c_str(),ifstream::in); if(!file){ stringerror_message="No valid input file was given, please check the given filename."; CV_Error(CV_StsBadArg,error_message); } #include "cv.h" #include "highgui.h" #include 摘要 人脸检测主要是基于计算机识别的一项数字化技术，用以准确获取人的脸部大小和位置信息，在进行人脸检测时，突出主要的脸部特征，淡化次要的环境、衣着等因素。对于某些情况下，人脸检测也可以计算出人脸，如眼睛，鼻子和嘴等精确的微妙特征。由于在安全检测系统，医学，档案管理，视频会议和人机交互等领域人脸检测系统都有光明的应用前景，因此人脸检测逐渐成为了两个跨学科领域研究的热门话题:人工智能和当前模式识别。本文基于OpenCV视觉库具体的设计并开发了对数字图像中的人脸检测的程序，所采用的人脸检测的原理主要是分类器训练模式(Adaboost算法)提取Haar特征的方法。它在整个软件极其重要的作用，图像中人脸的准确定位和识别都受图像处理好坏的直接影响。本次所设计的软件在图像处理部分所采用的方法是基于Adaboost算法进行Haar特征的提取，在此之上加以通过积分图方法来获取完整的级联分类器结构，进行人脸检测时，OpenCV级联分类器通过Adaboost人脸检测算法进行训练，此后采用不同情况下的实验样本完成精确定位以及检测试验。经过代码的设计和调试，在最后的测试中针对数字图像进行的人脸检测和定位达到了较好的效果，提高了定位和识别的正确率。 关键词：人脸检测，AdaBoost，分类器，OpenCV Abstract Face detection is mainly based on computer recognition of a digital technology,face size and location information to accurately obtain the person,during face detection, highlight the main facial features,dilute the secondary environment,clothing,and other factors.For some cases,face detection can also calculate a person's face,such as eyes, nose and mouth,and other subtle features accurate.Because in the field of human security detection systems,medical records management,video conferencing,and human-computer interaction face detection system has bright prospects,and therefore face detection is becoming a two interdisciplinary research fields hot topic:artificial intelligence and The current pattern recognition.This article is based.penCV vision library designed and developed specifically for digital image face detection process,the principles used face detection methods are mainly classifier training mode(Adaboost algorithm)to extract Haar features.It is in the vital role of the software,the image of the human face accurately locate and identify all that is good or bad a direct impact on the image processing.This software is designed image processing method used in part based Haar Adaboost algorithm to extract features,on top of this to be to get the full cascade classifier structure by integrating the diagram method for face detection,OpenCV cascade classifier is trained by Adaboost face detection algorithm,then the use of the experimental sample under different circumstances for accurate positioning and testing.Through design and debugging code,face detection and location in the final test for digital images to achieve better results and improve the accuracy of positioning and recognition. Keywords:face detection;AdaBoost;classifier;openCV 基于Opencv的人脸检测程序 我的电脑上是用visual studio 2015，配置opencv2.4.9，visuanl studio加载opencv的方法百度上可以找到很多，按照要求配置好后以后进行一下操作： 第一步：新建win32应用程序的工程，在该工程以下程序复杂被覆盖win32的几行程序， #include"stdafx.h" #include"opencv2/objdetect.hpp" #include"opencv2/videoio.hpp" #include"opencv2/highgui.hpp" #include"opencv2/imgproc.hpp" #include 1．打开Microsoft Visual Studio 2008，新建一个Win32控制台项目； 2．配置好项目的包含文件和库文件； 3．将……\OpenCV\data\haarcascades中的haarcascade_frontalface_alt.xml拷贝到所建项目的文件夹中； 4．然后添加代码： #include"stdafx.h" #include"cv.h" #include"highgui.h" #include 摘要 基于生物特征识别的身份认证方法和系统研究一直以来都是计算机图形学和模式识别领域研究的热点，其中，由于人脸的稳定性和可见性，针对人脸识别的算法研究和系统应用最为广泛，本文针对校园内实验室和宿舍安全管理需求，设计和实现了一套针对监控视频的基于OpenCV的人脸识别原型系统，开发语言选用C++，全文内容包括： （1）构建了基于OpenCV的视频人脸识别的技术框架。针对实验室和宿舍安全管理需要，构建了基于OpenCV的视频人脸识别的技术框架，能够完成基于视频的实时人脸识别和身份认定； （2）设计了基于OpenCV的视频人脸快速检测算法。人脸检测是人脸识别的前提，本文采用基于OpenCV的快速人脸检测算法实现视频图像中人脸的快速定位和提取； （3）设计了基于AdaBoost算法的视频人脸识别方法。应用AdaBoost算法实现了针对视频流的快速人脸定位和身份识别，能够实现实时身份认定。 系统基于.NET平台设计，使用C++语言进行实现，完成了基于视频的实时人脸身份认定。 关键词：人脸检测； OpenCV；人脸识别； C++； 1 Abstract Based on the research of identity authentication method and system of biometric recognition has been a hot research field of computer graphics, pattern recognition and the stability and visibility, the face, the algorithm research and system applications of face recognition is the most widely, according to the laboratory and dormitory safety management needs of the campus, designed and implemented. A face recognition system based on OpenCV in surveillance video, development language is C++, the main content of this thesis includes: （1）Constructed the technical framework for video based face recognition based on OpenCV. According to the laboratory and the dormitory safety management needs, establishes a framework for video based face recognition based on OpenCV, which can complete real-time face recognition and identity based on video identification; （2）Design of a fast face detection algorithm in video based on OpenCV. Face detection is the precondition of face recognition, this paper uses OpenCV fast face detection algorithm to locate face in video image and extraction based on;The design use application of OpenCV to provide strong support, based https://www.sodocs.net/doc/c11898872.html, platform design. （3）Design of video based face recognition method based on AdaBoost algorithm. Application of AdaBoost algorithm for fast face location and recognition of video stream, which can realize real-time identification. System based https://www.sodocs.net/doc/c11898872.html, platform design, implementation is carried out using C++ language, completed the real-time face identity recognition based on video Key word：Face detection；OpenCV；Face recognition；C++； 摘要 人脸检测（Face Detection）是一种在任意数字图像中找到人脸的位置和大小的计算机技术。它可以检测出面部特征，并忽略诸如建筑物、身体和其他任何东西。人脸检测技术不仅仅是人脸跟踪、人脸识别、表情识别等技术的重要条件，同时在人机交互、模式识别、视频检索、智能监控等领域也引起了广泛的重视。 在通过对人脸检测相关知识进行学习的基础上，本文首先对国内外的人脸检测发展进行了相关分析，阐述了本课题的研究背景及意义；第二章介绍基于Opencv实现人脸检测的相关方法和检测原理；第三章指出了基于QT平台，人脸检测界面如何开发，需要用到的相关技术知识和操作流程。第四章设计了基于opencv的人脸检测程序，采用了QT开发工具并结合opencv技术对程序界面进行设计实现。 关键词：人脸检测；QT开发；Opencv； Abstract Face detection is a computer technology that identifies human faces in digital images. It can detect facial features and ignore something like buildings,bodies and any other things.Face detection technology is not just an important condition for face recognition, also attracting wide attention in the human-computer interaction, pattern recognition, video retrieval, intelligent monitoring and other fields. Firstly in this paper, through the study of relevant technology of face detection recognition, and face detection to identify relevant experience in the domestic and abroad are analyzed,indicating the background and the significance of the topic.Based on opencv,the second chapter introduces how to realize the design.Then the third chapter points out how to develop face detection’s interface based on the QT platform; The fourth chapter based on opencv face detection procedures, using opencv, the QT development tools,achieve the design. Key Words：Face detection; QT development; Opencv; 第8卷第3期 2009年8月 淮阴师范学院学报(自然科学版)JOURNA L OF HUAIYIN TE ACHERS CO LLEGE (NAT URA L SCIE NCE E DITION ) V ol 18N o 13Aug.2009 基于OpenCV 的人脸检测算法研究 齐金山 (淮阴师范学院计算机科学与技术学院,江苏淮安 223300) 摘 要:介绍了一种开放源代码的计算机视觉类库OpenCv ,阐述了该软件的特点及结构,并对 其在Visual C ++2005开发环境下的配置作了详细的说明.然后提出了一个基于OpenCv 的人 脸检测算法.实验结果表明,该算法具有识别效果、实时性好,检测速度快的特点. 关键词:OpenC V ;人脸检测;I pIImage 中图分类号:TP391.41 文献标识码:A 文章编号:167126876(2009)0320216205 收稿日期:2009205222 作者简介:齐金山(19772),男,湖南株洲人,讲师,硕士,研究方向为数字图像处理. 0 引言 人脸的检测是一类具有很大挑战性的问题[1] ,其主要难点在于:人脸是一类高度非刚性的目标,存在相貌、表情、肤色等差异;人脸上可能会存在一些附属物如眼镜、胡须等;人脸的姿态变化万化,并且可能存在遮挡物;待检测图像性质的差异,比如:待检图像的分辨率、摄录器材的质量等.针对以上难点,各国的科研人员作了很多的研究,每年在国际国内的相关期刊和会议上都有大量的关于人脸检测的论文, 如Chellappa 、Zhao 等人分别于1995和2003年发表的两篇人脸识别的综述论文[2,3].人脸检测的算法也 很多,Boosting 算法[4]是其中的一种,但Boosting 算法十分复杂.本文提出了基于OpenC V 进行人脸检测 将比较容易实现,实验结果表明该算法具有识别效果好、实时性好、检测速度快的特点.1 OpenCv 简介 OpenC V (Open S ource C om puter Vision Library )是指Intel 计算机视觉库[5].它由一系列C 函数和少量 C ++类构成,实现了图像处理和计算机视觉方面的很多通用算法.OpenC V 主要用于对图像进行一些高级处理,比如说特征检测与跟踪、运动分析、目标分割与识别以及3 D 重建等.由于OpenCv 的源代码是完全开放的,而且源代码的编写简洁而高效,特别是其中大部分的函数都已经通过汇编最优化,以使之能高效而充分地利用英特尔系列处理芯片的设计体系,对于Pentium M MX 、Pentium 、Pentium HI 及Pentium 4这些处理器而言,OpenCv 的代码执行效率是非常高的,所以近年来在国外的图像处理相关领域中被广泛地使用,成为一种流行的图像处理软件. 111 OpenCv 的特点 相对于MAT LAB 等其它常用的图像处理软件来说,OpenCv 有其显著的不可比拟的优点,主要体现在如下几个方面: 1)OpenCv 是一个包含了超过300个C 函数的应用编程接口,它不依赖于外部库,既可以独立运行,也可在运行时使用其它外部库. 2)高性能:OpenCv 中所有的算法都是基于封装于IP L 的具有很高灵活性的动态数据结构,而且其中有一半以上的函数在设计及汇编时被Intel 公司针对其所生产的处理器优化. 3)提供了一些与诸如E iC 、Ch 、MAT LAB 等其它语言或环境的接口,这些接口在其安装完之后位于安装目录opener/interfaces 下. 4)开放性:不管对于商业的还是非商业的用途,OpenCv 都是完全免费的,其源代码完全开放,开发 西安电子科技大学 人工智能学院暑期夏令营科研实践《基于OpenCV的人脸识别系统》 实践报告 姓名：XXX 学校：XXXX 院系班级：XXXXXXXXX 联系方式：XXXX 目录 1 项目背景 (1) 2 项目目标 (1) 3 项目方案 (2) 3.1 人脸采集 (2) 3.2 人脸训练 (3) 3.3 人脸识别 (4) 4 项目调试 (6) 4.1 采集调试 (6) 4.2 训练调试 (6) 4.3 识别调试 (7) 5实践总结 (8) 如何创造一个安全的、数字现代化的、智能化的宿舍门禁系统有着十分重要的意义。然而，在日常管理中我们经常会碰到这样的问题：外来人员混入宿舍带来的安全隐患、夏天未带校园卡而在公寓楼前苦等、宿舍出入口必须有人盯守、晚归被困公寓楼外等等。 在当今计算机普及与急剧增长的状况下，应该实施一些高效率的系统，不仅省钱，省事，而且便捷，针对以上情况，十分有必要建立一个全面、高效、人性化、智能的高校宿舍出入管理系统。 因此，做一个人脸识别系统就非常地有必要！ 2 项目目标 本项目拟完成人脸采集、人脸训练和人脸检测与识别的功能。 人脸采集程序主要完成以下功能： 1. 建立新的文件夹：用户根据提示输入自己姓名的简称，程序会在工程目录下建立该用户的文件夹，用以存放拍摄的照片； 2. 打开摄像头和写入图像：调用笔记本摄像头，当P键按下时，显示当前帧的图像，经处理后，保存图像；当q键按下时，立即退出采集程序 3. 人脸检测与裁剪：在当前帧识别出人脸后将其裁剪至ORL人脸数据 库大小即92x112。 人脸训练程序主要完成以下功能： 1. CSV文件读取：CSV文件对应的图像数据和对应的标签； 2. 样本训练：包括ORL人脸数据库的样本和自己的样本。 人脸训练样本取自ORL人脸数据库，共40个人，每人10张照片。照片在不同时间、不同表情(睁眼闭眼、笑或者不笑)、不同人脸细节(戴眼镜或者不戴眼镜)下采集，所有的图像都在一个黑暗均匀的背景下采集的，正面竖直人脸(有些有轻微旋转)。此外，增加自己的样本，并以相同尺寸拍摄20张左右图像。 人脸识别与检测程序主要完成以下功能： 1. 人脸检测：识别出当前帧是否有人脸； 2. 人脸预测：根据训练结果判断当前帧中人脸是否属于样本集； 3. 姓名显示：若属于样本集则显示姓名缩写，否则，显示“0”。 基于OpenCV的人脸识别设计方案 导读: 本文提出了一种在Linux 平台下开发脸识别系统的方案，通过QT 来开发用户界面，调用OpenCV 图像处理库对相机进行采集和处理采集图像， 从而实现了人脸检测、身份识别、简单表情识别的功能。 人脸识别的研究可以追溯到上个世纪六、七十年代，经过几十年的曲折发展 已日趋成熟，构建人脸识别系统需要用到一系列相关技术，包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等。而人脸识别在基于 内容的检索、数字视频处理、视频检测等方面有着重要的应用价值，可广泛应 用于各类监控场合，因此具有广泛的应用前景。OpenCV 是Intel 公司支持的开 源计算机视觉库。它轻量级而且高效--由一系列 C 函数和少量C++ 类构成， 实现了图像处理和计算机视觉方面的很多通用算法，作为一个基本的计算机视觉、图像处理和模式识别的开源项目，OpenCV 可以直接应用于很多领域，其 中就包括很多可以应用于人脸识别的算法实现，是作为第二次开发的理想工具。 1 系统组成 本文的人脸识别系统在Linux 操作系统下利用QT 库来开发图形界面，以OpenCV 图像处理库为基础，利用库中提供的相关功能函数进行各种处理：通 过相机对图像数据进行采集，人脸检测主要是调用已训练好的Haar 分类器来 对采集的图像进行模式匹配，检测结果利用PCA 算法可进行人脸图像训练与 身份识别，而人脸表情识别则利用了Camshift 跟踪算法和Lucas–Kanade 光流算法。 2 搭建开发环境 采用德国Basler acA640-100gc 相机，PC 机上的操作系统是Fedora 10，并 基于OpenCV的人脸识别算法研究 摘要:通过对基于Adaboost人脸检测算法的研究，利用该算法与计算机视觉类库openCV进行人脸检测系统的设计，实现了对出现在视频或图像中的人脸检测。此外，在VC++6.0环境下实现了对一个简单的人脸检测系统软件的界面开发，该系统对人脸检测的速度较快，检测结果较为准确，可以作为其他人脸检测或人脸模式识别的系统的开发基础。 关键词：人脸检测；openCV；Adaboost；系统 Face detection system design based on openCV Abstract: According to the research of Adaboost algorithm of Face Detection，people made use of the algorithms and computer vision class library openCV for the design of face detection system and achieved the target of detecting faces showing up in videos and pictures. What’s more，in the environment of VC++6.0，it achieved the development of simple Face Detection. The speed of Face Detection is very fast and the test results are accurate. It can be used as the development foundation of other face detection or face pattern recognition system. Key words: face detection；openCV；Adaboost；system 1.引言 随着计算机与数字信号处理技术的高速发展，人脸检测技术在众多领域得到广泛应用。人脸检测技术是指在视频或图像中检测出现人脸位置、大小的过程。作为人脸信息处理中的一项关键技术，人脸检测技术已经超出了其它人脸识别模式的应用范畴，在视频处理、图像处理、身份验证、安全监测等方面有着重要的应用价值。随着计算机语言算法的发展，近年来出现了大量的人脸检测的算法，其中能够较好的解决人脸的检测速度与检测效果的算法，是在2001年由Paul Viola和Michael Jones首先提出的Adaboost算法。openCV是由Intel 提供的一系列包括C与C++的提供计算机视觉和图像处理的开源软件包，它为视频或图像处理搭建了很好的软件平台。本系统就是基于openCV利用Adaboost算法设计的一个简单的人脸检测系统#该系统能够快速&准确的检测到图像或视频中的人脸。 2.AdaBoost人脸检测算法 对人脸检测的研究最初可以追溯到20世纪70年代，早期的研究方向与现在的研究方向与方法不同。目前在实际中应用的人脸检测方法较为普遍的是基于Adaboost算法的方法。 Viola的人脸检测方法是一种基于积分图、级联分类检测器和Adaboost算法的方法，方法框架可以分为以下3大步骤： 1）使用Haar-like特征表示人脸，使用“积分图”实现特征数值的快速计算； 2）使用Adaboost算法挑选出一些最能代表人脸的矩形特征（弱分类器），按照加权投票的方式将弱分类器构造为一个强分类器； 3）将得到的若干强分类器串联组成一个级联结构的层叠分类器，训练得到的强级联结构能有效地提高分类器的检测速度。 怎样使用OpenCV进行人脸识别 本文大部分来自OpenCV官网上的Face Reconition with OpenCV这节内容 (https://www.sodocs.net/doc/c11898872.html,/modules/contrib/doc/facerec/facerec_tutorial.html)，小弟我尝试翻译一些重要内容。这部分内容是Philipp Wagner写的，他的github：https://https://www.sodocs.net/doc/c11898872.html,/bytefish，他的网站http://www.bytefish.de/，应该是个德国人。下面应该是他的照片。 友情提示，要看懂代码前，你得先知道OpenCV的安装和配置，会用C++，用过一些OpenCV函数。基本的图像处理和矩阵知识也是需要的。[gm:我是箫鸣的注释]由于我仅仅是翻译，对于六级才过的我，肯定有一些翻译错的或者不当的地方，所以请大家纠错。 1.1.介绍Introduction 从OpenCV2.4开始，加入了新的类FaceRecognizer，我们可以使用它便捷地进行人脸识别实验。本文既介绍代码使用，又介绍算法原理。(他写的源代码，我们可以在OpenCV的 opencv\modules\contrib\doc\facerec\src下找到，当然也可以在他的github中找到，如果你想研究源码，自然可以去看看，不复杂) 目前支持的算法有 Eigenfaces特征脸createEigenFaceRecognizer() Fisherfaces createFisherFaceRecognizer() Local Binary Patterns Histograms局部二值直方图createLBPHFaceRecognizer() 下面所有的例子中的代码在OpenCV安装目录下的samples/cpp下面都能找到，所有的代码商用或者学习都是免费的。 安徽工业大工商学院 毕业学士论文 基于OpenCV的人脸识别算法 姓名：陈滔 申请学位级别：学士专业：测控技术与仪器 指导教师：方挺 摘要 人脸在社会交往中扮演着十分重要的角色，是人类在确定一个人身份时所采用的最普通的生物特征，研究人脸跟踪识别及其相关技术具有十分重要的理论价值和应用价值。彩色图像序列的人脸检测、跟踪与识别技术是随着计算机技术的高速发展和视频监控等应用的需要在近几年才逐渐成为一个研究热点。本文着重构建一套人脸跟踪识别系统，致力于精确实时地对彩色视频中的人脸图像检测跟踪，并可以将跟踪到的人脸图片传输到识别端进行身份识别。系统分为客户端和服务器两部分。针对传统Camshifl跟踪算法进行形态学处理、分配多个跟踪器等改进后的算法应用于客户端进行多人脸的跟踪。服务器端首先将人脸图像按其主要特征进行分块，再对分块图执行Eigenface算法实现人脸身份的识别。这套系统完成了对多人脸的跟踪效果，可广泛的应用于各种安防系统之中如：ATM机监控系统，门禁系统等。 Abstract Human face is 0111"primary focus of attention in social intercourse playingamajor rolei conveying dentity and emotion．Researchonthe face tracking，recognition technology has great theoreticaland practical value．This paper focusesOilbuildingasetofhumanface recognition and trackingsystem tocommitted toaccurate and real-timecolorvideoimages，andcalltransmit the tracked human face image to the recognition part to identify the person’S status．Thesystem is divided into client and server parts．Thetracking algorithm whichcarrieson morphology processing after traditional track algorithm Camshifl and assignments severaltrackingdevices is applied to the client for duplex facetracking．Theserver—side first divides the person face image into blocksaccording to its chief feature，then the blocksuses the Eigenfacealgorithm separately to realize the person’S status recognition．The system implementation for multiple face trackingcallbe widelyused among the various security systems，suchas：ATM machine monitoring system，accesscontrol system．Keywords：Face DetectionFace TrackingFace Recognition Eigenface Camshift #include"cv.h" #include"highgui.h" #include ?Introduction 网上存在很多人脸识别的文章，这篇文章是我的一个作业，重在通过摄像头实时采集人脸信息，进行人脸检测和人脸识别，并将识别结果显示在左上角。 利用OpenCV 实现一个实时的人脸识别系统，人脸库采用ORL FaceDatabase (网上下载) ，另外在数据库中增加了作业中自带的20张照片和自己利用摄像头采集到的10张照片，系统利用摄像头实时的采集到场景图像，从中检测出人脸用方框标出，并利用提供的数据库进行人脸识别，并在图像左上角显示相匹配的数据库图片。 ?Method 算法流程分两步，分别是人脸检测和人脸识别。人脸检测使用的是ViolaJones 人脸检测方法，利用样本的Haar-like 特征进行分类器训练，得到级联boosted 分类器，加载训练好的人脸分类器，利用分类器在视频帧中查找人脸区域；人脸识别利用了局部二进制模式直方图。 ?Haar-like 特征 Haar-like 特征如下图所示 图1 Haar-like 特征 ?LBPH 人脸识别常用的方法有三种，Eigenfaces、Fisherfaces 和LBPH；对于高维的图像空间，我们首先应该进行降维操作。LBP 不把图像看做高维的矢量，而是通过物体的局部特征来描述。 将每个像素和其相邻像素对比形成局部的结构，把该像素看做中心，并以该值对邻接像素做阈值处理，如果临界像素的亮度大于该像素则为 1 否则为0，这样每个像素点都可以用一个二进制数来表示，比如一个使用3*3 临界点的LBP 操作如下图所示： 图2 LBP ?Implementation ?识别训练 利用准备好的数据库进行识别训练：首先我们利用Opencv安装文件中的python脚本 create_csv.py建立CSV文件，文件中每条记录如：orl/s13/2.pgm;12，分号之前是图片所存路径，而分号之后是图片的标签号，每一组图片对应着唯一的标签号；之后利用代码中的train_data和read_csv函数对数据集进行训练。使用到的OpenCV 类和函数有： FaceRecognizer，createLBPHFaceRecognizer ?人脸检测 运用Opencv安装文件中的haarcascade_frontalface_alt.xml文件，使用分类器在视频帧中查找人脸区域，并用绿色方框标出。用到的OpenCV 类和函数有： CascadeClassifier,detectMultiScale。 ?人脸识别 读取训练好的yaml文件，对每个监测到的区域的图像分类，并在视频帧人脸区域上方显示分类结果（分类结果显示为标签和可信度），在左上角显示缩略图。用到的OpenCV 函数主要有:predict. ?Code 1/*头文件：*/ 2 #include "opencv2/core/core.hpp" 3 #include "opencv2/contrib/contrib.hpp" 4 #include "opencv2/highgui/highgui.hpp" 5 #include "opencv2/imgproc/imgproc.hpp" 6 #include "opencv2/objdetect/objdetect.hpp" 7 8 #include 基于opencv的人脸识别程序-代码详解
[作业]OPENCV人脸识别
基于Opencv的人脸检测源程序(附详细使用说明)
基于Opencv的视频人脸检测程序源代码(可运行)
基于OpenCV的视频人脸识别系统的设计与实现
基于opencv的人脸检测界面开发
基于OpenCV的人脸检测算法研究
《基于 OpenCV的人脸识别系统》
基于OpenCV的人脸识别设计方案
基于OpenCV的人脸识别算法研究
怎样使用OpenCV进行人脸识别
毕业设计：基于OpenCV的人脸识别算法(终稿)-精品
基于OPENCV的人脸识别程序 代码详解
OpenCV利用摄像头人脸识别
相关文档
- 基于PCA的人脸识别opencv代码
- opencv人脸识别
- 基于opencv的人脸识别系统
- 利用OpenCV实现基于PCA算法的人脸识别
- [作业]OpenCV人脸识别
- 毕业设计：基于OpenCV的人脸识别算法(终稿)-精品
- [作业]OPENCV人脸识别
- 基于OpenCV的人脸识别设计方案
- 基于opencv的人脸识别系统毕业设计论文
- 基于opencv的人脸识别程序-代码详解
- 怎样使用OpenCV进行人脸识别
- OpenCV利用摄像头人脸识别
- 基于opencv的人脸识别程序-代码详解
- 《基于 OpenCV的人脸识别系统》
- 基于OPENCV的人脸识别1
- 基于OpenCV的视频人脸识别系统的设计与实现
- VISUAL C++利用OPENCV对图像进行人脸识别(傻瓜教程)
- Visual C++利用OpenCV对图像进行人脸识别(傻瓜教程)
- 基于OpenCV和JavaCV的人脸识别系统设计与实现
- 基于opencv的人脸识别系统