1）人臉采集：

　　（1）簡介：

　　不同的人臉圖像通過攝像鏡頭采集得到，比如靜態(tài)圖像、動態(tài)圖像、不同的位置、不同表情等，當(dāng)采集對象在設(shè)備的拍攝范圍內(nèi)時，采集設(shè)備會自動搜索并拍攝人臉圖像。

　　（2）人臉采集的主要影響因素：

　　圖像大小：人臉圖像過小會影響識別效果，人臉圖像過大會影響識別速度。非專業(yè)人臉識別攝像頭常見規(guī)定的最小識別人臉像素為60*60或100*100以上。在規(guī)定的圖像大小內(nèi)，算法更容易提升準(zhǔn)確率和召回率。圖像大小反映在實際應(yīng)用場景就是人臉離攝像頭的距離。

　　圖像分辨率：越低的圖像分辨率越難識別。圖像大小綜合圖像分辨率，直接影響攝像頭識別距離。現(xiàn)4K攝像頭看清人臉的最遠距離是10米，7K攝像頭是20米。

　　光照環(huán)境：過曝或過暗的光照環(huán)境都會影響人臉識別效果。可以從攝像頭自帶的功能補光或濾光平衡光照影響，也可以利用算法模型優(yōu)化圖像光線。

　　模糊程度：實際場景主要著力解決運動模糊，人臉相對于攝像頭的移動經(jīng)常會產(chǎn)生運動模糊。部分?jǐn)z像頭有抗模糊的功能，而在成本有限的情況下，考慮通過算法模型優(yōu)化此問題。

　　遮擋程度：五官無遮擋、臉部邊緣清晰的圖像為最佳。而在實際場景中，很多人臉都會被帽子、眼鏡、口罩等遮擋物遮擋，這部分?jǐn)?shù)據(jù)需要根據(jù)算法要求決定是否留用訓(xùn)練。

　　采集角度：人臉相對于攝像頭角度為正臉最佳。但實際場景中往往很難抓拍正臉。因此算法模型需訓(xùn)練包含左右側(cè)人臉、上下側(cè)人臉的數(shù)據(jù)。工業(yè)施工上攝像頭安置的角度，需滿足人臉與攝像頭構(gòu)成的角度在算法識別范圍內(nèi)的要求。

　　2）人臉檢測：

　　（1）簡介：

　　在圖像中準(zhǔn)確標(biāo)定出人臉的位置和大小，并把其中有用的信息挑出來（如直方圖特征、顏色特征、模板特征、結(jié)構(gòu)特征及Haar特征等），然后利用信息來達到人臉檢測的目的。

　　（2）人臉關(guān)鍵點檢測（人臉對齊）：

　　自動估計人臉圖片上臉部特征點的坐標(biāo)。

　　（3）主流方法：

　　基于檢測出的特征采用Adaboost學(xué)習(xí)算法（一種用來分類的方法，它把一些比較弱的分類方法合在一起，組合出新的很強的分類方法）挑選出一些最能代表人臉的矩形特征（弱分類器），按照加權(quán)投票的方式將弱分類器構(gòu)造為一個強分類器，再將訓(xùn)練得到的若干強分類器串聯(lián)組成一個級聯(lián)結(jié)構(gòu)的層疊分類器，有效地提高分類器的檢測速度。

　　最近人臉檢測算法模型的流派包括三類及其之間的組合：viola-jones框架（性能一般速度尚可，適合移動端、嵌入式上使用），dpm（速度較慢），cnn（性能不錯）。

　　3）人臉圖像預(yù)處理：

　　（1）簡介：

　　基于人臉檢測結(jié)果，對圖像進行處理并最終服務(wù)于特征提取的過程。

　　（2）原因：

　　系統(tǒng)獲取的原始圖像由于受到各種條件的限制和隨機干擾，往往不能直接使用，必須在圖像處理的早期階段對它進行灰度矯正、噪聲過濾等圖像預(yù)處理。

　　（3）主要預(yù)處理過程：

　　人臉對準(zhǔn)（得到人臉位置端正的圖像），人臉圖像的光線補償，灰度變換、直方圖均衡化、歸一化（取得尺寸一致，灰度取值范圍相同的標(biāo)準(zhǔn)化人臉圖像），幾何校正、中值濾波（圖片的平滑操作以消除噪聲）以及銳化等。

　　4）人臉特征提取：

　　（1）簡介：

　　人臉識別系統(tǒng)可使用的特征通常分為視覺特征、像素統(tǒng)計特征、人臉圖像變換系數(shù)特征、人臉圖像代數(shù)特征等。人臉特征提取就是針對人臉的某些特征進行的，也稱人臉表征，它是對人臉進行特征建模的過程

　　（2）人臉特征提取的方法：

　　1、基于知識的表征方法（主要包括基于幾何特征法和模板匹配法）：

　　根據(jù)人臉器官的形狀描述以及它們之間的距離特性來獲得有助于人臉分類的特征數(shù)據(jù)，其特征分量通常包括特征點間的歐氏距離、曲率、和角度等。人臉由眼睛、鼻子、嘴、下巴等局部構(gòu)成，對這些局部和他們之間結(jié)構(gòu)關(guān)系的幾何描述，可作為識別人臉的重要特征，這些特征被稱為幾何特征。

　　2、基于代數(shù)特征或統(tǒng)計學(xué)習(xí)的表征方法：

　　基于代數(shù)特征方法的基本思想是將人臉在空域內(nèi)的高維描述轉(zhuǎn)化為頻域或者其他空間內(nèi)的低維描述，其表征方法為線性投影表征方法和非線性投影表征方法。

　　基于線性投影的方法主要有主成分分析法或稱K-L變化、獨立成分分析法和Fisher線性判別分析法。非線性特征提取方法有兩個重要的分支：基于核的特征提取技術(shù)和以流形學(xué)習(xí)為主導(dǎo)的特征提取技術(shù)。

　　5）匹配與識別：

　　提取的人臉特征值數(shù)據(jù)與數(shù)據(jù)庫中存貯的特征模板進行搜索匹配，通過設(shè)定一個閾值，將相似度與這一閾值進行比較，來對人臉的身份信息進行判斷。

　　3、人臉識別的主要方法

　　1）EigenFace（特征臉）

　　MIT實驗室的特克（Turk）和潘特（Pentland）提出的“特征臉”方法無疑是這一時期內(nèi)最負(fù)盛名的人臉識別方法。其后的很多人臉識別技術(shù)都或多或少與特征臉有關(guān)系，現(xiàn)在特征臉已經(jīng)與歸一化的協(xié)相關(guān)量(NormalizedCorrelation)方法一道成為人臉識別的性能測試基準(zhǔn)算法。

　　//blog.csdn.net/zizi7/article/details/52757300（人臉識別特征臉?biāo)惴ㄎ臋n）

　　2）FisherFace（漁夫臉）：

　　貝爾胡米爾（Belhumeur）等提出的Fisherface人臉識別方法是這一時期的另一重要成果。該方法首先采用主成分分析（PCA）對圖像表觀特征進行降維。在此基礎(chǔ)上，采用線性判別分析（LDA）的方法變換降維后的主成分以期獲得“盡量大的類間散度和盡量小的類內(nèi)散度”。該方法目前仍然是主流的人臉識別方法之一，產(chǎn)生了很多不同的變種，比如零空間法、子空間判別模型、增強判別模型、直接的LDA判別方法以及近期的一些基于核學(xué)習(xí)的改進策略。

　　https://blog.csdn.net/zizi7/article/details/52999432（FisherFace算法文檔）

　　3）EGM（彈性圖匹配）

　　其基本思想是用一個屬性圖來描述人臉：屬性圖的頂點代表面部關(guān)鍵特征點，其屬性為相應(yīng)特征點處的多分辨率、多方向局部特征——Gabor變換12特征，稱為Jet；邊的屬性則為不同特征點之間的幾何關(guān)系。對任意輸入人臉圖像，彈性圖匹配通過一種優(yōu)化搜索策略來定位預(yù)先定義的若干面部關(guān)鍵特征點，同時提取它們的Jet特征，得到輸入圖像的屬性圖。最后通過計算其與已知人臉屬性圖的相似度來完成識別過程。該方法的優(yōu)點是既保留了面部的全局結(jié)構(gòu)特征，也對人臉的關(guān)鍵局部特征進行了建模。

　　https://blog.csdn.net/real_myth/article/details/44828219（彈性圖匹配算法文檔）

　　4）基于幾何特征的方法

　　幾何特征可以是眼、鼻、嘴等的形狀和它們之間的幾何關(guān)系（如相互之間的距離）。這些算法識別速度快，需要的內(nèi)存小，但識別率較低。

　　5）基于神經(jīng)網(wǎng)絡(luò)的方法

　　神經(jīng)網(wǎng)絡(luò)的輸入可以是降低分辨率的人臉圖像、局部區(qū)域的自相關(guān)函數(shù)、局部紋理的二階矩等。這類方法同樣需要較多的樣本進行訓(xùn)練，而在許多應(yīng)用中，樣本數(shù)量是很有限的。

　　6）基于線段Hausdorff距離(LHD)的方法

　　心理學(xué)的研究表明，人類在識別輪廓圖（比如漫畫）的速度和準(zhǔn)確度上絲毫不比識別灰度圖差。LHD是基于從人臉灰度圖像中提取出來的線段圖的，它定義的是兩個線段集之間的距離，與眾不同的是，LHD并不建立不同線段集之間線段的一一對應(yīng)關(guān)系，因此它更能適應(yīng)線段圖之間的微小變化。實驗結(jié)果表明，LHD在不同光照條件下和不同姿態(tài)情況下都有非常出色的表現(xiàn)，但是它在大表情的情況下識別效果不好。

　　7）基于支持向量機(SVM)的方法

　　近年來，支持向量機是統(tǒng)計模式識別領(lǐng)域的一個新的熱點，它試圖使得學(xué)習(xí)機在經(jīng)驗風(fēng)險和泛化能力上達到一種妥協(xié)，從而提高學(xué)習(xí)機的性能。支持向量機主要解決的是一個2分類問題，它的基本思想是試圖把一個低維的線性不可分的問題轉(zhuǎn)化成一個高維的線性可分的問題。通常的實驗結(jié)果表明SVM有較好的識別率，但是它需要大量的訓(xùn)練樣本（每類300個），這在實際應(yīng)用中往往是不現(xiàn)實的。而且支持向量機訓(xùn)練時間長，方法實現(xiàn)復(fù)雜，該函數(shù)的取法沒有統(tǒng)一的理論。

　　4、技術(shù)發(fā)展方向

　　1）結(jié)合三維信息：二維和三維信息融合使特征更加魯棒

　　2）多特征融合：單一特征難以應(yīng)對復(fù)雜的光照和姿態(tài)變化

　　3）大規(guī)模人臉比對：面向海量數(shù)據(jù)的人臉比對與搜索

　　4）深度學(xué)習(xí)：在大數(shù)據(jù)條件下充分發(fā)揮深度神經(jīng)網(wǎng)絡(luò)強大的學(xué)習(xí)能力

　　5、人臉識別數(shù)據(jù)庫

　　1）Yale人臉數(shù)據(jù)庫

　　2）ORL人臉數(shù)據(jù)庫

　　3）CMUPIE人臉數(shù)據(jù)庫

　　4）FERET人臉數(shù)據(jù)庫

　　5）MIT數(shù)據(jù)庫

　　6）BANCA人臉數(shù)據(jù)庫

　　7）CAS-PEAL人臉數(shù)據(jù)庫

　　8）JAFE表情數(shù)據(jù)庫

　　9）Cohn-Kanade表情數(shù)據(jù)庫

　　10）MMI表情數(shù)據(jù)庫

　　6、技術(shù)指標(biāo)

　　1）人臉檢測中的關(guān)鍵指標(biāo)：

　　例子：在攝像頭某張抓拍圖像中，一共有100張人臉，算法檢測出80張人臉，其中75張是真實人臉，5張是把路標(biāo)誤識為人臉。

　　1、檢測率：識別正確的人臉/圖中所有的人臉。檢測率越高，代表檢測模型效果越好。

　　2、誤檢率：識別錯誤的人臉/識別出來的人臉。誤檢率越低，代表檢測模型效果越好。

　　3、漏檢率：未識別出來的人臉/圖中所有的人臉。漏檢率越低，代表檢測模型效果越好。

　　4、速度：從采集圖像完成到人臉檢測完成的時間。時間約短，檢測模型效果越好。

　　在這個實際案例中：檢測率=75/100誤檢率=5/80漏檢率=（100-75）/100

　　2）人臉識別中的關(guān)鍵指標(biāo)：

　　1000張樣本圖片里，共600張正樣本。相似度為0.9的圖片一共100張，其中正樣本為99張。雖然0.9閾值的正確率很高，為99/100；但是0.9閾值正確輸出的數(shù)量確很少，只有99/600。這樣很容易發(fā)生漏識的情況。

　　1、精確率（precision）：識別為正確的樣本數(shù)/識別出來的樣本數(shù)=99/100

　　2、召回率（recall）：識別為正確的樣本數(shù)/所有樣本中正確的數(shù)=99/600

　　3、錯誤接受率/認(rèn)假率/誤識率（FARFalseAcceptRate）：

　　1、定義：指將身份不同的兩張照片，判別為相同身份，越低越好

　　2、FAR=NFA/NIRA

　　3、式中NIRA代表的是類間測試次數(shù)，既不同類別間的測試次數(shù)，打比方如果有1000個識別模型，有1000個人要識別，而且每人只提供一個待識別的素材，那NIRA=1000*(1000-1)。NFA是錯誤接受次數(shù)。

　　4、FAR決定了系統(tǒng)的安全性，F(xiàn)RR決定了系統(tǒng)的易用程度，在實際中，F(xiàn)AR對應(yīng)的風(fēng)險遠遠高于FRR，因此，生物識別系統(tǒng)中，會將FAR設(shè)置為一個非常低的范圍，如萬分之一甚至百萬分之一，在FAR固定的條件下，F(xiàn)RR低于5%，這樣的系統(tǒng)才有實用價值。

　　4、錯誤拒絕率/拒真率/拒識率（FRRFalseRejectRate）：

　　1、定義：指將身份相同的兩張照片，判別為不同身份，越低越好

　　2、FRR=NFR/NGRA

　　3、上式中NFR是類內(nèi)測試次數(shù)，既同類別內(nèi)的測試次數(shù)，打比方如果有1000個識別模型，有1000個人要識別，而且每人只提供一個待識別的素材，那NIRA=1000，如果每個人提供N張圖片，那么NIRA=N*1000。NFR是錯誤拒絕次數(shù)。