Multi-Modal and Anti-Spoofing Person Identification

Abstract

Because of its natural and non-intrusive interaction, identity verification and recognition using facial information is among the most active areas in computer vision research. Unfor-tunately, it has been shown that conventional 2D face recognition techniques are vulnerable to spoof attack, where a person tries to masquerade as another one by falsifying his biometric data and there by gaining an illegitimate advantage. This thesis explores different directions for software-based face anti-spoofing. In this con-text, we proposed a new approach which can be applied in both static and dynamic face anti-spoofing. The proposed approach consists of the following three main stages: 1) face alignment and preprocessing; 2) feature extraction and selection; 3) classification. The purpose of face alignment is to localize faces in images, rectify the 2D pose of each face and then crop the region of interest. The preprocessing stage is important since the subsequent stages depend on it and since it can affect the final performance of the system. Feature extraction and selection stage extracts the facial features. These features are extracted either by a holistic method or by a local method. The extracted features are then selected using a supervised feature selection method in order to omit possible irrelevant features. In the last stage, the classification is used to differentiate between real and fake faces. The proposed methods are applied to several case studies for the face mode. At face align-ment, the results show the advantage of using the rotation of face. At face representation stage, the use of Frame-Difference improves the performance of the system. Also, a comparison be-tween Multi-Block and Multi-Level on face representation is presented. The case studies are furthermore used to demonstrate the framework and its potential in the evaluation of biometric under spoofing attacks. Overall, the experimental results prove the importance of our method for creating trustworthy face anti-spoofing systems.

En raison de son interaction naturelle et non intrusive, la verification de l’identite et la reconnaissance a l’aide d’informations faciales figurent parmi les domaines les plus actifs de la recherche en vision par ordinateur. Malheureusement, il a été demontré que les techniques classiques de reconnaissance faciale en 2D sont vulnérables aux attaques par usurpation, ou une personne tente de se faire passer pour une autre en falsifier ses données biométriques et en y gagnant un avantage illegitime. Cette these explore differentes directions pour l’anti-urpation de visage basée sur le logiciel. Dans ce contexte, nous avons propose une nouvelle approche qui peutetre appliquee dans le cas statique et dynamique sur l’anti-usurpation de visage. L’approche proposee comprend les trois etapes principales suivantes: 1) Alignement de visage et pretraitement; 2) L’extraction et la selection de caracteristiques; 3) Classification. Le but de l’alignement du visage est de localiser les visages dans les images, de rectifier la pose 2D de chaque visage et ensuit de recadrer la region d’interet. L’ ́etape de pretraitement est importantes car les ́etapes ulterieures en dependent et peuvent affecter les performances finales du systeme. L’etape d’extraction et de selection de caracteristiques permet d’extraire les traits du visage. Ces caracteristiques sont extraites soit par une methode globale ou par une methode local. Les caracteristiques extraites sont ensuite selectionnees en utilisant un procede de selection de caracteristique supervisee afin d’eliminer d’ ́eventuelles fonctions non pertinentes. Dans la derniere ́etape, la classification est utilisee pour la differentier entre les visages reels et faux. Les methodes proposees sont appliquées a plusieurs études de cas pour le mode visage. A l’alignement du visage, les resultats montrent l’avantage d’utiliser la rotation du visage. A l’étape de la représentation du visage, l’utilisation de la différence de frame améliore les per-formances du système. De plus, une comparaison entre la représentation multi-blocs et multi-niveaux est présentée. Les études de cas sont en outre utilisées pour démontrer le systeme et son potentiel pour l’évaluation des attaques biométriques, sous usurpation d’identite. Dans l’ensemble, les résultats experimentaux prouvent l’importance de notre méthode pour la création de systèmes fiables pour anti-usurpation de visage.