Non Negative Matrix Factorization for Clustering problems and its relationship to Autoencoder

Abstract

nonnegative matrix into a product of two nonnegative ones. It has been successfully applied to different ends including dimensionality reduction, features extraction. In this thesis, we explore NMF from two perspectives. Firstly, we study the relationship between NMF and clustering which is a basic operation in Machine learning. Indeed, clustering has proven to be useful for image segmentation, documents analysis, marketing and it has been shown in many works that NMF can be used to perform clustering. However, the presence of noise in the data or the overlap between the clusters cause problems for most clustering algorithms including NMF which reduces its performance. In this thesis, we propose a solution to this problem by randomly applying NMF on different subsets, we aim to achieve the partial NMF which leads to the best clustering process, this does not mean that we abandon the rest of the partial NMFs, but rather that we weight them by the Boltzman’s probabilities obtained by simulated annealing. Finally, we combine them to obtain the overall NMF which is responsible for clustering the entire data. The efficiency of our method has been proven for many data sets. Secondly, we explore the relationship between NMF and deep learning, precisely Autoencoder (AE). This latter is a very powerful type on deep neural network which has been successfully applied to clustering, which is our concern in this thesis, as well as data compression, feature extraction, data embedding, etc. By imposing nonnegative constraints on an AE, it can learn features that show a captured part-based representation of the data. Furthermore, the nonnegative constraint makes deep AE easy to interpret by humans.

R´esum´e La factorisation matricielle non n´egative (NMF) est une technique qui factorise une matrice non n´egative en un produit de deux matrices non n´egatives. Il a ´et´e appliqu´e avec succ`es `a diff´erentes fins, y compris la r´eduction de dimensionnalit´e, l’extraction de caract´eristiques. Dans cette th`ese, nous explorons NMF en deux perspectives. Tout d’abord, nous ´etudions la relation entre NMF et le partitionnement de donn´ees qui est une op´eration de base en l’apprentissage automatique. En effet, le partitionnement de donn´ees s’est av´er´e utile pour la segmentation d’image, l’analyse de documents, le marketing et il a ´et´e montr´e dans de nombreux travaux que NMF peut ˆetre utilis´e pour effectuer un partitionnement de donn´ees. Cependant, la pr´esence de bruit dans les donn´ees ou le chevauchement entre les clusters pose des probl`emes pour la plupart des algorithmes de clustering dont NMF qui r´eduit ses performances. Dans cette th`ese, nous proposons une solution `a ce probl`eme en appliquant au hasard NMF sur diff´erents sous-ensembles, nous visons `a atteindre le NMF partiel qui conduit au meilleur processus de clustering, cela ne signifie pas que nous abandonnons le reste des NMF partiels, mais plutˆot que nous les pond´erons par les probabilit´es de Boltzman obtenue par recuit simul´e. Enfin, nous les combinons pour obtenir le NMF global qui est charg´e de regrouper l’ensemble des donn´ees. L’efficacit´e de notre m´ethode a ´et´e prouv´ee pour de nombreux ensembles de donn´ees. Deuxi`emement, nous explorons la relation entre NMF et l ’apprentissage profond, pr´ecis´ement Auto-encodeur (AE). Ce dernier est un type tr`es puissant de r´eseau neuronal profond qui a ´et´e appliqu´e avec succ`es au partitionnement de donn´ees, ce qui est notre pr´eoccupation dans cette th`ese, ainsi que la compression de donn´ees, l’extraction de fonctionnalit´es, le plongement de donn´ees, etc. En imposant des contraintes non n´egatives `a un AE, il peut apprendre des fonctionnalit´es qui affichent une repr´esentation partielle captur´ee des donn´ees. De plus, la contrainte non n´egative rend l’AE profonde facile `a interpr´eter par les humains.