Collaborative Representation Learning From Multiple Image Descriptors : Algorithms and Applications to Visual Data Analysis

Abstract

Multi-view is a kind of rich data thanks to the several features that are laid out in the form of multiple data matrices ; these matrices are obtained through different measurements, experiments, or transformations. Multi-view data analysis involves dealing with different features simultaneously to get the most out of their information and achieve a practical decision. In many real-life applications, multi-view data is naturally raised, particularly in computer vision and image analysis. Each feature representation corresponds to a view and may represent distinct formulations or statistical properties. It is agreed that multi-view data share common information as well as contain some complementary information ; the crucial step in machine learning and knowledge discovery is learning how these two understandings can be appropriately manipulated and leveraged, and since we are focusing on one of the unsupervised learning techniques, namely clustering, the objectives of this thesis are managed by grasping the basic concepts to build a multi-view clustering framework based on mining and learning from multi-view data. Regarding the high dimensionality and data complexity, it is better to study the extrinsic non-linearity of the data structures by carrying multi-view data into a reliable feature space. Thus, an anchor-based kernelization takes place based on the similarity measures to map the original data points into higher dimensional space and increase the understandability and linear separability. In contrast to the real-valued paradigms that make most of the clustering approaches non-scalable, not to mention that they may suffer from computational complexity and memory costs. Hashing is another flexible and worthnoting strategy to efficiently compact the dimensionality and enable working in hamming space, which offers more robustness to noise and outliers. In our research direction, we employed the kernelization process and the common binary codes learning to develop an effective approach called “Automatically Weighted Binary Multi-View Clustering via deep initialization (AW-BMVC).” The work introduced a one-step joint learning model by synthesizing two components, the common discrete representation and the binary matrix factorization. A self-estimation of each view/sample during the learning process is considered. The problem is perfectly solved using an alternating optimization scheme, which has been positively influenced by our innovative deep binary matrix initialization. Experimental results on several challenging datasets demonstrate the effectiveness and superiority of the proposed approach over state-of-the-art methods.

La multivue est définie comme une sorte de données riches grâce aux nombreuses fonctionnalités présentées sous la forme de plusieurs matrices de données ; ces matrices sont obtenues par différentes mesures, expériences ou transformations. L’analyse de données multivues implique de traiter simultanément l’ensemble des différentes fonctionnalités dans le but de tirer le meilleur parti de leurs informations afin de prendre une décision efficace. Dans de nombreuses applications réelles, les données multivues sont naturellement générées, en particulier, en vision par ordinateur et en analyse d’image. Chaque représentation de caractéristique correspond à une vue et peut représenter une formulation ou des propriétés statistiques distinctes. Il est convenu que les données multivues partagent une information commune ainsi que contiennent des informations complémentaires ; l’étape cruciale de l’apprentissage automatique et de la découverte des connaissances consiste à apprendre comment ces deux compréhensions peuvent être correctement manipulées et exploitées, et puisque nous nous concentrons sur l’une des techniques d’apprentissage non supervisé, à savoir le clustering, les objectifs de cette thèse sont gérés en saisissant les concepts de base pour construire un framework de multivues clustering basé sur l’exploration et l’apprentissage à partir de données multivues. En ce qui concerne la haute dimensionnalité et la complexité des données, il est préférable d’étudier la non-linéarité extrinsèque des structures de données en transportant les données multivues dans un espace de caractéristiques fiable. Ainsi, une kernelisation en fonction des points d’ancrages est effectuée sur la base des mesures de similarité afin de mapper les points de données d’origine dans un espce de dimension supérieure et d’augmenter la compréhensibilité et la séparabilité linéaire. Contrairement aux paradigmes à valeur réelle qui rendent la plupart des approches de clustering non évolutives sans parler de la complexité de calcul et des coûts de mémoire. Le hachage est une autre stratégie flexible à noter qui permet de compacter efficacement la dimensionnalité et permettre de travailler dans l’espace de Hamming qui offre plus de robustesse au bruit et aux valeurs aberrantes. Dans notre direction de recherche, nous avons employé le processus de kernelisation ainsi que les codes binaires communs en apprenant à développer une approche efficace appelée Automatically Weighted Binary Multi-View Clustering via deep initialization (AW-BMVC). Le travail en question a introduit un modèle d’apprentissage conjoint en une étape en synthétisant deux composants, la représentation discrète commune et la factorisation de la matrice binaire. Une auto estimation de chaque vue/sample pendant le processus d’apprentissage est prise en considération. Le problème est parfaitement résolu en utilisant un système d’optimisation alterné, qui a été positivement influencé par notre initialisation innovante de matrice binaire profonde. Les résultats expérimentaux menés sur plusieurs ensembles de données défiants démontrent l’efficacité et la supériorité de l’approche proposée par rapport aux méthodes de la littérature.