A better understanding of user intention in image retrieval: Discovering the relationship between concepts, the best generalization, and the hidden concepts.

Abstract

In this thesis, we study three general issues but in the specific context of the query in semantic concepts-based image retrieval: Choosing the best generalizationfora set of concepts, Discovering the relationship between concepts, and Discovering hidden concepts. In the image retrieval paradigm studied, first the user formulates his query by choosing a set of images, each of which is annotated with one concept. Our goal is to understand the needs of this user by analyzing those concepts, so that the retrieval engine will be able to answer the user’s needs adequately, thereby alleviating the intention gap and the semantic gap. Understanding user needs is a very broad and extremely challengingtask, this is why we focus on the three issues cited above. The first issue we deal with belongs to the family of Generalization problems which are common problems in cognitive sciences. Given a user who chooses a set of concepts with or without repetition, and given that different generalizations are possible, how to choose the best generalization among them? The second issue we study in this thesis is that of discovering the relationship between concepts. Given a raw set of concepts composing the query, we try to discover the common relationships between pairs of concepts and between bigger sets of concepts (three concepts or more), going up to common relationships between all concepts. Notice that the first and the second issue are very related to each other, since it is possible to deduct the possible and best generalizations from common relationships and vice-versa. The third issue we study is how to apply the findings of the two first issues to discover hidden concepts. Given that we have discovered the relationship between our set of concepts or generalized them to a unique concept, what are the other concepts that we can enrich the same set with? This is very useful in image retrieval since it allow to perform what is called query expansion. To resolve the issues raised above, which are very connected, we propose two different solutions: each solution resolves the three issues simultaneously. Both solutions make use of ontologies to represent our concepts hierarchy. In addition, and rather than using one single hierarchy, we use several possible hierarchies and try to find the best one among them.Our first solution is based on Bayesian Model of Generalization (BMG). This model comes from cognitive science and has a strong mathematical background. It has been successfully applied in resolving many problems. Our second solution is based on measuring the Semantic Similarity (SS) between several concepts. We develop a new formula which permits to measure thissimilarity from the similarity between pairs of concepts.The experimental evaluation conducted demonstrate that the solutions we propose, and which choose the best among multiple concept hierarchies yield better results than the methods using one single hierarchy. Finally, we mention that even though our study of the raised issues (generalization from a set of concepts, discovery of relationships and that of hidden concepts) has been limited to image retrieval context, but both the study and the proposed solutions can be adapted to other applications where generalization is necessary or useful.

Dans cette thèse, nous étudions trois problèmes généraux, mais dans le contexte spécifique de la requête en recherche d’images par concepts sémantiques : Choisir la meilleure généralisation d’un ensemble de concepts, Découvrir la relation entre les concepts et Découvrir les concepts cachés. Dans le paradigme de recherche d'images étudié, l'utilisateur formule d'abord sa requête en choisissant un ensemble d'images, chacune d'elles étant annotée avec un concept. Notre objectif est de comprendre les besoins de cet utilisateur en analysant ces concepts, afin que le moteur de recherche puisse répondre de manière adéquate aux besoins de l’utilisateur, réduisant ainsi le fossé sémantique et le fossé d’intention. Comprendre les besoins réels de l’utilisateur est une tâche très vague et extrêmement difficile. Par conséquent, nous nous concentrons sur les trois problèmes cités ci-dessus. Le premier problème que nous allons traiter appartient à la famille des problèmes de généralisation qui sont des problèmes courants en sciences cognitives. Si un utilisateur choisit un ensemble des concepts avec ou sans répétition et si différentes généralisations sont possibles, comment choisir la meilleure généralisation parmi elles? Le deuxième problème que nous étudions dans cette thèse est celui de la découverte des relations entre les concepts. À partir d'un ensemble de concepts bruts composant la requête, nous essayons de découvrir les relations communes entre les paires de concepts et entre des ensembles plus grands de concepts (trois concepts ou plus), allant jusqu'aux relations communes entre tous les concepts. Notons que le premier et le deuxième problèmes sont très liés, car il est possible de déduire les généralisations possibles et optimales à partir des relations communes et vice-versa. Le troisième problème que nous étudions est de savoir comment appliquer les résultats des deux premiers pour découvrir les concepts cachés. Étant donné que nous avons découvert la relation entre notre ensemble de concepts ou les avons généralisés à un concept unique, quels sont les autres concepts avec lesquels nous pourrions enrichir le même ensemble? Ceci est très utile dans la recherche d’images car il permet d’effectuer ce que l’on appelle l’expansion de requêtes. Pour résoudre les problèmes présentés ci-dessus, qui sont très liés, nous proposons deux solutions différentes: chaque solution résout les trois problèmes simultanément. Les deux solutions utilisent des ontologies pour représenter la hiérarchie de nos concepts. De plus, plutôt que d'utiliser une seule hiérarchie, nous utilisons plusieurs hiérarchies possibles et essayons de trouver la meilleure parmi elles. Notre première solution est basée sur le modèle Bayésien de généralisation (BMG). Ce modèle a été étudié en sciences cognitives et possède une base mathématique solide. Il a été appliqué avec succès à la résolution de nombreux problèmes. Notre deuxième solution est basée sur la mesure de la similarité sémantique (SS) entre plusieurs concepts. Nous développons une nouvelle formule qui permet de mesurer cette similarité à partir de la similarité entre des paires de concepts. L’évaluation expérimentale que nous avons conduite montre que les solutions que nous proposons, et qui choisissent la meilleure parmi plusieurs hiérarchies de concepts, donnent de meilleurs résultats que les méthodes utilisant une seule hiérarchie de concepts. Enfin, nous mentionnons que même si notre étude des problèmes soulevés (généralisation à partir d’un ensemble de concepts, découverte de relations et de concepts cachés) a été limitée au contexte de la recherche d’image, les études menées et les solutions proposées peuvent bien être adaptées et appliquées à d’autres applications où la généralisation est nécessaire ou utile.

في هذه الأطروحة، ندرس ثلاث مسائل عامة ولكن في السياق المحدد للاستعلام في استرجاع الصور حسبالمفهوم المعنوي: اختيار التعميم الافضل لمجموعة من المفاهيم ، واكتشاف العلاقة بين المفاهيم ، واكتشاف المفاهيم المخفية. في نموذج استرجاع الصورة الذي تمت دراسته ، يقوم المستخدم أولاً بصياغة استعلامه عن طريق اختيار مجموعة من الصور ، يتم شرح كل منها بمفهوم واحد. هدفنا هو فهم احتياجات هذا المستخدم من خلال تحليل تلك المفاهيم ، بحيث يكون محرك الاسترجاع قادرًا على تلبية احتياجات المستخدم بشكل مناسب ، وبالتالي تخفيف فجوة النية والفجوة الدلالية. إن فهم احتياجات المستخدمين مهمة واسعة للغاية وصعبة للغاية ، وهذا هو السبب في أننا نركز على القضايا الثلاث المذكورة أعلاه. القضية الأولى التي نتعامل معها تخص عائلة مشكلات التعميم والتي تعد مشكلات شائعة في العلوم المعرفية. بالنظر إلى مستخدم يختار مجموعة من المفاهيم مع التكرار أو بدونه، وبالنظر إلى أن عدة تعميمات المختلفة ممكنة، كيف يمكن اختيار التعميم الأفضل بينها؟ القضية الثانية التي ندرسها في هذه الرسالة هي اكتشاف العلاقة بين المفاهيم. بالنظر إلى مجموعة من المفاهيم الأولية التي تشكل في الاستعلام، نحاول اكتشاف العلاقات المشتركة بين أزواج المفاهيم وبين مجموعات أكبر من المفاهيم (ثلاثة مفاهيم أو أكثر)، والوصول إلى العلاقات المشتركة بين جميع المفاهيم. ونشير إلى أن المشكلين الأول والثاني مرتبطان ببعضهما البعض ، لأنه من الممكن اقتطاع التعميمات الممكنة وأفضل تعميم من العلاقات العامة والعكس صحيح. المسألة الثالثة التي ندرسها هي كيفية تطبيق نتائج المسألتين الأوليين لاكتشاف المفاهيم الخفية. بالنظر إلى أننا اكتشفنا العلاقة بين مجموعة مفاهيمنا أو قمنا بتعميمها على مفهوم واحد، ما هي المفاهيم الأخرى التي يمكننا إثراء بها هذه المفاهيم ؟ يعد هذا مفيدًا جدًا في استرجاع الصور لأنه يسمح بتنفيذ ما يسمى توسيع الاستعلام. لحل المشكلات المثارة أعلاه، والتي ترتبط ارتباطًا كبيرًا، نقترح نهجين مختلفين: كل نهج يحل القضايا الثلاث في وقت واحد. كلا الحلين يستندان الى الأنطولوجيات لتمثيل مفاهيمنا. بالإضافة إلى ذلك ، وبدلاً من استخدام تسلسل هرمي واحد ، فإننا نستخدم العديد من التسلسلات الهرمية الممكنة ونحاول العثور على الأفضل بينها. يعتمد حلنا الأول على نموذج التعميم البايزيوقد تمت دراسة هذا النموذج في العلوم المعرفية وله أساس رياضي قوي. تم تطبيقه بنجاح في حل العديد من المشكلات. يعتمد حلنا الثاني على قياس التشابه الدلالييبين عدة مفاهيم. نحن نقترح صيغة جديدة تسمح لنا بقياس هذا التشابه انطلاقا من التشابه بين مفهومين. توضح التجارب التي تم إجراؤها أن الحلول التي نقترحها والتي تقوم باختيار التسلسل الهرمي الافضل من بين عدة تسلسلات هرمية تحقق نتائج أفضل من الأساليب التي تستخدم تسلسل هرمي واحد. أخيرًا ، نذكر أنه على الرغم من أن دراستنا للقضايا المثارة (التعميم انطلاقا من مجموعة من المفاهيم واكتشاف العلاقات بينها واكتشاف المفاهيم الخفية) قد اقتصرت على سياق استرجاع الصور ، إلا أنه يمكن تكييف كل من الدراسة والحلول المقترحة مع التطبيقات الأخرى حيث يكون التعميم ضروري أو مفيد.