User Intention Prediction Using Text Messages

Abstract

Recently, social media has become an important source of information, where user- generated content can be analyzed, making it a significant research area in natural language processing (NLP) and machine learning (ML). These fields can be utilized to understand user intent based on text, although analyzing intent from text is a challenging task due to the informal nature of text and its context. The main contribution of this work is to harness the power of NLP and ML to detect patterns in textual data that predict user intent, provide insights into user behavior, and enhance predictive models. The proposed method combines two models using machine learning: the Bidirectional Encoder Representations from Transformers (BERT) model and the Long Short-Term Memory (LSTM) model applied to textual data. Through the innovative application of these models, our study demonstrated the feasibility of accurately classifying users' intentions regarding locations, achieving high accuracy in our dataset. Our results show the model's efficiency in identifying dialogues where the user does not discuss a location (class "0") with high accuracy and recall. However, this highlights the need to improve the detection of positive cases where user intent includes location (class "1"), especially with regard to recall. The discrepancy in performance between class "0" and class "1" indicates that while the model can effectively differentiate non-location dialogues, it struggles with the nuances of location intent. The importance of our work lies not only in the impressive accuracy achieved but also in the model's contribution to predictive capabilities in the field of NLP. Our approach provides a foundation for developing intelligent systems capable of understanding and predicting user intentions based on textual data, with potential applications in virtual assistants, targeted advertising, and location-based services.

Récemment, les médias sociaux sont devenus une source d'information cruciale, où le contenu généré par les utilisateurs peut être analysé et transformé en un domaine de recherche clé dans le traitement du langage naturel (NLP) et l'apprentissage automatique (ML). Ces domaines permettent de comprendre les intentions des utilisateurs à partir du texte, bien que l'analyse des intentions basée sur le texte soit une tâche complexe en raison de la nature informelle du texte et de son contexte. La principale contribution de ce travail réside dans l'exploitation de la puissance du NLP et de l'apprentissage automatique pour détecter des motifs dans les données textuelles qui prédisent les intentions des utilisateurs, fournissent des informations sur leur comportement et améliorent les modèles prédictifs. La méthode proposée combine deux modèles d'apprentissage automatique : le modèle Bidirectional Encoder Representations from Transformers (BERT) et le modèle Long Short-Term Memory (LSTM) appliqués aux données textuelles. Grâce à l'application innovante de ces modèles, notre étude a démontré la faisabilité de classifier avec précision les intentions des utilisateurs concernant les emplacements, atteignant ainsi une grande précision dans notre ensemble de données. Nos résultats montrent l'efficacité du modèle à identifier les dialogues dans lesquels l'utilisateur ne discute pas d'un emplacement (classe « 0 ») avec une grande précision et un rappel élevé. Cependant, cela met en évidence la nécessité d'améliorer la détection des cas positifs où l'intention de l'utilisateur inclut la localisation (classe « 1 »), notamment en ce qui concerne le rappel. L'écart de performance entre la classe « 0 » et la classe « 1 » indique que, bien que le modèle puisse différencier efficacement les dialogues ne concernant pas les emplacements, il éprouve des difficultés avec les nuances des intentions relatives aux emplacements. L'importance de notre travail réside non seulement dans la précision impressionnante obtenue, mais aussi dans la contribution du modèle aux capacités prédictives dans le domaine du NLP. 4Notre approche constitue une base pour développer des systèmes intelligents capables de comprendre et de prédire les intentions des utilisateurs à partir de données textuelles, avec des applications potentielles dans les assistants virtuels, la publicité ciblée et les services géolocalisés.