Multi-criteria Collaborative recommendation system with Self- Attention : study of impact of self-Attention in Prediction Phase

Abstract

In recent years, Recommendation systems (RS) has achieved great success and made remarkable progress in solving the information overload problem. There are many techniques used in the recommendation systems, collaborative filtering (CF) is one of the most used techniques. Several researches were proposed in the field of recommendation systems based on CF . Although existing models with single criteria have shown decent recommendation performance, they still suffer from challenges such as accuracy, data sparsity and cold start problem. However, multi-criteria predictions have been proved to be more accurate. Lately, Self-Attention has achieved impressive results in several domains such as translation, voice, image recognition and computer vision. It recently gained massive interest in recommender systems, specially in sequential recommendation. However, through our search on this mechanism, we didn't encounter any study of using Self-Attention in multi-criteria collaborative recommendation systems. In this work, we propose a multi-criteria collaborative filtering model in prediction phase based on Self-Attention mechanism, in order to study the impact of this mechanism in the prediction phase of recommendation systems. We conducted several experiments on real-world datasets. The obtained results of those experiments showed that the Self-Attention mechanism reduced sparsity of the datasets, and also, enhanced the prediction accuracy of our proposed model, and it outperformed the state of the art model. Therefore, this study proves the success of employing multi-criteria and Self-Attention in the prediction of recommendation systems.

في السنوات الأخیرة ، حققت أنظمة التوصیات نجاحًا كبیرًا وأحرزت تقدمًا ملحوظًا في حل مشكلة زیادة المعلومات. ھناك العدید من التقنیات المستخدمة في أنظمة التوصیة ، والتصفیة التعاونیة ھي واحدة من أكثر التقنیات استخدامًا. تم اقتراح العدید من الأبحاث في مجال أنظمة التوصیة القائمة على التصفیة التعاونیة. على الرغم من أن النماذج الحالیة ذات المعاییر الفردیة أظھرت أداء توصیة لائقًا ، إلا أنھا لا تزال تعاني من تحدیات مثل الدقة وتناثر البیانات ومشكلة البدایة الباردة. ومع ذلك ، فقد ثبت أن التنبؤات متعددة المعاییر أكثر دقة. في الآونة الأخیرة ، حقق الإھتمام الذاتي نتائج مبھرة في العدید من المجالات مثل الترجمة و الصوت والتعرف على الصور ورؤیة الكمبیوتر. اكتسب مؤخرًا اھتمامًا كبیرًا بأنظمة التوصیة ، خاصة في التوصیة المتسلسلة. ومع ذلك ، من خلال بحثنا عن ھذه الآلیة ، لم نواجھ أي دراسة لاستخدام الإھتمام الذاتي في أنظمة التوصیة التعاونیة متعددة المعاییر. في ھذا العمل ، نقترح نموذج ترشیح تعاوني متعدد المعاییر في مرحلة التنبؤ یعتمد على آلیة الإھتمام الذاتي ، لدراسة تأثیر ھذه الآلیة في مرحلة التنبؤ لأنظمة التوصیة. لقد أجرینا العدید من التجارب على مجموعات البیانات في العالم الحقیقي. أظھرت النتائج التي تم الحصول علیھا من تلك التجارب أن آلیة الإھتمام الذاتي قللت من تباین مجموعات البیانات ، وعززت أیضًا دقة التنبؤ لنموذجنا المقترح ، وتفوقت على أحدث طراز. لذلك أثبتت ھذه الدراسة نجاح توظیف معاییر متعددة والإھتمام الذاتي في التنبؤ بأنظمة التوصیة.