Une approche datamining dans le cloudcomputing pour leBigdata

Abstract

Today, data growth is accelerating to create Big Data in various fields, such as social media, websites, emails, finance, and medicine. It needs analysis and knowledge extraction but the traditional data analytics may not be able to handle such large quantities of data. The question that arises now is, how to develop a high-performance platform to analyze big data efficiently and how to design an appropriate mining algorithm to find useful things from big data. In contribution one, a multi-layered approach based on agents is proposed to extract knowledge from Big Dataset with Bagging algorithm. To achieve this, we call the paradigm of a multi-agent system in Hadoop to distribute the complexity and processing of large data sets across several autonomous entities called agents. The goal is to predict the target class or value for each case in the data using the Bagging technique that is dedicated to the task of Classification or Regression. This proposition will help decision-makers to make the right decisions and provide a perfect response time by the use of the multi-agent system in Hadoop. Therefore, to implement the proposed architecture, It is more convenient to use the Apache Hadoop Framework, Apache Spark MLlib framework for building scalable Machine Learning algorithms and JADE platform which provides a complete set of services and agents. In contribution two, weare trying to predict this problem before happening which is possible to provide the best solution to limit the consequences and avoid the danger and its financial loss. To solve this problem, It is more convenient to propose a new architecture based on time series forecasting for analyzing the huge Algerian oils fields drilling datasets and implement it in the Hadoop Ecosystem.

أدت الثورة التنولوجية في هذه الأيام إلى الزيادة السريعة في نمو البيانات،هذا النمو السريع أدى إلى إنشاء بيانات ضخمة أو ما يسمى بال-Big Data- في عدة مجالات مثل المواقع، خدمات التواصل الاجتماعي، خدمات البريد الالكتروني،التجارة والمجال الطبي. هذه البيانات تحتاج إلى تحليل وإستخراج المعرفة.الطرق التقليدية لتحليل البيانات ليست لها القدرة على تحليل هذا الكم الهائل من البيانات.السؤال المطروح هنا: كيف يمكننا تطوير آليات وأطر ذات كفاءة عالية لتحليل هذه البيانات الضخمة وكيف يمكن إنشاء معمارية تسمح لخوارزميات تعلم الآلة بإيجاد الحلول المثلى عن طريق هذه البيانات.

العمل الأول هو عبارة عن إقتراح لمعمارية ذات طبقات متعددة لإستخراج المعرفة من قواعد البيانات الضخمة بإستعمال خوارزمية ال Bagging. تم إستخدام نظام متعدد الوكلاء في منصة هادووب لجعل العمل تشاركي على مستوى تطبيق الخوارزميات. هذا الإقتراح سيساعد متخذي القرار لأخذ أفضل القرارات في أسرع وقت ممكن.تم إستخدام إطار هادوب Hadoop ومكتبة Spark MLlib لبناء خوارزميات تعلم الآلة قابلة للتمدد.

في العمل الثاني، عملنا على توقع المشاكل التي تكون في أبار الحفر البترولي قبل حدوثها وذلك لإيجاد حلول وتفادي الكارثة قبل حصولها. لحل هذه المسألة، تم إقتراح معمارية جديدة مبنية على التوقع المرتبط بالسلاسل الزمنية وذلك لتحليل البيانات الضخمة الناتجة من عمليات حفر الآبار البترولية في الجزائر وحل مشكلة أدوات الحفر العالقة أثناء الحفر.