Visual Object Classification Using Computer Vision Techniques

Abstract

Due to the increasing importance of agriculture as a sector in general and the role of plants in human life in particular, humans have placed a high value on it as an object.Plants are affected by a variety of diseases, which can severely diminish their yield or even eliminate them out in some situations, posing a huge danger to world food security. It is critical to discover this disaster early to satisfy the increasing demands of an expanding population. Plants have a tremendous impact on human life, whether in the environmental sector (such as oxygen and water) or in the industrial sector (such as medicine and cosmetics). Classification errors can result in significant costs and losses, particularly in key domains such as medicine, where toxic species are mistakenly categorized as medicinal plants. Traditional plant classification of species or diseases can be established by looking at features such as shape, texture, and many others. However, identifying plant species or diseases from field observations can be difficult, time-consuming, and requires specialized knowledge.Computer vision techniques can be useful for identifying species or diseases. Several practical challenges are presented, such as significant intra-variability, the presence of shadows in sunny settings, inter-similarity, and unexpected changes in camera parameters. Several of these difficulties are addressed in this thesis.Several contributions have been proposed to address the two mentioned problems.In the first one, we examined the present state of research on computer vision approaches for plant identification. The investigated methods' weaknesses and inadequacies were found, opening the door to new challenges and real difficulties. In the second, given that plant leaves are characterized by shape and veins, we have proposed a fully automatic method for plant identification based on shape and texture features. Because leaf contour is sufficiently informative to define botanical character parts, in the third contribution, we have proposed a modified shape feature. In the fourth, fifth, and sixth contribution, as regards to the literature, the performance of classifiers has no superiority among them. In order to gather from their advantages and improve the recognition rates, we have dealt with several combination methods, parallel and serial. Recently, deep learning has revolutionized the field of machine learning and image classification, which has led us to deal with it for plant classification by proposing it as a novel classifier for plant leaf classification and as feature extraction for plant disease. The auto-encoder and Siamese neural network architecture has been used as novel classifier, and we adopted a hierarchical technique to solve the inter-species problem. The experimental findings demonstrate the efficacy of our contributions in comparison to the state of the art. The results of this thesis show that there is significant improvement in both plant recognition and plant disease by using novel machine learning and deep learning methods.

نظرًا للأهمية المتزايدة للزراعة كقطاع بشكل عام، ودور النباتات في حياة الإنسان بشكل خاص، فقد اهتم بها البشربشكل كبير. تتأثر النباتات بمجموعة متنوعة من الأمراض، والتي يمكن أن تقلل بشدة من المحصول أو حتى تقضي عليه في بعض الحالات، مما يشكل خطرًا كبيرًا على الأمن الغذائي العالمي. فبات من الأهمية بمكان اكتشاف وتفادي هذه الكارثة مبكرًا لتلبية الطلبات المتزايدة لعدد السكان المتزايد. للنباتات تأثير هائل على حياة الإنسان، سواء في القطاع البيئي (مثل الأكسجين والماء) أو في القطاع الصناعي (مثل الأدوية ومستحضرات التجميل). يمكن أن تؤدي أخطاء التصنيف إلى تكاليف وخسائر كبيرة، لا سيما في المجالات الحساسة مثل الطب، حيث يتم تصنيف الأنواع السامة عن طريق الخطأ على أنها نباتات طبية.تقليديا يمكن تصنيفأنواع أو أمراض النبات من خلال النظر إلى ميزات مثل الشكل والنسيج والعديد من الميزات الأخرى. ومع ذلك، قد يكون تحديد أنواع النباتات أو الأمراض من الملاحظات الميدانية أمرًا صعبًا ويستغرق وقتًا طويلاً ويتطلب معرفة متخصصة. يمكن أن تكون تقنيات الرؤية الحاسوبية مفيدة في التعرف على الأنواع أو الأمراض. خلال التعرف العديد من التحديات العملية تواجهنا مثل التباين الداخلي الكبير، ووجود الظلال في الأماكن المشمسة،التشابه الخارجي، والتغيرات الغير المتوقعة في معلمات الكاميرا. العديد من هذه الصعوبات تمت معالجتها في هذه الأطروحة.لحل المشكلتين المذكورتيناعلاه اقترحنا العديد من المساهمات فيالجزءالأول قمنا بدراسة مختلفتقنيات رؤية الكمبيوتر المستعملة لتحديد النباتات،بناءا على نقاط الضعف والقصور في الطرق التي تمت دراستها،تم فتح الباب أمام تحديات وصعوبات جديدة وحقيقية. في الجزء الثاني،بما ان أوراق النبات تتميز بالشكل والأوردة، اقترحنا طريقة أتوماتيكية لتحديد النبات بناءً على ميزات الشكل والنسيج. نظرًا لأن محيط الورقة مفيد بشكل كافٍ لتصنيفالنبات، فقد اقترحنا في المساهمة الثالثة طريقة معدلة والتي تعتمد على استخراج خصائص الشكل من اجزاء مفتاحية للورقة. في الجزء الرابع والخامس والسادس وبناءا على ما تم تناولهفيالدراسات السابقة،في انه لا يوجد تفوق على أداء المصنفات فيما بينها،ومن أجل الاستفادة من مزاياها وتحسين معدلات التعرف تعاملنا معها بعدة طرق تجميع منهاالمتوازية ومنها المتسلسلة. أحدث التعلم العميق مؤخرًا ثورة في مجال التعلم الآلي وتصنيف الصور،وهذا دفعنا إلى استعماله لتصنيف النباتاتوذلك من خلال اقتراحه كمصنف جديد لتصنيف أوراق النبات وكاداة لاستخراج الخصائصبالنسبة لأمراض النبات. تم استخدام بنية الشبكة Siamese وauto-encoderكمصنف جديد. للتغلب على مشكلةالتشابه الخارجي بين الأنواع استعملناالاستراتيجية الهرمية. تظهر النتائج التجريبية فعالية مساهماتنا مقارنة بأحدث ما توصلت إليه التكنولوجيا. تظهر نتائج هذه الرسالة أن هناك تحسنًا ملحوظًا في كل من التعرف على النبات وأمراض النبات باستخدام التعلم الآلي المبتكر وأساليب التعلم العميق.