An Opposition-Based Great Wall Construction Metaheuristic Algorithm with Gaussian Mutation for Feature Selection

Abstract

The feature selection problem involves selecting a subset of relevant features to en- hance the performance of machine learning models, crucial for achieving model accuracy. Its complexity arises from the vast search space, necessitating the application of meta- heuristic methods to efficiently identify optimal feature subsets. In this work, we em- ployed a recently proposed metaheuristic algorithm named the Great Wall Construction Algorithm to address this challenge – a powerful optimizer with promising results. To enhance the algorithm’s performance in terms of exploration, exploitation, and avoid- ance of local optima, we integrated opposition-based learning and Gaussian mutation techniques. The proposed algorithm underwent a comprehensive comparative analysis against ten influential state-of-the-art methodologies, encompassing seven contemporary algorithms and three classical counterparts. The evaluation covered 22 datasets of varying sizes, ranging from 9 to 856 features, and included the utilization of six distinct evalu- ation metrics related to accuracy, classification error rate, number of selected features, and completion time to facilitate comprehensive comparisons. The obtained numerical results underwent rigorous scrutiny through several non-parametric statistical tests, in- cluding the Friedman test, the post hoc Dunn’s test, and the Wilcoxon signed ranks test. The resulting mean ranks and p-values unequivocally demonstrate the superior efficacy of the proposed algorithm in addressing the feature selection problem.

Le problème de sélection des caractéristiques implique la sélection d’un sous-ensemble de caractéristiques pertinentes afin d’améliorer les performances des modèles d’apprentissage automatique, ce qui est crucial pour atteindre la précision du modèle. Sa complexité provient du vaste espace de recherche, ce qui nécessite l’application de méthodes méta- heuristiques pour identifier efficacement des sous-ensembles de caractéristiques optimaux. Dans ce travail, nous avons utilisé un algorithme métaheuristique récemment proposé ap- pelé algorithme de construction de la Grande Muraille pour relever ce défi - un optimiseur puissant avec des résultats prometteurs. Pour améliorer les performances de l’algorithme en termes d’exploration, d’exploitation et d’évitement des optima locaux, nous avons in- tégré des techniques d’apprentissage basées sur l’opposition et de mutation gaussienne. L’algorithme proposé a fait l’objet d’une analyse comparative approfondie par rapport à dix méthodologies d’avant-garde influentes, englobant sept algorithmes contemporains et trois homologues classiques. L’évaluation a porté sur 22 ensembles de données de tailles variables, allant de 9 à 856 caractéristiques, et a inclus l’utilisation de six métriques d’évaluation distinctes liées à la précision, au taux d’erreur de classification, au nombre de caractéristiques sélectionnées et au temps d’exécution pour faciliter des comparaisons complètes. Les résultats numériques obtenus ont été soumis à un examen rigoureux au moyen de plusieurs tests statistiques non paramétriques, notamment le test de Friedman, le test post-hoc de Dunn et le test des rangs signés de Wilcoxon. Les rangs moyens et les valeurs de p résultantes démontrent sans équivoque l’efficacité supérieure de l’algorithme proposé pour résoudre le problème de sélection des caractéristiques.