|
DOI: 10.14489/vkit.2021.05.pp.035-044
Родзин С. И.
БИОИНСПИРИРОВАННАЯ ГИПЕРЭВРИСТИКА ДЛЯ ОТБОРА ЗНАЧИМЫХ ПРИЗНАКОВ В ЗАДАЧАХ КЛАССИФИКАЦИИ БОЛЬШИХ ДАННЫХ
(c. 35-44)
Аннотация. Предложен гиперэвристический алгоритм отбора значимых признаков классификации и оценки точности классификации. Показано, что в алгоритме комбинируются модифицированные биоэвристики эхолокации летучих мышей и дифференциальной эволюции. В экспериментах использованы классификаторы k-ближайших соседей и дерева решений. Дана оценка эффективности алгоритма с использованием эталонных наборов данных из мировой библиотеки UCI (the University of California, Irvine). Проведено сравнение производительности алгоритма с конкурирующими биоэвристиками летучих мышей, ворон, серых волков и гибридным алгоритмом роя частиц и гравитационного поиска. Выявлено, что алгоритм лидирует по средним и наилучшим значениям фитнес-функции для большинства тестируемых наборов данных, а также является статистически значимым по сравнению с конкурирующими алгоритмами по Т-критерию Уилкоксона и критерию Фридмана.
Ключевые слова: гиперэвристика; классификатор; отбор признаков; алгоритм летучих мышей; алгоритм дифференциальной эволюции; набор данных; статистический тест.
Rodzin S. I.
BIOINSPIRED HYPERHEURISTICS FOR SELECTING SIGNIFICANT ATTRIBUTES IN BIG DATA CLASSIFICATION PROBLEMS
(pp. 35-44)
Abstract. The authors propose a hyperheuristic bioinspired algorithm for selecting the most important classification features and assessing the classification accuracy. The algorithm is a modification of two approaches – bats echolocation bioheuristics and differential evolution. The k-nearest neighbors and decision tree classifiers were used in the experiments. The authors also assess the efficiency of the algorithm using reference datasets from the world library UCI (the University of California, Irvine). Based on the results of the experiments, the performance of the algorithm was compared with competing bioheuristics of bats, crows, gray wolves, a hybrid particle swarm algorithm, and gravitational search. We can say that the algorithm leads in the average and best values of the fitness function for most of the tested datasets, and is also statistically significant compared to competing algorithms according to the Wilcoxon T-test and the Friedman test.
Keywords: Hyperheuristics; Classifier; Feature selection; Bat algorithm; Differential evolution algorithm; Data set; Statistical test.
С. И. Родзин (Южный федеральный университет, Таганрог, Россия) E-mail:
Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
S. I. Rodzin (Southern Federal University, Taganrog, Russia) E-mail:
Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
1. Карпенко А. И. Основные сущности популяционных алгоритмов глобальной оптимизации. Опыт систематизации [Электронный ресурс] // Интернет-журнал Науковедение. 2017. Т. 9, № 6. URL: https://naukovedenie.ru/PDF/46TVN617.pdf (дата обращения: 19.04.2021).
2. Cuevas E., Fausto F., Gonzales A. New Advancements in Swarm Algorithms: Operators and Applications // Intelligent Systems Reference Library. Springer, 2020. V. 160. 296 p.
3. Mirjalili S., Yang X. Binary Bat Algorithm // Neural Computing and Applications. 2014. V. 25, No. 3–4. P. 663 – 681.
4. Sayed G., Hassanien A., Azar A. Feature Selection Via a Novel Chaotic Crow Search Algorithm // Neural Computing and Applications. 2019. No. 31. Р. 171 – 188.
5. Emary E., Zawbaa H., Hassanien A. Binary Grey Wolf Optimization Approaches for Feature Selection // Neurocomputing. 2016. No. 172. Р. 371 – 381. DOI 10.1016/j.neucom.2015.06.083
6. Mirjalili S., Wang G., Coelho L. Binary Optimization Using Hybrid Particle Swarm Optimization and Gravitational Search Algorithm // Neural Computing and Applications. 2014. V. 25, No. 6. Р. 1423 – 1430. DOI 10.1007/s00521-014-1629-6
7. Yang X. A New Metaheuristic Bat-Inspired Algorithm // Nature Inspired Cooperative Strategies for Optimization. Berlin-Heidelberg: Springer, 2010. P. 65 – 74. DOI 10.1007/978-3-642-12538-6_6
8. Storn R., Price K. Differential Evolution – a Simple and Efficient Heuristic for Global Optimization // Journal of Global Optimization. 1997. V. 11, No. 3. Р. 341 – 359. DOI 10.1023/A:1008202821328
9. Пантелеев А. В., Дмитраков И. Ф. Применение метода дифференциальной эволюции для оптимизации параметров аэрокосмических систем [Электронный ресурс] // Электрон. журнал «Труды МАИ». 2010. № 37. С. 1 – 8. URL: https://mai.ru/upload/iblock/f49/primenenie-metoda-differentsialnoy-evolyutsii-dlya-optimizatsii-parametrov-aerokosmicheskikh-sistem.pdf (дата обращения: 19.04.2021).
10. Dua D., Graff C. UCI Machine Learning Repository. 2017. URL: http://archive.ics.uci.edu/ml (дата обращения: 19.04.2021).
11. Asuncion A., Newman D. UCI Machine Learning Repository // Irvine, CA: University of California, School of Information and Computer Science. 2007.
12. Кривенко М. П. Критерии значимости отбора признаков классификации // Информатика и ее применения. 2016. Т. 10, Вып. 3. С. 32 – 40.
13. Analysis of Various Decision Tree Algorithms for Classification in Data Mining / B. Gupta et al. // Intern. Journal of Computer Applications. 2017. V. 163, No. 8. Р. 15 – 19. DOI 10.5120/ijca2017913660
14. A Practical Tutorial on the Use of Nonparametric Statistical Tests as a Methodology for Comparing Evolutionary and Swarm Intelligence Algorithms / J. Derrac et al. // Swarm and Evolutionary Computation. 2011. No. 1(1). Р. 3 – 18. DOI 10.1016/j.swevo.2011.02.002
15. Rodzin S., Rodzina O. Metaheuristics Memes and Biogeography for Trans Computational Combinatorial Optimization Problems // Proc. of the 6th Intern. Conf. – Cloud System and Big Data Engineering (Confluence). 2016. P. 1 – 5. DOI 10.1109/CONFLUENCE.2016.7508037
16. Tawhid M., Savsani P. Discrete Sine-Cosine Algorithm (DSCA) with Local Search for Solving Traveling Salesman Problem // Arabian Journal for Science and Engineering. 2019. No. 44(4). Р. 3669 – 3679. DOI 10.1007/s13369-018-3617-0
17. Rodzin S., Rodzina O. Effectiveness Evaluation of Memetics and Biogeography Algorithms Using Benchmark and Trans Computational Tasks of Combinatorial Optimization // Proc. of the First Intern. Scientific Conf. “Intelligent Information Technologies for Industry” (IITI’16). 2016. V. 450. P. 463 – 473. DOI 10.1007/978-3-319-33609-1_42
18. Tawhid M., Ali A. Multidirectional Harmony Search Algorithm for Solving Integer Programming and Minimax Problems // Intern. Journal Bio-Inspired Computation. 2019. No. 13(3). Р. 141 – 158. DOI 10.1504/IJBIC.2019.10020492
19. El-Khatib S., Rodzin S., Skobtcov Y. A. Investigation of Optimal Heuristical Parameters for Mixed ACO-k-Means Segmentation Algorithm for MRI Images // Proc. of the Conf. on ITSMSSM’16. 2016. P. 216 – 221.
20. Rodzin S., Rodzina L., Rodzina O. Optimization of Multi-Extreme Multidimensional Functions: a Population-Based Nature-Inspired Algorithm // Proc. of the Intern. Russian Automation Conf. (Sept. 6 – 12, 2020, Sochi). 2020. P. 595 – 599.
1. Karpenko A. I. (2017). The main essence of population algorithms for global optimization. Systematization experience. Internet-zhurnal Naukovedenie, Vol. 9, (6). Available at: https://naukovedenie.ru/PDF/ 46TVN617.pdf (Accessed: 19.04.2021). [in Russian language]
2. Cuevas E., Fausto F., Gonzales A. (2020). New Advancements in Swarm Algorithms: Operators and Applications. Intelligent Systems Reference Library, Vol. 160. Springer.
3. Mirjalili S., Yang X. (2014). Binary Bat Algorithm. Neural Computing and Applications, Vol. 25, (3–4), pp. 663 – 681.
4. Sayed G., Hassanien A., Azar A. (2019). Feature Selection Via a Novel Chaotic Crow Search Algorithm. Neural Computing and Applications, 31, pp. 171 – 188.
5. Emary E., Zawbaa H., Hassanien A. (2016). Binary Grey Wolf Optimization Approaches for Feature Selection. Neurocomputing, 172, pp. 371 – 381. DOI 10.1016/j.neucom.2015.06.083
6. Mirjalili S., Wang G., Coelho L. (2014). Binary Optimization Using Hybrid Particle Swarm Optimization and Gravitational Search Algorithm. Neural Computing and Applications, Vol. 25, (6), pp. 1423 – 1430. DOI 10.1007/s00521-014-1629-6
7. Yang X. (2010). A New Metaheuristic Bat-Inspired Algorithm. Nature Inspired Cooperative Strategies for Optimization, pp. 65 – 74. Berlin-Heidelberg: Springer. DOI 10.1007/978-3-642-12538-6_6
8. Storn R., Price K. (1997). Differential Evolution – a Simple and Efficient Heuristic for Global Optimization. Journal of Global Optimization, Vol. 11, (3), pp. 341 – 359. DOI 10.1023/A:1008202821328
9. Panteleev A. V., Dmitrakov I. F. (2010). Application of the differential evolution method to optimize the parameters of aerospace systems. Elektronniy zhurnal «Trudy MAI», 37, pp. 1 – 8. Available at: https://mai.ru/upload/iblock/f49/primenenie-metoda-differentsialnoy-evolyutsii-dlya-optimizatsii-parametrov-aerokosmicheskikh-sistem.pdf (Accessed: 19.04.2021). [in Russian language]
10. Dua D., Graff C. (2017). UCI Machine Learning Repository. Available at: http://archive.ics.uci.edu/ml (Accessed: 19.04.2021).
11. Asuncion A., Newman D. (2007). UCI Machine Learning Repository. Irvine: University of California, School of Information and Computer Science.
12. Krivenko M. P. (2016). Criteria for the significance of the selection of classification features. Informatika i ee primeneniya, Vol. 10, (3), pp. 32 – 40. [in Russian language]
13. Gupta B. et al. (2017). Analysis of Various Decision Tree Algorithms for Classification in Data Mining. International Journal of Computer Applications, Vol. 163, (8), pp. 15 – 19. DOI 10.5120/ijca2017913660
14. Derrac J. et al. (2011). A Practical Tutorial on the Use of Nonparametric Statistical Tests as a Methodology for Comparing Evolutionary and Swarm Intelligence Algorithms. Swarm and Evolutionary Computation, 1(1), pp. 3 – 18. DOI 10.1016/j.swevo.2011.02.0022
15. Rodzin S., Rodzina O. (2016). Metaheuristics Memes and Biogeography for Trans Computational Combinatorial Optimization Problems. Proceedings of the 6th International Conference – Cloud System and Big Data Engineering (Confluence), pp. 1 – 5. DOI 10.1109/CONFLUENCE.2016.7508037
16. Tawhid M., Savsani P. (2019). Discrete Sine-Cosine Algorithm (DSCA) with Local Search for Solving Traveling Salesman Problem. Arabian Journal for Science and Engineering, 4(44), pp. 3669 – 3679. DOI 10.1007/s13369-018-3617-0
17. Rodzin S., Rodzina O. (2016). Effectiveness Evaluation of Memetics and Biogeography Algorithms Using Benchmark and Trans Computational Tasks of Combinatorial Optimization. Proceedings of the First Intern. Scientific Conference “Intelligent Information Technologies for Industry” (IITI’16), Vol. 450, pp. 463 – 473. DOI 10.1007/978-3-319-33609-1_42
18. Tawhid M., Ali A. (2019). Multidirectional Harmony Search Algorithm for Solving Integer Programming and Minimax Problems. International Journal Bio-Inspired Computation, 13(3), pp. 141 – 158. DOI 10.1504/IJBIC.2019.10020492
19. El-Khatib S., Rodzin S., Skobtcov Y. A. (2016). Investigation of Optimal Heuristical Parameters for Mixed ACO-k-Means Segmentation Algorithm for MRI Images. Proceedings of the Conference on ITSMSSM’16, pp. 216 – 221.
20. Rodzin S., Rodzina L., Rodzina O. (2020). Optimization of Multi-Extreme Multidimensional Functions: a Population-Based Nature-Inspired Algorithm. Proceedings of the International Russian Automation Conference, pp. 595 – 599. Sochi.
Статью можно приобрести в электронном виде (PDF формат).
Стоимость статьи 450 руб. (в том числе НДС 18%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.
После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.
Для заказа скопируйте doi статьи:
10.14489/vkit.2021.05.pp.035-044
и заполните форму
Отправляя форму вы даете согласие на обработку персональных данных.
.
This article is available in electronic format (PDF).
The cost of a single article is 450 rubles. (including VAT 18%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.
After depositing your payment on our bank account we send you file of the article by e-mail.
To order articles please copy the article doi:
10.14489/vkit.2021.05.pp.035-044
and fill out the form
.
|
Архив номеров
Разработка концепции и создание сайта - ООО «Издательский дом «СПЕКТР»