Методика оценки результатов решения задачи отбора признаков

Данная статья представляет собой исследование методов оценки эффективности алгоритмов отбора признаков и предлагает новую методику их оценки. Отмечено, что существующие методы и подходы к оценке не всегда способны адекватно отразить действительную эффективность алгоритмов, особенно при применении к реальным задачам. В рамках статьи подробно рассматриваются различные мнения исследователей по проблемам внутренней и внешней валидности существующих методов оценки, оценивается влияние разных параметров, включая объем данных, различия в реализациях алгоритмов и другие факторы. Авторы предлагают новый комплексный подход к оценке эффективности алгоритмов, включающий ряд показателей, среди которых затраты ресурсов, стабильность и качество решения задачи. Одной из особенностей предлагаемого подхода является использование искусственно сгенерированных данных, что позволяет учесть специфические характеристики реальных данных и оценить алгоритмы в контролируемых условиях. Это дает возможность более точно определить их эффективность и надежность. Статья также содержит результаты предварительного тестирования предложенной методики на примере искусственных данных. Анализ этих результатов демонстрирует преимущества нового подхода над традиционными методами оценки. В частности, было установлено, что новая методика позволяет более точно оценивать стабильность и качество работы алгоритмов, что имеет важное значение для принятия решений о выборе подходящего алгоритма для конкретных задач.
В заключение, авторы подчеркивают необходимость дальнейшего развития и расширения предложенной методики, а также ее адаптации для решения различных типов задач. Они также указывают на перспективы интеграции этой методики в специализированные программные пакеты, что сделает ее доступной для широкого круга пользователей и ускорит внедрение инновационных алгоритмов в практику.

1. Liao T. et al. Are we learning yet? a meta review of evaluation failures across machine learning // Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2). 2021.

2. Flach P. Performance evaluation in machine learning: the good, the bad, the ugly, and the way forward // Proceedings of the AAAI conference on artificial intelligence. 2019. Vol. 33, № 01. P. 9808–9814.

3. Lazebnik T., Rosenfeld A. A new definition for feature selection stability analysis // Annals of Mathematics and Artificial Intelligence. 2024. P. 1–18.

4. Sağbaş E. A. Performance Evaluation of Feature Selection Methods for Sentiment Classification in Amazon Product Reviews // International Artificial Intelligence And Data Science Congress (ICADA’23). 2023. P. 2.

5. Mahendran N. et al. Machine learning based computational gene selection models: a survey, performance evaluation, open issues, and future research directions // Frontiers in genetics. 2020. Vol. 11. P. 603808.

6. Mohapatra P., Chakravarty S., Dash P. K. Microarray medical data classification using kernelridge regression and modified cat swarm optimization based gene selection system // Swarm and Evolutionary Computation. 2016. Vol. 28. P. 144–160.

7. Abinash M. J., Vasudevan V. A study on wrapper-based feature selection algorithm for leukemia dataset // Intelligent Engineering Informatics: Proceedings of the 6th International Conference on FICTA. Springer Singapore, 2018. P. 311–321.

8. Hancer E., Xue B., Zhang M. Differential evolution for filter feature selection based on information theory and feature ranking // Knowledge-Based Systems. 2018. Vol. 140. P. 103–119.

9. Ang J. C. et al. Supervised, unsupervised, and semi-supervised feature selection: a review on gene selection // IEEE/ACM transactions on computational biology and bioinformatics. 2015. Vol. 13. № 5. P. 971–989.

10. Saeys Y., Inza I., Larranaga P. A review of feature selection techniques in bioinformatics // Bioinformatics. 2007. Vol. 23, № 19. P. 2507–2517.

11. Xin B. et al. Stable feature selection from brain sMRI // Proceedings of the AAAI Conference on Artificial Intelligence. 2015. Vol. 29, № 1.

12. Bolón-Canedo V., Sánchez-Maroño N., Alonso-Betanzos A. A review of feature selection methods on synthetic data // Knowledge and information systems. 2013. Vol. 34. P. 483–519.

13. Sulistiani H. et al. Performance evaluation of feature selections on some ML approaches for diagnosing the narcissistic personality disorder // Bulletin of Electrical Engineering and Informatics. 2024. Vol. 13, № 2. P. 1383–1391.

14. Mohammadi M. et al. Robust and stable gene selection via maximum–minimum correntropy criterion // Genomics. 2016. Vol. 107, № 2–3. P. 83–87.

15. Черемухин А. Д. Устойчивость алгоритмов отбора признаков к ошибкам второго рода // Вестник кибернетики. 2021. № 4 (44). С. 78–82. DOI 10.34822/1999-7604-2021-4-78-82.EDN JRYVAF.

16. Aragón-Royón F. et al. FSinR: an exhaustive package for feature selection // arXiv preprint arXiv:2002.10330. 2020.

17. Kashef S., Nezamabadi-pour H. An advanced ACO algorithm for feature subset selection // Neurocomputing. 2015. Vol. 147. P. 271–279.

18. Yang J., Honavar V. Feature subset selection using a genetic algorithm //IEEE Intelligent Systems and their Applications. 1998. Vol. 13, № 2. P. 44–49.

19. Liu H., Setiono R. Feature selection and classification–a probabilistic wrapper approach // Industrial and engineering applications or artificial intelligence and expert systems. CRC Press, 2022. P. 419–424.

20. Posario F., Thangadurai K. Simulated Annealing Algorithm for Feature Selection // International Journal of Computers & Technology. 2016. Vol. 15, № 2. P. 6471–6479.

21. Glover F. Tabu search—part I // ORSA Journal on computing. 1989. Vol. 1, № 3. P. 190–206.

22. Zamani H., Nadimi-Shahraki M. H. Feature selection based on whale optimization algorithm for diseases diagnosis // International Journal of Computer Science and Information Security. 2016. Vol. 14, № 9. P. 1243.