intechnguВестник НГУ. Серия: Информационные технологииVestnik NSU. Series: Information Technologies1818-79002410-0420НГУ10.25205/1818-7900-2024-22-3-49-61intechngu-283Research ArticleСтатьиСравнение методов машинного обучения для решения задачи анализа тональностиComparison of machine learning methods for sentiment analysisШвенкМ. В.ShvenkM. V.

Милана Владимировна Швенк, бакалавр

Новосибирск

Milana V. Shvenk, Bachelor

Novosibirsk

m.shvenk@g.nsu.ruБручесЕ. П.BruchesE. P.

Елена Павловна Бручес, младший научный сотрудник, старший преподаватель

Новосибирск

Elena P. Bruches, Junior Researcher; Senior Lecturer

Novosibirsk

bruches@bk.ruЛеманА. Я.LemanA. Y.

Анна Яковлевна Леман, старший преподаватель

Новосибирск

Anna Y. Leman, Senior Lecturer

Novosibirsk

a.leman@g.nsu.ruНовосибирский государственный университетРоссияNovosibirsk State UniversityRussian FederationНовосибирский государственный университет; Институт систем информатики им. А. П. Ершова СО РАНРоссияNovosibirsk State University; A. P. Ershov Institute of Informatics Systems SB RASRussian Federation2024091220242234961Copyright © Швенк М.В., Бручес Е.П., Леман А.Я., 20242024Швенк М.В., Бручес Е.П., Леман А.Я.Shvenk M.V., Bruches E.P., Leman A.Y.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://intechngu.elpub.ru/jour/article/view/283

   Сеть «Интернет» позволяет делиться своим мнением со всем миром, и эти данные используются для анализа отношения общества к тому или иному субъекту. С течением времени эмоционально окрашенных текстов становится все больше. Современные технологии позволяют обрабатывать огромные массивы данных в кратчайшие сроки, что по-настоящему важно при реализации анализа тональности, который является одним из актуальных направлений автоматической обработки естественного языка. Нами был собран и размечен корпус текстов отзывов на медицинские услуги. Также были апробированы три способа решения задачи анализа тональности, относящиеся к методам традиционного или глубокого машинного обучения. Проведен сравнительный анализ полученных результатов. Размеченный нами корпус выложен в открытый доступ и может быть использован для других исследований.

   Every day the amount of text data containing the subjective evaluation of the author is increasing thanks to the Internet. This information is used, for example, by numerous companies to assess the loyalty of their target audience. Due to the incredibly fast growth of the volume of such texts, their manual processing becomes impractical. It is in such situations that automated sentiment analysis is used, which is an actively developing area of natural language processing. We collected a corpus of medical service reviews, on the basis of which three classifiers were trained. We also performed acomparative analysis of the obtained results of the models, which belong to traditional or deep machine learning. Our corpus of texts is public and can be useful for other researchers.

обработка естественного языкаанализ тональностимашинное обучениелогистическая регрессиясверточная нейронная сетьLSTMnatural language processing (NLP)sentiment analysismachine learninglogistic regressionconvolutional neural network (CNN)LSTMReferencesАндросов А. Ю., Бородащенко А. Ю., Леонидова К. С. Алгоритм определения тональности публикаций СМИ к должностным лицам государственных органов // Известия ТулГУ. Технические науки. 2020. № 2. С. 47–53.Androsov A. Y., Borodaschenko A. Y., Leonidova K. S. Algorithm for determining the tone of media publications to public officials. Izvestia TulSU. Engineering Sciences, 2020, no. 2, pp. 4753. (in Russ.)Ксенофонтов Г. С. Тональный анализ новостей экономики // Скиф. Вопросы студенческой науки. 2022. № 5 (69). С. 584–589.Ksenofontov G. S. Tonal analysis of economic news. Skif. Student Science Issues, 2022, no. 5 (69), pp. 584–589. (in Russ.)Пазельская А. Г., Соловьев А. Н. Метод определения эмоций в текстах на русском языке // Компьютерная лингвистика и интеллектуальные технологии : Тр. Междунар. конференции «Диалог’2014». М.: Наука, 2014. C. 574–586.Pazelskaya A. G., Solovyov A. N. The method of determining emotions in texts in Russian. Computer Linguistics and Intelligent Technologies : Proceedings of the International Conference Dialogue’2014. Moscow, Science publ., 2014, pp. 574–586. (in Russ.)Самигулин Т. Р., Джурабаев А. Э. У. Анализ тональности текста методами машинного обучения // Научный результат. Информационные технологии. 2021. Т. 6, № 1. С. 55–62. DOI: 10.18413/2518-1092-2021-6-1-0-7Samigulin T. R. Djurabaev A. E. U. Sentiment analysis of text by machine learning methods. Research Result. Information Technologies, 2021, vol. 6, no. 1, pp. 55–62. (in Russ.) DOI: 10.18413/2518-1092-2021-6-1-0-7Пескишева Т. А. Методы анализа тональности текстов на естественном языке // Общество. Наука. Инновации (НПК-2017). 2017. С. 1730–1742.Peskisheva T. A. Methods for sentiment analysis of natural language texts. Society. Science. Innovations (Scientific and practical conference 2017), 2017, pp. 1730–1742. (in Russ.)Астапов Р. Л., Дубатов Р. С. Классификация текстов с помощью сверточных нейронных сетей // Вестник науки. 2020. № 8 (29). С. 53–56.Astapov R. L., Dubatov R. S. Classification of texts using convolutional neural networks. Vestnik of Science, 2020, no. 8 (29), pp. 53–56. (in Russ.)Воробьев Н. В., Пучков Е. В. Классификация текстов с помощью сверточных нейронных сетей // Молодой исследователь Дона. 2017. № 6 (9). С. 2–7.Vorobev N. V., Puchkov E. V. Classification of texts using convolutional neural networks. Molodoj issledovatel’ Dona, 2017, no. 6 (9), pp. 2–7. (in Russ.)Бодрунова С. С. Кросс-культурный тональный анализ пользовательских текстов в Твиттере // Вестник Моск. ун-та. Серия 10. Журналистика. 2018. № 6. С. 191–212. DOI: 10.30547/vestnik.journ.6.2018.191212Bodrunova S. S. Cross-cultural sentiment analysis of user texts on twitter. Vestnik of Moscow University. Series 10. Journalism, 2018, no. 6, pp. 191–212. (in Russ.) DOI: 10.30547/vestnik.journ.6.2018.191212Шунина Ю. С. Влияние способа формирования обучающей и тестовой выборок на качество классификации // Вестник УлГТУ. 2015. № 2 (70). С. 43–46.Shunina U. S. Dependence of classification quality on the methods to form a training and test samples. Vestnik UlSTU, 2015, no. 2 (70), pp. 43–46. (in Russ.)Скрипачев В. О., Гуйда М. В., Гуйда Н. В., Жуков А. О. Особенности работы сверточных нейронных сетей // International Journal of Open Information Technologies. 2022. № 12. С. 5361.Skripachyov V. O., Guyda M. V., Guyda N. V., Zhukov A. O. Features of convolutional neural networks. International Journal of Open Information Technologies, 2022, no. 12, pp. 53–61. (in Russ.)Майоров Д. В. Применение глубокого обучения в предиктивном вводе // Научный журнал. 2023. № 2 (67). С. 19–25.Mayorov D. V. Applying deep learning in predictive input. Scientific Journal, 2023, no. 2 (67), pp. 19–25. (in Russ.)Muhamediyeva D. K., Abdurakhmanova N. N., Mirzayeva N. S. Using conventional neural networks for the problem of text classification // Central Asian Academic Journal of Scientific Research. 2021. No. 1. p. 213–220.Muhamediyeva D. K., Abdurakhmanova N. N., Mirzayeva N. S. Using conventional neural networks for the problem of text classification. Central Asian Academic Journal of Scientific Research, 2021, no. 1, pp. 213–220.Abinash Tripathy. Sentiment Analysis Using Machine Learning Techniques : dissertation // Department of Computer Science and Engineering National Institute of Technology Rourkela. 2017. p. 131.Abinash Tripathy. Sentiment Analysis Using Machine Learning Techniques : dissertation. Department of Computer Science and Engineering National Institute of Technology Rourkela, 2017, p. 131.Бородин А. И., Вейнберг Р. Р., Литвишко О. В. Методы обработки текста при создании чат-ботов // Хуманитарни Балкански изследвания. 2019. № 3 (5). С. 108–111. DOI: 10.34671/SCH.HBR.2019.0303.0026Borodin A. I., Veynberg R. R., Litvishko O. V. Methods of text processing when creating chatbots. Humanitarian Balkan Studies, 2019, no. 3 (5), pp. 108–111. (in Russ.) DOI: 10.34671/SCH.HBR.2019.0303.0026Сафаров Л. С. Использование технологии text mining при автоматической обработке текста // Экономика и социум. 2023. № 1−2 (104). С. 639–642.Saifarov L. S. Using text mining technology in automatic text processing. Economics and Society, 2023, no. 1−2 (104), pp. 639–642. (in Russ.)Бербасов В. Д. Сравнительный обзор библиотек нейронных сетей Keras и Pytorch // Экономика и социум. 2023. № 8 (111). С. 423–426.Berbasov V. D. Comparative review of keras and pytorch neural network libraries. Economics and Society, 2023, no. 8 (111), pp. 423–426. (in Russ.)Васильченко А. М. Решение задач анализа данных на основе машинного обучения // Universum: технические науки. 2023. № 9−1 (114). С. 50–54. DOI: 10.32743/Uni-Tech.2023.114.9.15959Vasilchenko A. M. Solving data analysis problems based on machine learning. Universum: Engineering Sciences, 2023, no. 9−1 (114), pp. 50–54. (in Russ.) DOI: 10.32743/UniTech.2023.114.9.15959Шунина Ю. С., Алексеева В. А., Клячкин В.Н. Критерии качества работы классификаторов // Вестник УлГТУ. 2015. № 2 (70). С. 67–70.Shunina U. S., Alekseeva V. A., Klyachkin V. N. Criteria of quality of qualifiers work. Vestnik UlSTU, 2015,no. 2 (70), pp. 67–70. (in Russ.)Bing Liu. Sentiment Analysis and Opinion Mining // Morgan & Claypool Publishers. 2012. P. 168.Bing Liu. Sentiment Analysis and Opinion Mining. Morgan & Claypool Publishers, 2012, p. 168.Ткаченко А. Л. Решение задачи классификации документов вуза на основе методов интеллектуального анализа // Вестник кибернетики. 2021. № 1 (41). С. 12–19. DOI: 10.34822/1999-7604-2021-1-12-19Tkachenko A. L. Solving the problem of university documents classification based on intellectual analysis methods. Vestnik of Cybernetics, 2021, no. 1 (41), pp. 12–19. DOI: 10.34822/1999-7604-2021-1-12-19 (in Russ.)Гальченко Ю. В., Нестеров С. А. Классификация текстов по тональности методами машинного обучения // SAEC. 2023. № 3. С. 369–378. DOI: 10.18720/SPBPU/2/id23-501Galchenko Y. V., Nesterov S. A. Sentiment analysis with machine learning methods. SAEC, 2023, no. 3, pp. 369–378. DOI: 10.18720/SPBPU/2/id23-501 (in Russ.)Юркина А. В., Крутиков А. К. Разработка специализированного программного модуля формирования обучающей выборки для нейрогороскопа // Universum: технические науки. 2023. № 10-1 (115). С. 61–65.Yurkina A. V., Krutikov A. K. Development of a specialized software module for the formation of a training sample for a neurogoroscope. Universum: Engineering Sciences, 2023, no. 10−1 (115), pp. 61–65. (in Russ.)Hochreiter S., Bengio Y., Frasconi P. Schmidhuber J. Gradient flow in recurrent nets: the difficulty of learning long-term dependencies // IEEE Press. 2001. no. 1. p. 15.Hochreiter S., Bengio Y., Frasconi P., Schmidhuber J. Gradient flow in recurrent nets: the difficulty of learning long-term dependencies. IEEE Press, 2001, no. 1, p. 15.Пустынный Я. Н. Решение проблемы исчезающего градиента с помощью нейронных сетей долгой краткосрочной памяти // Инновации и инвестиции. 2020. № 2. C. 130–132.Pustynnyj I. N. Solving the problem of vanishing gradient using long short term memory neural networks. Innovations and Investments, 2020, no. 2, pp. 130–132. (in Russ.)

The authors declare that there are no conflicts of interest present.