Разработка сервиса для сбора и анализа отзывов на элективные дисциплины

В данной статье приведен обзор публикаций в области анализа удовлетворенности обучающихся образовательным процессом на основе методов обработки естественного языка. Собрано 197 отзывов студентов на 129 элективных дисциплин Тюменского государственного университета. Проведен сравнительный анализ методов извлечения ключевых слов: статистических TF-IDF, RAKE и YAKE; контекстуального KeyBERT; основанного на графах TextRank. На собранных отзывах, сгруппированных по элективным дисциплинам, наибольшую F1-меру BERTScore с результатом 79 % показал метод RAKE. Путем сбора данных из открытых источников сформирован датасет с 2210 русскоязычными отзывами на курсы различных образовательных платформ. Описано обучение моделей машинного обучения для анализа тональности: метода опорных векторов, логистической регрессии и основанных на архитектуре Transformers, полученных с ресурса Hugging Face, сравнение на вручную размеченной части собранных отзывов. После дообучения модели rubert-base-cased macro-усредненная F1-мера показала 71,6 %. Классификация осуществляется по трем классам (негативный, нейтральный, положительный) не для всего текста отзыва, а в отдельности для каждого предложения из этого текста. Представлена реализация базы данных и информационной системы сбора и обработки отзывов студентов на изученные элективные дисциплины. Модель для анализа тональности отзыва вынесена в отдельный микросервис, связь с которым осуществляется через интерфейс свободно распространяемого Python-фреймворка FastAPI. Запущенная информационная система призвана помочь студентам выбирать элективы, опираясь на большее количество качественных данных, а преподавателям и администрации вуза – делать выводы для дальнейшей трансформации образовательного пространства, учитывая мнение обучающихся.

1. Федорова Н. К. Индивидуализация образования: модель Тюменского государственного университета / Н.К. Федорова // EdCrunch Томск: Материалы международной конференции по новым образовательным технологиям, 29–31 мая 2019 года. Томск: ИД Томского гос. ун-та, 2019. С. 301–305.

2. Захарова И. Г. Сопровождение индивидуальных образовательных траекторий на основе концепции объяснимого искусственного интеллекта / И. Г. Захарова, М. С. Воробьева, Ю. В. Боганюк // Образование и наука. 2022. Т. 24. № 1. С. 163–190. DOI 10.17853/1994-5639-2022-1-163-190. – EDN IOBYEJ.

3. Gottipati S., Shankararaman V., Lin J. R. Text analytics approach to extract course improvement suggestions from students’ feedback. Res Pract Technol Enhanc Learn. 2018;13(1):6. DOI: 10.1186/s41039-018-0073-0

4. Shejwal S., Deokar T., Dumbre B. Analysis of Student Feedback using Deep Learning. International Journal of Computer Applications Technology and Research, 2019. 8. Р. 161–164. DOI: 10.7753/IJCATR0805.1004

5. Кирина М. А. Автоматическая оценка впечатлений обучающихся методами анализа тональности (на материале отзывов на онлайн-курсы на русском и английском) / М. А. Кирина, Л. Д. Тельнина // Цифровая гуманитаристика и технологии в образовании (DHTE 2022): Сб. ст. III Всероссийской научно-практической конференции с международным участием, Москва, 17–18 ноября 2022 года / Под ред. В. В. Рубцова, М. Г. Сороковой, Н. П. Радчиковой. Москва: Московский гос. психолого-педагогический ун-т, 2022. С. 355–374. EDN VJVKLU.

6. Дюличева Ю. Датасет для анализа русскоязычных отзывов на МООК, извлеченных с платформы Stepik. // Вопросы образования / Educational Studies Moscow, вып. 4 (декабрь), 2022. C. 298–321. DOI: 10.17323/1814-9545-2022-4-298-321.

7. Jones K. S. A statistical interpretation of term specificity and its application in retrieval // Journal of Documentation : journal. MCB University: MCB University Press, 1972. Vol. 28, no. 1. Р. 11–21. DOI: 10.1108/00220410410560573

8. Stuart R., Dave E., Nick C., Wendy Cowley, Automatic Keyword Extraction from Individual Documents. March 2010. DOI:10.1002/9780470689646.ch1. In book: Text Mining: Applications and Theory, p.1 - 20. DOI: 10.1002/9780470689646.ch1

9. Campos R., Mangaravite V., Pasquali A., Alípio Mário Jorge, Célia Nunes, Adam Jatowt, YAKE! Collection-Independent Automatic Keyword Extractor. Conference paper. DOI: 10.1007/978-3-319-76941-7_80

10. Lawrence Page, Sergey Brin, Rajeev Motwani, Terry Winograd. The PageRank Citation Ranking: Bringing Order to the Web. 1998.

11. Rada Mihalcea, Paul Tarau. TextRank: Bringing Order into Texts. Department of Computer Science University of North Texas.

12. Sharma, P., Li, Y. (2019). Self-Supervised Contextual Keyword and Keyphrase Retrieval with Self-Labelling. Aug. 2019, DOI: 10.20944/preprints201908.0073.v1

13. Devlin Jacob, Chang Ming-Wei, Lee Kenton, Toutanova Kristina. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. 11 October 2018

14. Vaswani, A. Attention is All You Need / Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkorei, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin // NIPS, 2017

15. Lin, Chin-Yew. 2004. ROUGE: a Package for Automatic Evaluation of Summaries. In Proceedings of the Workshop on Text Summarization Branches Out (WAS 2004), Barcelona, Spain, July 25–26, 2004.

16. Papineni, Kishore; Roukos, Salim; Ward, Todd; Zhu, Wei-Jing (2001). “BLEU”. Proceedings of the 40th Annual Meeting on Association for Computational Linguistics - ACL ‘02. Morristown, NJ, USA: Association for Computational Linguistics. DOI:10.3115/1073083.1073135

17. Tianyi Zhang. BERTScore: Evaluating Text Generation with BERT. // Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, Yoav Artzi.

18. Kuratov Y., Arkhipov M. Adaptation of deep bidirectional multilingual transformers for russian language. 2019.

19. Smetanin S., Komarov M. Sentiment Analysis of Product Reviews in Russian using Convolutional Neural Networks, 2019 IEEE 21st Conference on Business Informatics (CBI), 2019, Р. 482–486, DOI: 10.1109/CBI.2019.00062