intechnguВестник НГУ. Серия: Информационные технологииVestnik NSU. Series: Information Technologies1818-79002410-0420НГУ10.25205/1818-7900-2023-21-3-5-19intechngu-235Research ArticleСтатьиРазработка сервиса для сбора и анализа отзывов на элективные дисциплиныDeveloping a Service for Collecting and Analyzing Electives ReviewsКривороговД. Д.KrivorogovD. D.

Криворогов Данил Дмитриевич, студент Института математики и компьютерных наук

Тюмень

Krivorogov Danil Dmitrievich, Student, Institute of Mathematics and Computer Sciences

Tyumen

danil@moad.devНизамовТ. Д.NizamovT. D.

Низамов Тимур Дамирович, студент Института математики и компьютерных наук

Тюмень

Nizamov Timur Damirovich, Student, Institute of Mathematics and Computer Sciences

Tyumen

 

timmy@moad.devФазлыевА. А.FazlyevA. А.

Фазлыев Альберт Айратович, студент Института математики и компьютерных наук

Тюмень

Fazlyev Albert Airatovich, Student, Institute of Mathematics and Computer Sciences

Tyumen

 

bulatov@moad.devhttps://orcid.org/0000-0001-7151-9852ХодыревА. Н.HodyrevA. N.

Ходырев Арсений Николаевич, студент Института математики и компьютерных наук

Тюмень

Hodyrev Arseniy Nikolaevich, Student, Institute of Mathematics and Computer Sciences

Tyumen

 

seno@moad.devШушаринД. В.ShusharinD. V.

Шушарин Дмитрий Владимирович, студент Института математики и компьютерных наук

Тюмень

Shusharin Dmitrii Vladimirovich, Student, Institute of Mathematics and Computer Science

Tyumen

 

shusharin@moad.devhttps://orcid.org/0000-0001-8409-6457ГлазковаА. В.GlazkovaA. V.

Глазкова Анна Валерьевна, кандидат технических наук, доцент кафедры программного обеспечения

Тюмень

Glazkova Anna Valerevna, Cand. Sc. (Technology), Associate Professor, Department of Software

Tyumen

 

a.v.glazkova@utmn.ruТюменский государственный университетРоссияUniversity of TyumenRussian Federation202308122023213519Copyright © Криворогов Д.Д., Низамов Т.Д., Фазлыев А.А., Ходырев А.Н., Шушарин Д.В., Глазкова А.В., 20232023Криворогов Д.Д., Низамов Т.Д., Фазлыев А.А., Ходырев А.Н., Шушарин Д.В., Глазкова А.В.Krivorogov D.D., Nizamov T.D., Fazlyev A.А., Hodyrev A.N., Shusharin D.V., Glazkova A.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://intechngu.elpub.ru/jour/article/view/235

В данной статье приведен обзор публикаций в области анализа удовлетворенности обучающихся образовательным процессом на основе методов обработки естественного языка. Собрано 197 отзывов студентов на 129 элективных дисциплин Тюменского государственного университета. Проведен сравнительный анализ методов извлечения ключевых слов: статистических TF-IDF, RAKE и YAKE; контекстуального KeyBERT; основанного на графах TextRank. На собранных отзывах, сгруппированных по элективным дисциплинам, наибольшую F1-меру BERTScore с результатом 79 % показал метод RAKE. Путем сбора данных из открытых источников сформирован датасет с 2210 русскоязычными отзывами на курсы различных образовательных платформ. Описано обучение моделей машинного обучения для анализа тональности: метода опорных векторов, логистической регрессии и основанных на архитектуре Transformers, полученных с ресурса Hugging Face, сравнение на вручную размеченной части собранных отзывов. После дообучения модели rubert-base-cased macro-усредненная F1-мера показала 71,6 %. Классификация осуществляется по трем классам (негативный, нейтральный, положительный) не для всего текста отзыва, а в отдельности для каждого предложения из этого текста. Представлена реализация базы данных и информационной системы сбора и обработки отзывов студентов на изученные элективные дисциплины. Модель для анализа тональности отзыва вынесена в отдельный микросервис, связь с которым осуществляется через интерфейс свободно распространяемого Python-фреймворка FastAPI. Запущенная информационная система призвана помочь студентам выбирать элективы, опираясь на большее количество качественных данных, а преподавателям и администрации вуза – делать выводы для дальнейшей трансформации образовательного пространства, учитывая мнение обучающихся.

This article provides a review of publications on the analysis of students’ satisfaction with the educational process based on natural language processing methods. 197 student feedback on 129 elective disciplines at University of Tyumen was collected. A comparative analysis of keyword extraction methods was conducted: statistical TF-IDF, RAKE and YAKE; contextual KeyBERT; graph-based TextRank. On the collected reviews, grouped by elective disciplines, the RAKE method had the highest F1 BERTScore with 79 %. By parsing open sources, a dataset with 2210 Russian-language reviews for courses of different educational platforms was formed. Machine learning methods for sentiment analysis were described: support vector machines, logistic regression and based on Transformers, comparison on the manually marked part of the collected reviews. After fine-tuning on the rubert-base-cased model macro-averaged F1- score became 71.6 %. Classification into three classes (negative, neutral, positive) is not performed for the whole text of the review, but separately for each sentence from that text. The implementation of a database and information system for collecting and analyzing student feedback on the studied elective courses are presented. The model for sentiment analysis of the feedback is put into a separate microservice, which is communicated through an interface of the freely distributed Python framework FastAPI. The information system is designed to help students choose electives based on more qualitative data, and teachers and university administration ‑ to draw conclusions for further transformation of the educational space, taking into account students’ opinions.

выделение ключевых слованализ тональностиотзывы студентовиндивидуальные образовательные траекторииэлективные дисциплиныинформационная системаkeyword extractionsentiment analysisstudent feedbackindividual learning trajectorieselectivesinformation systemReferencesФедорова Н. К. Индивидуализация образования: модель Тюменского государственного университета / Н.К. Федорова // EdCrunch Томск: Материалы международной конференции по новым образовательным технологиям, 29–31 мая 2019 года. Томск: ИД Томского гос. ун-та, 2019. С. 301–305.Fedorova N. K. Individualizatsiya obrazovaniya: model’ Tyumenskogo gosudarstvennogo universiteta / N.K. Fedorova // EdCrunch Tomsk : Materialy mezhdunarodnoi konferentsii po novym obrazovatel’nym tekhnologiyam, 29-31 maya 2019 goda. – Tomsk: Izdatel’skii Dom Tomskogo gosudarstvennogo universiteta, 2019. – p. 301-305 (in Russ).Захарова И. Г. Сопровождение индивидуальных образовательных траекторий на основе концепции объяснимого искусственного интеллекта / И. Г. Захарова, М. С. Воробьева, Ю. В. Боганюк // Образование и наука. 2022. Т. 24. № 1. С. 163–190. DOI 10.17853/1994-5639-2022-1-163-190. – EDN IOBYEJ.Zakharova I. G., Vorobeva M. S., Boganyuk Yu. V. Support of individual educational trajectories based on the concept of explainable artificial intelligence. The Education and Science Journal. 2022; 24 (1): p.163–190. (In Russ.) DOI: 10.17853/1994-5639-2022-1-163-190Gottipati S., Shankararaman V., Lin J. R. Text analytics approach to extract course improvement suggestions from students’ feedback. Res Pract Technol Enhanc Learn. 2018;13(1):6. DOI: 10.1186/s41039-018-0073-0Gottipati S., Shankararaman V., Lin J. R. Text analytics approach to extract course improvement suggestions from students’ feedback. Res Pract Technol Enhanc Learn. 2018;13(1):6. DOI: 10.1186/s41039-018-0073-0.Shejwal S., Deokar T., Dumbre B. Analysis of Student Feedback using Deep Learning. International Journal of Computer Applications Technology and Research, 2019. 8. Р. 161–164. DOI: 10.7753/IJCATR0805.1004Shejwal S., Deokar T., Dumbre B. Analysis of Student Feedback using Deep Learning. International Journal of Computer Applications Technology and Research, 2019. 8. p.161–164. DOI: 10.7753/IJCATR0805.1004.Кирина М. А. Автоматическая оценка впечатлений обучающихся методами анализа тональности (на материале отзывов на онлайн-курсы на русском и английском) / М. А. Кирина, Л. Д. Тельнина // Цифровая гуманитаристика и технологии в образовании (DHTE 2022): Сб. ст. III Всероссийской научно-практической конференции с международным участием, Москва, 17–18 ноября 2022 года / Под ред. В. В. Рубцова, М. Г. Сороковой, Н. П. Радчиковой. Москва: Московский гос. психолого-педагогический ун-т, 2022. С. 355–374. EDN VJVKLU.Kirina M. A. Avtomaticheskaya otsenka vpechatlenii obuchayushchikhsya metodami analiza tonal’nosti (na materiale otzyvov na onlain-kursy na russkom i angliiskom) / M. A. Kirina, L. D. Tel’nina // Tsifrovaya gumanitaristika i tekhnologii v obrazovanii (DHTE 2022) : Sbornik statei III Vserossiiskoi nauchno-prakticheskoi konferentsii s mezhdunarodnym uchastiem, Moskva, 17–18 noyabrya 2022 goda / Pod redaktsiei V.V. Rubtsova, M.G. Sorokovoi, N.P. Radchikovoi. Moskva: Moskovskii gosudarstvennyi psikhologo-pedagogicheskii universitet, 2022. Р. 355–374. EDN VJVKLU. (In Russ.)Дюличева Ю. Датасет для анализа русскоязычных отзывов на МООК, извлеченных с платформы Stepik. // Вопросы образования / Educational Studies Moscow, вып. 4 (декабрь), 2022. C. 298–321. DOI: 10.17323/1814-9545-2022-4-298-321.Dyulicheva Yu. Tu. Dataset dlya analiza russkoyazychnykh otzyvov na MOOK, izvlechennykh s platformy Stepik [Dataset for Analysisof Russian-Language Reviews on MOOCs Expacted from Stepik]. Voprosy obrazovaniya / Educational Studies Moscow, no. 4. Р. 298–321. (In Russ.) DOI: 10.17323/1814-9545-2022-4-298-321Jones K. S. A statistical interpretation of term specificity and its application in retrieval // Journal of Documentation : journal. MCB University: MCB University Press, 1972. Vol. 28, no. 1. Р. 11–21. DOI: 10.1108/00220410410560573Jones K. S. A statistical interpretation of term specificity and its application in retrieval // Journal of Documentation : journal. MCB University: MCB University Press, 1972. Vol. 28, no. 1. Р. 11–21. DOI: 10.1108/00220410410560573Stuart R., Dave E., Nick C., Wendy Cowley, Automatic Keyword Extraction from Individual Documents. March 2010. DOI:10.1002/9780470689646.ch1. In book: Text Mining: Applications and Theory, p.1 - 20. DOI: 10.1002/9780470689646.ch1Stuart R., Dave E., Nick C., Wendy Cowley, Automatic Keyword Extraction from Individual Documents. March 2010. DOI:10.1002/9780470689646.ch1. In book: Text Mining: Applications and Theory, p. 1–20. DOI: 10.1002/9780470689646.ch1Campos R., Mangaravite V., Pasquali A., Alípio Mário Jorge, Célia Nunes, Adam Jatowt, YAKE! Collection-Independent Automatic Keyword Extractor. Conference paper. DOI: 10.1007/978-3-319-76941-7_80Campos R., Mangaravite V., Pasquali A., Alípio Mário Jorge, Célia Nunes, Adam Jatowt, YAKE! Collection-Independent Automatic Keyword Extractor. Conference paper. DOI: 10.1007/978-3-319-76941-7_80Lawrence Page, Sergey Brin, Rajeev Motwani, Terry Winograd. The PageRank Citation Ranking: Bringing Order to the Web. 1998.Lawrence Page, Sergey Brin, Rajeev Motwani, Terry Winograd. The PageRank Citation Ranking: Bringing Order to the Web. 1998.Rada Mihalcea, Paul Tarau. TextRank: Bringing Order into Texts. Department of Computer Science University of North Texas.Rada Mihalcea, Paul Tarau. TextRank: Bringing Order into Texts. Department of Computer Science University of North Texas.Sharma, P., Li, Y. (2019). Self-Supervised Contextual Keyword and Keyphrase Retrieval with Self-Labelling. Aug. 2019, DOI: 10.20944/preprints201908.0073.v1Sharma, P., Li, Y. (2019). Self-Supervised Contextual Keyword and Keyphrase Retrieval with Self-Labelling. Aug. 2019, DOI: 10.20944/preprints201908.0073.v1Devlin Jacob, Chang Ming-Wei, Lee Kenton, Toutanova Kristina. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. 11 October 2018Devlin Jacob, Chang Ming-Wei, Lee Kenton, Toutanova Kristina. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. 11 October 2018Vaswani, A. Attention is All You Need / Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkorei, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin // NIPS, 2017Vaswani, A. Attention is All You Need / Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkorei, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin // NIPS, 2017Lin, Chin-Yew. 2004. ROUGE: a Package for Automatic Evaluation of Summaries. In Proceedings of the Workshop on Text Summarization Branches Out (WAS 2004), Barcelona, Spain, July 25–26, 2004.Lin, Chin-Yew. 2004. ROUGE: a Package for Automatic Evaluation of Summaries. In Proceedings of the Workshop on Text Summarization Branches Out (WAS 2004), Barcelona, Spain, July 25 - 26, 2004.Papineni, Kishore; Roukos, Salim; Ward, Todd; Zhu, Wei-Jing (2001). “BLEU”. Proceedings of the 40th Annual Meeting on Association for Computational Linguistics - ACL ‘02. Morristown, NJ, USA: Association for Computational Linguistics. DOI:10.3115/1073083.1073135Papineni, Kishore; Roukos, Salim; Ward, Todd; Zhu, Wei-Jing (2001). “BLEU”. Proceedings of the 40th Annual Meeting on Association for Computational Linguistics - ACL ‘02. Morristown, NJ, USA: Association for Computational Linguistics. DOI:10.3115/1073083.1073135Tianyi Zhang. BERTScore: Evaluating Text Generation with BERT. // Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, Yoav Artzi.Tianyi Zhang. BERTScore: Evaluating Text Generation with BERT. // Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, Yoav Artzi.Kuratov Y., Arkhipov M. Adaptation of deep bidirectional multilingual transformers for russian language. 2019.Kuratov Y., Arkhipov M. Adaptation of deep bidirectional multilingual transformers for russian language. 2019.Smetanin S., Komarov M. Sentiment Analysis of Product Reviews in Russian using Convolutional Neural Networks, 2019 IEEE 21st Conference on Business Informatics (CBI), 2019, Р. 482–486, DOI: 10.1109/CBI.2019.00062Smetanin S., Komarov M. Sentiment Analysis of Product Reviews in Russian using Convolutional Neural Networks, 2019 IEEE 21st Conference on Business Informatics (CBI), 2019, p. 482-486, DOI: 10.1109/CBI.2019.00062

The authors declare that there are no conflicts of interest present.