Эффективность нейросетевых алгоритмов в автоматическом реферировании и суммаризации текста
https://doi.org/10.25205/1818-7900-2024-22-4-49-61
- Р Р‡.МессенРТвЂВВВВВВВВжер
- РћРТвЂВВВВВВВВнокласснРСвЂВВВВВВВВРєРСвЂВВВВВВВВ
- LiveJournal
- Telegram
- ВКонтакте
- РЎРєРѕРїРСвЂВВВВВВВВровать ссылку
Полный текст:
Аннотация
Статья посвящена анализу роли и эффективности нейросетевых алгоритмов в задачах автоматического реферирования и суммаризации текстов, которые являются ключевыми в области обработки естественного языка (NLP). Основная цель автоматического реферирования — извлечение и генерация важнейшей информации из текстов для обеспечения быстрого доступа к основному содержанию без необходимости читать весь документ. В статье рассматриваются основные проблемы, с которыми сталкиваются разработчики при реализации алгоритмов реферирования, включая понимание контекста, иронии, сохранение связности текста, адаптацию к разным языкам и стилям. Особое внимание уделяется нейросетевым моделям, таким как Transformer, BERT и GPT, которые благодаря своей способности обучаться на больших объемах данных показали выдающуюся эффективность в автоматическом реферировании текстов. Статья также освещает вклад ведущих ученых в области глубокого обучения и анализирует методы, лежащие в основе современных алгоритмов NLP, подчеркивая значимость непрерывного технологического прогресса в улучшении качества реферирования и доступности информации. Статья будет интересна широкому кругу читателей, включая исследователей в области искусственного интеллекта и NLP, разработчиков программного обеспечения, занимающихся автоматизацией обработки текстов, а также специалистов в областях, где требуется быстрая обработка и анализ больших объемов текстовой информации, таких как юридическая практика, медицинская диагностика и научные исследования. Кроме того, материал статьи будет полезен преподавателям и студентам, изучающим технологии обработки данных и искусственного интеллекта, предоставляя им актуальные примеры применения теоретических знаний в практических проектах.
Ключевые слова
естественный язык,
NLP,
нейросетевые алгоритмы,
метрики,
автоматическое реферирование,
суммаризация текста
Об авторе
К. В. Ребенок
Московский финансово-юридический университет МФЮА
Россия
Россия
Ребенок Кирилл Вячеславович, аспирант
Москва
Список литературы
1. Divakar Y., Jalpa D., Arun K. Y. Automatic Text Summarization Methods: A Comprehensive Review. 2020. https://doi.org/10.48550/arXiv.2204.01849
2. Salchner M. F., Adam A. A Survey of Automatic Text Summarization Using Graph Neural Networks // In Proceedings of the 29th International Conference on Computational Linguistics. Gyeongju, Republic of Korea. International Committee on Computational Linguistics. 2022. P. 6139−6150.
3. Vamvas J., Domhan T., Trenous S., Sennrich R., Hasler E. Trained MT Metrics Learn to Cope with Machine-translated References // Conference: Proceedings of the Eighth Conference on Machine Translation. 2023. https://doi.org/10.18653/v1/2023.wmt-1.95.
4. Mathur N., Baldwin T., Cohn T. Tangled up in BLEU: Reevaluating the Evaluation of Automatic Machine Translation Evaluation Metrics // Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. 2020. P 4984−4997.
5. Reiter E. A Structured Review of the Validity of BLEU // Computational Linguis-tics. 2018. № 44 (3). P. 393−401.
6. Tianyi Z., Kishore V., Wu F., Weinberger K. Q., Artzi Y. BERTScore: Evaluating Text Generation with BERT. ArXiv abs/1904.09675. 2019.
7. Guo Y., Hu J. Meteor++ 2.0: Adopt syntactic level paraphrase knowledge intomachine translation evaluation // In Proceedings of the Fourth Conference on Ma-chine Translation. 2019. Vol. 2. P. 501−506. https://doi.org/10.18653/v1/W19-5357
8. Ayub S.A., Gaol F.L., Matsuo T. A Survey of the State-of-the-Art Models in Neural Abstractive Text Summarization. IEEE Access. 2021. № 9. P. 13248−13265. https://doi.org/10.1109/ACCESS.2021.3052783
9. Al E. W., Awajan A. A. SemG-TS: Abstractive Arabic Text Summarization Using Semantic Graph Embedding // Mathematics. 2022. № 10 (18). P. 3225. https://doi.org/10.3390/math10183225
10. Tianyi Zhang T., Kishore V., Wu F., Weinberger K.Q., Artzi Y. BERTSCORE: Evaluating Text Generation with BERT. Department of Computer Science and Cornell Tech, Cornell University. 2019.
11. Saadany H., Orasan C. BLEU, METEOR, BERTScore: Evaluation of Metrics Performance in Assessing Critical Translation Errors in Sentiment-oriented Text // Conference: TRITON (TRanslation and Interpreting Technology Online). 2021. https://doi.org/10.26615/978-954-452-071-7_006
12. Sudoh K., Takahashi K., Nakamura S. Is this translation error critical?: Classification-based human and automatic machine translation evaluation focusingon critical errors // Proceedings of the Workshop on Human Evaluation of NLPSystems (HumEval). 2021. P. 46−55.
13. Siddhant A., Johnson M., Tsai T., Ari N. Evaluating the Cross-Lingual Effectiveness of Massively Multilingual Neural Machine Translation // Proceedings of the AAAI Conference on Artificial Intelligence. 2020. № 34(05). P. 8854−8861. https://doi.org/10.1609/aaai.v34i05.6414.
14. Lin J., Nogueira R., Yates A. Pretrained Transformers for Text Ranking: BERT and Beyond // Synthesis Lectures on Human Language Technologies. 2021. № 14 (4). P. 1−325. https://doi.org/10.2200/S01123ED1V01Y202108HLT053.
15. Chistyakova K., Kazakova T. Grammar in Language Models: BERT Study // National research university higher school of economics. 2023. № 115.
Рецензия
Для цитирования:
Ребенок К.В. Эффективность нейросетевых алгоритмов в автоматическом реферировании и суммаризации текста. Вестник НГУ. Серия: Информационные технологии. 2024;22(4):49-61. https://doi.org/10.25205/1818-7900-2024-22-4-49-61
For citation:
Rebenok K.V. Efficiency of Neural Network Algorithms in Automatic Abstracting and Summarization Text. Vestnik NSU. Series: Information Technologies. 2024;22(4):49-61. (In Russ.) https://doi.org/10.25205/1818-7900-2024-22-4-49-61
Просмотров:
62
ISSN 1818-7900 (Print)
ISSN 2410-0420 (Online)
ISSN 2410-0420 (Online)
Послать статью по эл. почте 