intechnguВестник НГУ. Серия: Информационные технологииVestnik NSU. Series: Information Technologies1818-79002410-0420НГУ10.25205/1818-7900-2024-22-3-28-39intechngu-281Research ArticleСтатьиДообучение модели CodeBERT для написания комментариев к SQL-запросамFurther training of the CodeBERT model for writing comments on SQL queriesКомлевД. А.KomlevD. A.

Данила Александрович Комлев, студент магистратуры

Москва

Danila A. Komlev, Graduate Student

Moscow

komlevdanila742@gmail.comНИТУ МИСИСРоссияNUST MISISRussian Federation2024091220242232839Copyright © Комлев Д.А., 20242024Комлев Д.А.Komlev D.A.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://intechngu.elpub.ru/jour/article/view/281

   Автоматизированное создание комментариев к исходному коду – актуальная тема в разработке программного обеспечения, где модели машинного перевода применяются для «перевода» кода в текстовые описания. Предобученная на шести языках программирования модель CodeBERT используется для поиска кода, генерации документации, исправления ошибок. Эта модель хорошо понимает семантики естественного языка, языков программировани, а также связи между ними, эта модель хорошо подходит для дообучения на различные прикладные задачи, связанные с кодом. В статье рассматривается дообучение модели CodeBERT для генерации комментариев к SQL-запросам. Эта задача является актуальной, так как в крупных проектах может использоваться множество SQL-запросов различной сложности, и комментарии помогают улучшить их читаемость и понимание. Однако ручное написание и поддержание актуальности комментариев требует времени и усилий разработчиков. В статье предложено использовать предобученную модель CodeBERT для автоматической генерации комментариев к SQL-коду, что сократит время и позволит поддерживать комментарии в актуальном состоянии. Для дообучения используются открытые датасеты, содержание SQL-запрос, а также комментарий к нему. Результаты тестирования показали, что дообученная модель успешно справляется с задачей создания комментариев к SQL-запросам, что также подтверждается полученными значениями метрики Bleu.

   Automated creation of comments to the source code is an urgent topic in software development, where machine translation models are used to “translate” code into text descriptions. The CodeBERT model, pre-trained in six programming languages, is used to search for code, generate documentation, and correct errors. This model understands well the semantics of natural language, programming languages, as well as the connections between them, this model is well suited for additional training on various applied tasks related to code. The article discusses the further training of the CodeBERT model for generating comments on SQL queries. This task is relevant, since large projects can use many SQL queries of varying complexity, and comments help to improve their readability and understanding. However, manually writing and keeping comments up-to-date takes time and effort from developers. The article suggests using the pre-trained CodeBERT model to automatically generate comments on SQL code, which will reduce time and allow you to keep comments up to date. For further training, open datasets, the contents of the SQL query, as well as comments on it are used. The test results showed that the pre-trained model successfully copes with the task of creating comments to an SQL query, which is also confirmed by the obtained values of the Bleu metric.

SQL-запросCodeBERTTransformersNLPBleuдообучениегенерация комментариевSQL queryCodeBERTTransformersNLPBleuadditional trainingcomment generationReferencesWhat Is Declarative Programming? URL: https://codefresh.io/learn/infrastructure-as-code/declarative-vs-imperative-programming-4-key-differences/What Is Declarative Programming? URL: https://codefresh.io/learn/infrastructure-as-code/declarative-vs-imperative-programming-4-key-differences/Vaswani О., Shazeer N., Parmar N. etc. Attention Is All You Need. URL: https://arxiv.org/abs/1706.03762Vaswani О., Shazeer N., Parmar N. etc. Attention Is All You Need. URL: https://arxiv.org/abs/1706.03762Masked Language Modeling in BERT. URL: https://www.scaler.com/topics/nlp/masked-language-model-explained/Masked Language Modeling in BERT. URL: https://www.scaler.com/topics/nlp/masked-language-model-explained/Clark К., Luong М.-Т. D. Manning С Electra: pre-training text encoders as discriminators rather than generators. URL: https://openreview.net/pdf?id=r1xMH1BtvBClark К., Luong М.-Т. D. Manning С Electra: pre-training text encoders as discriminators rather than generators. URL: https://openreview.net/pdf?id=r1xMH1BtvBNatural Language Processing: Bleu Score. URL: https://www.baeldung.com/cs/nlp-bleu-scoreNatural Language Processing: Bleu Score. URL: https://www.baeldung.com/cs/nlp-bleu-scoreN-граммы. URL: https://deepai.org/machine-learning-glossary-and-terms/n-gramN-граммы. URL: https://deepai.org/machine-learning-glossary-and-terms/n-gramCodeXGLUE. URL: https://microsoft.github.io/CodeXGLUE/CodeXGLUE. URL: https://microsoft.github.io/CodeXGLUE/Cross Enptropy. URL: https://ml-cheatsheet.readthedocs.io/en/latest/loss_functions.htmlCross Enptropy. URL: https://ml-cheatsheet.readthedocs.io/en/latest/loss_functions.htmlBeam Search. URL: https://d2l.ai/chapter_recurrent-modern/beam-search.htmlBeam Search. URL: https://d2l.ai/chapter_recurrent-modern/beam-search.htmlZhu Qingfu, Zhang Weinan, Zhou Lianqiang, Liu Ting. Learning to Start for Sequence to Sequence Architecture. 2016. URL: https://www.researchgate.net/publication/306357583_Learning_to_Start_for_Sequence_to_Sequence_ArchitectureZhu Qingfu, Zhang Weinan, Zhou Lianqiang, Liu Ting. Learning to Start for Sequence to Sequence Architecture. 2016. URL: https://www.researchgate.net/publication/306357583_Learning_to_Start_for_Sequence_to_Sequence_Architecture

The authors declare that there are no conflicts of interest present.