intechnguВестник НГУ. Серия: Информационные технологииVestnik NSU. Series: Information Technologies1818-79002410-0420НГУ10.25205/1818-7900-2021-19-3-26-39intechngu-171Research ArticleСтатьиСемантическая сегментация изображений в проекте «Duckietown»Semantic Image Segmentation in Duckietownhttps://orcid.org/0000-0003-2418-6172ШабалинаД. Е.ShabalinaD. E.

 Дарья Евгеньевна Шабалина, студент бакалавриата, 3 курс 

Новосибирск

 

  Daria E. Shabalina, Bachelor Student 

Novosibirsk 

d.shabalina@g.nsu.ruhttps://orcid.org/0000-0002-9085-3634ЛанчуковскаяК. С.LanchukovskayaK. S.

 Кристина Сергеевна Ланчуковская, студент бакалавриата, 3 курс 

Новосибирск

 

  Kristina S. Lanchukovskaya, Bachelor Student 

Novosibirsk 

k.lanchukovskaya@g.nsu.ruhttps://orcid.org/0000-0001-9148-946XЛяхТ. В.LiakhT. V.

  Татьяна Викторовна Лях, кандидат технических наук 

Новосибирск 

 Tatyana V. Lyakh, Candidate of Sciences (Engineering) 

Novosibirsk 

t.liakh@g.nsu.ruhttps://orcid.org/0000-0001-5778-9266ЧайкаК. В.ChaikaK. V.

 Константин Владимирович Чайка, аспирант 3 года обучения 

Санкт-Петербург

 Konstantin V. Chaika, Post-Graduate Student 

St. Petersburg

pro100kot14@gmail.comНовосибирский государственный университетРоссияNovosibirsk State UniversityRussian FederationСанкт-Петербургский государственный электротехнический университет; Лаборатория алгоритмов мобильных роботов «JetBrains Research»РоссияSaint Petersburg Electrotechnical University; Mobile Robot Algorithms Laboratory “JetBrains Research”Russian Federation2021171120211932639Copyright © Шабалина Д.Е., Ланчуковская К.С., Лях Т.В., Чайка К.В., 20212021Шабалина Д.Е., Ланчуковская К.С., Лях Т.В., Чайка К.В.Shabalina D.E., Lanchukovskaya K.S., Liakh T.V., Chaika K.V.This work is licensed under a Creative Commons Attribution 4.0 License.https://intechngu.elpub.ru/jour/article/view/171

Статья посвящена сравнительному анализу алгоритмов семантической сегментации и исследованию их применимости на примере проекта «Duckietown». Рассмотрены как классические алгоритмы семантической сегментации, так и алгоритмы, использующие подходы машинного обучения. Исследованы фреймворки машинного обучения с учетом всех ограничений проекта «Duckietown». По результатам исследования для решения задачи сегментации в проекте «Duckietown» были выбраны нейросетевые алгоритмы, основанные на сетях U-Net, SegNet, DeepLab-v3, FC-DenceNet и PSPNet. U-Net и SegNet и протестированы на симуляторе «Duckietown»

The article is devoted to evaluation of the applicability of existing semantic segmentation algorithms for the “Duckietown” simulator. The article explores classical semantic segmentation algorithms as well as ones based on neural networks. We also examined machine learning frameworks, taking into account all the limitations of the “Duckietown” simulator. According to the research results, we selected neural network algorithms based on U-Net, SegNet, DeepLab-v3, FC-DenceNet and PSPNet networks to solve the segmentation problem in the “Duckietown” project. U-Net and SegNet have been tested on the “Duckietown” simulator.

робототехникакомпьютерное зрениенейронные сетисемантическая сегментация изображенийпроект «Duckietown»роботыискусственный интеллектroboticscomputer visionneural networkssemantic image segmentationDuckietownduckiebotsartificial intelligenceReferencesSharma Y. Adoption of next generation robotics: A case study on Amazon. Pune, 2017, 15 p.Sharma Y. Adoption of next generation robotics: A case study on Amazon. Pune, 2017, 15 p.Csurka G., Larlus D., Perronnin F. What is a good evaluation measure for semantic segmentation. Meylan, 2013, 11 p.Csurka G., Larlus D., Perronnin F. What is a good evaluation measure for semantic segmentation. Meylan, 2013, 11 p.Зуенко Е. А., Шулунова А. А. Автоматическое выделение боковых желудочков головного мозга на МРТ изображении // Вестник НГУ. Серия: Информационные технологии. 2017. Т. 15, № 4. С. 22–31. DOI 10.25205/1818-7900-2017-15-4-22-31Zuenko E. A., Shulunova A. A. Automated Segmentation of the Lateral Ventricles from MRI Image. Vestnik NSU. Series: Information Technologies, 2017, vol. 15, no. 4, pp. 22–31. (in Russ.) DOI 10.25205/1818-7900-2017-15-4-22-31Мусатян С. А., Ломакин А. В., Сартасов С. Ю., Попыванов Л. К., Монахов И. Б., Чижова А. С. Способы сегментации медицинских изображений // Тр. Ин-та системного программирования РАН. М., 2018. DOI 10.15514/ISPRAS-2018-30(4)-12Musatyan S. A., Lomakin A. V., Sartasov S. Yu., Popyvanov L. K., Monakhov I. B., Chizhova A. S. Methods for segmentation of medical images. In: Proceedings of the Institute for System Programming of the Russian Academy of Sciences. Moscow, 2018. (in Russ.) DOI 10.15514/ISPRAS-2018-30(4)-12Горбачевa В. А., Криворотовa И. А., Маркелов А. О., Котлярова Е. В. Семантическая сегментация спутниковых снимков аэропортов с помощью свёрточных нейронных сетей. Мю, 2019. 10 с.Gorbacheva V. A., Krivorotova I. A., Markelov A. O., Kotlyarova E. V. Semantic segmentation of satellite images of airports using convolutional neural networks. Moscow, 2019. 10 p. (in Russ.)Ozmen A., Akman E. T. Edge detection using steerable filters and CNN. In: 11th European Signal Processing Conference. Toulouse, 2002, pp. 1–4.Ozmen A., Akman E. T. Edge detection using steerable filters and CNN. In: 11th European Signal Processing Conference. Toulouse, 2002, pp. 1–4.Pestunov I., Rylov S., Berikov V. Hierarchical Ensemble Clustering Algorithm for Multispectral Image Segmentation. In: Proceedings 9th Open German-Russian Workshop on Pattern Recognition and Image Understanding (OGRW-2014). Koblenz, Uni. of Koblenz-Landau Press, 2015, pp. 123–127.Pestunov I., Rylov S., Berikov V. Hierarchical Ensemble Clustering Algorithm for Multispectral Image Segmentation. In: Proceedings 9th Open German-Russian Workshop on Pattern Recognition and Image Understanding (OGRW-2014). Koblenz, Uni. of Koblenz-Landau Press, 2015, pp. 123–127.Рылов С. А., Мельников П. В., Пестунов И. А. Спектрально-текстурная классификация гиперспектральных изображений высокого пространственного разрешения // Интерэкспо ГЕО-Сибирь. 2016. Т. 4, № 1. С. 78–84.Rylov S. A., Melnikov P. V., Pestunov I. A. Spectral and texture classification of high spatial resolution hyperspectral images. Interexpo GEO-Siberia, 2016, vol. 4, no. 1, pp. 78–84. (in Russ.)Чичварин Н. В. Пороговые методы. М., 2016.Chichvarin N. V. Threshold methods. Moscow, 2016. (in Russ.)Луценко М. Т., Ульянычев Н. В., Семичевская Н. П. Автоматизированная система распознавания объектов на микроскопических изображениях биологических образцов. Благовещенск, 1999.Lutsenko M. T., Ulyanychev N. V., Semichevskaya N. P. Automatic system for object recognition in microscopic images of biological samples. Blagoveshchensk, 1999. (in Russ.)Пестунов И. А., Синявский Ю. Н. Алгоритмы кластеризации в задачах сегментации спутниковых изображений // Вестник КемГУ. 2012. Т. 52, № 4/2. С. 110–125.Pestunov I. A., Sinyavsky Yu. N. Clustering algorithms in satellite images segmentation tasks. Vestnik KSU, 2012, vol. 52, no. 4/2, pp. 110–125. (in Russ.)Li B., Shi Y., Qi Z., Chen Z. A Survey on Semantic Segmentation. Beijing, 2018. DOI 10.1109/ICDMW.2018.00176Li B., Shi Y., Qi Z., Chen Z. A Survey on Semantic Segmentation. Beijing, 2018. DOI 10.1109/ICDMW.2018.00176Noh H., Hong S., Han B. Learning deconvolution network for semantic segmentation. Pohang, 2015.Noh H., Hong S., Han B. Learning deconvolution network for semantic segmentation. Pohang, 2015.Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation. Berlin, 2015.Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation. Berlin, 2015.Badrinarayanan V., Kendall A., Cipolla R. SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, vol. 39, no. 12, pp. 2481–2495. DOI 10.1109/TPAMI.2016.2644615Badrinarayanan V., Kendall A., Cipolla R. SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, vol. 39, no. 12, pp. 2481–2495. DOI 10.1109/TPAMI.2016.2644615Емельянов А. В. Анализ методов семантической сегментации изображений на основе нейронных сетей. М., 2019.Emelyanov A. V. Analysis of Semantic Image Segmentation Methods Based on Neural Networks. Moscow, 2019. (in Russ.)Chen L., Papandreou G., Kokkinos I., Murphy K., Yuille A. L. DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, vol. 40, no. 4, pp. 834–848. DOI 10.1109/TPAMI.2017.2699184Chen L., Papandreou G., Kokkinos I., Murphy K., Yuille A. L. DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, vol. 40, no. 4, pp. 834–848. DOI 10.1109/TPAMI.2017.2699184Zhou J., Hao M., Zhang D., Zou P., Zhang W. Fusion PSPnet Image Segmentation Based Method for Multi-Focus Image Fusion. IEEE Photonics Journal, 2019, vol. 11, no. 6, pp. 1–12. DOI 10.1109/JPHOT.2019.2950949Zhou J., Hao M., Zhang D., Zou P., Zhang W. Fusion PSPnet Image Segmentation Based Method for Multi-Focus Image Fusion. IEEE Photonics Journal, 2019, vol. 11, no. 6, pp. 1–12. DOI 10.1109/JPHOT.2019.2950949Paszke A. ENet: A Deep Neural Network Architecture for Real-Time Semantic Segmentation. Ithaca, 2016, 10 p.Paszke A. ENet: A Deep Neural Network Architecture for Real-Time Semantic Segmentation. Ithaca, 2016, 10 p.Zhao H., Qi X., Shen X., Shi J., Jia J. ICNet for Real-Time Semantic Segmentation on HighResolution Images. Hong Kong, 2018, 16 p.Zhao H., Qi X., Shen X., Shi J., Jia J. ICNet for Real-Time Semantic Segmentation on HighResolution Images. Hong Kong, 2018, 16 p.Chaurasia A., Culurciello E. LinkNet: Exploiting encoder representations for efficient semantic segmentation. EEE Visual Communications and Image Processing (VCIP), 2017, pp. 1–4. DOI 10.1109/VCIP.2017.8305148Chaurasia A., Culurciello E. LinkNet: Exploiting encoder representations for efficient semantic segmentation. EEE Visual Communications and Image Processing (VCIP), 2017, pp. 1–4. DOI 10.1109/VCIP.2017.8305148Емельянов А. В., Галиахметов Д. Г. Анализ методов семантической сегментации изображений в реальном времени на основе нейронных сетей. М., 2020.Emelyanov A. V., Galiahmetov D. G. Analysis of Semantic Image Segmentation Methods in Real Time Based on Neural Networks. Moscow, 2020. (in Russ.)Mehta S., Rastegari M., Caspi A., Shapiro L., Hajishirzi H. ESPNet: Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation. Seattle, 2018, 29 p.Mehta S., Rastegari M., Caspi A., Shapiro L., Hajishirzi H. ESPNet: Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation. Seattle, 2018, 29 p.Romera E., Alvarez J. M., Bergasa L. M., Arroyo R. ERFNet: Efficient Residual Factorized ConvNet for Real-time Semantic Segmentation. IEEE Transactions on Intelligent Transportation Systems, 2018, vol. 19, no. 1, pp. 263–272. DOI 10.1109/TITS.2017.2750080Romera E., Alvarez J. M., Bergasa L. M., Arroyo R. ERFNet: Efficient Residual Factorized ConvNet for Real-time Semantic Segmentation. IEEE Transactions on Intelligent Transportation Systems, 2018, vol. 19, no. 1, pp. 263–272. DOI 10.1109/TITS.2017.2750080Brahimi S., Aoun N. B., Chokri B. A., Benoit A., Lambert P. Multiscale Fully Convolutional DenseNet for Semantic Segmentation. Pilsen, 2018.Brahimi S., Aoun N. B., Chokri B. A., Benoit A., Lambert P. Multiscale Fully Convolutional DenseNet for Semantic Segmentation. Pilsen, 2018.Li X. Examining the spatial distribution and temporal change of the green view index in New York City using Google Street View images and deep learning. Philadelphia, 2020, 16 p.Li X. Examining the spatial distribution and temporal change of the green view index in New York City using Google Street View images and deep learning. Philadelphia, 2020, 16 p.Tóth Z. Deep Learning-based Semantic Segmentation in Simulation and Real-World for Autonomous Vehicles. URL: https://smartlabai.medium.com/deep-learning-based-semanticsegmentation-in-simulation-and-real-world-for-autonomous-vehicles-e7fe25cef816 (accessed 31.03.2021).Tóth Z. Deep Learning-based Semantic Segmentation in Simulation and Real-World for Autonomous Vehicles. URL: https://smartlabai.medium.com/deep-learning-based-semanticsegmentation-in-simulation-and-real-world-for-autonomous-vehicles-e7fe25cef816 (accessed 31.03.2021).Айрапетов А. Э., Коваленко А. А. Исследование генеративно-состязательной сети // Политехнический молодежный журнал МГТУ им. Н. Э. Баумана. 2018. № 10. DOI 10.18698/2541-8009-2018-10-380Ajrapetov A. E., Kovalenko A. A. Research of the generative adversarial network. Polytechnic Youth Journal of the Moscow State Technical University. N. E. Bauman, 2018, no. 10. (in Russ.) DOI 10.18698/2541-8009-2018-10-380

The authors declare that there are no conflicts of interest present.