Проблемы оценки качества архитектур нейронных сетей и алгоритмов поиска архитектур
https://doi.org/10.25205/1818-7900-2023-21-2-51-62
Аннотация
В статье приведен обзор научных публикаций в области поиска архитектур нейронных сетей. Рассмотрены не только публикации, посвященные алгоритмам поиска архитектур, но и серия статьей, посвященная оценке качества алгоритмов поиска. На основе проведенного обзора обозначены актуальные проблемы в области оценки качества архитектур нейронных сетей и сравнения алгоритмов поиска.
Об авторе
А. С. Щербин
Новосибирский государственный научный исследовательский университет
Россия
Россия
Щербин Андрей Сергеевич, аспирант кафедры общей информатики факультета информационных технологий
Новосибирск
Список литературы
1. Real E., Moore S., Selle A., Saxena S., Suematsu Y. L., Tan J., Le Q. V., Kurakin A. Large-Scale Evolution of Image Classifiers [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1703.01041.pdf (дата обращения: 27.12.22).
2. Kandasamy K., Neiswanger W., Schneider J., Poczos B., Xing E. P. Neural Architecture Search with Bayesian Optimisation and Optimal Transport [Электронный ресурс]. Режим доступа: https://proceedings.neurips.cc/paper/2018/file/f33ba15effa5c10e873bf3842afb46a6-Paper.pdf (дата обращения: 27.12.22).
3. Liu H., Simonyan K., Yang Y. DARTS: DIFFERENTIABLE ARCHITECTURE SEARCH [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1806.09055.pdf (дата обращения: 27.12.22).
4. Zoph B., Le Q. V. NEURAL ARCHITECTURE SEARCH WITH REINFORCEMENT LEARNING [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1611.01578.pdf (дата обращения: 27.12.22).
5. Zoph B., Vasudevan V., Shlens J., Le Q. V. Learning Transferable Architectures for Scalable Image Recognition [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1707.07012.pdf%27 (дата обращения: 27.12.22).
6. Cai H., Gan C., Wang T., Zhang Z., Han S. ONCE-FOR-ALL: TRAIN ONE NETWORK AND SPECIALIZE IT FOR EFFICIENT DEPLOYMENT [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1908.09791.pdf (дата обращения: 27.12.22).
7. Bichen Wu B., Dai X., Zhang P., Wang Y., Sun F., Wu Y., Tian Y., Vajda P., Jia Y., Keutzer K. FBNet: Hardware-Aware Efficient ConvNet Designvia Differentiable Neural Architecture Search [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1812.03443.pdf (дата обращения: 27.12.22).
8. Tan M., Le Q. V. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1905.11946.pdf (дата обращения: 27.12.22).
9. Zoph B., Vasudevan V., Shlens J., Le Q. V. Learning Transferable Architectures for Scalable Image Recognition [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1707.07012.pdf (дата обращения: 27.12.22).
10. Krizhevsky A., Sutskever I., Hinton G. E. ImageNet Classification with Deep Convolutional Neural Networks [Электронный ресурс]. Режим доступа: https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf (дата обращения: 27.12.22).
11. Hochreiter S., Schmidhuber J. LONG SHORT-TERM MEMORY [Электронный ресурс]. Режим доступа: http://www.bioinf.jku.at/publications/older/2604.pdf (дата обращения: 27.12.22).
12. Williams R. J. Simple Statistical Gradient-Following Algorithms for Connectionist Reinforcement Learning [Электронный ресурс]. Режим доступа: https://link.springer.com/content/pdf/10.1007/BF00992696.pdf?pdf=button (дата обращения: 27.12.22).
13. Dataset Website [Электронный ресурс]. Режим доступа: https://www.cs.toronto.edu/~kriz/cifar.html (дата обращения: 27.12.22).
14. Huang G., Liu Z., van der Maaten L., Weinberger K. Q. Densely Connected Convolutional Networks [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1608.06993.pdf (дата обращения: 27.12.22).
15. Liu C., Zoph B., Neumann M., Shlens J., Hua W., Li L.-J., Fei-Fei L., Yuille A., Huang J., Murphy K. Progressive Neural Architecture Search [Электронный ресурс]. Режим доступа: https://download.arxiv.org/pdf/1712.00559v3.pdf (дата обращения: 27.12.22).
16. Sekanina L. Neural Architecture Search and Hardware Accelerator Co-Search: A Survey [Электронный ресурс]. Режим доступа: https://ieeexplore.ieee.org/document/9606893 (дата обращения: 27.12.22).
17. Ying C., Klein A., Real E., Christiansen E., Murphy K., Hutter F. NAS-Bench-101: Towards Reproducible Neural Architecture Search [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1902.09635.pdf (дата обращения: 27.12.22).
18. Dong X., Yang Y. NAS-BENCH-201: EXTENDING THE SCOPE OF REPRODUCIBLE NEURAL ARCHITECTURE SEARCH [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/2001.00326.pdf (дата обращения: 27.12.22).
19. Zela A., Siems J., Hutter F. NAS-BENCH-1SHOT1: BENCHMARKING AND DISSECTIN ONE-SHOT NEURAL ARCHITECTURE SEARCH [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/2001.10422.pdf (дата обращения: 27.12.22).
20. Li C., Yu Z., Fu Y., Zhang Y., Zhao Y., You H., Yu Q., Wang Y., Lin Y. HW-NAS-BENCH: HARDWARE-AWARE NEURAL ARCHITECTURE SEARCH BENCHMARK [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/2103.10584.pdf (дата обращения: 27.12.22).
21. Klein A., Hutter F. Tabular Benchmarks for Joint Architecture and Hyperparameter Optimization [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1905.04970.pdf (дата обращения: 27.12.22).
22. Dong X., Yang Y. Searching for A Robust Neural Architecture in Four GPU Hours [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1910.04465.pdf (дата обращения: 27.12.22).
23. Pham H., Guan M. Y., Zoph B., Le Q. V., Dean J. Efficient Neural Architecture Search via Parameter Sharing [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1802.03268.pdf (дата обращения: 27.12.22).
24. Kingma D. P., Ba J. L. ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1412.6980.pdf (дата обращения: 27.12.22).
25. Falkner S., Klein A., Hutter F. BOHB: Robust and Efficient Hyperparameter Optimization at Scale [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1807.01774.pdf (дата обращения: 27.12.22).
26. Hirose Y., Yoshinari N., Shirakawa S. NAS-HPO-Bench-II: A Benchmark Dataset on Joint Optimization of Convolutional Neural Network Architecture and Training Hyperparameters [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/2110.10165.pdf (дата обращения: 27.12.22).
27. Xu K., Hu W., Leskovec J., Jegelka S. HOW POWERFUL ARE GRAPH NEURAL NETWORKS? [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1810.00826.pdf (дата обращения: 27.12.22).
28. Yu J., Jin P., Liu H., Bender G., Kindermans P.-L. Tan M., Huang T., Song X., Pang R., Le Q. BigNAS: Scaling Up Neural Architecture Search with Big Single-Stage Models [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/2003.11142.pdf (дата обращения: 27.12.22).
29. Bergstra J., Bardenet R., Bengio Y., Kegl B. Algorithms for Hyper-Parameter Optimization [Электронный ресурс]. Режим доступа: https://proceedings.neurips.cc/paper/2011/file/86e8f7ab32cfd12577bc2619bc635690-Paper.pdf (дата обращения: 27.12.22).
30. Li L., Jamieson K., DeSalvo G., Rostamizadeh A., Talwalkar A. Hyperband: A Novel Bandit-Based Approach to Hyperparameter Optimization [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1603.06560.pdf (дата обращения: 27.12.22).
Рецензия
Для цитирования:
Щербин А.С. Проблемы оценки качества архитектур нейронных сетей и алгоритмов поиска архитектур. Вестник НГУ. Серия: Информационные технологии. 2023;21(2):51-62. https://doi.org/10.25205/1818-7900-2023-21-2-51-62
For citation:
Shcherbin A.S. Problems of Neural Network Architecture Benchmarking and Search. Vestnik NSU. Series: Information Technologies. 2023;21(2):51-62. (In Russ.) https://doi.org/10.25205/1818-7900-2023-21-2-51-62
Просмотров:
124
Послать статью по эл. почте 