Problems of Neural Network Architecture Benchmarking and Search
https://doi.org/10.25205/1818-7900-2023-21-2-51-62
Abstract
In this paper we made a survey of neural architecture search algorithms and their benchmarking. Based on our survey we highlight the current problems in the quality of neural network architecture benchmarking and in the comparison of neural architecture search algorithms.
About the Author
A. S. Shcherbin
Novosibirsk State University
Russian Federation
Russian Federation
Shcherbin S Andrey, Phd student at Common Informatics Chair of the Information Technologies Department
Novosibirsk
References
1. Real E., Moore S., Selle A., Saxena S., Suematsu Y. L., Tan J., Le Q. V., Kurakin A. Large-Scale Evolution of Image Classifiers [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1703.01041.pdf (дата обращения: 27.12.22).
2. Kandasamy K., Neiswanger W., Schneider J., Poczos B., Xing E. P. Neural Architecture Search with Bayesian Optimisation and Optimal Transport [Электронный ресурс]. Режим доступа: https://proceedings.neurips.cc/paper/2018/file/f33ba15effa5c10e873bf3842afb46a6-Paper.pdf (дата обращения: 27.12.22).
3. Liu H., Simonyan K., Yang Y. DARTS: DIFFERENTIABLE ARCHITECTURE SEARCH [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1806.09055.pdf (дата обращения: 27.12.22).
4. Zoph B., Le Q. V. NEURAL ARCHITECTURE SEARCH WITH REINFORCEMENT LEARNING [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1611.01578.pdf (дата обращения: 27.12.22).
5. Zoph B., Vasudevan V., Shlens J., Le Q. V. Learning Transferable Architectures for Scalable Image Recognition [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1707.07012.pdf%27 (дата обращения: 27.12.22).
6. Cai H., Gan C., Wang T., Zhang Z., Han S. ONCE-FOR-ALL: TRAIN ONE NETWORK AND SPECIALIZE IT FOR EFFICIENT DEPLOYMENT [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1908.09791.pdf (дата обращения: 27.12.22).
7. Bichen Wu B., Dai X., Zhang P., Wang Y., Sun F., Wu Y., Tian Y., Vajda P., Jia Y., Keutzer K. FBNet: Hardware-Aware Efficient ConvNet Designvia Differentiable Neural Architecture Search [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1812.03443.pdf (дата обращения: 27.12.22).
8. Tan M., Le Q. V. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1905.11946.pdf (дата обращения: 27.12.22).
9. Zoph B., Vasudevan V., Shlens J., Le Q. V. Learning Transferable Architectures for Scalable Image Recognition [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1707.07012.pdf (дата обращения: 27.12.22).
10. Krizhevsky A., Sutskever I., Hinton G. E. ImageNet Classification with Deep Convolutional Neural Networks [Электронный ресурс]. Режим доступа: https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf (дата обращения: 27.12.22).
11. Hochreiter S., Schmidhuber J. LONG SHORT-TERM MEMORY [Электронный ресурс]. Режим доступа: http://www.bioinf.jku.at/publications/older/2604.pdf (дата обращения: 27.12.22).
12. Williams R. J. Simple Statistical Gradient-Following Algorithms for Connectionist Reinforcement Learning [Электронный ресурс]. Режим доступа: https://link.springer.com/content/pdf/10.1007/BF00992696.pdf?pdf=button (дата обращения: 27.12.22).
13. Dataset Website [Электронный ресурс]. Режим доступа: https://www.cs.toronto.edu/~kriz/cifar.html (дата обращения: 27.12.22).
14. Huang G., Liu Z., van der Maaten L., Weinberger K. Q. Densely Connected Convolutional Networks [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1608.06993.pdf (дата обращения: 27.12.22).
15. Liu C., Zoph B., Neumann M., Shlens J., Hua W., Li L.-J., Fei-Fei L., Yuille A., Huang J., Murphy K. Progressive Neural Architecture Search [Электронный ресурс]. Режим доступа: https://download.arxiv.org/pdf/1712.00559v3.pdf (дата обращения: 27.12.22).
16. Sekanina L. Neural Architecture Search and Hardware Accelerator Co-Search: A Survey [Электронный ресурс]. Режим доступа: https://ieeexplore.ieee.org/document/9606893 (дата обращения: 27.12.22).
17. Ying C., Klein A., Real E., Christiansen E., Murphy K., Hutter F. NAS-Bench-101: Towards Reproducible Neural Architecture Search [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1902.09635.pdf (дата обращения: 27.12.22).
18. Dong X., Yang Y. NAS-BENCH-201: EXTENDING THE SCOPE OF REPRODUCIBLE NEURAL ARCHITECTURE SEARCH [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/2001.00326.pdf (дата обращения: 27.12.22).
19. Zela A., Siems J., Hutter F. NAS-BENCH-1SHOT1: BENCHMARKING AND DISSECTIN ONE-SHOT NEURAL ARCHITECTURE SEARCH [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/2001.10422.pdf (дата обращения: 27.12.22).
20. Li C., Yu Z., Fu Y., Zhang Y., Zhao Y., You H., Yu Q., Wang Y., Lin Y. HW-NAS-BENCH: HARDWARE-AWARE NEURAL ARCHITECTURE SEARCH BENCHMARK [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/2103.10584.pdf (дата обращения: 27.12.22).
21. Klein A., Hutter F. Tabular Benchmarks for Joint Architecture and Hyperparameter Optimization [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1905.04970.pdf (дата обращения: 27.12.22).
22. Dong X., Yang Y. Searching for A Robust Neural Architecture in Four GPU Hours [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1910.04465.pdf (дата обращения: 27.12.22).
23. Pham H., Guan M. Y., Zoph B., Le Q. V., Dean J. Efficient Neural Architecture Search via Parameter Sharing [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1802.03268.pdf (дата обращения: 27.12.22).
24. Kingma D. P., Ba J. L. ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1412.6980.pdf (дата обращения: 27.12.22).
25. Falkner S., Klein A., Hutter F. BOHB: Robust and Efficient Hyperparameter Optimization at Scale [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1807.01774.pdf (дата обращения: 27.12.22).
26. Hirose Y., Yoshinari N., Shirakawa S. NAS-HPO-Bench-II: A Benchmark Dataset on Joint Optimization of Convolutional Neural Network Architecture and Training Hyperparameters [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/2110.10165.pdf (дата обращения: 27.12.22).
27. Xu K., Hu W., Leskovec J., Jegelka S. HOW POWERFUL ARE GRAPH NEURAL NETWORKS? [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1810.00826.pdf (дата обращения: 27.12.22).
28. Yu J., Jin P., Liu H., Bender G., Kindermans P.-L. Tan M., Huang T., Song X., Pang R., Le Q. BigNAS: Scaling Up Neural Architecture Search with Big Single-Stage Models [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/2003.11142.pdf (дата обращения: 27.12.22).
29. Bergstra J., Bardenet R., Bengio Y., Kegl B. Algorithms for Hyper-Parameter Optimization [Электронный ресурс]. Режим доступа: https://proceedings.neurips.cc/paper/2011/file/86e8f7ab32cfd12577bc2619bc635690-Paper.pdf (дата обращения: 27.12.22).
30. Li L., Jamieson K., DeSalvo G., Rostamizadeh A., Talwalkar A. Hyperband: A Novel Bandit-Based Approach to Hyperparameter Optimization [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1603.06560.pdf (дата обращения: 27.12.22).
Review
For citations:
Shcherbin A.S. Problems of Neural Network Architecture Benchmarking and Search. Vestnik NSU. Series: Information Technologies. 2023;21(2):51-62. (In Russ.) https://doi.org/10.25205/1818-7900-2023-21-2-51-62
Views:
122
Email this article 