10.14489/vkit.2020.10.pp.003-010

DOI: 10.14489/vkit.2020.10.pp.003-010

Гридин В. Н., Евдокимов И. А., Салем Б. Р., Солодовников В. И.
АНАЛИЗ ПРОЦЕССА ОПТИМИЗАЦИИ ГИПЕРПАРАМЕТРОВ НЕЙРОСЕТЕВЫХ СТРУКТУР ОБРАБОТКИ ДАННЫХ
(c. 3-10)

Аннотация. Изложены особенности реализации и принципы функционирования нейронных сетей, включая глубокие нейронные сети. Рассмотрена проблема определения числа скрытых элементов, методов выбора внутренней топологии и настройки параметров. Показано, что в процессе обучения и валидации можно контролировать емкость нейронной сети и оценивать качественные характеристики построенной модели. Представляет интерес возможность автоматизации процессов построения и оптимизации гиперпараметров подобных нейросетевых структур в зависимости от исходных данных и поставленных пользователем задач. Представлен ряд подходов, основанных на использовании вероятностного программирования, эволюционных алгоритмов, рекуррентных нейронных сетей.

Ключевые слова: нейронная сеть; рекуррентная сеть; сверточная сеть; топология; предобработка; анализ данных.

Gridin V. N., Evdokimov I. A., Salem B. R., Solodovnikov V. I.
OPTIMIZATION PROCESS ANALYSIS FOR HYPERPARAMETERS OF NEURAL NETWORK DATA PROCESSING STRUCTURES
(pp. 3-10)

Abstract. The analysis of key stages, implementation features and functioning principles of the neural networks, including deep neural networks, has been carried out. The problems of choosing the number of hidden elements, methods for the internal topology selection and setting parameters are considered. It is shown that in the training and validation process it is possible to control the capacity of a neural network and evaluate the qualitative characteristics of the constructed model. The issues of construction processes automation and hyperparameters optimization of the neural network structures are considered depending on the user's tasks and the available source data. A number of approaches based on the use of probabilistic programming, evolutionary algorithms, and recurrent neural networks are presented.

Keywords: Neural network; Recurrent network; Convolutional network; Topology; Preprocessing; Data analysis.

+ - Информация об авторах (About the Authors) Click to collapse

Рус

В. Н. Гридин, И. А. Евдокимов, Б. Р. Салем, В. И. Солодовников (Центр информационных технологий в проектировании Российской академии наук, Одинцово, Московская область, Россия) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

Eng

V. N. Gridin, I. A. Evdokimov, B. R. Salem, V. I. Solodovnikov (Center of Information Technologies in Engineering RAS, Odintsovo, Moscow region, Russia) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

+ - Библиографический список (References) Click to collapse

Рус

1. Ежов А. А., Шумский С. А. Нейрокомпьютинг и его применение в экономике и бизнесе. М.: МИФИ, 1998. 224 с.
2. Gradient-Based Learning Applied to Document Recognition / Y. LeCun, L. Bottou, Y. Bengio and P. Haffner // Proceedings of the IEEE. 1998. No. 86(11). P. 2278 – 2324.
3. Deep Neural Networks for Acoustic Modeling in Speech Recognition: The Shared Views of Four Research Groups / Geoffrey Hinton et al. // IEEE Signal Processing Magazine. 2012.
4. Krizhevsky A., Sutskever I., Hinton G. E. ImageNet Classification with Deep Convolutional Neural Networks // NIPS. 2012.
5. Google’s Neural Machine Translation System: Bridging the Gap Between Human and Machine Translation / Yonghui Wu et al. // arXiv preprint, ar-Xiv: 1609.08144. 2016.
6. Это нужно знать: ключевые рекомендации по глубокому обучению [Электронный ресурс]. URL: http://datareview.info/article/eto-nuzhno-znat-klyuchevyie- rekomendatsii-po-glubokomu-obucheniyu-chast-1/ (дата обращения: 20.05.2020).
7. Vapnik V. N., Levin E., LeCun Y. Measuring the Vcdimension of a Learning Machine // Neural Computation. 1994. V. 6, No. 5. P. 851 – 876,
8. Vapnik V. N. Statistical Learning Theory. New York: Wiley, 1998.
9. Xiu-Shen Wei. Must Know Tips for Deep Learning Neural Networks [Электронный ресурс]. URL: https://www.kdnuggets.com/2016/03/must-know-tips-deep-learning-part-1.html (дата обращения: 20.05.2020).
10. Dropout: A Simple Way to Prevent Neural Networks from Overfitting / N. Srivastava et al. // Journal of Machine Learning Research. 2014. No. 15. P. 1929 – 1958.
11. Learning Curves: Asymptotic Values and Rate of Convergence / C. Cortes et al. // Advances in Neural Information Processing Systems 7 (1994). MIT Press, 1995. P. 327 – 334.
12. Barret Zoph, Quoc V. Le. Neural Architecture Search with Reinforcement Learning // Proceedings of ICLR 2017, arXiv: 1611.01578. 2017.
13. Shreyas Saxena, Jakob Verbeek. Convolutional Neural Fabrics. 30 th Conference on Neural Information Processing Systems (NIPS). Spain, Barcelona 5–10 Dec. 2016.
14. Dario Floreano, Peter D¨urr, Claudio Mattiussi. Neuroevolution: from Architectures to Learning // Evolutionary Intelligence. 2008.
15. Learning to Compose Neural Networks for Question Answering / J. Andreas, M. Rohrbach, T. Darrell, D. Klein // NAACL. 2016.

Eng

1. Ezhov A. A., Shumskiy S. A. (1998). Neurocomputing and its application in economics and business. Moscow: MIFI. [in Russian language]
2. LeCun Y., Bottou L., Bengio Y., Haffner P. (1998). Gradient-Based Learning Applied to Document Recognition. Proceedings of the IEEE, 86(11), pp. 2278 – 2324.
3. Geoffrey Hinton et al. (2012). Deep Neural Networks for Acoustic Modeling in Speech Recognition: The Shared Views of Four Research Groups. IEEE Signal Processing Magazine.
4. Krizhevsky A., Sutskever I., Hinton G. E. (2012). ImageNet Classification with Deep Convolutional Neural Networks. Neural Information Processing Systems.
5. Yonghui Wu et al. (2016). Google’s Neural Machine Translation System: Bridging the Gap Between Human and Machine Translation. arXiv preprint, arXiv: 1609.08144. 2016.
6. You Need to Know: Key Best Practices for Deep Learning. Available at: http://datareview.info/article/eto-nuzhno-znat-klyuchevyie-rekomendatsii-po-glubokomu-obucheniyu-chast-1/ (Accessed: 20.05.2020). [in Russian language]
7. Vapnik V. N., Levin E., LeCun Y. (1994). Measuring the Vcdimension of a Learning Machine. Neural Computation, Vol. 6, (5), pp. 851 – 876,
8. Vapnik V. N. (1998). Statistical Learning Theory. New York: Wiley.
9. Xiu-Shen Wei. Must Know Tips for Deep Learning Neural Networks. Available at: https://www.kdnuggets.com/2016/03/must-know-tips-deep-learning-part-1.html (Accessed: 20.05.2020).
10. Srivastava N. et al. (2014). Dropout: A Simple Way to Prevent Neural Networks from Overfitting. Journal of Machine Learning Research, 15, pp. 1929 – 1958.
11. Cortes C. et al. (1995). Learning Curves: Asymptotic Values and Rate of Convergence. Advances in Neural Information Processing Systems 7, pp. 327 – 334. MIT Press.
12. Barret Zoph, Quoc V. Le. (2017). Neural Architecture Search with Reinforcement Learning. Proceedings of ICLR. arXiv: 1611.01578. 2017.
13. Shreyas Saxena, Jakob Verbeek. (2016). Convolutional Neural Fabrics. 30th Conference on Neural Information Processing Systems (NIPS). Barcelona.
14. Dario Floreano, Peter D¨urr, Claudio Mattiussi. (2008). Neuroevolution: from Architectures to Learning. Evolutionary Intelligence.
15. Andreas J., Rohrbach M., Darrell T., Klein D. (2016). Learning to Compose Neural Networks for Question Answering. North American Chapter of the Association for Computational Linguistics.

+ - Заказать электронную версию статьи (Purchase digital version of a single article) Click to collapse

Рус

Статью можно приобрести в электронном виде (PDF формат).

Стоимость статьи 350 руб. (в том числе НДС 18%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.

После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.

Для заказа скопируйте doi статьи:

10.14489/vkit.2020.10.pp.003-010

и заполните форму

Отправляя форму вы даете согласие на обработку персональных данных.

Eng

This article is available in electronic format (PDF).

The cost of a single article is 350 rubles. (including VAT 18%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.

After depositing your payment on our bank account we send you file of the article by e-mail.

To order articles please copy the article doi:

10.14489/vkit.2020.10.pp.003-010

and fill out the form