10.14489/vkit.2020.12.pp.014-019

DOI: 10.14489/vkit.2020.12.pp.014-019

Шиловский Г. В., Юлкова В. М.
ВОЗМОЖНОСТЬ РЕАЛИЗАЦИИ ПРАВДОПОДОБНЫХ АЛГОРИТМОВ ГЛУБОКОГО ОБУЧЕНИЯ НА НЕБОЛЬШИХ НЕЙРОННЫХ СЕТЯХ СО СКРЫТЫМИ СЛОЯМИ
(с. 14-19)

Аннотация. Рассмотрена проблема совершенствования основного инструмента искусственного интеллекта – глубоких нейронных сетей. Обучение глубоких нейронных сетей с помощью наиболее часто применяемого алгоритма обратного распространения ошибки считается неправдоподобным с биологической точки зрения. Учитывая сегодняшний интерес к нейронным сетям и их многочисленным применениям, тематика статьи актуальна. Описана возможность повышения эффективности классификации объектов в задачах распознавания изображений с помощью относительно простых вариантов реализации нейронных сетей. Приведены исследования нейронных сетей с сетями с одним скрытым слоем и биологически правдоподобными правилами обучения, предпочтительно с использованием всплывших нейронов, на примере известного набора данных МNISТ. Для описания эффективности классификации приведены сравнения с помощью различных методов.

Ключевые слова: неглубокие сети; сети с одним скрытым слоем; глубокое обучение; правила местного обучения; необучаемая функция обучения.

Shilovskii G. V., Yulkova V. M.
IMPLEMENTATION POSSIBILITY OF A LIKE DEEP LEARNING ALGORITHMS ON NON-DEEP NETWORKS WITH HIDDEN LAYERS
(pp. 14-19)

Abstract. Learning deep neural networks using the backpropagation algorithm is considered implausible from a biological point of view. Numerous recent publications offer sophisticated models for biologically plausible deep learning options that typically define success as achieving a test accuracy of around 98 % in the MNIST dataset. Here we examine how far we can go in the classification of numbers (MNIST) with biologically plausible rules for learning in a network with one hidden layer and one reading layer. The weights of the hidden layer are either fixed (random or random Gabor filters), or are trained by uncontrolled methods (analysis of main/independent components or sparse coding), which can be implemented in accordance with local training rules. The paper shows that high dimensionality of hidden layers is more important for high performance than global functions retrieved by PCA, ICA, or SC. Tests on the CIFAR10 object recognition problem lead to the same conclusion, indicating that this observation is not entirely problem specific. Unlike biologically plausible deep learning algorithms that are derived from the backpropagation algorithm approximations, we have focused here on shallow networks with only one hidden layer. Globally applied, randomly initialized filters with fixed weights/Gabor coefficients (RP/RGs) of large hidden layers result in better classification performance than training them with unsupervised methods such as principal/independent analysis (PCA/ICA) or sparse coding (SC). Therefore, the conclusion is that uncontrolled training does not lead to better performance than fixed random projections or Gabor filters for large hidden layers.

Keywords: Non-deep networks; Networks with one hidden layer; Deep learning; Local learning rules; Untrained learning function.

+ - Информация об авторах (About the Authors) Click to collapse

Рус

Г. В. Шиловский (Общество с ограниченной ответственностью «Эксперт-Центр», Архангельск, Россия) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
В. М. Юлкова (Северный (Арктический) федеральный университет имени М. В. Ломоносова», Архангельск, Россия)

Eng

G. V. Shilovskii (Engineering Company Limited Liability Company “Expert-Center”, Arkhangelsk, Russia) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
V. M. Yulkova (Northern (Arctic) Federal University named after M. V. Lomonosov, Arkhangelsk, Russia)

+ - Библиографический список (References) Click to collapse

Рус

1. LeCun Y., Cortes C. The MNIST Database of Handwritten Digits [Электронный ресурс]. 1998. URL: http://yann.lecun.com/ exdb/mnist/ (дата обращения: 29.11.2020).
2. Random Synaptic Feedback Weights Support Error Backpropagation for Deep Learning / P. Lillicrap Timothy, D. Cownden, D. B. Tweed, C. J. Akerman // Nature Communication. 2016. No. 7. P. 13276.
3. Dendritic Error Backpropagation in Deep Cortical Microcircuits / Sacramento João, Costa Rui Ponte, Bengio Yoshua, Senn Walter [Электронный ресурс]. 2017. P. 1 – 37 // arXiv Prepr. URL: http://arxiv.org/abs/1801.00062 (дата обращения: 20.11.2020).
4. Whittington James C. R., Bogacz R. Theories of Error Back-propagation in the Brain // Trends in Cognitive Science. 2019. V. 23, No. 3. P. 1 – 16.
5. Assessing the Scalability of Biologically-Motivated Deep Learning Algorithms and Architectures / S. Bartunov et al. [Электронный ресурс]. 2018 // arXiv Prepr. URL: https:// arxiv.org/abs/1807.04587 (дата обращения: 20.11.2020).
6. Moskovitz Th. H., Litwin–Kumar A., Abbott L. F. Feedback Alignment in Deep Convolutional Networks // Neural Evolution Computation. 2018. P. 1 – 10. URL: arXiv:1812.06488 (дата обращения: 20.11.2020).
7. Olshausen Bruno A., Field David J. Sparse Coding with an Overcomplete Basis Set: A Strategy Employed by v1 // Vision Research. 1997. V. 37, No. 23. P. 3311 – 3325.
8. Hyvärinen Aapo, Oja Erkki. Independent Component Analysis by General Nonlinear Hebbian-like Learning Rules // Signal Processing. 1998. No. 64. P. 301 – 313.
9. Barron Andrew R. Universal Approximation Bounds for Superposition of a Sigmoid Function // IEEE Transaction on Information Theory. 1993. V. 39, No. 3. P. 930 – 945.
10. Huang Guang Bin, Zhu Qin Yu, Siew Chee Kheong. Extreme Learning Machine: Theory and Applications // Neurocomputing. 2006. V. 70, No. 1–3. P. 489 – 501.

Eng

1. LeCun Y., Cortes C. (1998). The MNIST Data-base of Handwritten Digits. Available at: http://yann.lecun.com/exdb/mnist/ (Accessed: 29.11.2020)
2. Lillicrap Timothy P., Cownden D., Tweed D. B., Akerman C. J. (2016). Random Synaptic Feedback Weights Support Error Backpropagation for Deep Learning. Nature Communication, (7).
3. Sacramento João, Costa Rui Ponte, Bengio Yoshua, Senn Walter (2017). Dendritic Error Backpropagation in Deep Cortical Microcircuits, pp. 1 – 37. arXiv Prepr. Available at: http://arxiv.org/abs/1801.00062 (Accessed: 20.11.2020).
4. Whittington James C. R., Bogacz R. (2019). Theories of Error Back-propagation in the Brain. Trends in Cognitive Science, Vol. 23, (3), pp. 1 – 16.
5. Bartunov S. et al. (2018). Assessing the Scalability of Biologically-Motivated Deep Learning Algorithms and Architectures. arXiv Prepr. Available at: https:// arxiv.org/abs/1807.04587 (Accessed: 20.11.2020).
6. Moskovitz Th. H., Litwin–Kumar A., Abbott L. F. (2018). Feedback Alignment in Deep Convolutional Networks. Neural Evolution Computation, pp. 1 – 10. Available at: arXiv:1812.06488 (Accessed: 20.11.2020).
7. Olshausen Bruno A., Field David J. (1997). Sparse Coding with an Overcomplete Basis Set: A Strategy Employed by v1. Vision Research, Vol. 37, 23, pp. 3311 – 3325.
8. Hyvärinen Aapo, Oja Erkki. (1998). Independent Component Analysis by General Nonlinear Hebbian-like Learning Rules. Signal Processing, 64, pp. 301 – 313.
9. Barron Andrew R. (1993). Universal Approximation Bounds for Superposition of a Sigmoid Function. IEEE Transaction on Information Theory, Vol. 39, (3), pp. 930 – 945. Huang Guang Bin, Zhu Qin Yu, Siew Chee Kheong. (2006). Extreme Learning Machine: Theory and Applications. Neurocomputing, Vol. 70, (1–3), pp. 489 – 501.

+ - Заказать электронную версию статьи (Purchase digital version of a single article) Click to collapse

Рус

Статью можно приобрести в электронном виде (PDF формат).

Стоимость статьи 350 руб. (в том числе НДС 18%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.

После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.

Для заказа скопируйте doi статьи:

10.14489/vkit.2020.12.pp.014-019

и заполните форму

Отправляя форму вы даете согласие на обработку персональных данных.

Eng

This article is available in electronic format (PDF).

The cost of a single article is 350 rubles. (including VAT 18%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.

After depositing your payment on our bank account we send you file of the article by e-mail.

To order articles please copy the article doi:

10.14489/vkit.2020.12.pp.014-019

and fill out the form