| Русский Русский | English English |
Главная Archive
21 | 03 | 2023

DOI: 10.14489/vkit.2014.02.pp.027-030

Хуршудов А. А.
(с. 27 – 30)

Аннотация. Предложен способ получения глубокой иерархии признаков с использованием алгоритма обучения нейросети – автоэнкодера. Рассматриваемый подход является альтернативным методу свертки и пулинга, который используется для обучения на изображениях большого масштаба, а также позволяет построить глубокую многослойную архитектуру нейронной сети, устойчивую к небольшим различиям в данных. Обучение сети производится послойно, без учителя. Каждый слой сети соответствует уровню иерархии признаков, и каждый следующий уровень обучается на представлении изображения предыдущим уровнем. Обученный автоэнкодер представляет собой генеративную модель, которая может использоваться в различных целях, таких как распознавание образов или удаление шума.

Ключевые слова: разреженное кодирование; автоэнкодер; глубокое обучение; неконтролируемое выделение признаков.

Khurshudov A. A.
(pp. 27 – 30)

Abstract. The paper describes an efficient way to learn deep feature hierarchies using sparse autoencoder neural network. The suggested approach is a computationally lightweight alternative to convolution and pooling method which is often used learning large-scale image data. It also allows to achieve an important goal of building a deep multi-layer architecture of a neural network, which is, according to the principles of deep learning, robust to minor data differences. The network is trained using greedy layer-based technique. Each layer of a neural network corresponds to a layer of a feature hierarchy represented by sparse feature dictionary. The next level is trained using only the activations of previous-level features. Each feature activation is an output (a set of neurons) from the previous layer. Hence the sparsity constraint, we choose a successful feature activation metric as an averaged difference between the activations of each neuron. Now we expect an autoencoder to output a heterogeneous set of neurons when it recognize a feature – namely, some of the neurons will be highly activated, while the others' values will be close to zero. On the contrary, an unsuccessful recognition attempt results as a homogenous output, where all the neurons have a similar activation values. The key idea is that to build another layer of features hierarchy, we don't need a set of sparse-coded values, which are highly dimensional and hard to train on. We just need an information about whether the specified feature exists or not. Successfully trained autoencoder is a generative model which can be used for different purposes, such as image recognition or denoising. It can also be used to determine the regions of the image where the highest level features are exist. To achieve that goal, an autoencoder runs an unlimited number of layers until its output is homogenous of until layer dimension isn't equal one neuron. Then examining each layer's representation, it's possible to determine which features are active at which layer. The paper also describes certain limitations of the suggested approach, such as a need to train a lot of metaparameters and an inability to extract features of an arbitrary shape.

Keywords: Sparse coding; Autoencoder; Deep learning; Unsupervised feature learning.


А. А. Хуршудов (Кубанский государственный технологический университет, Краснодар) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript  


A. A. Khurshudov (Kuban State Technological University, Krasnodar) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript



1. Hinton G. E., Salakhutdinov R. R. Reducing the Dimensionality of Data with Neural Networks // Science. 2006. V. 313, № 5786. P. 504 – 507.
2. Ng Andrew Y. CS294A. Lecture Notes: Sparse Auto¬encoder. URL: http://www.stanford.edu/class/cs294a/sparseAuto¬encoder.pdf (дата обращения: 06.12.2013).
3. Efficient Sparse Coding Algorithms / H. Lee et al. // Advances in Neural Information Processing Systems; Eds. B. Scholkopf, J. Platt, T. Hofmann. Cambridge, MA: MIT Press, 2007. V. 19. P. 801 – 808.
4. Scherer D., Muller A., Behnke S. Evaluation of Pooling Operations in Convolutional Architectures for Object Recognition // 20th International Conference on Artificial Neural Networks – ICANN. 2010. P. 92 – 101.
5. Olshausen B. A., Field D. Emergence of Simple-Cell Receptive Field Properties by Learning a Sparse Code for Natural Images // Nature. 1996. № 381(6583). P. 607 – 609.


1. Hinton G. E., Salakhutdinov R. R. (2006). Reducing the dimensionality of data with neural networks. Science, 5786(313), 504-507. doi: 10.1126/science.1127647
2. Ng Andrew Y. CS294A. Lecture Notes: Sparse Auto¬encoder. Available at: http://www.stanford.edu/class/cs294a/ sparseAutoencoder.pdf (Accessed: 06 December 2013).
3. Lee H. et al., Scholkopf B., Platt J., Hofmann T. (2007). Efficient sparse coding algorithms. Advances in neural information processing systems. (Vol. 19, pp. 801-808). MA: MIT Press.
4. Scherer D., Muller A., Behnke S. Evaluation of pooling operations in convolutional architectures for object recognition. 20th International Conference on Artificial Neural Networks – ICANN, pp. 92 – 101.
5. Olshausen B. A., Field D. (1996). Emergence of simple-cell receptive field properties by learning a sparse code for natural images. Nature,6583(381), pp. 607-609.


Статью можно приобрести в электронном виде (PDF формат).

Стоимость статьи 250 руб. (в том числе НДС 18%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.

После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.

Для заказа статьи заполните форму:




This article  is available in electronic format (PDF).

The cost of a single article is 250 rubles. (including VAT 18%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.

After depositing your payment on our bank account we send you file of the article by e-mail.

To order articles please fill out the form below:











Rambler's Top100 Яндекс цитирования