10.14489/vkit.2018.11.pp.037-045

DOI: 10.14489/vkit.2018.11.pp.037-045

Крылов В. В., Крылов С. В.
ОБУЧЕНИЕ КЛАССИФИКАТОРОВ С АРХИТЕКТУРОЙ НЕЙРОННЫХ СЕТЕЙ РЕЗЕРВУАРНОГО КОМПЬЮТИНГА
(c. 37-45)

Аннотация. Резервуарный компьютинг привлекает внимание разработчиков обучаемых нейроструктур простотой алгоритмов обучения при высоком уровне генерализации получаемых моделей и реализуется в различных архитектурах, в том числе, в рекуррентных нейронных сетях с произвольными нерегулярными связями, получившими название Echo State Network (ESN). Однако несмотря на удачные примеры предсказаний хаотических последовательностей, в решении таких практических задач, как классификация объектов по многим признакам, успешных реализаций немного. В работе исследуются бинарные классификаторы на ESN и показано, что несбалансированность классов при обучении – ключевая причина низкой точности классификации. Предлагается использовать рандомизированный алгоритм балансировки обучающего набора данных в совокупности с простым методом темпорализации обучающих данных, что приводит к получению хороших матриц ошибок. Метод изучается и иллюстрируется на синтетическом наборе данных и демонстрирует возможности классификатора на ESN для детектирования редких событий на примере классического набора данных по обнаружению мошенничества по набору признаков транзакций по кредитным картам.

Ключевые слова: нейронные сети; машинное обучение; классификация; детектирование мошенничества; резервуарный компьютинг; алгоритм.

Krylov V. V., Krylov S. V.
TEACHING RESERVOIR COMPUTING NEURAL NETWORKS CLASSIFIERS
(pp. 37-45)

Abstract. Reservoir Computing is taking attention of neural networks structures developers because of machine learning algorithms are simple at the high level of generalization of the models. The approaches are numerous. Reservoir Computing can be applied to different architectures including recurrent neural networks with irregular connections that are called Echo State Networks (ESN). However, the existence of successful examples of chaotic sequences predictions does not provide successful method of multiple attribute objects classification. In this paper the binary ESN classifiers are researched. We show that the reason of low precision classification is the existence of unbalanced classes. Then the method to solve the problem is proposed. It is possible to use randomizing algorithm of learning data set balancing and method of data temporalization. The resulting errors matrixes have pretty good numbers. The proposed method is illustrated by the usage on synthetic data set. The features of ESN classifier are demonstrated in the case of rare events detection such as transaction attributes fraud detection.

Keywords: Neural networks; Machine learning; Classification; Fraud detection; Reservoir computing; Algorithm.

+ - Информация об авторах (About the Authors) Click to collapse

Рус

В. В. Крылов, С. В. Крылов (Национальный исследовательский университет «Высшая школа экономики», Нижний Новгород, Россия) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

Eng

V. V. Krylov, S. V. Krylov (National Research University «Higher School of Economics», Nizhny Novgorod, Russia) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

+ - Библиографический список (References) Click to collapse

Рус

1. Melandri L. (2014). Introduction to Reservoir Computing Methods, Alma Mater Studiorum, Universita di Bologna.
2. Verstraeten D. et al. (2007). An Experimental Unification of Reservoir Computing Methods. Neural Networks, 20, pp. 391-403.
3. Schrauwen B., Verstraeten D., Campenhout J. V. (2007). An Overview of Reservoir Computing: Theory, Applications and Implementations: Conference Papers ESANN 2007, 15th European Symposium on Artificial Neural Networks, Bruges, Belgium, April 25 – 27. Available at: https://www.researchgate.net/publication/ 221166209_An_overview_of_reservoir_computing_Theory_applications_and_implementations (Accessed: 10.07.2018)
4. Lukosevicius M. A Practical Guide to Applying Echo State Networks. Available at: http://citeseerx. ist.psu.edu/viewdoc/download?doi = 10.1.1.720.616& rep = rep1&type = pdf (Accessed: 15.08.2018)
5. Millea A. Explorations in Echo State Networks. Available at: http://www.ai.rug.nl/~mwiering/The-sis_Adrian_Millea.pdf (Accessed: 15.08.2018)
6. Python Library for Reservoir Computing Using Echo State Networks. Available at: https://github. com/kalekiu/easyesn (Accessed: 15.08.2018)
7. Potemkin V G. (2000). MATLAB handbook. Linear algebra. Moscow: Dialog-MIFI. [in Russian language]
8. Credit Card Fraud Detection: Anonymized Credit Card Transactions Labeled as Fraudulent or Genuine // Available at: https://www.kaggle.com/samkirkiles/credit-card-fraud/data (Accessed: 15.08.2018)

Eng

+ - Заказать электронную версию статьи (Purchase digital version of a single article) Click to collapse

Рус

Статью можно приобрести в электронном виде (PDF формат).

Стоимость статьи 350 руб. (в том числе НДС 18%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.

После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.

Для заказа скопируйте doi статьи:

10.14489/vkit.2018.11.pp.037-045

и заполните форму

Отправляя форму вы даете согласие на обработку персональных данных.

Eng

This article is available in electronic format (PDF).

The cost of a single article is 350 rubles. (including VAT 18%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.

After depositing your payment on our bank account we send you file of the article by e-mail.

To order articles please copy the article doi:

10.14489/vkit.2018.11.pp.037-045

and fill out the form