10.14489/vkit.2025.12.pp.023-030

DOI: 10.14489/vkit.2025.12.pp.023-030

Лютикова Л. А.
ЛОГИЧЕСКИЙ ПОДХОД К ИНТЕРПРЕТАЦИИ КЛАССИФИКАЦИОННЫХ МОДЕЛЕЙ МАШИННОГО ОБУЧЕНИЯ
(c. 23-30)

Аннотация. Предложена интерпретация решений моделей машинного обучения, основанная на булевом интегро-дифференциальном исчислении. Модели машинного обучения показывают высокую эффективность в ряде областей применения, но имеют непрозрачный механизм принятия решения, что снижает возможности их использования как инструмента научного исследования. В предложенном методе модель рассматривается как «черный ящик». При этом строится аппроксимирующая булева функция, представляющая зависимость между признаками и диагнозами. Эта функция записывается в виде дизъюнктивной нормальной формы и позволяет проводить как глобальный, так и локальный анализ значимости признаков. В качестве примера рассмотрена задача диагностики трех заболеваний сердечно-сосудистой системы по клиническим данным. Проведенное сравнение с методами SHAP и LIME демонстрирует, что логический интерпретатор более удобен для специалистов. Полученные результаты подтверждают, что интеграция логических методов машинного обучения является перспективным направлением для развития объяснимого искусственного интеллекта. Метод эффективен в задачах классификации с дискретными или бинаризованными признаками и находит применение в областях, где требуется высокая степень интерпретируемости принимаемых решений.

Ключевые слова: модель; интерпретация; логический анализ; булева производная; булев интеграл; объяснимый искусственный интеллект.

Lyutikova L. A.
LOGICAL APPROACH TO THE INTERPRETATION OF MACHINE LEARNING CLASSIFICATION MODELS
(pp. 23-30)

Abstract. In this work, a method for interpreting machine learning classification models is presented, based on Boolean integro-differential calculus. The approach addresses the persistent challenge of model transparency, particularly in high-stakes applications such as medical diagnostics. While contemporary machine learning systems achieve impressive predictive performance, they frequently operate as opaque structures, preventing experts from understanding the rationale behind predictions. The proposed method constructs an approximating Boolean function that mirrors the decision process of a trained model, expressed in disjunctive normal form. This representation enables comprehensive global analysis of feature relevance as well as local interpretation for individual cases, bridging the gap between abstract model outputs and domain-specific reasoning. The practical application of the method is demonstrated in the diagnostic classification of three cardiovascular diseases, using clinical data that include symptom profiles, risk factors, laboratory results, and electrocardiographic parameters. The logical interpreter not only preserves predictive accuracy but also generates explicit diagnostic rules, facilitating alignment with clinical decision-making practices. This advantage makes the method suitable for professional use in medicine, where interpretability is essential. A comparative evaluation with well-known interpretability techniques, SHAP and LIME, highlights the advantages of the logical approach. Unlike numerical feature attribution methods, which often require additional interpretation, the proposed system delivers clear logical rules that directly reflect the underlying diagnostic patterns. Moreover, the method ensures stability of results, reduces ambiguity, and provides specialists with actionable insights. This approach provides a formal mechanism for making the decision logic of machine learning models transparent and accessible, thereby enhancing their applicability in domains where interpretability is a critical requirement.

Keywords: Model; Interpretation; Logical analysis; Boolean derivative; Boolean integral; Explainable artificial intelligence.

+ - Информация об авторах (About the Authors) Click to collapse

Рус

Л. А. Лютикова (Институт прикладной математики и автоматизации КБНЦ РАН, Нальчик, Россия) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

Eng

L. A. Lyutikova (Institute of Applied Mathematics and Automation of the Kabardian Research Center of the Russian Academy of Sciences, Nalchik, Russia) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

+ - Библиографический список (References) Click to collapse

Рус

1. Molnar C. Interpretable Machine Learning: A Guide for Making Black Box Models Explainable: 2nd ed. Leanpub, 2022. URL: https://christophm.github.io/interpretable-ml-book/ (дата обращения: 13.12.2025).
2. Dombi J., Csiszár O. Operator-dependent modifiers in nilpotent logical systems // Proceedings of the 10th International Joint Conference on Computational Intelligence (IJCCI 2018). Seville, Spain. Setúbal: SciTePress, 2018. P. 126–134.
3. DL2: Training and querying neural networks with logic / M. Fisher, M. Balunovic, D. Drachsler-Cohen et al. // Proceedings of the 36th International Conference on Machine Learning (ICML 2019). Long Beach, CA, USA. [S. l.]: PMLR, 2019. V. 97. P. 2132–2141.
4. Shibzukhov Z. M. Correct algorithms for aggregation of operations // Pattern Recognition and Image Analysis. 2014. V. 24, No. 3. P. 377–382.
5. Чернов А. В. Развитие аппарата логического дифференциального исчисления в применении к задачам проектирования и диагностики телекоммуникационных систем // Научно-технические ведомости Санкт-Петербургского государственного политехнического университета. 2008. № 2. С. 118–126.
6. Кривуля Г. Ф., Давидов А. А. Оптимизация бинарных решающих деревьев при интеллектуальной диагностике компьютерных систем // Радиоэлектронные и компьютерные системы. 2010. № 6(47). С. 260–265.
7. Кривуля Г. Ф., Власов И. В., Павлов О. А. Оперативное функциональное диагностирование технических объектов с применением темпоральных деревьев решений // Интеллектуальные системы принятия решений и проблемы вычислительного интеллекта: сб. науч. тр. Евпатория, 2013. С. 193–195.
8. Дюкова Е. В., Журавлев Ю. И., Прокофьев П. А. Методы повышения эффективности логических корректоров // Машинное обучение и анализ данных. 2015. Т. 1, № 11. С. 1555–1583.
9. Naimi A. I., Balzer L. B. Multilevel generalization: Introduction to super learning // European Journal of Epidemiology. 2018. V. 33. P. 459–464.
10. Лютикова Л. А. Построение логико-алгебра¬ического корректора для повышения адаптивных свойств ΣΠ-нейрона // Интеграция. Фундаментальные исследования и разработки / Научно-технический вестник. Сер. Современная математика и ее приложения. 2021. С. 539–546.
11. FACE: Feasible and Actionable Counterfactual Explanations / R. Poyiadzi, K. Sokol, R. Santos-Rodriguez et. al. // Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society. New York: ACM, 2020. P. 344–350.
12. Vonder Haar L., Elvira T., Ochoa O. An analysis of explainability methods for convolutional neural networks // Engineering Applications of Artificial Intelligence. 2023. V. 117. Article 105606.
13. Holzinger A., Biemann C., Pattichis C. S., Kell D. B. What do we need to build explainable AI systems for the medical domain? // Reviews in the Medical Informatics. 2022. V. 33, No. 2. P. 95–108.

Eng

1. Molnar, C. (2022). Interpretable machine learning: A guide for making black box models explainable (2nd ed.). Leanpub. https://christophm.github.io/interpretable-ml-book/ (Accessed: 13.12.2025).
2. Dombi, J., & Csiszár, O. (2018). Operator-dependent modifiers in nilpotent logical systems. In Proceedings of the 10th International Joint Conference on Computational Intelligence (IJCCI 2018) (pp. 126–134). SciTePress.
3. Fisher, M., Balunovic, M., Drachsler-Cohen, D., Gehr, T., Zhang, C., & Vechev, M. (2019). DL2: Training and querying neural networks with logic. In Proceedings of the 36th International Conference on Machine Learning (ICML 2019) (Vol. 97, pp. 2132–2141). PMLR.
4. Shibzukhov, Z. M. (2014). Correct algorithms for aggregation of operations. Pattern Recognition and Image Analysis, 24(3), 377–382.
5. Chernov, A. V. (2008). Development of the apparatus of logical differential calculus applied to the problems of designing and diagnosing telecommunication systems. Nauchno-Tekhnicheskie Vedomosti Sankt-Peterburgskogo Gosudarstvennogo Politekhnicheskogo Universiteta, (2), 118–126. [in Russian language]
6. Krivulya, G. F., & Davidov, A. A. (2010). Optimization of binary decision trees in intelligent diagnostics of computer systems. Radioelektronnye i Komp'iuternye Sistemy, (6), 260–265. [in Russian language]
7. Krivulya, G. F., Vlasov, I. V., & Pavlov, O. A. (2013). Operational functional diagnostics of technical objects using temporal decision trees. In Intellektual'nye sistemy priniatiia reshenii i problemy vychislitel'nogo intellekta: sbornik nauchnykh trudov (pp. 193–195). [in Russian language]
8. Dyukova, E. V., Zhuravlev, Yu. I., & Prokofiev, P. A. (2015). Methods for improving the efficiency of logical correctors. Mashinnoe Obuchenie i Analiz Dannykh, 1(11), 1555–1583. [in Russian language]
9. Naimi, A. I., & Balzer, L. B. (2018). Multilevel generalization: Introduction to super learning. European Journal of Epidemiology, 33(5), 459–464.
10. Lyutikova, L. A. (2021). Construction of a logical-algebraic corrector to enhance the adaptive properties of a ΣΠ-neuron. Integratsiia. Fundamental'nye Issledovaniia i Razrabotki // Nauchno-Tekhnicheskii Vestnik. Ser. Sovremennaia Matematika i ee Prilozheniia, 539–546. [in Russian language]
11. Poyiadzi, R., Sokol, K., Santos-Rodriguez, R., De Bie, T., & Flach, P. (2020). FACE: Feasible and actionable counterfactual explanations. In Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society (pp. 344–350). ACM.
12. Vonder Haar, L., Elvira, T., & Ochoa, O. (2023). An analysis of explainability methods for convolutional neural networks. Engineering Applications of Artificial Intelligence, 117, 105606.
13. Holzinger, A., Biemann, C., Pattichis, C. S., & Kell, D. B. (2022). What do we need to build explainable AI systems for the medical domain? Reviews in the Medical Informatics, 33(2), 95–108.

+ - Заказать электронную версию статьи (Purchase digital version of a single article) Click to collapse

Рус

Статью можно приобрести в электронном виде (PDF формат).

Стоимость статьи 700 руб. (в том числе НДС 20%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.

После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.

Для заказа скопируйте doi статьи:

10.14489/vkit.2025.12.pp.023-030

и заполните форму

Отправляя форму вы даете согласие на обработку персональных данных.

Eng

This article is available in electronic format (PDF).

The cost of a single article is 700 rubles. (including VAT 20%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.

After depositing your payment on our bank account we send you file of the article by e-mail.

To order articles please copy the article doi:

10.14489/vkit.2025.12.pp.023-030

and fill out the form