|
DOI: 10.14489/vkit.2023.03.pp.009-020
Арефьева Д. Я., Логунова О. С., Ильина Е. А., Дьяконов Н. А.
ИСПОЛЬЗОВАНИЕ МЕТОДОВ ЭКСПЕРТНОЙ ОЦЕНКИ ДЛЯ ВЫБОРА КРИТЕРИЕВ ИСТИННОСТИ ПУБЛИКАЦИОННЫХ КОЛЛАБОРАЦИЙ
(с. 9-20)
Аннотация. Представлено определение публикационной коллаборации научных работников. Описаны истинные и ложные виды коллабораций. Сформирован перечень внешних и внутренних альтернатив (показателей) для их оценки. Приведена девятиэкранная схема системы оценки научной деятельности в области публикационной активности Магнитогорского государственного технического университета имени Г. И. Носова. В традиционной системе оценки публикационной активности отсутствуют критерии истинности или ложности сложившихся коллабораций. Поэтому для соблюдения публикационной этики возникает вызов по разработке экспертных систем. Для этого выбрана группа экспертов – руководители научных и образовательных организаций, сформировавшая перечень внешних и внутренних альтернатив (показателей) для определения истинности публикационных коллабораций научных работников высшего учебного заведения. Рассчитаны коэффициенты для оценки компетентности и согласованности экспертов.
Ключевые слова: публикационная активность; коллаборация; экспертная оценка; альтернативы; компетентность; согласованность.
Arefeva D. Ya., Logunova O. S., Ilina E. A., Dyakonov N. A.
USING EXPERT REVIEW METHODS TO SELECT TRUE CRITERIA FOR PUBLICATION COLLABORATIONS
(pp. 9-20)
Abstract. The purpose of the scientific work is to assess the quality of a set of scientometric indicators to determine the degree of truth of publication scientific collaborations. The paper presents the definition of a publication collaboration of scientists. The main types of collaborations are described: true and false. A list of external and internal alternatives (indicators) for their assessment has been formed. As an analysis of the system for evaluating scientific activity, a ninescreen diagram of the system for evaluating activities in the field of publication activity of the FSBEI HE “Nosov Magnitogorsk State Technical University” (NMSTU). From the analysis of the scheme, it can be seen that today there is a traditional system for evaluating publication collaborations. It has been determined that the existing system for assessing the degree of truth of publication collaborations must be supplemented with decisionmaking scenarios and an updated list of indicators for assessing links between the authors of scientific papers. For this, a group of experts (heads of scientific and educational organizations) was selected, who formed a list of external and internal alternatives (indicators) to assess the truth of publication collaborations of scientists of a higher educational institution. For the reliability of the results of the formation of the list of alternatives, it was decided that it was necessary to assess the competence and consistency of experts. The list of external alternatives for evaluating the validity of publication collaborations was used as the initial data for peer review. Coefficients were calculated to assess competence and consistency. It is concluded that the generated list of external alternatives is considered qualitative for assessing the degree of truth of publication collaborations.
Keywords: Publication activity; Collaboration; Peer review; Alternatives; Competence; Consistency.
Д. Я. Арефьева, О. С. Логунова, Е. А. Ильина, Н. А. Дьяконов (Магнитогорский государственный технический университет им. Г. И. Носова, Магнитогорск, Россия) E-mail:
Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
D. Ya. Arefeva, O. S. Logunova, E. A. Ilina, N. A. Dyakonov (Nosov Magnitogorsk State Technical University, Magnitogorsk, Russia) E-mail:
Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
1. Logunova O. S., Ilina E. A., Arefeva D. Ya., Dyorina N. V. Index Analysis of Academic Staff Publication Activity Control // Математическое и программное обеспечение систем в промышленной и социальной сферах. 2015. № 1(6). С. 43 – 47.
2. Tissington P., Senior C. Research Activity and the New Pedagogy: why Carrying out Research is Essential for Effective Learning // Front. Psychol. 2017. V. 8. P. 1 – 4.
3. Прочко А. Л., Тищенко В. И. Коллаборация и публикационная активность // Тр. Института системного анализа Российской академии наук. 2020. Т. 70, № 4. С. 68 – 78.
4. Шестак В. П., Шестак Н. В. Этос, рейтинг вуза и публикационная активность преподавателя вуза // Высшее образование в России. 2012. № 3. С. 29 – 40.
5. Акоев М. А. Руководство по наукометрии: индикаторы развития науки и технологии. Екатеринбург: Изд-во Уральского ун-та, 2014. 250 с.
6. Pitsolanti M., Papadopoulou F., Tselios N. A Scientometric Evaluation of 50 Greek Science and Engineering University Departments Using Google Scholar // Journal of Scientometric. 2018. V. 7, No. 1. P. 9 – 18.
7. Martín-Martín A., Orduna-Malea E., Thelwall M., Delgado López-Cózara E. Google Scholar, Web of Science, and Scopus: a Systematic Comparison of Citations in 252 Subject Categories // Journal of Informetrics. 2018. V. 12, No. 4. P. 1160 – 1177.
8. Логунова О. С., Ильина Е. А., Арефьева Д. Я. Историческое развитие и перспективы системы оценки публикационных коллабораций // Энергетические и электротехнические системы: сб. Магнитогорск: Изд-во Магнитогорского государственного технического университета имени Г. И. Носова. 2018. С. 141 – 146.
9. Научные публикационные коллаборации: структурирование и визуализация информации / О. С. Логунова, Д. Я. Арефьева, Д. А. Сухов и др. // Вестник Череповецкого государственного университета. 2019. № 5(92). С. 22 – 41.
10. Elliott M. Stigmergic Collaboration: A Framework for Understanding and Designing Mass Collaboration // Mass Collaboration and Education. Computer-Supported Collaborative Learning Series. 2016. V. 16. P. 65 – 84.
11. Cress U., Jeong H., Moskaliuk J. Mass Collaboration as an Emerging Paradigm for Education? Theories, Cases, and Research Methods // Mass Collaboration and Education. Computer-Supported Collaborative Learning Series. 2016. V. 16. P. 3 – 27.
12. Zhou P., Pan Y. A Comparative Analysis of Publication Portfolios of Selected Economies // Scientometrics. 2015. V. 105, No. 2(2). P. 825 – 842.
13. Логунова О. С., Ильина Е. А., Арефьева Д. Я. Структура массива для разработки программного модуля для определения ложности научных коллабораций // Актуальные проблемы современной науки, техники и образования: тезисы докл. 76-й междунар. науч.-техн. конф. 16 – 20 апреля 2018 г. Магнитогорск: Изд-во Магнитогорского государственного университета имени Г.И. Носова, 2018. Т. 1. С. 261–262.
14. Рыков А. С. Системный анализ: модели и методы принятия решений и поисковой оптимизации. М.: ИД «МИСиС», 2009. 608 с.
15. Гринев А. В. Использование наукометрических показателей при оценке публикационной активности в современной России // Вестник Российской академии наук. 2019. Т. 89, № 10. С. 993 – 1002.
16. Зацаринный А. А., Ионенков Ю. С. О применении экспертных методов при оценке эффективности и качества информационных систем // Системы и средства информатики. 2022. Т. 32, № 2. С. 47 – 57.
17. Клевец Н. И. Сравнительный анализ методов многокритериального ранжирования альтернатив // Научный вестник: финансы, банки, инвестиции. 2018. № 2(43). С. 153 – 163.
18. Басовский Л. Е. Теория экономического анализа. М.: ИНФРА-М, 2001. 222 с.
19. Афоничкин А. И., Михаленко Д. Г. Управленческие решения в экономических системах. СПб.: Питер, 2009. 480 с.
20. Лисецкий Ю. М., Каревина Н. П. Об автоматизации экспертных оценок // Математические машины и системы. 2008. № 1. С. 151 – 162.
1. Logunova O. S., Ilina E. A., Arefeva D. Ya., Dyorina N. V. (2015). Index Analysis of Academic Staff Publication Activity Control. Matematicheskoe i programmnoe obespechenie sistem v promyshlennoy i sotsial'noy sferah, 6(1), pp. 43 – 47. [in Russian language]
2. Tissington P., Senior C. (2017). Research Activity and the New Pedagogy: why Carrying out Research is Essential for Effective Learning. Frontiers in Psychology, Vol. 8, pp. 1 – 4.
3. Prochko A. L., Tishchenko V. I. (2020). Collaboration and publication activity. Trudy Instituta sistemnogo analiza Rossiyskoy akademii nauk, Vol. 70 (4), pp. 68 – 78. [in Russian language]
4. Shestak V. P., Shestak N. V. (2012). Ethos, University Ranking and Publication Activity of a University Teacher. Vysshee obrazovanie v Rossii, (3), pp. 29 – 40. [in Russian language]
5. Akoev M. A. (2014). Guide to scientometrics: indicators of the development of science and technology. Ekaterinburg: Izdatel'stvo Ural'skogo universiteta. [in Russian language]
6. Pitsolanti M., Papadopoulou F., Tselios N. (2018). A Scientometric Evaluation of 50 Greek Science and Engineering University Departments Using Google Scholar. Journal of Scientometric, Vol. 7 (1), pp. 9 – 18.
7. Martín-Martín A., Orduna-Malea E., Thelwall M., Delgado López-Cózara E. (2018). Google Scholar, Web of Science, and Scopus: a Systematic Comparison of Citations in 252 Subject Categories. Journal of Informetrics, Vol. 12 (4), pp. 1160 – 1177.
8. Logunova O. S., Il'ina E. A., Aref'eva D. Ya. (2018). Historical development and perspectives of the evaluation system of publication collaborations. Energy and electrical systems: collection, pp. 141 – 146. Magnitogorsk: Izdatel'stvo Magnitogorskogo gosudarstvennogo tekhnicheskogo universiteta imeni G. I. Nosova. [in Russian language]
9. Logunova O. S., Aref'eva D. Ya., Suhov D. A. et al. (2019). Scientific publishing collaborations: structuring and visualizing information. Vestnik Cherepovetskogo gosudarstvennogo universiteta, 92(5), pp. 22 – 41. [in Russian language]
10. Elliott M. (2016). Stigmergic Collaboration: A Framework for Understanding and Designing Mass Collaboration. Mass Collaboration and Education. Computer-Supported Collaborative Learning Series, Vol. 16, pp. 65 – 84.
11. Cress U., Jeong H., Moskaliuk J. (2016). Mass Collaboration as an Emerging Paradigm for Education? Theories, Cases, and Research Methods. Mass Collaboration and Education. Computer-Supported Collaborative Learning Series, Vol. 16, pp. 3 – 27.
12. Zhou P., Pan Y. (2015). A Comparative Analysis of Publication Portfolios of Selected Economies. Scientometrics, Vol. 105 2(2), pp. 825 – 842.
13. Logunova O. S., Il'ina E. A., Aref'eva D. Ya. (2018). Array structure for developing a software module for determining the falsity of scientific collaborations. Actual problems of modern science, technology and education: abstracts of the report of the 76th international scientific and technical conference, Vol. 1, pp. 261 – 262. Magnitogorsk: Izdatel'stvo Magnitogorskogo gosudarstvennogo universiteta imeni G.I. Nosova. [in Russian language]
14. Rykov A. S. (2009). System Analysis: Models and Methods for Decision Making and Search Engine Optimization. Moscow: ID «MISiS». [in Russian language]
15. Grinev A. V. (2019). The use of scientometric indicators in assessing publication activity in modern Russia. Vestnik Rossiyskoy akademii nauk, Vol. 89 (10), pp. 993 – 1002. [in Russian language]
16. Zatsarinniy A. A., Ionenkov Yu. S. (2022). On the application of expert methods in assessing the effectiveness and quality of information systems. Sistemy i sredstva informatiki, Vol. 32 (2), pp. 47 – 57. [in Russian language]
17. Klevets N. I. (2018). Comparative analysis of methods of multi-criteria ranking of alternatives. Nauchniy vestnik: finansy, banki, investitsii, 43(2), pp. 153 – 163. [in Russian language]
18. Basovskiy L. E. (2001). Theory of economic analysis. Moscow: INFRA-M. [in Russian language]
19. Afonichkin A. I., Mihalenko D. G. (2009). Management decisions in economic systems. Saint Petersburg: Piter. [in Russian language]
20. Lisetskiy Yu. M., Karevina N. P. (2008). About automation of expert assessments. Matematicheskie mashiny i sistemy, (1), pp. 151 – 162. [in Russian language]
Статью можно приобрести в электронном виде (PDF формат).
Стоимость статьи 500 руб. (в том числе НДС 20%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.
После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.
Для заказа скопируйте doi статьи:
10.14489/vkit.2023.03.pp.009-020
и заполните форму
Отправляя форму вы даете согласие на обработку персональных данных.
.
This article is available in electronic format (PDF).
The cost of a single article is 500 rubles. (including VAT 20%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.
After depositing your payment on our bank account we send you file of the article by e-mail.
To order articles please copy the article doi:
10.14489/vkit.2023.03.pp.009-020
and fill out the form
.
|
Архив номеров
Разработка концепции и создание сайта - ООО «Издательский дом «СПЕКТР»