УДК 021.8 + 025.1 ББК 78.34

СТАТЬЯ О ПОСТРОЕНИИ РЕЙТИНГА РОССИЙСКИХ НАУЧНЫХ ЖУРНАЛОВ КАК ПОВОД ПОДУМАТЬ ОБ ОБЩИХ ПРИНЦИПАХ ПРИМЕНЕНИЯ МЕТОДА СВОДНЫХ ПОКАЗАТЕЛЕЙ

Хованов Н. В.1

(Санкт-Петербургский государственный университет, Санкт-Петербург)

Делается попытка сравнить предлагаемый в статье

0. В. Федорца способ агрегации рейтинга периодических изданий с методом сводных показателей (МСП) А. Н. Крылова. Показывается, что отступление от прозрачной структуры МСП влечет неясность положений рассматриваемой статьи.

Ключевые слова: метод сводных показателей, экспертные оценки, агрегация экспертных оценок.

1. Введение

Рассматриваемая статья О. В. Федорца [3] посвящена весьма актуальному вопросу агрегации экспертных оценок важнейших сериальных (периодических и продолжающихся) изданий, входящих в Базу данных ВИНИТИ РАН.

Не менее актуален, на мой взгляд, и вопрос о корректном применении методики агрегирования экспертных оценок для решения конкретных прикладных задач, похожих на задачу, рассматриваемую в работе О. В. Федорца, которой мы восполь-

1 Хованов Николай Васильевич, доктор физико-математических наук, профессор inick@polyidea.com).

зуемся как поводом для уточнения общей схемы агрегации показателей сложных объектов в единый сводный показатель.

Выделяемая общая схема метода сводных показателей (МСП) (раздел 2) и ее идентификация (раздел 3), дают базу для оценки степени корректности процедур обработки экспертной информации, используемых, в частности, О. В. Федорцом.

2. Метод сводных показателей (МСП)

Сущность метода сводных показателей (МСП) состоит в агрегировании («свертке», синтезе и т.д.) оценок сложного объекта, проводимых по различным критериям, в одну сводную (глобальную, обобщенную и т.д.) оценку. Сводная оценка агрегирует отдельные (локальные, частные и т.д.) показатели качества (полезности, предпочтительности и т.д.) объекта.

Отвлекаясь от содержания многокритериальных оценок и от природы оцениваемых объектов, упрощенную схему построения сводного показателя Q некоторого исследуемого объекта можно представить в виде последовательности следующих шагов [2, 5]:

1. Формируется вектор г = (гь ..., zn) исходных характеристик, каждая из которых необходима, а все они вместе достаточны для полного, всестороннего оценивания исследуемого качества объекта. Предполагается, что любая исходная характеристика измеряется по шкале линейного порядка или по какой-либо числовой шкале.

2. Формируется вектор х = (х1, ..., хп) числовых исходных характеристик, каждая из которых представляет собой результат квантификации (арифметизации, «оцифровки») хі = р(г,) исходной характеристики гі, измеряемой по шкале линейного порядка (р(гі) = гі, если гі измеряется по числовой шкале).

3. Формируется вектор q = (д1, ..., qm) отдельных показателей: ді = qi(xi). Обычно предполагается, что отдельные показатели поляризованы (увеличение значения показателя qi при фиксированных значениях всех остальных показателей q;, і ф],

увеличивает значение сводного показателя О) и нормированы (значение = 0 (дг- = 1) соответствует наименьшей (наибольшей) степени проявления оцениваемого качества).

4. Выбирается вид синтезирующей функции, сопоставляющей вектору отдельных показателей значение сводного показателя О = О(д), характеризующее исследуемый объект в целом. При этом обычно предполагается, что синтезирующая функция зависит от вектора V = (^ь ..., wm) весовых коэффициентов, определяющих значимость (важность, весомость, влиятельность и т.д.) отдельных показателей для сводной оценки О = О(д, м>).

5. Определяется значение вектора весовых коэффициентов

V = ..., Wm), V, > 0, w1 + ... + ^т = 1.

Эта схема МСП была четко изложена и проинтерпретирована А. Н. Крыловым [1] еще в 1908 г., что позволяет говорить о методе сводных показателей А. Н. Крылова [5, 6].

3. Идентификация модели агрегации показателей

Как и всякий метод, МСП предполагает некоторую модель, описывающую систему предположений, обосновывающих корректность применения системы процедур, образующих схему метода. Для того чтобы придать общему методу статус прикладной инструментальной методики агрегации показателей, необходимо идентифицировать все компоненты соответствующего метода [4]. Посмотрим, как такая идентификация происходит в рассматриваемой статье О. В. Федорца.

Объектами оценки являются научные периодические издания [3, стр. 17]. Качество объектов, подлежащее оцениванию, в явном виде не формулируется, но по косвенным признакам можно догадаться, что объект (периодическое издание) оценивается по степени «желательности его обработки в ВИНИТИ РАН и отражения в РЖ» [3, стр. 19].

Три исходные числовых характеристики объекта строятся по алгоритму, выбор шагов которого никак не аргументируется [3, стр. 23-25]. Исходным материалом для алгоритма служит мат-

рица экспертных оценок, получаемых с помощью пятибалльной шкалы линейного порядка, к которой добавлен шестой пункт «0», не имеющий прямого отношения к другим пунктам и соответствующий отказу эксперта присвоить объекту одну из пяти оценок [3, стр. 23-24]. Описанная шкала линейного порядка превращается в обычную числовую шкалу просто решением автора: «порядковые номера было решено заменить числовыми значениями в соответствии с вербально-числовой шкалой» [3, стр. 23].

В результате работы алгоритма автор получает для 7-го объекта вектор числовых характеристик х(7) = (х1(7),х27х^)), где

х?) = - «максимальная оценка»; х27) = 87 - «обобщенная

оценка»; х37) - «высший нормированный ранг» [3, стр. 26-27]. К

сожалению, нет нормировки исходных числовых характеристик, которая могла бы дать сравнимые по диапазону варьирования числовые показатели д1(7), д 27), ^3^ степени желательности обработки 7-го объекта в ВИНИТИ РАН [3, стр. 19].

Сводный показатель О уровня оцениваемого качества 7-го объекта определяется номером вектора х(7) = (х1(7), х27х3(7)) в

лексикографически упорядоченном множестве векторов исходных числовых характеристик всех рассматриваемых объектов [3, стр. 14]. Такая оценка периодического издания представляется слишком «оптимистичной», поскольку определяется, в основном, максимальной оценкой х1(7) = М7 7-го объекта, которую, вообще говоря, может дать всего один эксперт.

4. Заключение

Указанные в предыдущем разделе недочеты составляют незначительную часть возможных замечаний к статье О. В. Фе-дорца. Это не означает, что рассматриваемая статья не имеет научного содержания и должна быть отвергнута с порога - ее вполне можно «подлатать» за счет соответствующего числа 78

исправлений имеющихся конкретных неясностей. Однако значительно труднее уменьшить общую неясность предлагаемых автором алгоритмов агрегирования оценок, возникающую, по моему мнению, вследствие недостаточного учета простой схемы метода сводных показателей А. Н. Крылова и имеющегося массива как теоретических, так и прикладных работ российских специалистов в области агрегации экспертной информации. Отсутствие же прозрачности метода не позволяет оценить степень обоснованности и надежности его результатов.

Литература

1. КРЫЛОВ А. Н. Об оценках представленных на конкурс проектов // Собрание трудов. Том I. Часть первая. - М.-Л.: Изд. АН СССР, 1951. - С. 246-248.

2. ЛАРИЧЕВ О. И. Наука и искусство принятия решений.

- М.: Наука, 1979.

3. ФЕДОРЕЦ О. В. Коллективная экспертиза научных журналов: методика агрегирования экспертных оценок и построения рейтинга // Управление большими системами. -2009. - Выпуск 27. - С. 12 - 35.

4. ФИШЕР Ф. Проблема идентификации в эконометрии. -М.: Статистика, 1978.

5. ХОВАНОВ Н. В. Анализ и синтез показателей при информационном дефиците. - СПб.: СПбГУ, 1996.

6. ХОВАНОВ Н. В. Оценка сложных экономических объектов и процессов в условиях неопределенности. К 95-летию метода сводных показателей А. Н. Крылова // Вестник СПбУ. Сер. 5. - 2005. - Выпуск. 1. - С. 138-144.

AN ARTICLE ON RUSSIAN SCIENTIFIC JOURNALS RATING AS AN OCCASION TO REFLECT ON GENERAL PRINCIPLES OF COMPOSITE INDICES METHOD APPLICATION

Nikolai Hovanov, St. Petersburg State University, St. Petersburg, D.Sc., professor (nick@polyidea.com).

Abstract: An attempt to compare the technique of periodicals rating (proposed by O. V. Fedorets in his article) with composite indices method (CIM) by A. N. Krylov is made. It is demonstrated that deviation from the transparent structure of CIM implies uncertain judgements in the considered article.

Keywords: composite indices method, expert estimations, aggregation of estimations.