Повідомлення про помилку

  • Notice: Undefined offset: 54 в user_node_load() (рядок 3694 із E:\sites\nbuv.gov.ua\www\modules\user\user.module).
  • Notice: Trying to get property of non-object в user_node_load() (рядок 3694 із E:\sites\nbuv.gov.ua\www\modules\user\user.module).
  • Notice: Undefined offset: 54 в user_node_load() (рядок 3695 із E:\sites\nbuv.gov.ua\www\modules\user\user.module).
  • Notice: Trying to get property of non-object в user_node_load() (рядок 3695 із E:\sites\nbuv.gov.ua\www\modules\user\user.module).
  • Notice: Undefined offset: 54 в user_node_load() (рядок 3696 із E:\sites\nbuv.gov.ua\www\modules\user\user.module).
  • Notice: Trying to get property of non-object в user_node_load() (рядок 3696 із E:\sites\nbuv.gov.ua\www\modules\user\user.module).

Недостатки индексов цитируемости и Хирша. Индексы максимальной цитируемости

Рубрика: 
Інформаційні джерела та методичні матеріали
Індекси цитування
Індекс Хірша

Недостатки индексов цитируемости и Хирша. Индексы максимальной цитируемости

© А.Д. Полянин
10 февраля 2014

Обсуждаются индекс цитируемости и индекс Хирша, которые являются главными наукометрическими показателями, используемыми в настоящее время для оценки эффективности деятельности научных работников и преподавателей вузов. Указаны их основные недостатки. Рассмотрен ряд наглядных примеров. Показано, что нормированный индекс цитируемости (учитывающий наличие соавторов) имеет ряд ощутимых преимуществ по сравнению с другими наукометрическими показателями. Предложены новые индексы — индексы максимальной цитируемости, которые легко вычисляется, допускают простую и ясную интерпретацию и обладают рядом ощутимых преимуществ по сравнению с индексом Хирша.

В последнее время Минобрнауки РФ стало оценивать эффективность деятельности научных работников и преподавателей вузов с помощью наукометрических показателей, основанных на международных системах цитирования Web of Science, Scopus и др. В данной статье обсуждается объективность этих показателей и указаны их недостатки на примере наиболее популярной системы Web of Science, принадлежащей корпорации Thomson Reuters (США). Даны конкретные рекомендации и приведены новые простые формулы, позволяющие лучше оценивать эффективность деятельности ученых.

Замечание 1. Все сказанное ниже в полном объеме относится также к Российскому индексу научного цитирования (РИНЦ).

1. Предварительные замечания

Не существует наукометрических показателей, которые способны абсолютно точно оценивать эффективность деятельности научных работников. Однако нельзя не признать и важность наукометрии: она позволяет путем количественного анализа публикаций и их цитируемости сравнивать условную эффективность деятельности ученых, а также определять, какие направления науки сейчас особенно популярны, какие, наоборот, утрачивают популярность. Но абсолютизировать эти данные и принимать решения, основываясь только на них, совершенно недопустимо.

Международный союз математиков в июне 2008 г. распространил доклад, в котором говорится, что статистика цитирований может дать только ограниченную и неполную оценку качества проведенного исследования и что необходимо очень осторожно и корректно использовать эту статистику. В настоящее время существует множество наукометрических показателей, достаточно полное описание которых можно найти в [16]. На практике наиболее широкое распространение получили два наукометрических показателя: индекс цитируемости и индекс Хирша [1], которые используются системой Web of Science. Указанные индексы обладают рядом существенных недостатков, которые обсуждаются ниже в разд. 2 и 3. В разд. 46 описаны наукометрические показатели, позволяющие делать значительно более точные сравнительные оценки условной эффективности деятельности ученых.

При сравнении наукометрических показателей безусловное предпочтение должно отдаваться (при прочих равных) наиболее простым и легко вычисляемым показателям, которые допускают очевидную или несложную интерпретацию.

2. Индекс цитрируемости (ИЦ)

Индекс цитируемости I определяется суммарным числом ссылок на статьи данного ученого в статьях других авторов:

I = N Ci 
Σ
i=1
(1)

где N – общее число цитируемых работ, Ci – число ссылок на i-ю работу. Учитываются только статьи, входящие в достаточно широкий (но ограниченный) список англоязычных журналов, индексируемых системой Web of Science. Самоцитирование не учитывается.

Сейчас ИЦ отводится важное место в оценке деятельности ученого, поскольку большое число ссылок на работы автора, как правило, говорит о востребованности его исследований и популярности в научном сообществе.

Основные недостатки использования индекса цитирования:

  1. Индекс цитируемости не учитывает личный вклад автора (при подсчете ИЦ все равно писались ли статья десятью авторами или автор был один).
  2. В стандартной схеме ИЦ, используемой Web of Science, не учитываются ссылки на книги и другие публикации, отличные от журнальных статей см. Примеры 13). Не учитываются также ссылки в неанглоязычных источниках.
  3. В индексе цитируемости учитываются даже те ссылки, где статьи автора подвергаются серьезной критике (см. Пример 4) и результаты считаются ошибочными или просто недостоверными (например, с подтасованными экспериментальными данными).
  4. Некоторые пионерские работы незаслуженно забываются, а цитируются вторичные работы, опубликованные позже (см. Пример 5). В ряде случаев это связано с появлением различных приложений. См. также п. 11.
  5. Цитирование сильно зависит от журнала, где публикуется статья. Нередко наибольшее цитирование приносят не научные, а научно-популярные статьи (см. Пример 6).
  6. Если работа важная, но достаточно сложная для понимания, то её цитирование может откладываться на многие годы.
  7. Совершенно не учитываются ссылки на статьи, приведенные даже в известных и хорошо цитируемых книгах (подобные ссылки в книгах учеными обычно ценятся значительно выше, чем ссылки в обычных статьях).
  8. Мало цитируются статьи, опубликованные в переводных журналах (поэтому необходимо делать поправку при сравнении ИЦ российских и зарубежных ученых).
  9. Цитирование часто зависит от личных отношений и других случайных факторов.
  10. Существуют различные способы искусственного наращивания ИЦ (например, друзья и коллеги договариваются о взаимных цитированиях результатов друг друга и др.).
  11. Встречаются случаи, когда специально игнорируются и мало цитируются (вообще не цитируются) работы ученых, не принадлежащих доминирующей научной школе.

Указанные и некоторые другие недостатки сильно снижают объективность и значимость индекса цитируемости для оценки эффективности деятельности научных работников и преподавателей вузов. Рассмотрим несколько ярких примеров, подчеркивающих недостатки ИЦ.

Пример 1. Григорий Перельман был выдвинут на две самые престижные международные премии в области математики (но отказался их получать) за результаты, опубликованные в трех препринтах в arXiv.org. На эти работы имеется множество ссылок в журналах, индексируемых Web of Science, однако поскольку препринты не индексируются этой системой, то все ссылки на них не учитываются при подсчете ИЦ (сказанное в полной мере относится также к индексу Хирша, о котором пойдет речь ниже).

Пример 2. Статью Б.П. Белоусова в 1951 г. дважды отклоняли в редакциях советских журналов, поэтому опубликовать результаты исследований колебательной реакции (реакция Белоусова–Жаботинского) он смог только в сокращенном виде спустя 8 лет в ведомственном сборнике, выходившем небольшим тиражом. Впоследствии эта статья стала одной из самых цитируемых в данной области. Web of Science игнорирует подобные публикации и ссылки на них.

Пример 3. Книги обычно являются итогом многолетней работы, куда помимо обзора существующих публикаций авторы часто включают ряд новых результатов, не опубликованных в других источниках (включение в книгу новых результатов приносит несомненную пользу поскольку увеличивает число потенциальных читателей и тираж книги). Исключение книг при стандартной схеме подсчета ИЦ – очевидная нелепость, поскольку в ИЦ в полной мере учитываются обзорные статьи (по статистике именно эти статьи цитируются больше всего), вообще не содержащие новых результатов.

Если, например, не учитывать оригинальные и часто цитируемые книги акад. Л.В. Овсянникова, то его ИЦ по данным Web of Science составляет всего I=33 (начиная с 1980 года); если книги учитывать, то ИЦ см. в табл. 2. (Здесь и далее данные по индексам цитируемости и Хирша соответствуют середине декабря 2013 г.)

Пример 4. Один американский ученый китайского происхождения с высоким индексом цитируемости (назовем его W) недавно написал много статей, которые примерно назывались так: "Новые точные решения уравнения (далее шло название уравнения)". Мой коллега профессор (назовем его K) обнаружил, что во всех этих статьях нет новых решений. В результате он опубликовал ряд статей, в которых было доказано, что в статьях W нет новых результатов. Через некоторое время K получил от W письмо примерно следующего содержания: "Ну что ты ко мне привязался? Знай, что все твои публикации, направленные против меня, повышают мой индекс цитируемости!"

Пример 5. К сожалению, известны случаи, когда история выдающихся научных достижений забывается или ее полностью или частично пытаются переписать. Приведем пару ярких примеров.

Публикации А. Пуанкаре (1897–1905 гг.), связанные с созданием основ специальной теории относительности (включая известную формулу E = mc2, условность понятия одновременности, принцип относительности, постоянство скорости света, преобразования Лоренца, инвариантность уравнений Максвелла и др.), предшествовали статье А. Эйнштейна & М. Марич (1905 г.), которую потом необоснованно стали считать основополагающей и многократно цитировали. Об объяснении этого парадокса и истории вопроса см., например, [7].

Китайские математики Цао Хуайдун и Чжу Сипин в 2006 г. предприняли неудачную попытку отнять приоритет доказательства гипотезы Пуанкаре у Г. Перельмана (2002–2003 гг.). Интересно отметить, что не содержащая новых результатов статья китайских математиков [9] цитируется более 100 раз по данным Web of Science (а оригинальные публикации Г. Перельмана вообще не учитываются)!

Пример 6. Наиболее престижные журналы Nature и Science часто помещают научно-популярные статьи, которые широко цитируются и индексируются Web of Science, но не содержат обоснованных научных результатов. По мнению Рэнди Шекмана (лауреат Нобелевской премии по медицине 2013 года) редакторов этих журналов, которые являются не учёными, а издателями, интересует прежде всего шумиха, сенсация и фурор.

Замечание 2. Корпорация Thomson Reuters (США) является сугубо коммерческой (а не научной) организацией, которая получает весьма немалые деньги от научных, образовательных и др. организаций за предоставление данных по импакт-факторам журналов и цитированию авторов на базе системы Web of Science. В настоящее время Thomson Reuters – монополист в указанной выше области информационных услуг. Web of Science не индексирует книги, поскольку они не являются периодическими изданиями, и не учитывает ссылки на них при подсчете индексов цитируемости и Хирша.

Интересно отметить, что указанные индексы с учетом ссылок на книги можно определить с помощью Web of Science, используя данные о "скрытых ссылках" (опция "Cited Reference Search").

Замечание 3. Для определения индексов цитируемости и Хирша полезно использовать систему Google Scholar, созданную на основе наиболее мощной поисковой системы Интернета Google (http://scholar.google.com), которая отличается от Web of Science тем, что позволяет:

(i) получать необходимую информацию бесплатно,

(ii) учитывать дополнительные публикации, которых нет в базе данных Web of Science.

В Google Scholar (с помощью опции "My Citations") можно создать список цитируемых работ автора и автоматически вычислять индексы цитируемости и Хирша. В качестве наглядного примера см. стр. http://scholar.google.ru/citations?user=bf6n9eMAAAAJ&hl=ru&oi=ao, которую сделал проф. А.В. Манжиров.

Для широкого круга ученых, которые преимущественно публикуются в соавторстве (зачастую в многочисленном), ИЦ практически бесполезен для оценки их деятельности.

Отметим единственное очевидное достоинство подсчета ИЦ (с учетом всех видов публикаций ученого, включая статьи, книги и препринты). Если работы автора не цитируются или очень мало цитируются, то они:

(i) либо малоинтересны и никому не нужны,

(ii) либо еще не востребованы (что бывает значительно реже).

Замечание 4. Данные Web of Science и любых других поисково-аналитических систем, включая Google Scholar, обязательно требуется проверять, поскольку при цитировании работ авторы публикаций нередко вносят различные неточности (не только в выходных данных и названии работы, но даже при написании фамилий авторов, особенно если цитируется неанглоязычная статья). Наибольшие неточности возникают при цитировании книг (в книге и на сайте издательства может быть указан разный год издания, что приводит к путанице при ее цитировании). См. также замечание 9.

Замечание 5. При сравнении индексов цитируемости российских и зарубежных ученых, а также импакт-факторов переводных российских и англоязычных журналах, необходимо учитывать два важных обстоятельства:

(i) В ведущих зарубежных англоязычных журналах полный текст статьи обычно выкладывается в Интернете через 7–10 дней после ее одобрения редколлегией (необходимые исправления в статью вносятся уже позже). В российских журналах обычно это происходит лишь через 5–10 месяцев после ее одобрения (сначала идет редактирование, затем набор, потом перевод на английский, после этого вносятся исправления, и, наконец, статья выкладывается в Интернете). В итоге ученые читают англоязычные статьи, которые переводятся в России, намного позже, чем статьи, издаваемые непосредственно за рубежом. Это резко снижает импакт-факторы переводных российских журналов и цитирование статей по сравнению с англоязычными журналами.

(ii) Статьи в переводных российских журналах цитируются двумя различными способами: может даваться англоязычное название журнала или русскоязычное название, написанное латинскими буквами (при этом часто используются различные сокращения названия). В подобных случаях Web of Science считает, что ссылки относятся к разным статьям. Это снижает импакт-факторы переводных российских журналов.

Отметим также, что в последнее время в мире появилось много научных журналов, которые выкладывают статьи в свободном доступе в Интернете (Open Access Journals). За публикации в этих журналах авторы платят деньги, иногда немалые (рецензирование в этих журналах обычно носит формальный характер). Часть этих журналов индексируется Web of Science. Таким образом, имеется реальная возможность наращивать количество публикаций и индексы цитирования за деньги.

3. Индекс Хирша (ИХ)

Индекс Хирша (h-индекс) определяется так [19]:

Учёный, опубликовавший N статей, имеет индекс h, если h его статей цитируются не менее, чем h раз каждая, а любая из оставшихся (Nh) статей цитируются не более, чем h раз.

Для определения ИХ статьи автора нумеруют в убывающем порядке по суммарному числу ссылок на каждую из них (статьи с одинаковым цитированием произвольно располагаются одна за другой и последовательно нумеруются). Имеем C1C2C3 ≥ ... (Ck – число ссылок на k-ю работу). Если есть статья, номер которой k совпадает с числом её цитирований Ck, то это и есть индекс Хирша: h = k = Ck. Если такой статьи нет, то индекс Хирша h равен номеру статьи k, для которой одновременно выполняются два неравенства: Ck > k, Ck+1 < k+1. Эти неравенства можно заменить одним условием: (Ckk)(Ck+1k – 1) < 0.

Индекс Хирша имеет достаточно сложную и весьма неубедительную интерпретацию, которая непонятна подавляющему большинству специалистов далеких от физики (включая, в первую очередь, людей, работающих в гуманитарных науках).

Индекс Хирша существенно зависит от области исследований. Например, в математике он существенно ниже, чем в физике, а в физике существенно ниже, чем в биохимии и медицине.

ИХ многократно критиковался в различных работах (см. например [1012]).

Основные недостатки использования индекса Хирша:

  1. Индекс Хирша не учитывает информацию о наиболее важных высокоцитируемых работах.
  2. Индекс Хирша не учитывает личный вклад автора (при подсчете ИХ все равно писались ли статья десятью авторами или автор был один).
  3. В стандартной схеме ИХ, используемой Web of Science, не учитываются ссылки на книги авторов. Не учитываются также ссылки в неанглоязычных источниках.
  4. В индексе Хирша учитываются даже те ссылки, где статьи автора подвергаются серьезной критике и результаты считаются ошибочными или просто недостоверными.
  5. Cтандартная система подсчета ИХ не различает цитирования данного ученого другими учеными от его самоцитирования. Это открывает возможности для искусственного увеличения ИХ.
  6. Два человека с одинаковыми ИХ могут иметь полную цитируемость (ИЦ), отличающуюся в десятки раз (см. Пример 7 ниже).
  7. Сопоставление ученых по ИХ может приводить к совершенно абсурдным результатам (см. Пример 8 ниже).
  8. Цитирование статей из переводных российских журналов происходит двумя различными способами: либо указывается англоязычное название журнала, либо латинскими буквами дается его русскоязычное название. Web of Science воспринимает цитирование такой статьи как цитирование двух различных статей (при этом ИХ может уменьшиться).
  9. Другие недостатки ИХ аналогичны недостаткам ИЦ, описанным в пп. 411 в разд. 2.

Рассмотрим пару конкретных примеров, подчеркивающих существенные недостатки сопоставления деятельности ученых по ИХ.

Пример 7. Первый ученый написал в соавторстве 10 статей, каждая из которых цитируется 10 раз. Второй ученый один написал 10 статей, каждая из которых цитируется 100 раз, и 100 статей, каждая из которых цитируется 10 раз. Индексы Хирша первого и второго ученого одинаковы и равны 10. При этом суммарная цитируемость этих ученых отличается в 20 раз в пользу второго ученого (даже без учета соавторства первого).

Пример 8. Первый ученый написал 5 книг, каждая из которых цитируется более 200 раз, а второй – одну статью, которая цитируется один раз. У первого ученого ИХ равен нулю (поскольку книги не учитываются), а у второго – ИХ больше и равен единице. При этом суммарная цитируемость этих ученых отличается более чем в 1000 раз в пользу первого ученого.

Если, например, не учитывать книги акад. Л.В. Овсянникова, то его ИХ по данным Web of Science составляет всего h = 4 (если книги учитывать, то ИХ см. в табл. 2).

Отметим, что шесть примеров, приведенных в разд. 2 в полной мере справедливы и для ИХ.

Простейшие попытки улучшить ИХ основаны на учете соавторов. В частности, вводился индивидуальный h-индекс [3], равный результату деления обычного ИХ на среднее число авторов в статьях, которые входят в Хирш-ядро публикаций (используемых для его вычисления). Предлагалась также модификация индивидуального ИХ, когда вместо полного числа цитирований каждой статьи используется отношение числа цитирований к числу авторов публикации. Другие возможности учета числа соавторов обсуждаются в работе [9].

Следует отметить однако, что индекс Хирша и его модификации, указанные выше, практически полностью игнорируют наиболее важную информацию о высокоцитируемых работах, которыми обычно гордятся ученые. Нелепая логика использования этого индекса аналогична тому, когда врач при анализе состояния здоровья больного учитывает только его рост, вес или цвет волос. Если бы аналог индекса Хирша использовался в спорте, то чемпионами были бы спортсмены, имеющие стабильные средние (а не максимальные) результаты.

Вывод: индекс Хирша абсолютно бесполезен для анализа эффективности деятельности научных работников поскольку может привести не только к грубым ошибкам, но и к совершенно абсурдным результатам.

Для иллюстрации дополнительных проблем, которые мы пока не затрагивали и которые возникают при вычислении ИЦ и ИХ, попробуем разобраться в данных по цитированию Г.Я. Перельмана (см. Пример 1). Web of Science приводит информацию по цитированию 20 публикаций, 5 из которых надо сразу отбросить, поскольку они относятся к Галине Перельман или отличаются вторым инициалом. В остальных инициал или инициалы правильные, но есть года, когда Гриша уже перестал публиковаться или не совпадает тематика. Для того, чтобы отсечь лишнее, надо смотреть исходные статьи в журналах (здесь нужен специалист, не чиновник). Это наиболее простой пример, поскольку статей и однофамильцев мало.

В табл. 1 в первом и третьем столбцах приведены значения ИЦ и ИХ, которые выдает Web of Science на всех Перельманов сразу (при этих расчетах не учитывались ссылки на публикации Перельманов, которые не входят в базу Web of Science, хотя сами ссылки могли даваться в журналах из этой базы). Во втором и четвертом столбцах даны значения ИЦ и ИХ Гриши Перельмана, которые учитывают скрытые ссылки из журналов, индексируемых Web of Science (см. замечание 6). Из табл. 1 видно, что ИЦ и ИХ могут в три – пять раз различаться в зависимости от способа проведения подсчета. Исходя из результатов применения стандартной методики Web of Science, можно сделать очевидный, но ошибочный вывод, что Г. Перельман самый заурядный специалист (а не выдающийся ученый). Неоднозначность интерпретации значений ИЦ и ИХ (и методов их подсчета) дает широкий простор для различных манипуляций чиновников от науки.

Таблица 1. Некоторые наукометрические показатели Г. Перельмана за 1980–2013 гг.
Индекс
цитируемости
по данным Web
of Science,
формула (1)
Индекс
цитируемости с
учетом скрытых
ссылок
(по данным [6])
Индекс Хирша по
данным Web of
Science
Индекс Хирша с
учетом скрытых
ссылок
(по данным [6])
Нормированный
индекс
цитируемости (2)
с учетом скрытых
ссылок
(по данным [6])
324 1600 6 17 1332

4. Нормированные индексы цитируемости

Чтобы учесть индивидуальный вклад ученого при наличии соавторов надо общее число цитирований на данную статью поделить на число ее авторов (простой бытовой аналог: деление ящика яблок на несколько человек). Поэтому вместо индекса цитируемости следует использовать нормированный индекс цитируемости In, который учитывает наличие соавторов (нередко и весьма многочисленных), и определяется так [6]:

In = N Ci/Mi 
Σ
i=1
(2)

где N – общее число цитируемых работ, Ci – число ссылок на i-ю работу, Mi – число соавторов i-ой работы. В этой формуле помимо ссылок на статьи надо учитывать также ссылки на книги и препринты в статьях, которые имеются в базе цитирования Web of Science (тогда будут исключены нелепости, подобные тем, которые имеют место с цитированием работ Г. Перельмана, см. Пример 1 выше).

Приведенная формула для In устраняет два наиболее существенных недостатка стандартного индекса цитирования, указанных в пп. 1 и 2 разд. 2.

Основными недостатками нормированного индекса цитируемости является трудоемкость:

(i) вычисления In при больших значениях N,

(ii) проверки вручную приведенных в разных источниках данных In.

Для оценки деятельности ученых целесообразно использовать также величину InT – нормированный индекс цитируемости за определённый период времени (например, за последние пять лет, T=5). Этот индекс является текущим показателем эффективности работы ученого за последнее время.

Замечание 6. Нормированный индекс цитируемости можно определить, используя данные о "скрытых ссылках" с помощью Web of Science (опция "Cited Reference Search").

Замечание 7. Нормированные индексы цитирования In и I7 некоторых российских ученых и другие любопытные данные приводятся в Интернете [6]. Нормированный индекс цитируемости Г. Перельмана с учетом скрытых ссылок дан в табл. 1.

Замечание 8. Нормированные индексы цитируемости меньше зависят от области исследований, чем индекс цитируемости (ИЦ) и индекс Хирша. Это обусловлено тем, что в математике многие статьи пишутся одним автором, в физике работы достаточно часто имеют небольшое число соавторов, а химии и медицине, как правило, статьи имеют много (иногда очень много) соавторов. Если известен индекс цитируемости I, то нормированный индекс цитируемости In приближенно можно оценить по формуле

In = kNI, kN = N/ N Mi 
Σ
i=1
(3)

где kN – коэффициент соавторства, N – общее число цитируемых работ, Mi – число соавторов i-ой работы. Обычно при достаточно большом N коэффициент kN слабо меняется для данного автора (0 < kN ≤1).

5. Использование индексов цитируемости для оценки работы коллективов

Нормированный индекс цитируемости удобно использовать при оценке эффективности деятельности работы научных коллективов (лабораторий, институтов и др.). При этом нормированный индекс цитируемости коллектива определяется простой суммой индивидуальных нормированных индексов цитируемости отдельных ученых, составляющих коллектив (индивидуальные ИЦ и ИХ при наличии соавторов в коллективе суммировать нельзя).

Полезно использовать также относительный (удельный) индекс цитируемости, который равен нормированному индексу цитируемости коллектива, деленному на число входящих в него людей.

6. Индекс максимальной цитируемости (f-индекс)

Как было указано раньше, индекс Хирша уничтожает наиболее важную информацию о высокоцитируемых работах. Мы же считаем, информация о высокоцитируемых работах должна быть основой для оценок эффективности деятельности научных работников.

В настоящее время существует ряд индексов, которые учитывают публикации с наибольшим цитированием (g-индекс и др. [24]). Однако они достаточно сложны для интерпретации и практического использования.

Чтобы наиболее полно использовать информацию о самых цитируемых работах надо взять несколько (например, пять) наиболее цитируемых работ автора, и просуммировать на них ссылки с учетом соавторства. В результате получим простую формулу

f = 5 Ci,max/Mi 
Σ
i=1
(4)

где Ci,max – число цитирований первых пяти публикаций с максимальным числом ссылок, Mi – число соавторов этих публикаций. Величину (4) будем называть индексом максимальной цитируемости или f-индексом (буква f – сокращение от слова five). Величина (4) легко вычисляется и учитывает наиболее важные данные о высокоцитируемых работах, которыми больше всего гордятся авторы (и которая полностью теряется при использовании индекса Хирша). Используя условную, но весьма наглядную, аналогию со спортом мы предлагаем учитывать лишь наивысшие (рекордные) результаты по цитированию.

Формулу (4) можно нормировать (поделить на число публикаций), что дает fn = f/5.

Первые пять публикаций с максимальным числом ссылок будем называть базисными (или главными) публикациями.

Пример 9. Проиллюстрируем простоту и эффективность использования формулы (4) на примере публикаций проф. Н.А. Кудряшова (МИФИ). Используя данные Web of Science, за несколько минут находим 5 публикаций с наивысшим цитированием (эти публикации написаны без соавторов, количество ссылок на них: 66, 73, 84, 100, 201). По формуле (4) находим индекс максимальной цитируемости: f = 524. Эта величина составляет более 30 % от нормированного индекса цитируемости (2) (см. табл. 2) и вполне достаточна, для того чтобы сделать заключение: Н.А. Кудряшов является крупным ученым. Для нормированного индекса максимальной цитируемости имеем fn = 105. Важно отметить, что приведенные данные легко вычисляются и легко проверяются (что значительно сложнее сделать для любых других наукометрических показателей).

Полезно ввести также модифицированный индекс максимальной цитируемости (или fm–индекс), который определяется так:

fm = 5 (Ci/Mi)max 
Σ
i=1
(5)

где используются первые пять публикаций с максимальным нормированным (на количество соавторов) числом ссылок. При отсутствии соавторов, т.е. при Mi = 1, формулы (4) и (5) совпадают. В общем случае для данного автора выполняется неравенство fmf.

Пример 10. Применим формулу (5) для анализа публикаций Г. Перельмана (результаты округляем до целых величин). Исходя из данных Web of Science (опция "Cited Reference Search") находим 5 публикаций, написанных без соавторов, с цитируемостью Ci = 56, 58, 58, 61, 125 (были отброшены три публикации с цитируемостью Ci = 66, 83, 118, написанные в соавторстве и дающие меньшие отношения Ci/Mi). В итоге по формуле (5) получим fm = 358 (использование формулы (4) дает меньшую величину f = 302). Поделив fm на число публикаций (равное пяти), находим нормированный модифицированный индекс максимальной цитируемости fmn = 72.

Пример 11. Анализ работ акад. Л.В. Овсянникова (по данным Web of Science, опция "Cited Reference Search") дает 5 публикаций, написанных без соавторов, с цитируемостью Ci = 41, 67, 91, 133, 199 (отброшена одна публикация с цитируемостью Ci = 46, написанная в соавторстве). По формуле (5) находим индекс максимальной цитируемости fm = 531 и, соответственно, fmn = 106.

Замечание 9. На самом деле данные Л.В. Овсянникова по индексам fm и fmn сильно занижены. Здесь мы использовали англоязычный перевод фамилии Ovsyannikov, однако при цитировании часто встречается также альтернативный вариант Ovsiannikov. Если учесть оба варианта англоязычного написания фамилии, то надо брать данные Ci = 81, 91, 133, 199, 918. В результате получим fm = 1422 и fmn = 284.

Возможные различные написания русскоязычных фамилий, переводимых на английский язык, необходимо учитывать при вычислении любых наукометрических показателей.

В табл. 2 для сравнения приведены различные наукометрические показатели цитируемости упомянутых ранее ученых. В столбцах 2–4 используются результаты [6], полученные по данным Web of Science с использованием опции "Cited Reference Search".

Из табл. 2 видно, что у ученых, включенных в таблицу, для различных наукометрических показателей сохраняются свойства, выраженные неравенствами (т.е. если h-индекс у ученого A был больше, чем у ученого B, то и fm–индекс у ученого A будет больше). Сказанное говорит о предпочтительности использования индекса максимальной цитируемости, который легко интерпретируется и вычисляется существенно проще, чем другие наукометрические параметры.

Таблица 2. Различные наукометрические показатели некоторых известных российских ученых (расположены в алфавитном порядке).
Ученый Индекс
цитируемости
(1)
Индекс
Хирша
Нормированный
индекс
цитируемости (2)
fm–индекс,
формула (5)
Нормированный
fmn–индекс,
равный 0.2fm
Н.А. Кудряшов
(Kudryashov)
1878 20 1415 524 105
Л.В. Овсянников
(Ovsyannikov)
2972 21 2070 531,
см. замечание 9
106,
см. замечание 9
Г.Я. Перельман
(Perelman)
1600 17 1332 358 72

Замечание 10. Помимо fm – и fmn – индексов можно ввести аналогичные индексы за определенный промежуток времени (например, за пять лет).

7. Заключение

Нормированные индексы цитируемости (см. разд. 4) являются существенно более точными наукометрическими показателями эффективности деятельности научных работников, чем стандартный индекс цитируемости (см. разд. 2), поскольку позволяют учесть наличие соавторов и охватить более широкий круг цитируемых работ. Однако они достаточно сложны для вычисления и проверки.

Индекс Хирша (см. разд. 3) – нелепое наукообразие, которое вообще следует исключить из анализа эффективности деятельности ученых [11, 12].

Целесообразно использовать легко интерпретируемые индексы максимальной цитируемости (4) и (5) (f–индекс и fm–индекс), которые просто и быстро вычисляются, поскольку учитывают всего несколько базовых публикаций с наибольшим цитированием.

Замечание 11. Очевидно, что нормированный индекс цитируемости и индекс максимальной цитируемости, при всей их условности, являются более объективными показателями эффективности деятельности ученых, чем их должности, звания и ученые степени.

При разработке любых индексов цитируемости должен исповедоваться основной принцип: все равно в каком виде и где была опубликована научная работа, лишь бы ссылки на нее были в статьях, индексируемых базой Web of Science (или другой используемой базой данных). Такой подход опирается на очевидный факт: результаты работы никоим образом не зависят от места и формы ее опубликования.

Любые сравнения эффективности работы ученых на основе наукометрических параметров должны проводиться весьма осторожно, не выходя за узкие пределы научных специальностей.

Полезно привести слова директора немецкого Математического института Макса Планка (это один из самых авторитетных математических институтов) Вернера Бальмана [13]: "Библиометрические данные – это опасное оружие (тем более в руках неэкспертов)..." Поэтому анализ наукометрических показателей и их грамотное использование при оценке эффективности деятельности научных работников и преподавателей вузов обязательно должны контролировать квалифицированные специалисты в соответствующей области знаний (при необходимости с учетом дополнительных экспертных оценок). Попытка создания карты российской науки убедительно показала недопустимость привлечения к подобной деятельности людей без надлежащего образования и квалификации [14].

Замечание 12. Не учет русскоязычных публикаций при вычислении и использовании любых наукометрических показателей наносит большой вред и тормозит развитие российских журналов. Это связано с тем, что в последнее время российские авторы для увеличения своих ИЦ, ИХ и др. индексов наиболее важные статьи все чаще предпочитают публиковать в зарубежных журналах, уменьшая тем самым “корзины” российских журналов и усложняя доступ к информации российских читателей. В результате импакт-факторы российских журналов уменьшаются, а западных – увеличиваются (в том числе и за счет притока хороших статей российских авторов).

Список литературы

  1. J.E. Hirsch. An index to quantify an individual’s scientific research output. Proc. Nat. Acad. Sci. // 2005. Vol. 102(46). P. 16569–16572 (см. также http://arxiv.org/abs/physics/0508025).
  2. L. Egghe. Theory and practise of the g-index // Scientometrics. 2006. Vol. 69. No. 1. P. 131–152.
  3. А.В. Цыганов. Краткое описание наукометрических показателей, основанных на цитируемости // Управление большими системами. 2013. Вып. 44. С. 248–261 (http://eqworld.ipmnet.ru/ru/info/UBS4413.pdf).
  4. С.Д. Штовба, Е.В. Штовба. Обзор наукометрических показателей для оценки публикационной деятельности ученого // Управление большими системами. 2013. Вып. 44. С. 262–278 (http://eqworld.ipmnet.ru/ru/info/UBS4414.pdf).
  5. Сборник "Игра в цыфирь, или как теперь оценивают труд ученого". М.: МЦНМО, 2011. 72 c. (http://eqworld.ipmnet.ru/ru/info/bibliometric.pdf)
  6. Индексы цитирования работ российских учёных (проекты "Кто есть кто в российской науке" и "Корпус экспертов"): http://expertcorps.ru/science/whoiswho
  7. Par Renard de la Taille. Relativite Poincare a precede Einstein // Science et Vie. 1995. No. 931. P. 114–119 (перевод статьи В.Ф. Журавлева с французского на русский язык см. http://eqworld.ipmnet.ru/ru/education/scientists/poincare_einstein.htm).
  8. H.D. Cao, X.P. Zhu. A complete proof of the Poincare and geometrization conjectures – Applications of the Hamilton–Perelman theory of the Ricci flow // Asian J. Mathematics. 2006. Vol. 10. No. 2. P. 165–492.
  9. J.E. Hirch. An index to quantify an individual's scientific research output that takes into account the effect of multiple coauthorship // Scientometrics. 2010. Vol. 85. P. 741.
  10. R. Rousseau, C. Garcia-Zorita, E. Sanz-Casado. The h-bubble // Journal of Informetrics. 2013. Vol. 7. P. 294–300.
  11. Г. Георгиев. Индекс Хирша надо исключить из оценки учёных // Наука и технологии России, 17.11.2011 (http://www.ras.ru/digest/showdnews.aspx?id=a0bf7e70-afd7-4d23-b4d1-259f3ae54d11&print=1).
  12. А.Д. Полянин. Об индексе Хирша и других наукометрических показателях. Научное сообщество // 2013. No. 8–9. С. 20–22 (см. также http://eqworld.ipmnet.ru/ru/info/sci-edu/Polyanin_IndexH_2013.html).
  13. Ю. Неретин. Великий библиометрический джихад // Независимая газета. 10.12.2013 (http://www.ng.ru/science/2013-12-11/11_ran.html).
  14. П. Котляр. Физики-гинекологи и математики-литераторы. Учёные раскритиковали проект "Карта российской науки" // Газета.Ру. 27.11.2013 (http://www.gazeta.ru/science/2013/11/27_a_5771569.shtml).