Сергей Кара-Мурза* — о достоинствах и недостатках статистики научного цитирования, о том, чем действительно полезен индекс цитируемости для науки, но почему не стоит использовать его для оценки работы ученого. В этом материале Сергей Кара-Мурза поясняет, почему возникла необходимость снова вспомнить о проблеме цитирования.
Проблема оценки продуктивности ученого, его научного вклада — одна из важнейших теоретических и прикладных проблем науковедения. Стремление создать пусть даже «грубоватую», но в принципе работоспособную методику такой оценки психологически вполне понятно. Но конструирование систем оценки — область очень деликатная: любое решение здесь самым непосредственным образом воздействует на социально-психологические условия работы научных коллективов, затрагивает сферу человеческих отношений и мотивации ученых. И последствия ошибок здесь могут быть весьма серьезными.
Для оценки продуктивности исследователей уже сравнительно давно пытаются использовать различные параметры системы научных коммуникаций. Это вполне объяснимо: через систему коммуникаций поступают в хранилище «отпечатки» научной продукции — публикации. Подсчет этих «отпечатков» на первых порах показался самым простым и естественным подходом к определению научного вклада. Он и сейчас составляет основу большинства формализованных систем оценки научных кадров, хотя и стыдливо, со многими оговорками: трудно найти социолога или администратора, который не постеснялся бы прямо заявить, что число публикаций действительно отражает научный вклад исследователя. Значение качественных аспектов научной деятельности слишком очевидно.
Но вот в середине 1960‑х годов появился информационный инструмент, который, казалось, давал возможность отразить качество научных публикаций. Это — «Указатель библиографических ссылок» (Science Citation Index — SCI), издаваемый Институтом научной информации (США).
Почти 20 лет, в течение которых издается этот указатель, — солидный срок, позволяющий строить довольно представительные временные ряды, и социологи науки стали все активнее использовать открывающиеся здесь возможности. Создатель SCI Юджин Гарфилд с самого начала указывал на широкую применимость указателя в социологии и истории науки [1]. Действительность не обманула этих ожиданий. Более того, нам представляется, что потенциальные возможности SCI в науковедении оценены еще лишь в малой степени, и по мере удлинения временных рядов ценность его будет возрастать. Но можно ли использовать такой измеримый параметр научных коммуникаций, как цитируемость, для оценки вклада в науку отдельных исследователей или целых коллективов?
Исходные посылки тех, кто отвечает на этот вопрос положительно, кажутся вполне обоснованными. Ссылки на предыдущие публикации отражают связи между работами отдельных ученых. Следовательно, чем больше ссылок получают работы ученого, тем в большей степени используется его продукция научным сообществом, тем выше полезность его вклада (и индекс цитируемости).
Исходя из этих посылок, американские социологи науки Дж.Коул и С.Коул одними из первых применили измерения цитируемости для обоснования весьма радикальных социологических выводов [2]. Измерение цитируемости быстро стало связываться со злободневными практическими вопросами. Поборники использования SCI для оценки продуктивности ученых, не дождавшись теоретических обоснований, стали выходить с пропагандой этого подхода в широкую печать. Судя по литературе, в некоторых университетах США индекс цитируемости уже вошел в методики формальной оценки сотрудников. Возможность использования научного цитирования для оценки научного труда видят и некоторые советские социологи. Так, Н.3.Мирская пишет: «Показатель цитирования — основание для определения эффективности научного труда, что особенно важно в плане практических рекомендаций... Цитирование отражает использование публикации, т.е. ее полезность и, следовательно, эффективность деятельности ее автора» [3].
Но позволяет ли измерение цитируемости (в частности, индекс цитируемости) верно оценить научный вклад? Действительно, научное цитирование отражает связь между работами ученых, говорит об использовании научных результатов — но оно отражает не все связи.
Если труды ученого цитируются широко, то это (в общем случае) указывает на то, что его продукция высоко оценивается и в большой степени используется другими учеными. Но обратное утверждение в общем случае неверно.
А для того чтобы индекс цитируемости мог служить основой оценки научного вклада, необходимо, чтобы были верны как прямое, так и обратное утверждение,— это кажется очевидным.
Как же получается, что индекс научного цитирования «высвечивает» лишь часть научных коммуникаций?
Рассмотрим механизм научного цитирования на «микроуровне» — на уровне единичной публикации. Чтобы упростить нашу задачу, введем три явно идеализированных предположения: 1) вся использованная в работе автора публикации научная информация изложена в статьях, на которые он может сослаться; 2) все сообщения, несущие необходимую автору для данной работы информацию, достигают этого автора; 3) отбирая статьи, на которые он сошлется в своей публикации, автор руководствуется только релевантностью, ценностью этих статей для своей работы.
Объем информации, которой пользуются при подготовке публикации даже начинающие исследователи, весьма велик. Если бы его удалось весь «упаковать» в научные статьи (наше первое предположение), то их минимальное число достигло бы, вероятно, сотни. Естественно, что процитировать их все невозможно, да и сам институт научного цитирования потерял бы тогда смысл. В самоорганизующейся системе научных коммуникаций установились определенные нормы цитирования (несколько разные в разных областях науки). В среднем «нормальная» публикация содержит около 15 ссылок. Это значит, что из минимум сотни статей автор отбирает 15 наиболее релевантных для его работы. Другими словами, устанавливается некоторый ценз, порог ценности статьи для данной работы. Этот порог — своеобразный «уровень моря», над которым видна лишь небольшая верхушка айсберга использованной информации — цитированные статьи.
Но если цитируемость связана с пороговыми явлениями, не может быть и речи о линейной зависимости между ценностью статьи и возможностью ее попадания в список цитированных трудов. Все, что ниже порога, получает одинаковую оценку — ноль. Все, что выше порога — единицу. Система работает дискретно, по принципу «все — или ничего».
Используя такую двухбалльную шкалу, можно лишь сказать, что цитированные статьи для данной работы более полезны, чем нецитированные. Мы не можем вынести никаких суждений о том, насколько первые полезнее вторых, — изменение происходит скачкообразно.
Внутри же обеих групп каждая статья находится в области неопределенности.
На микроуровне ясно, что такая «черно-белая» шкала мало что дает для распределения использованных 100 статей по их полезности: каждая из 85 нецитированных статей может оказаться по своей полезности почти равной любой из цитированных. Таким образом, нарушается первое требование к шкале оценки, которая должна быть достаточно растянутой и непрерывной.
Что же изменяется в механизме научного цитирования при переходе к «макросистеме» — крупному массиву публикаций — и сравнению авторов по числу ссылок на них? Мы получаем ряды чисел разумной величины, по которым, как будто, можно ранжировать авторов. Но это — иллюзия. Оттого, что мы складываем неопределенности, выявленные на уровне одной статьи, определенность не возникает. Обсуждая проблему оценки деятельности ученых, С.Н.Хиншелвуд писал: «Иногда заявляют, что для статистики полезны даже грубые результаты. Не может быть более опасной доктрины, чем доктрина, основывающаяся на представлении, что большое число ложных или бессмысленных догадок может быть каким-то образом усреднено, давая нечто имеющее смысл» [4].
Так, если какая-то работа цитируется во многих статьях, значит, многократно воспроизводится ситуация, которую мы рассмотрели на «микроуровне», — работа чаще других превышает порог полезности. Это говорит о широте «рынка» для данной работы, о массовости ее потребителя.
Такие данные, позволяющие оценить масштабы того или иного научного сообщества, очень важны для науковедения, но можно ли выражать вклад в науку, импульс, даваемый ее развитию какой-то работой, через массовость потребителя?
Анализ показывает, что наиболее массового потребителя имеют методические статьи. Это понятно: разнообразие идей и объектов науки во много раз превышает разнообразие методов.
Поэтому каждая идея имеет небольшой «рынок», а одним и тем же методом пользуются при экспериментальных исследованиях, связанных со множеством идей, — и ссылка на этот метод появляется во многих статьях. Кроме того, в отношении изложения методической стороны исследования нормы в науке гораздо строже, чем в отношении идей и интерпретации результатов (на идею можно и не сослаться, на метод — нельзя).
Это хорошо видно при содержательном анализе приведенных в Current Contents [5] заголовков наиболее цитируемых статей. По нашим оценкам, из 156 таких статей, относящихся к биохимии, биомедицинским исследованиям и психологии, 118 (т.е. 75,6%) имеют методический характер. И эти методические статьи получают 84,7% ссылок! Все 156 статей имеют 210759 ссылок (в среднем 1351 ссылка на одну статью); 118 методических статей имеют 178448 ссылок (1512 на одну статью), 38 неметодических статей — 32311 ссылок (850 на одну статью). В биохимии одна методическая статья имеет в среднем 1996 ссылок, а неметодическая — 949. В этой области методические статьи собрали 92% ссылок всех 78 статей-чемпионов.
Этот подсчет сделан нами на основании опубликованных Ю.Гарфилдом материалов, хотя сам он считает ошибочным вывод, что методические статьи обязательно получают больше ссылок, чем прочие работы. Свое мнение он обосновывает тем, что статьи в журналах по аналитической химии не отличаются особенно высоким цитированием [6]. На это можно ответить, что высокая цитируемость методических работ — не вывод, а эмпирический факт. Что же касается журналов по аналитической химии, то их статьи предназначены не для потребителя методов, а для их разработчика — химика-аналитика. Это — не продукт, а «полупродукт», и они, в сущности, не являются методическими статьями. Когда же аналитический метод доводится до «товарного вида» и выносится на широкий «рынок», он публикуется обычно в журналах той области исследований, для которой он предназначен, и цитируется очень обильно.
Однако и в том, что касается создания методов исследования, индекс научного цитирования не отражает сколько-нибудь адекватно вклад того или иного ученого (или совокупностей ученых).
Создание нового научного метода — это процесс, состоящий из ряда стадий. Все стадии важны, но качественно различны (выдвижение идеи, концепции метода; внесение модификаций, направленных на улучшение, упрощение, расширение применимости, — то есть придание методу «товарного вида»; пропаганда и широкое распространение метода). История многих нововведений в науке показывает, что вторая и третья стадии вознаграждаются цитированием несопоставимо щедрее, чем первая. Таким образом, еще более усугубляется ориентация механизма научного цитирования на работы по «расширению рынка», по доводке нововведений. Вот лишь несколько примеров.
В.Кеннет модифицировал известную с 1930 году реакцию З.Дише для определения ДНК (предложил нагревать пробу несколько часов при 30oС вместо 3–10 минут при 100oС, как делал Дише). Эта статья, опубликованная в 1956 году, получила за 1961–1975 годы 5037 ссылок. М.Шомодьи открыл хороший реактив для определения моносахаридов, и его статья получила 970 ссылок. Н.Нельсон путем небольшой модификации улучшил методику, и его статья получила более 3300 ссылок [7]. В сущности, и абсолютный рекордсмен цитируемости О.Лоури (50 тысяч ссылок) модифицировал ранее известный реактив, добавив к нему еще одну компоненту и расширив границы применимости метода.
Специального интереса заслуживает история создания и распространения аффинной хроматографии, которая была разработана в двух практически одинаковых вариантах почти одновременно в Швеции и США. Американский автор получил на свои работы почти в 10 раз больше ссылок, чем шведские авторы. Это объясняется тем, что он был не только творцом метода, но и активным агентом по его внедрению в самых разных областях исследований [8].
Сказанное ни в коей мере не означает, что мы склонны недооценивать значение методических работ, принижать их роль в развитии науки. Мы только хотим подчеркнуть, что создание и распространение методов — лишь один из элементов научной деятельности, по которому в общем случае нельзя судить о целом, обо всей системе. Здесь уместно повторить тезис, с которого мы начали рассмотрение:
высокая цитируемость совокупности статей обычно указывает на их высокую полезность, но низкая цитируемость совокупности статей, отличающейся от первой совокупности каким-то существенным признаком, не позволяет утверждать, что их ценность низка.
Этот тезис мы пытались обосновать, сделав три упрощающих ситуацию предположения. Как же изменится наш вывод, если мы откажемся от них?
Первое предположение: «Вся использованная в работе научная информация изложена в статьях, на которые может сослаться автор публикации».
Это условие не выполняется по разным причинам. Научное знание производится как в фундаментальных, так и в прикладных исследованиях, и роль последних относительно усиливается в результате тенденции к их «фундаментализации». Но в прикладных исследованиях по целому ряду соображений введены ограничения на публикацию результатов. Да и сложившаяся в них система стимулов не ориентирует работника на высокую публикационную активность. Значительная часть «продукции» фундаментальных исследований также не попадает в научную печать. Многие важные виды знания вообще не приспособлены к публикации (например, информация о неудачных исследованиях или ошибках). В другом случае действуют соображения секретности: фундаментальные исследования все в большей степени становятся неотъемлемой частью прикладных программ и НИОКР военного характера.
Если вся эта научная продукция не публикуется (и, следовательно, не «производит» ссылок), то значит ли это, что она не используется и не может рассматриваться как вклад в науку? Вовсе не значит — во всех странах это «непубликуемое» научное знание является важным продуктом науки и используется весьма широко. Существует целый ряд каналов его распространения: отчеты и доклады, суждения экспертов, выступления на совещаниях, консультации и т.п.
В подавляющем большинстве случаев на эти сообщения просто невозможно сослаться. Аппарат ссылок отражает лишь небольшой фрагмент всей получаемой и используемой ученым информации.
Очевидно, что это резко сокращает возможность использовать индекс цитируемости для оценки вклада в науку. Снятие первого предположения усиливает аргументацию общего вывода, особенно когда речь идет о международных сравнениях. Удельный вес различных каналов в общей системе научной информации в разных странах различен. Например, отсутствие частной собственности на научно-техническую информацию в СССР позволило предоставить всем заинтересованным организациям доступ к отчетам по законченным исследованиям.
Второе предположение: «Все сообщения, необходимые для работы, достигают автора статьи». Это условие также не выполняется. Целый ряд барьеров препятствует проникновению к потребителю даже опубликованной информации. Первый из них — языковой. Этот барьер может быть совершенно непроницаемым, когда речь идет о статьях, опубликованных на совсем незнакомом языке (а большинство зарубежных ученых не знают русского языка и языка других народов СССР). Но даже и для людей, более или менее знающих иностранный язык, этот барьер остается весьма существенным. Его значение усиливается тем, что, как правило, иностранные публикации, особенно книги, часто бывают гораздо менее доступны, чем отечественные издания.
Важный фактор, ограничивающий область поиска информации,— предвзятое мнение о научных достоинствах того или иного журнала. Возникающая обратная связь усугубляет ситуацию: статьи этого журнала цитируются меньше, и неблагоприятное мнение о нем укрепляется.
Все эти барьеры, синергически взаимодействуя и усиливая друга друга, образуют вокруг каждого ученого своеобразную «информационную скорлупу» [9].
У одного внутри этой скорлупы оказываются лишь несколько отечественных журналов его узкой области знания, другой регулярно просматривает широкий спектр журналов на трех-четырех языках, третий же пользуется, кроме того, Current Contents.
Ясно, что ученый может цитировать только те работы, которые оказываются внутри его «информационной скорлупы». В статьях советских ученых много ссылок на работы американских авторов, а американские ученые мало цитируют советские статьи — что из этого следует? Из этого прежде всего следует, что научная литература США находится внутри «информационной скорлупы» советских ученых, а для исследователей США большая часть информационных ресурсов советской литературы недоступна. Но это известно и без SCI: подавляющее большинство советских ученых в достаточной степени владеют английским языком, чтобы читать специальную литературу, а научный шовинизм совершенно чужд советской интеллигенции.
Устранение второго предположения еще сильнее сужает тот сектор системы научных коммуникаций, который отражается в SCI, и еще больше увеличивает неопределенность оценок, сделанных на основании подсчета ссылок. При международных сравнениях эта неопределенность резко возрастает из-за асимметричности потоков информации, отражаемых SCI:
оценка научной продуктивности стран, публикующих работы на труднодоступных для американских и западноевропейских ученых языках, занижается настолько, что один этот фактор лишает такие оценки всякого смысла.
Асимметричность потоков информации «умножается» на асимметричность самого SCI — в нем, например, отражаются лишь 60 советских журналов (1335 журналов США, 529 — Великобритании, 179 — Нидерландов).
Третье предположение: «При цитировании автор руководствуется лишь ценностью статьи для своей работы».
Это допущение — слишком сильная идеализация. Во‑первых, авторы зачастую без необходимости цитируют видных ученых. Ю.Гарфилд пишет: «Цитирование может быть вызвано стремлением автора поднять свою собственную репутацию, связав свою работу с более крупными исследованиями, или стремлением избежать ответственности, ссылаясь на работы других авторов» [10].
Расширение использования SCI как инструмента для оценки научной продуктивности индивидуальных работников неизбежно приведет к росту ненужного цитирования.
Это нанесет ущерб SCI как исключительно ценному средству информационного поиска и науковедческих исследований.
Еще больше искажений вносит уклонение от цитирования релевантных работ, о которых автор знает. Это, конечно, нарушение научной этики, но разве такие нарушения редки? Важнейшим фактором, предупреждающим такие нарушения, является личное знакомство авторов. Но там же, где личные контакты советских ученых с американскими и западноевропейскими коллегами относительно слабы, в отношении советских статей этот фактор не действует. Замалчивание работ наших авторов — обычное явление. Известны случаи, когда советские исследователи по собственной инициативе посылали иностранным коллегам оттиски своих статей, чтобы предотвратить использование их результатов без ссылки на авторство — и это не помогало. Поскольку научное цитирование — норма весьма расплывчатая, на поведение автора публикации часто действуют и чисто технические, но существенные на «микроуровне» факторы, например отсутствие пишущей машинки с подходящим алфавитом.
Конечно, уклонение от цитирования не распространяется на ключевые, основополагающие работы. Но наука сейчас — деятельность миллионов людей, и статистика научного цитирования определяется не столько ссылками на «статьи-чемпионы», сколько сложением тех двух-трех ссылок, которые получают на свои работы большинство исследователей (в 1972 году каждый отмеченный в SCI автор имел в среднем 6,65 ссылок).
Работы же ученых высшего ранга быстро перестают цитироваться вследствие хорошо известного явления «стирания» их имен.
Ю.Гарфилд пишет: «Стирание (obliteration) происходит, когда авторы предполагают, что сделанный ранее научный вклад становится частью общего знания, известного каждому, кто работает в данной области» [11]. Сам факт такого стирания говорит о том, что вклад ученого велик и используется очень широко (Ю.Гарфилд говорит даже о преимуществах быть «стертым»), но это — еще один источник ошибки при использовании SCI как оценочного механизма [12].
Таким образом, устранение третьего предположения также усиливает общий вывод, который мы обосновали, даже приняв весьма сильные допущения.
Нельзя не отметить, что недавно сам Ю.Гарфилд выступил с обзорной статьей под названием «Является ли анализ цитирования разумным инструментом оценки?» [13] В этой статье он приводит аргументы противников этого подхода и отстаивает точку зрения, согласно которой измерение цитируемости служит хорошим методом оценки [14]. Но те аргументы, против которых возражает Ю.Гарфилд, представляются настолько незначительными, что мы о них до сих пор даже не упоминали. Это — наличие «негативного» научного цитирования с целью критики работы, наличие «самоцитирования» и цитирования сотрудников. Все это — факторы второго порядка. Главное же — пороговые явления в научном цитировании и невыполнение тех трех условий, о которых говорилось выше.
В заключение необходимо еще раз подчеркнуть, что наши рассуждения касались лишь одной стороны использования SCI — как инструмента для оценки вклада в науку отдельных исследователей или целых стран.
Но это рассмотрение ни в коей мере не ставит под сомнение иные, исключительно богатые возможности использования этого указателя в науковедении. Здесь нет смысла перечислять все эти возможности — они уже отражены в обширной литературе.
В рамках статьи трудно с достаточной полнотой осветить все вопросы использования SCI как инструмента оценки в исследовательской и управленческой практике. Необходимо глубокое методологическое рассмотрение, с четкой формулировкой всех допущений и тезисов. Такое рассмотрение тем более важно и актуально, что проблема выходит за рамки академического спора. Достаточно сказать, что данные о цитируемости ученых разных стран используются государственными органами США (Национальным научным фондом) для характеристики национальных научных потенциалов [15]. Известно, что вопрос об оценке научного потенциала целых стран, измерение вклада в науку целых сообществ исследователей в настоящее время представляет не только теоретический интерес — он даже касается не только органов управления наукой. Хотят того социологи науки или нет, этот вопрос приобрел идеологическую и даже политическую окраску. Экономия усилий на анализе этого вопроса оборачивается расширением возможностей для демагогии, яркий пример которой — многочисленные статьи «советологов» о советской науке.
*Опубликовано: Вестник АН СССР. — 1981. — N 5. — С. 68–75. С.Г. Кара-Мурза. Цитирование в науке и подходы к оценке научного вклада. Источник.
--------------------------------
Примечания
1. Garfield E. Citation Indexes in Sociological and Historical Research. — American documentation. — 1963. — V.14. — P.290.
2. Известная статья Коулов так и озаглавлена: «Анализ цитирования показывает, что лишь немногие ученые вносят вклад в прогресс науки» (Cole J.R., Cole S. The Ortega hypothesis. Citation Analysis suggest that only a few scientists contribute to scientic progress. — Science. — 1972. — V.178, N 4059. — P. 368-375). В ней авторы утверждают, что темпы научного прогресса в физике могут остаться на прежнем уровне, даже если число исследователей-физиков будет резко сокращено. Примечательно, что эта статья появилась в 1972 году, после сильного снижения ассигнований на науку в США, повлекшего за собой безработицу среди ученых — с марта по декабрь 1970 года в США только из учреждений, занимающихся аэрокосмическими исследованиями, было уволено 175 тысяч. исследователей и инженеров (см.: Milton H. Cost-of-Research Index. 1920–1970.— Operations Research. — 1972. — V.20, N 1. — P.1–18).
3. Мирская Е.З. Механизм оценки и формирования нового знания. — Вопросы философии. — 1979. — N 5. — С.119-130.
4. Хиншелвуд С.Н. Качественное и количественное. — В сб.: Философские проблемы современной химии. — М.: Прогресс, 1971. — С. 21-32.
Кстати, именно большой объем массивов ссылок как аргумент в пользу применения цитируемости вызывает в США критику специалистов: в докладе Science Indicators – 72 (ежегодно издаваемый аналитический обзор динамики ряда количественных показателей развития науки в США. — С.К.‑М.) написано, что «...недостатки показателя цитируемости нейтрализуются, однако, благодаря огромному числу учитываемых ссылок. Другими словами, возможным источником ошибок можно пренебречь из-за большого размера выборки. В общем случае, как нетрудно видеть, дело обстоит как раз наоборот. Обычно систематическая ошибка, перекос, не зависит от размера выборки, но его роль по мере увеличения выборки относительно возрастает, поскольку случайные ошибки измерения и выборки меньше влияют на средние величины и пропорции» (см.: Kruskal W. Taking data seriously.— In: Toward a metric of science: the advent of science indicators. — N.Y. et al.: Wiley-Interscience Publ., 1978. — P.139-170).
5. См.: Garfield E. Highly cited articles. 39. Biochemistry. — Current Contents. — 1977. — V.9, N 25. — P. 5-12.
6. См.: Garfield E. Highly cited articles. 40. Biomedical and behavior papers published in the 50's. — Current Contents. — 1977. — V.9, N 29. — P. 5–12.
7. См.: Citation classics. — Current Contents. — 1977. — V.9, N 1; ibid., N 26.
Более подробно такие случаи описаны в статье: Кара‑Мурза С.Г. Создание и распространение новой технологии исследований — важная функция ученого.— Вестник АН СССР. — 1980. — N 4. — С. 54-61.
8. См.: Кара-Мурза С.Г. Технология научных исследований. Изучение создания и распространения аффинной хроматографии с помощью Science Citation Index. — Научно-техническая информация. Сер. 1. — 1979. — N 1. — C.7-12.
9. Это понятие мы употребляем по аналогии с понятием «скорлупа повседневной жизни», используемым А.Молем (см.: Моль А. Социодинамика культуры. — М.: Прогресс, 1973. — С. 338).
10. Garfield E. To cite or not to cite: a note of annoyance. — Current Contents. — 1977. — V.9, N 35. — P.6.
11. Garfield E. To cite or not to cite..., P. 6.
12. Известная статья Дж.Уотсона и Ф.Крика о структуре двойной спирали ДНК, положившая начало современной молекулярной биологии, за 1961–1976 гг. получила всего 552 ссылки, в то время как статьи Лоури, предложившего модификацию метода определения белка, за то же время получили 50 016 ссылок!
13. Garfield E. Is citation analysis a legitimate evaluation tool? — Scientometrics. — 1979. — V.1, N 4. — P. 359–376.
14. Правда, Ю.Гарфилд делает при этом ряд оговорок и предупреждает, что измерение должно сопровождаться содержательным анализом. Хорошее напутствие администраторам, которые потому и нуждаются в методике, что не имеют возможности заниматься содержательным анализом!
15. См. ежегодные обзоры «Science Indicators».
