Заявление трех академий наук (Французской академии наук, Немецкой академии «Леопольдина» и Лондонского Королевского научного общества) о рекомендуемых методах оценки исследователей и исследовательских программ1

1. Введение

Быстрый рост международного научного сообщества и желание обеспечить эффективное использование финансовых средств, которые выделяются на поддержку научных исследований, естественно заставляют уделять повышенное внимание механизмам контроля при оценке исследователей, научно-исследовательской деятельности и исследовательских проектов (в т. ч. при назначении на ту или иную должность и принятии решений о присуждении грантов и премий). Учитывая, что накопилось большое количество различных процедур, которые применялись для оценки научных исследований в разное время, необходимо сформулировать принципы наиболее подходящей формы оценки научного исследования. Широко распространено мнение что рецензирование научной работы учеными-специалистами, работающими в той же области и проводимое в соответствии со строгими стандартами – далеко не лучший метод оценки научной деятельности. Настоящее заявление посвящено анализу методов оценки отдельных исследователей.

Оценка исследователей компетентными экспертами должна опираться как на публикации (журнальные статьи, обзоры, книги, главы из книг, патенты, и т.п.), так и на другие источники, которые могут быть оценены с точки зрения их научной значимости (участие в конференциях, награды, публичные выступления, рецензии на работы коллег, открытый доступ к базам данных2, проведение семинаров и т.п.). Поскольку тщательная оценка содержания и качества научных исследований экспертами требует большого количества времени и денежных затрат, количество экспертиз должно быть ограничено:более того, они должны проводиться лишь тогда, когда это действительно необходимо, в

1

2 В оригинале: datasets shared.

Опубликовано: https://royalsociety.org/topics-policy/publications/2017/royal-society-leopoldina- and-academie-des-sciences-call-for-more-support-for-research-evaluators/ 8 декабря 2017;https://www.leopoldina.org/uploads/tx_leopublication/2016_Joint_Statement_on_scientific_publicatio ns.pdf; http://www.academie-sciences.fr/pdf/rapport/avis111217.pdf Перевод Е. Цуркановой под редакцией А. П. Василевича.

частности, при принятии решения о назначении на ту или иную должность или финансировании крупных проектов.

С увеличением числа экспертиз и появлением легко доступных электронных баз данных, дополнительным инструментом оценки становится использование библиометрических данных. Однако при оценке значимости работ многие экспертные комиссии зачастую чрезмерно полагаются на различные библиометрические показатели и базы данных, что таит угрозу появления поверхностных, упрощенных и ненадежных методов оценки. Практика неправильного использования библиометрических показателей при оценке научных исследований стало причиной серьезной озабоченности.

Особое беспокойство вызывает повсеместное использование импакт-фактора журнала, который скорее является оценкой самого журнала, нежели оценивает научную значимость опубликованной в нем статьи – об этом уже неоднократно говорилось , в том числе в Сан-Францисской Декларации (San Francisco Declaration on Research Assessment – DORA3). В журналах с низким импакт-фактором могут быть опубликованы выдающиеся и оригинальные работы, как верно и обратное. И все же сегодня при оценке научной значимости исследований во многих областях науки на импакт-факторы опираются как на основополагающие показатели качества публикаций. Кроме того, вызывает растущее беспокойство, что преувеличенное значение импакт-фактора оказывает на исследователей давление и побуждает их отклоняться от нормальной практики в ходе исследований и «играть» с наукометрическими показателями, что мы и наблюдаем последние два десятилетия. Это особенно характерно для тех отраслей науки, в которых импакт-факторам придают чрезмерное значение. Что касается так называемой «альтернативной наукометрии» (новый вид импакт-оценки), нельзя не заметить, что, хотя она и включает в себя важные и ранее не учитываемые факторы, все-таки эта система оценки обладает некоторыми из тех же недостатков, что и существующая наукометрия, основанная на учете цитирования.

Существует серьезная опасность, что чрезмерное внимание к библиометрическим показателям не только будет мешать верно отразить качество исследований, но и скроет от научного сообщества исследования выдающихся ученых, которые работают вне основных направлений (mainstream). Подобная практика скорее может сформировать тенденцию к продвижению тех исследователей, которые следуют модным направлениям;те же, кто оригинален и чья работа может привести к развитию совершенно новых направлений научных исследований, в этом случае могут остаться незамеченными. Более того, чрезмерное доверие к индексам цитируемости как к показателям качества может

3 https://sfdora.org/read/

стать причиной формирования групп исследователей (своего рода «клубов любителей цитирования»), которые «накручивают» показатели друг друга с помощью перекрестного цитирования. Таким образом, важно сконцентрироваться на более подходящих методах оценки, которые будут способствовать продвижению качественных и инновационных исследований.

2. Принципы проведения качественной оценки исследователей и исследовательской деятельности

Приведем краткое изложение основных критериев оценки научной деятельности исследователей.

2.1 Выбор процедур оценки и экспертов4Выбор экспертов

В связи с тем, что оценка научного исследования учеными-экспертами, работающими в той же области, является важнейшей процедурой, с помощью которой подтверждается качество и оригинальность работы, важно убедиться, что эксперты также соответствуют самым высоким стандартам и являются ведущими специалистами в своей отрасли. При выборе экспертов, прежде всего, необходимо обращать внимание на их научный авторитет и безупречную репутацию. Их достижения должны быть широко признаны, а научная биография и работы должны находиться в свободном доступе. Такая открытость обеспечит объективность и прозрачность оценки.

Процедура оценки

Учитывая, что количество высококвалифицированных экспертов ограничено, число экспертиз также должно быть уменьшено, чтобы не нагружать экспертов сверх меры. Есть опасение, что за последние десятилетия различными организациями и институтами было проведено чрезмерно большое количество экспертиз, и это стало тяжелым бременем для высококвалифицированных экспертов. Эксперты высшей квалификации все с меньшей охотой соглашаются тратить свое время на малопродуктивную процедуру оценки научных работ. Чрезвычайно важно сократить число таких экспертиз и проводить их только в том случае, когда дело касается ключевых вопросов, разрешению которых может способствовать только экспертное мнение. Ученые представляют собой «бесплатный ресурс», когда они оценивают работы

4 В оригинале evaluators. Здесь и далее принят перевод: эксперты.

коллег, считая это своим долгом перед научным сообществом. Этот ресурс чрезмерно используется и экспертные организации должны принимать во внимание то, что возможности экспертов не безграничны и необходимо ценить значимость качественного рецензирования.

Необходимо также установить предельное количество страниц для материалов, предоставляемых на все виды экспертиз. Оценка чрезмерно большого по объему материала крайне непродуктивна, т.к. рецензентам сложно сконцентрировать свое внимание на самых основных положениях.

Нельзя забывать, и о том, что необходима ротация экспертов с целью избежать распространения чрезмерного влияния отдельных специалистов в данной научной области. Члены экспертной комиссии должны представлять различные дисциплины и разделы науки. Главным критерием при выборе экспертов должна оставаться их научная квалификация, хотя в расчет могут приниматься также гендерный фактор и территориальная принадлежность.

2.2 Этические нормы и обязанности экспертов

Перед процедурой экспертизы эксперты обязаны открыто заявлять о возможных конфликтах интересов. Следует неукоснительно соблюдать конфиденциальность экспертиз и дискуссий на собраниях экспертной комиссии с целью защитить как рецензентов, так и ученых, чьи работы оцениваются.

Эксперты чаще всего осваивают процедуру оценки самостоятельно опытным путем, однако эту практику нельзя признать нормальной. Знание методов и подходов к экспертизе должны стать частью компетенции исследователей, равно как и следование этическим принципам. Эксперты должны осознавать, что существует опасность «неосознанной предвзятости». Кроме того, следует разработать, насколько это возможно, эквивалентные стандарты и процедуры оценки для разных научных дисциплин.

Процедуры оценки должны также включать механизмы по выявлению предвзятых или несправедливых экспертных заключений и исключения их из рассмотрения.

2.3 Критерии оценки

При оценке исследования эксперт обязан в первую очередь обращать внимание на научное содержание, качество и уровень научной работы. Особое внимание при экспертизе необходимо уделять тем работам (научным статьям или книгам), которые сам автор исследования расценивает как наиболее важные. Само по себе количество публикаций не может быть главным критерием оценки.

При оценке результатов исследования не должны учитываться импакт-факторы журналов. Такие библиометрические показатели, как широко используемый индекс Хирша или число цитирований (на одну статью или за год), могут быть использованы при оценке только теми научными экспертами, которые способны оценить значимость этих показателей в контексте данной научной дисциплины. Следует указывать источники библиометрических показателей и проверять их корректность путем сравнения их с другими источниками библиометрических данных. Использование библиометрических показателей может дополнять оценку экспертной комиссии, но никак ее не заменять.

В частности, должно быть устранено использование библиометрических показателей для оценки работы начинающих ученых, ввиду того, что это может подталкивать их к выбору хорошо разработанных или модных областей исследования, вместо того, чтобы пытаться отвечать на современные научные вызовы.

При рассмотрении патентов следует делать четкое разграничение между такими стадиями получения патента, как подачи заявки, выдача патента и лицензирование.

Получение ученым гранта на проводимое исследование не должно расцениваться как единственный или доминирующий фактор при оценке данного исследования. Основными критериями должны оставаться качество, оригинальность и важность данного научного исследования.

3. Краткое изложение основных рекомендаций

Оценка научной работы требует проведения экспертизы признанными экспертами, которые должны обладать высокими этическими стандартами и обращать внимание, прежде всего, на интеллектуальные достоинства и научные достижения оцениваемого исследователя. В основе экспертной оценки не должны лежать библиометрические данные. Суждения экспертов при оценке исследования должны быть хорошо аргументированными. Переоценка библиометрических показателей может нанести серьезный вред оригинальности и творческому потенциалу. Оценка научной работы экспертами должна быть значительным вкладом в развитие науки.