автор: Карнышев В.И. 27.04.2021

Сегодняшний материал, посвящённый описанию стратегии “убийства” Web of Science (WoS), замысленному в Китайской Народной Республике, скорее всего, не “зайдёт” аспирантам-технарям, большинству из которых “высокие эмпиреи” по барабану. Хотя… чёрт его знает.

Но лично меня статья двух учёных товарищей – симпатичной Линь Чжан из Китая и Гуннара Сивертсена из Норвегии, чрезвычайно заинтересовала до такой степени, что я “перепёр” её с английского на нормальный. С результатом перевода и предлагаю ознакомиться любопытным товарищам. Надежду на то, что её прочитают ответственные господа в Минобрнауке или высоколобой РАН, я не питаю.

Как известно, вторая производная некой функции описывает скорость изменения наклона этой функции. У возрастающей функции вторая производная положительна, у спадающей – отрицательная. К чему этот урок математики, спросите вы? А вот почему.

Если бы для каждой страны существовала некоторая временна́я функция, описывающая усреднённый научно-технологический прогресс на протяжении последних двух десятилетий, то в случае Китая эта функция имела бы безусловно положительный знак. А для нашей страны вторая производная усреднённой¹⁾Прогресс в отдельных ограниченных направлениях или областях хорошо известен, но в целом о научно-технологическом рывке говорят лишь в годы выборов Президента или Госдумы. функции в лучшем случае равнялась бы нулю, как демонстрирующая “застой” в его брежневской интерпретации, или микроскопический рост практически на уровне погрешности.

Реальная катастрофа с аспирантурой или средним возрастом научных работников в России (см. предыдущие материалы здесь и здесь) – лишь отражение нашего научно-технологического топтания на месте, либо потери ранее завоёванных позиций в научном мире.

Было время, когда многочисленные специалисты из СССР помогали Китаю развивать промышленность и науку. Теория “большого скачка” Мао Цзэдуна в конце 50-х отбросила Китай назад. Прошли годы, и без использования этих скомпрометированных слов Китай рванул так, что мама не горюй. Во что превратилась КНР за последние 40 лет – это не просто небо и земля, а пример того, как можно конвертировать время в гигантские результаты в производстве, промышленности, высоких технологиях и науке, а не растранжирить его, как это сделали мы.

Ну, не будем о грустном. Итак, вашему вниманию предлагается статья о новой реформе в Китае. В этой статье описываются первые шаги руководства Китая по “отвязыванию” китайской науки от мировых монополистов – Web of Science и Scopus. В отличие от китайцев, наши либеральные уроды у руля науки и образования не только не смеют об этом даже заикаться, но всё больше и больше загоняют российских учёных в прокрустово ложе западной наукометрии, попутно уничтожая тем самым российские научные журналы.

К слову сказать, я не знаю ни одной либералистической “реформы” в науке и образовании последних лет в России, которые бы дали хотя бы мизерный положительный результат. Что, в общем-то, и видно невооружённым глазом… Но я почему-то уверен, что наши китайские товарищи сумеют довести начатое до конца. А лет через пять какой-нибудь очередной придурок в роли министра науки и высшего образования РФ начнёт ссылаться на китайский опыт и необходимость его применения. Проблему мог бы решить какой-нибудь грузовой “Боинг” рейса Москва-Нью-Йорк, упавший на Высшую школу экономики. Но об этом можно только мечтать.

 

«Новая реформа оценки научных исследований в Китае и её реализация»

Линь Чжан (Lin Zhang), Школа информационного менеджмента, Уханьский университет, КНР
Гуннар Сивертсен (Gunnar Sivertsen), Северный институт исследований в области инноваций, научных исследований и образования, Осло, Норвегия

Принято к публикации 23.04.2020. Опубликовано 12.05.2020

Реферат

Недавно в Китае была начата радикальная реформа оценки научного исследования. Её смысл заключается в замене акцента на показателях, основанных на Web of Science, сбалансированным сочетанием качественной и количественной оценки исследований, а также в повышении актуальности исследований в Китае. Организациям доверяют реализовать политику в течение нескольких месяцев, но не предоставляют необходимых национальных платформ для координации, воздействия и сотрудничества при разработке общих инструментов и информационных ресурсов, а также для согласования определений, критериев и протоколов процедур. В этой статье, основанной на международном опыте, предлагаются конструктивные идеи для реализации новой политики.

Особенности политики

В ответ на три основных послания новой политики мы предлагаем следующие возможные решения для её реализации:
Прощание с «обожествлением SCI»: с уходом от Web of Science в качестве стандарта необходимы интегрированная исследовательская информационная система и национальная система оценки журналов.
От метрики к экспертной оценке: функция и вес экспертной оценки необходимо дифференцировать в зависимости от уровня системы научных исследований: отдельными лицами, подразделениями, учреждениями и национальными агентствами.
Новый приоритет регионального значения: лроден быть предусмотрен оптимальный баланс между глобализацией и региональным значением в зависимости от типа и области научного исследования.

Ключевые слова:

оценка научных исследований, политика научных исследований, экспертная оценка, библиометрические показатели, оценка журналов, информационная система исследований, целостность исследований, Китай.

Цитирование статьи:

Чжан Л. и Сивертсен Г., 2020. Новая реформа оценки исследований в Китае и ее реализация. Отчеты об оценке науки, 2 (1), стр. 3. DOI: http://doi.org/10.29024/sar.15

Введение

Министерство науки и технологий и Министерство образования Китая недавно опубликовали два стратегических документа (Министерство образования 2020; MOST 2020), которые вызвали интенсивную дискуссию среди китайских ученых и также вызвали интерес во всем мире (Редакционная статья в Nature 2020; Mallapaty 2020) . Новая политика направлена на восстановление «научного духа, качество инноваций и роль сервисов» научных исследований и «содействие возвращению университетов к их первоначальным академическим целям» (MOST 2020). Отправной точкой является то, что за последнее десятилетие политика Китая в области оценки и финансирования исследований была сосредоточена на количественных показателях и публикациях в журналах, охватываемых Web of Science. Действительно, в какой-то мере именно эта направленность помогла Китаю превзойти США как самую крупную страну-спонсора международных научных журналов (Tollefson 2018). Однако теперь правительство хочет уравновесить дальнейшую интернационализацию с внутренними потребностями и своими традиционными методами количественной оценки с качественной экспертной оценкой. Вот в чем состоят главные идеи:

• Прощай, «обожествление индекса цитирования» Индикаторы, основанные на Web of Science, не будут напрямую применяться при оценке и финансировании на любом уровне. Будет создан альтернативный индекс цитирования с учётом китайских особенностей и международного влияния.
• От метрик к экспертной оценке Ориентацию «исключительно на бумагу» в панельных оценках заменит новый акцент на новизну, научную ценность, целостность исследований, инновационный потенциал и социальные результаты. Публикации будут рассматриваться в качестве ограниченного набора «репрезентативных работ», имеющих прямое отношение к оценке. Количество публикаций и импакт-факторы журнала больше учитываться не будут.
• Новый приоритет регионального значения Будут поощряться публикации в высококачественных китайских журналах, а также поддерживаться развитие таких журналов.

Животрепещущим вопросом сейчас в Китае является то, как будет реализовываться новая политика и с какими последствиями. Университетам настоятельно рекомендуется внедрить эту политику на местном уровне не позднее конца июля (2020). При этом правительство доверяет им найти собственные решения, что является хорошим признаком уважения к автономии. Однако, похоже, недооценивается потребность в национальной координации и услугах. Мы свяжем некоторые проблемы реализации и их возможные решения с тремя пунктами выше.

Основы новой политики

Два новых стратегических документа появились не внезапно. В последние годы в Китае прозвучало несколько призывов изменить протоколы оценки исследований и финансирования с количественной на более качественную. В 2016 году президент Си Цзиньпин призвал к реформе в сторону более комплексной системы оценки для индивидуальных исследователей (Xinhua News Agency, 2016). Кроме того, в совместном документе 2018 года трёх министерств и двух национальных центральных учреждений прямо предлагалось отказаться от феномена «Ровно четыре», когда имеются в виду «только статьи, только титулы, только дипломы и только награды» (MOST 2018). Среди этих моментов наибольшее внимание – по уважительным причинам, получил первый – «только статьи».

Этот феномен долгое время в Китае называли «обожествление индекса научного цитирования» (первоначальное название Web of Science было Science Citation Index). За прошедшие годы публикации, проиндексированные с помощью показателей WoS и показателей, основанных на WoS (например, импакт-фактор журнала и высоко цитируемые статьи в рамках ESI (ключевые показатели науки)), стали основными индикаторами для оценки исследований, найма персонала, продвижения по службе, наград, университетских или дисциплинарных рейтингов, финансирования и распределения ресурсов. Широко распространены даже индивидуальные денежные стимулы для публикаций WoS (Quan, Chen & Shu 2017).

Эффект был двояким. С одной стороны, китайских исследователей поощряют к публикации в соответствии с мировыми стандартами и к более широкому и заметному общению с международным сообществом. Китайские исследователи воспользовались советами, полученными в процессе международной экспертной оценки, и повысили эффективность своих исследований. С другой стороны, сильная опора на «статьи в парадигме индекса цитирования» широко обсуждалась как некая форма смещения целей. Некоторые отдельные исследователи и учреждения устроили гонку за большим количеством публикаций, игнорируя качество и ценность своих исследований для общества, даже ценой целостности исследований, что стало серьёзной проблемой для правительства Китая.

Более половины мировых научных статей публикуются в «международных» журналах, принадлежащих издателям в Нидерландах, Великобритании и США. Китай в настоящее время является крупнейшей страной-спонсором этих журналов, но только около 200 из 11000 журналов, индексируемых в Web of Science, публикуются в Китае. Этот дисбаланс привлёк внимание в Китае. Поскольку мы являемся одной из ведущих стран в области науки и технологий, публикация академических журналов с международной репутацией по-прежнему остаётся важнейшей целью. Задача увеличения числа отечественных журналов в Китае заключалась в привлечении первоклассных материалов, в частности, из-за того, что публикации в китайских журналах не особо ценились при оценке научных исследований. «Обожествление SCI» воспринимается как порочный круг для повышения стандартов и авторитета отечественных журналов.

Несмотря на большой прогресс во всём мире публикаций с открытым доступом, большая часть научных достижений Китая по-прежнему заблокирована из-за платного доступа. «NSFC (Национальный фонд естественных наук) финансирует около 70% китайских научных статей, публикуемых в международных журналах, однако Китай должен выкупать их по полной и высокой цене», – заявил Сяолинь Чжан, председатель комитета по стратегическому планированию Национальной научно-технической библиотеки при Министерстве иностранных дел. Наука и технологии в Пекине (Schiermeier 2018). Статьи, опубликованные китайскими исследователями в международных журналах редко читаются широкой китайской аудиторией из-за платного доступа и языковых барьеров. Это интерпретируется как отсутствие пользы от научных исследований для китайского общества и частичным объяснением повышенного внимания к отечественным публикациям в новой политике оценки и финансирования.

Новое направление в Китае имеет сходство с инициативами в других частях мира, такими как декларация DORA об оценке исследований (DORA 2013), Лейденский манифест для метрики научного исследования (Hicks et al. 2015) и политика ЕС в отношении Responsible Research and Innovation (Ответственные исследования и инновации) (Европейская комиссия 2020). Но ни одна из этих инициатив не привела к простым решениям ни в одной стране. Вместо этого существуют проекты международного сотрудничества между спонсорами, учреждениями и странами для разработки общих стандартов и источников информации для целостных оценок, выходящих за рамки метрик, касающихся публикаций и цитирования. Цель состоит в том, чтобы обеспечить справедливость и предсказуемость, поскольку исследователи могут перемещаться между различными партнёрскими сетями, спонсорами, учреждениями и странами.

Мы считаем, что новая политика Китая заложит основу для большего взаимопонимания, обучения и сотрудничества между странами в области оценки и финансирования исследований. Другие страны не только признают позитивные научные и социальные ценности, на которых основана новая политика Китая, но и некоторые проблемы с ее реализацией, которые мы обсудим здесь в связи с тремя основными идеями политики, перечисленными во введении.

Прощание с «обожествлением индекса цитирования»

Уходя от Web of Science (или Scopus) как стандарта национальной системы оценки и финансирования исследований, Китай расширяет возможности своих академических сообществ, исследовательских институтов и финансирующих организаций в определении принципов, критериев и протоколов оценки. По сути, страна переходит от системы, основанной на коммерческих продуктах, к системе самоопределения и самоорганизации, основанной на критериях (Aksnes & Sivertsen, 2019). Для осуществления этого шага по-прежнему необходимы интегрированная исследовательская информационная система и национальная система оценки журналов.

В новой политике учитывается необходимость некой системы оценки журналов для того, чтобы заменить использование импакт-факторов и привлечь журналы, выходящие за рамки Web of Science. Однако идеи о том, как реализовать такую систему, нуждаются в дальнейшем развитии. В политике говорится о занесении журналов в чёрный список с сомнительными целями и о придании дополнительного веса «трем типам первоклассных статей, включая публикации в отечественных научных журналах с международным влиянием, международно признанных ведущих или известных научных журналах, а также статьи, опубликованные в материалах авторитетных научных конференций в Китае и за рубежом» (MOST 2020). Предполагается, что выбор будет ограниченным и будет осуществляться на региональном уровне «академическим комитетом подразделения» без более чётких критериев, чем изложено в этих предложениях.

Другие инициативы, существующие в том же направлении, необходимо будет координировать. Ограниченный набор журналов уже сформирован в рамках «Плана действий по совершенствованию китайских научно-технических журналов», который был обнародован в 2019 году с целью повышения качества избранного числа научно-технических журналов (всего 285 журналов), а также для ускорения процесса превращения указанных китайских журналов в научные журналы мирового уровня (CAST 2019). Кроме того, в Китае существуют службы индексации цитирования, которые охватывают выборку отечественных научных журналов. Подобный сервис включает также социальные и гуманитарные науки. Эти службы по-разному организованы в разных учреждениях или компаниях. Они являются «продуктами» с разными критериями включения журналов, при этом китайские академические сообщества не оказывают прямого влияния на их критерии. Теперь новая политика направлена на создание альтернативного индекса цитирования с «китайскими особенностями и международным влиянием», чтобы заменить SCI, в котором китайские журналы представлены недостаточно. Как можно скоординировать все эти инициативы?

Чтобы установить новый обоснованный стандарт на основе прозрачных процедур, необходимо создать исчерпывающий список признанных журналов, представляющий континуум всех областей научных исследований и включающий как отечественные, так и международные журналы, при этом не забывая периферийные области и междисциплинарность. Этот список должен быть динамичным, чтобы отражать меняющийся рынок журналов, и он должен быть организован так, чтобы отражать сбалансированное влияние экспертных рекомендаций всех дисциплин в Китае через межведомственные представительные органы. Такая же организация экспертных консультаций необходима, если необходимо придать дополнительный вес отдельным выбранным журналам из полного списка. Примеры таких динамических списков уже существуют в нескольких неанглоязычных странах Африки, Азии, Европы и Латинской Америки, например латинский и скандинавский список.

Новая политика требует более широкого взгляда на оценку исследований в отношении новизны, научной ценности, целостности исследований, инновационного потенциала и социальных результатов. Как группы будут проинформированы о таких достижениях и смогут их сравнить? В дополнение к Web of Science необходимы более полные источники информации. Эти источники могут быть интегрированы в национальную информационную систему текущих исследований (CRIS). Мы кратко опишем идею, основанную на Sivertsen (2019), а также возможности и проблемы для её реализации в Китае.

Современные исследовательские информационные системы (CRIS) – это базы данных или другие информационные системы, используемые как в исследовательских организациях, так и при взаимодействии между ними, для хранения, управления и обмена данными для документирования, обмена информацией и администрирования научно-исследовательской деятельности. CRIS обычно содержит информацию об исследователях и исследовательских группах, их проектах, финансировании, промежуточных и окончательных результатах. В наиболее продвинутых версиях CRIS помогает создавать интегрированные данные того, что раньше было документами разной направленности, такими как отдельные заявки на финансирование, годовые отчеты организаций, отчеты по проектам, резюме, списки публикаций, профили исследовательских групп, отчеты по проектам, информация для СМИ и широкой общественности и т.д. Библиографические ссылки с опцией поиска могут обеспечивать доступ к полным текстам публикаций в локальных репозиториях.

Благодаря интегрированной системе CRIS, предоставляющей структурированные данные с гарантированным качеством для целей статистики, исследовательские и финансирующие организации могут использовать CRIS также для мониторинга и оценки исследовательской деятельности и полученных результатов, распределения финансирования, поддержки принятия решений по их политике и стратегиям, отслеживания карьеры исследователей, и описания их системной роли для представителей власти, заинтересованных сторон и общественности.

CRIS содержит информацию об идентифицируемых лицах (не только об авторах). Это решило бы проблему неоднозначности имени автора в Китае. В ней обновляются сведения об аффилиации с организациями, титулах и должностях (а не только опубликованные адреса), что может более эффективно поддерживать и отражать мобильность. Система может содержать более полную информацию, чем та, которая содержится, например, в благодарностях за финансирование в публикациях, а также в резюме, проектах, сетях и членствах в организациях. CRIS также может содержать более полную информацию о публикациях, чем в существующих источниках библиографических данных. Китайская система CRIS может интегрировать международные и внутренние службы индексирования, упомянутые выше, и выходить за их границы в пределах, заданных определениями и критериями (Aksnes & Sivertsen 2019).

В настоящее время CRIS широко распространены в мире, но большинство из них действуют только на институциональном уровне и представляют собой закрытые системы. Существующие коммерческие решения, например Converis от Clarivate и Pure от Elsevier, предназначены только для такого локального использования. Но согласовать комплексное и открытое национальное решение, главным образом для больших стран, представляется сложной задачей. Тем не менее, некоторые страны, например Бразилия, Чешская республика, Финляндия, Новая Зеландия и Норвегия сумели интегрировать CRIS на национальном уровне с помощью некоммерческих решений.

В Китае большинство китайских университетов и других исследовательских организаций уже имеют свои собственные локальные системы. Примером может служить Шанхайский технический университет с одним из самых передовых технических решений CRIS в мире, но только для регионального использования (kms.shanghaitech.edu.cn). На национальном уровне Министерство образования (МО), Министерство науки и технологий (МНТ) и Национальный фонд естественных наук Китая (НФЕН) создали информационные базы данных для научных исследований и образования (с различными направлениями, сильными сторонами и охватами), но они используются, в основном, в качестве внутренних источников.

Интегрированная исследовательская информационная система в Китае избавила бы индивидуальных исследователей и учреждения от необходимости предоставлять всю информацию самим при каждой оценке их деятельности. Национальная исследовательская информационная система должна включать как международные, так и отечественные научные публикации, другие типы результатов исследований, а также такую информацию, как учебники и книги для широкой аудитории, изобретения, образовательные ресурсы, правительственные распоряжения, информацию о взаимодействии со сферой культуры, обществом и промышленностью.

От метрик к экспертному обзору

Новая политика нацелена на оценку и финансирование китайской системы исследований и инноваций на всех уровнях. Нам кажется, что идеи новой политики оценки на более агрегированных уровнях (институты, тематические программы, исследовательские секторы) смоделированы на основе соответствующих методов оценки исследований на индивидуальном уровне. Предыстория состоит в том, что до настоящего времени предсказуемая «валюта для оценки» индикаторов, основанная на Web of Science, использовалась на всех уровнях китайской системы научных исследований. При нынешнем переходе от метрик к экспертной оценке необходима многоуровневая прикладная модель для ролей и процедур при оценке исследований (Moed 2020). Согласно этой модели, сами учреждения в своих процессах внутренней оценки и финансирования комбинируют индикаторы и экспертные знания для оценки отдельных лиц и групп. На внешнем уровне национальные метаинституциональные агентства используют агрегированные показатели на уровне институтов и, таким образом, оценивают процессы оценки и финансирования внутри институтов. Следуя этой модели, было бы неуместным и противоречащим институциональной автономии, чтобы метаинституциональное агентство непосредственно занималось оценкой отдельных лиц или групп на институциональном уровне.

Например, новая политика требует, чтобы небольшое максимальное количество репрезентативных публикаций было прочитано и оценено на всех уровнях. Мы не уверены, что отдельные публикации нужно читать при осуществлении оценки на всех уровнях и для всех целей в крупнейшей в мире исследовательской системе. В Европе есть страны с национальными системами оценки, где научные публикации читаются и оцениваются в третий или четвертый раз экспертными комитетами (до опубликования, до приёма на работу или продвижения по службе, до получения внешнего финансирования, а затем снова в рамках национальной оценки), даже если доказано, что метрики дают примерно одинаковый результат оценки на агрегированном уровне (Harzing, 2019; Traag & Waltman, 2019).

Мы считаем, что в новой политике необходимо более чётко различать подходящие методы на разных уровнях агрегирования. В зависимости от цели, метрики могут оказаться весьма полезными на агрегированных уровнях (Sivertsen 2017), а данные и индикаторы не обязательно должны быть ограничены WoS. Уже существуют альтернативные или дополнительные источники данных, которые более полно охватывают все области издательского дела как внутри страны, так и за рубежом (Engels & Guns 2018; Polonen 2018; Sivertsen 2018a), а также ряд индикаторов, которые могут обеспечить более сбалансированное представление моделей публикуемых статей во всех областях (Sivertsen, Rousseau & Zhang 2019). Такие индикаторы обычно применимы только на агрегированных уровнях (Aagaard 2015).

При этом нужно будет применять различные критерии и процедуры в зависимости от типа и области научных исследований, а также от цели проводимой оценки, например, при приёме на работу или для продвижения по службе, или при получении внешнего финансирования проекта, или при оценке программы. Для всех этих отличающихся друг от друга контекстов необходимо составить протоколы оценки, а также правила экспертных оценок.

Эта политика, похоже, подразумевает, что ответственность за разработку протоколов оценки с критериями детальных требований и процедур, университеты должны нести сами. Мы поддерживаем это доверие к институциональной автономии, но всё же считаем, что для разработки протоколов и их применения на практике важное значение будет иметь межведомственное дисциплинарное сотрудничество. При этом может потребоваться внешняя экспертная оценка. В небольших странах понятие «внешний» обычно означает приглашение экспертов из других стран. В более крупных странах, например в Соединенном Королевстве приглашенные эксперты (в системе передовых научных исследований) должны быть, по крайней мере, из разных учреждений. На наш взгляд, предпочтительнее комбинация обоих подходов. Национальные эксперты необходимы, потому что они понимают местную специфику и специализацию исследований, тогда как зарубежные эксперты обеспечивают внешние точки зрения и независимый взгляд. Полностью внутренняя институциональная система экспертной оценки может страдать от кумовства и предвзятости из-за конфликта интересов. Это может вызывать беспокойство у молодых исследователей в Китае, особенно у тех, кто при опубликовании своих работ уже привык к вердиктам зарубежных коллег.

Кроме того, переход к экспертной оценке позволяет проводить форматирующее оценивание. Форматирующее оценивание учитывает «уроки прошлого» (сильные и слабые стороны), смотрит в будущее (возможности, угрозы) и служит стратегическому развитию. Суммативное оценивание рассматривает прошлые результаты, проверяет, были ли достигнуты цели или ожидания, и используется в бухгалтерском учёте, при принятии решений и/или распределении ресурсов (Scriven 1967; Lepori & Reale 2012; Sivertsen 2017). В Китае преобладает суммативное оценивание. В новой политике нет идеи форматирующего оценивания. Координация на национальном уровне могла бы реализовать организационное осмысление на агрегированном уровне научных организаций и осуществить межинституциональное сотрудничество в различных дисциплинах. Организации могут иметь разные сильные стороны и могут добиться большего в результате сотрудничества, а не конкуренции.

Кроме того, некоторые критерии, на которых новая политика хочет сделать акцент вместо принципа «только статьи», трудно зафиксировать и измерить, например, инновации и сотрудничество с промышленностью, улучшение показателей здоровья, профессиональное образование и другие формы влияния на общество. В зависимости от профиля и целей университета подобные потенциальные результаты научных исследований зачастую прямо указываются в целях учреждения. Форматирующее оценивание может быть сосредоточено на том, каким образом учреждение организовывает работу и достигает заявленным целям (Sivertsen & Meijer 2019). Более того, оценка того, что делает каждый исследователь для достижения одних и тех же целей, может не понадобиться. У отдельных исследователей могут быть разные роли, таланты и возможности для достижения важных социальных целей исследования. Оценка на организационном уровне позволила бы учесть такие различия и формировать рекомендации по улучшению деятельности на уровне университета.

Региональное значение

Вот уже несколько лет в Китае существует озабоченность тем, что исследования, финансируемые и выполняемые в стране, и, как ожидается, были бы полезны для китайского общества, публикуются на английском языке в журналах очень дальнего зарубежья. Недавно были споры о том, что одна из первых научных статей, содержащих раннее предупреждение о коронавирусе, была опубликована китайскими учёными в международном журнале на Западе ещё до того, как широкая общественность в Китае была проинформирована об эпидемии (CDC 2020). Дебаты переросли в более общую дискуссию о том, где в первую очередь следует публиковать новые научные результаты, полученные в Китае: в международных или местных журналах. Это было одним из камней преткновения в китайских социальных сетях на ранней стадии вспышки коронавируса. Противники международных публикаций утверждали, что это задержит немедленное использование новых знаний, необходимых для борьбы с эпидемией в Китае (Zhang et al. 2020). Такая реакция широкой общественности понятна, но специалисты в данной области знают, что публикации в журналах внутри страны и за рубежом не могут заменить друг друга. Необходимы и те и другие; это вопрос баланса. Время также доказало, что глобальный обмен информацией и консультациями имеет решающее значение для остановки коронавирусной эпидемии, поскольку она распространилась на другие страны и континенты.

Новая политика поощряет исследователей публиковать больше статей в отечественных журналах. В ней даже упоминается о том, что «в принципе, когда исследователи предоставляют репрезентативные списки публикаций, статьи в отечественных журналах должны составлять не менее одной трети всех публикаций». На наш взгляд, как цель общей политики этот критерий может работать, но его необходимо применять дифференцированно в зависимости от области, типа научного исследования и цели обмена информацией. Например, большинство работ в области права будут опубликованы в национальных юридических журналах на родном языке страны, поскольку такие исследования чаще всего посвящены национальному законодательству страны и направлены на обслуживание её правовой системы. С другой стороны, большинство исследований по астрофизике публикуются на английском языке во всех странах, чтобы обеспечить глобальный обмен научной информацией по темам, в которых заинтересовано большинство стран. Но такие публикации на английском языке не мешают астрофизикам всего мира делиться своими знаниями с широкой публикой на своём родном языке. Сами по себе публикации на английском языке не делают китайские научные исследования менее полезными для китайского общества.

Также необходимо понять, что в Китае означает понятие «отечественные журналы». Существует множество профессиональных или общетематических журналов, в которых исследователи публикуются для более широкой аудитории на китайском языке. Кроме того, по всем дисциплинам существует ряд научных журналов, в которых исследователи публикуются на китайском языке для общения внутри страны. Для Китая характерна стойкая традиция, согласно которой в каждой научной области существует четкая иерархия журналов по их престижу. Если для топовых журналов имеется потребность в конкуренции за хорошие рукописи, то менее значимые журналы весьма многочисленны и нуждаются в улучшении общего качества существующих процедур и содержания. В конечном счёте, все большее количество научных журналов редактируются и публикуются китайскими научными организациями для того, чтобы обеспечить обмен информацией на международном уровне между авторами всех стран. Некоторые из них работают с так называемым «алмазным» открытым доступом, то есть без платы за обработку статей, и по этой причине они могут добиться международного успеха. Очевидно, эта третья группа журналов является достойной целью, поскольку в новой политике говорится о «трёх типах статей высокого уровня, в том числе опубликованных в отечественных научных журналах с международным влиянием» (MOST 2020).

Баланс между глобализацией и актуальностью на местном уровне должен быть эмпирическим и динамичным, что отражает статистически обоснованную политику разумных изменений (Sivertsen 2018b). Хотя Китай в настоящее время является страной с наибольшим вкладом в число публикаций, индексируемых в Scopus (Tollefson 2018), большинство научных публикаций в Китае по-прежнему издаются на китайском языке с вариациями между областями исследований. Некоторые области представлены на международном уровне и имеют авторитет, другие – нет. Ежегодный объём отечественных статей в рамках Китайского индекса цитирования социальных наук (CSSCI) по-прежнему примерно в десять раз больше, чем годовой объём статей из Китая с индексом цитирования социальных наук Web of Science (Zhang et al., 2020 ). Молодые исследователи обычно более активны в написании статей для международных журналов, чем учёные старшего возраста. Следовательно, новая политика находит свой отклик в академическом сообществе по-разному. Некоторые учёные с энтузиазмом отказываются от политики глобализации. Другие обеспокоены тем, что они потеряют зарубежную поддержку исследований и возможность публиковаться за рубежом. Китаю необходимо найти дифференцированный и динамичный баланс между актуальностью исследований на местном уровне и глобализацией исследований.

Заключение

В заключение следует отметить, что в результате новой политики оценки и финансирования в Китае предпринимаются значительные усилия по переходу от индикаторов, основанных на WoS, к сбалансированному сочетанию качественной и количественной оценки исследований, а также к повышения актуальности исследований в самом Китае. Научным учреждениям доверяют быстрое внедрение этой политики, но при этом не предоставляют необходимые национальные платформы для координации, воздействия и сотрудничества при разработке общих информационных ресурсов и инструментов, а также согласованных определений и протоколов. В ответ на три основных послания новой политики мы предлагаем краткое изложение возможных решений проблем её реализации:

• С отходом от Web of Science в качестве стандарта потребуются национальная исследовательская информационная система и система оценки журналов. Система оценки журналов может поддерживать легитимность и прозрачность общей системы оценки и финансирования, и способствовать установлению эмпирического и динамического баланса между глобализацией и региональной актуальностью. Также это будет способствовать повышению эффективности отечественных китайских журналов. Национальная исследовательская информационная система обеспечит оценку исследований на основе соответствующей информации и нового, более широкого, охвата, при более полном учёте публикаций, информации об инновациях и сотрудничестве с промышленностью, улучшении итоговых показателей охраны здоровья, профессиональном образовании и других форм влияния на общество.
• Функция и вес экспертной оценки необходимо дифференцировать в зависимости от уровня системы научных исследований. На агрегированных уровнях может быть актуальным ответственное использование индикаторов. Используемые метрики не обязательно должны основываться на Web of Science. Уже существуют альтернативные индикаторы, которые более сбалансировано представляют все области научных исследований, а также отечественные публикации и зарубежные статьи. Вместо чтения статей, советы экспертов можно использовать в формативных оценках на уровне организации, фокусируясь на том, что делается для поддержки отдельных исследователей в достижении целей организации.
• Баланс между глобализацией и актуальностью на региональном уровне должен быть эмпирическим и динамичным, что отражает статистически обоснованную политику разумных изменений, учитывая, что оптимальный баланс будет различаться в зависимости от типа и области исследования. Учёные должны быть уверены в том, что они смогут использовать подходящую для себя издательскую практику, в которой сбалансированное соотношение статей как внутри страны, так и за рубежом, будет способствовать повышению уровня исследования и актуальности на местном уровне.
• Исследователи и их организации не должны быть только объектом оценки исследований. Они также должны участвовать в определении критериев и разработке протоколов этой оценки. Для разработки общих критериев и протоколов для использования в различных контекстах на местном уровне необходимо сотрудничество между исследовательскими организациями и организациями, финансирующими исследования, а также с репрезентативными дисциплинарными органами на национальном уровне.

Мы считаем, что при такой реализации новой политики исследователям во всех областях и различных организациях будет легче идентифицировать себя с новыми критериями и процедурами оценки и финансирования исследований. Что может снять часть бремени нынешней системы оценки. Эту нагрузку также можно уменьшить за счет общих изменений в управлении. Часть распределяемого финансирования, ориентированного на результат, может быть уменьшена за счет перехода от постоянного контроля к доверительному управлению проектами и организациями. Доверяя исследователям и их организациям в отношении того, что они используют свои ресурсы эффективно и ответственно, больше средств можно потратить с прицелом на долгосрочную предсказуемость для проектов и организаций. Это также могло бы способствовать достижению основных целей новой политики, заключающейся в восстановлении исходных научных и социальных ценностей, которыми будут руководствоваться научные исследования в Китае.

О конфликте интересов

У авторов нет конфликта интересов, о которых можно заявить.

Литература

• Aagaard, K. (2015). How incentives trickle down: Local use of a national bibliometric indicator system. Science and Public Policy, 42(5), 725–737. DOI: https://doi.org/10.1093/scipol/scu087
• Aksnes, D. W., & Sivertsen, G. (2019). A criteria-based assessment of the coverage of Scopus and Web of Science. Journal of Data and Information Science, 4(1), 1–21. DOI: https://doi.org/10.2478/jdis-2019-0001
• CAST. (2019). [in Chinese] “Notice of the journal lists according to Chinese science and technology journal excellence action plan”. Retrieved from http://www.cast.org.cn/art/2019/11/25/art_458_105664.html
• CDC. (2020). [in Chinese] “Response from Chinese Center for Disease Control and Prevention for a NEJM publication”. Retrieved from http://tech.gmw.cn/2020-01/31/content_33513568.htm
• DORA. (2013). Retrieved from https://sfdora.org/
• Editorial in Nature. (2020). China’s research-evaluation revamp should not mean fewer international collaborations. Nature, 579, 8. DOI: https://doi.org/10.1038/d41586-020-00625-0
• Engels, T. C. E., & Guns, R. (2018). The Flemish Performance-based Research Funding System: A Unique Variant of the Norwegian Model. Journal of Data and Information Science, 3(4): 45–60. DOI: https://doi.org/10.2478/jdis-2018-0020
• European Commission. (2020). Responsible research & innovation in Horizon 2020. Retrieved from https://ec.europa.eu/programmes/horizon2020/en/h2020-section/responsible-research-innovation
• Harzing, A. W. (2019). Running the REF on a rainy Sunday afternoon: Do metrics match peer review Retrieved from https://harzing.com/publications/white-papers/running-the-ref-on-a-rainy-sunday-afternoon-do-metrics-match-peer-review
• Hicks, D., Wouters, P., Waltman, L., de Rijcke, S., & Rafols, I. (2015). Bibliometrics: The Leiden Manifesto for research metrics. Nature, 520, 429–431. DOI: https://doi.org/10.1038/520429a
• Lepori, B., & Reale, E. (2012). S&T indicators as a tool for formative evaluation of research programs. Evaluation, 18(4), 451–465. DOI: https://doi.org/10.1177/1356389012460961
• Mallapaty, S. (2020). China bans cash rewards for publishing papers. Nature, 579, 18. DOI: https://doi.org/10.1038/d41586-020-00574-8
  Ministry of Education, PRC. (2020). [in Chinese] “Some opinions on standardizing the use of related indicators of SCI papers in universities and establishing a correct evaluation orientation”. Retrieved from http://www.moe.gov.cn/srcsite/A16/moe_784/202002/t20200223_423334.html
• Moed, H. F. (2020). Appropriate Use of Metrics in Research Assessment of Autonomous Academic Institutions. Scholarly Assessment Reports, 2(1), 1. DOI: https://doi.org/10.29024/sar.8
• MOST. (2018). [in Chinese] “Implementation of the special action of clearing up ‘only paper, only title, only diploma, and only award’”. Retrieved from http://www.most.gov.cn/tztg/201810/t20181023_142389.htm
• MOST. (2020). [in Chinese] “Some suggestions to eliminate the bad orientation of ‘paper-only’ in scientific and technological evaluation (Trial)”. Retrieved from http://www.most.gov.cn/mostinfo/xinxifenlei/fgzc/gfxwj/gfxwj2020/202002/t20200223_151781.htm Polonen, J. (2018). Applications of, and Experiences with, the Norwegian Model in Finland. Journal of Data and Information Science, 3(4), 31–44. DOI: https://doi.org/10.2478/jdis-2018-0019
• Quan, W., Chen, B. K., & Shu, F. (2017). Publish or impoverish: An investigation of the monetary reward system of science in China (1999–2016). Aslib Journal of Information Management, 69(5), 486–502. DOI: https://doi.org/10.1108/AJIM-01-2017-0014
  Schiermeier, Q. (2018). China backs bold plan to tear down journal paywalls. Nature, 564, 171–172. DOI: https://doi.org/10.1038/d41586-018-07659-5
• Scriven, M. (1967). The methodology of evaluation. In R. W. Tyler, R. M. Gagne & M. Scriven (Eds.), Perspectives of curriculum evaluation (Vol. 1, pp. 39–83). Chicago, IL: Rand McNally.
• Sivertsen, G. (2017). Unique, but still best practice The Research Excellence Framework (REF) from an international perspective. Palgrave Communications, 3, 17078. DOI: https://doi.org/10.1057/palcomms.2017.78
• Sivertsen, G. (2018a). The Norwegian Model in Norway. Journal of Data and Information Science, 3(4): 3–19. DOI: https://doi.org/10.2478/jdis-2018-0017
• Sivertsen, G. (2018b). Balanced multilingualism in science. BiD: textos universitaris de biblioteconomia i documentacio, 40. DOI: https://doi.org/10.1344/BiD2018.40.25
• Sivertsen, G. (2019). Developing Current Research Information Systems (CRIS) as Data Sources for Studies of Research. In W. Glanzel, H. F. Moed, U. Schmoch & M Thelwall (Eds.), Springer Handbook of Science and Technology Indicators (pp. 667–683). Cham: Springer. DOI: https://doi.org/10.1007/978-3-030-02511-3_25
• Sivertsen, G., & Meijer, I. (2019). Normal versus extraordinary societal impact: how to understand, evaluate, and improve research activities in their relations to society Research Evaluation, 29(1), 66–70. DOI: https://doi.org/10.1093/reseval/rvz032
• Sivertsen, G., Rousseau, R., & Zhang, L. (2019). Measuring Scientific Production with Modified Fractional Counting. Journal of Informetrics, 13(2), 679–694. DOI: https://doi.org/10.1016/j.joi.2019.03.010
• Tollefson, J. (2018). China declared world’s largest producer of scientific articles. Nature, 533, 390. DOI: https://doi.org/10.1038/d41586-018-00927-4
• Traag, V. A., & Waltman, L. (2019). Systematic analysis of agreement between metrics and peer review in the UK REF. Palgrave Communications, 5, 29. DOI: https://doi.org/10.1057/s41599-019-0233-x
• Xinhua News Agency. (2016). [in Chinese] “Central Leading Group for Comprehensive Deepening Reform (Twenty-ninth meeting)”. Retrieved from http://www.gov.cn/xinwen/2016-11/01/content_5127202.htm
• Zhang, L., Shang, Y. Y., Huang, Y., Sivertsen, G. (2020). Toward internationalization: a bibliometric analysis of the social sciences in Mainland China from 1979 to 2018. Quantitative Science Studies, submitted for peer review.
• Zhang, L., Zhao, W. J., Sun, B. B., Huang, Y., & Glanzel, W. (2020). How scientific research reacts to international public health emergencies: a global analysis of response patterns. Scientometrics. DOI: https://doi.org/10.1007/s11192-020-03486-6

Источник