中國網/中國發展門戶網訊 2013年5月，《科研評價的舊金山宣言》（以下簡稱DORA或《舊金山宣言》）正式發布，旨在解決逐漸興起的“以刊評文，以文評人”問題。《舊金山宣言》獲得國際科學配合體廣泛認同與反響；以此為旗幟，許多國際學術組織、學術年會、高校與研討機構開始討論科技評價改造。同時，成立了DORA科技評價聯盟、科技治理國際聯盟（INORMS）科技評價任務組等新的國際組織努力于推動科技評價改造。10年來，國際科技評價改造不斷深刻，慢慢從理念層面的倡導和討論落實到眾多科研機構的實踐摸索之中，後果初顯。
筆者曾于2022年發表過《科技評價改造十年評述》一文，對我國科技評價10年改造進行過總結。認為，以“三評”改造和破“四唯”為代表的我國科技評價改造正處在關鍵時刻。雖然今朝在清算“四唯”上已獲得初步後果，以論文等指標進行簡單量化評價的現象明顯好轉。可是，“立新標”還在半路上，特別是科技評價改造所要引導的對出色的價值尋求還遠未構成。對此，若何謀劃下一個步驟科技評價改造的目標和舉措是急切需求答覆的主要課題。筆者作為國際科技評價組織的任職者和經歷者，通過對國際科技評價改造10年進行系統的梳理、剖析和比較，得出相應結論和啟示，以期起到參考之資的後果。
為防止惹起歧義，對文中2個概念進行說明：本文中說起的國內、國際的科技評價均指針對高級學校、科研機構（含科研資助機構）開展的以基礎研討為主的科研評價，包含論文、人才、項目、機構等的評審評價，盡管英文普通被稱為“research assessment”或“research evaluation”，小樹屋可是，為了與國內語境堅持分歧，會議室出租本文沿用“科技評價”而不是“科研評價”。國際科技評價改造重要是指歐洲和北美等地區的傳統科技強國主導、今朝在國際上構成較年夜影響的科技評價教學改造，包含改造目標、改造的組織推動過程、改造的基礎理念及開展的改造實踐等。
國際科技評價改造要解決什么問題？
普通而言，歐洲和北美等傳統科技強國因為其深摯的科學文明底蘊，科學價值標準與尋求傳統上是不錯的。可是，隨著科技本身的發展及其位置的晉陞，其科技評價也面臨新的問題與挑戰，必須與時俱進。歸納起來，國際科技評價改造要應對的問題或許說要達成的目標年夜致有3個方面。
防止文獻計量學方式在科技評價中的不當應用。在american學者Garfield提出應用參考文獻追蹤科學進展的引文剖析會議室出租方式后，american科學信息研討所（ISI）于1963年開始通過引文剖析篩選期刊，構成科學引文索引（SCI）數據庫，從而為在科研評價中應用文獻計量學方式供給了基礎。文獻計量學方式的引進，一方面為科技評價供給了證據瑜伽場地支撐；另一方面助推了“以刊評文”的慢慢興起——“發表在哪兒比發表什么更主要”，這無疑對科研產出的質量、完全性和多樣性產生晦氣影響。若何防止文獻計量學方式的不當應用，成為國際科學配合體面臨的主要挑戰。
重視科學對經濟社會的影響力（impact）評價。隨著科技在國家經濟社會發展、國家平安等方面位置的晉陞，科技競爭愈演愈烈，世界各國一方面加年夜科技投進，另一方面也加倍關注科技投進對本國創新發展的效力和後果。原來科學投進“只問耕作，不問收獲”的線型模子被質疑，科學對經濟社會的影響力評價逐漸成為科技評價的焦點內容。影響力評價的引進帶來2個方面的挑戰：科學配合體難以構成共識，良多科研人員不認可影響力評價，認為這種邊界含混、不難自我吹噓的評價會助長學術不端、損害學術質量。準確評價影響力難度太年夜，難以找到科學的指標、數據來源與評價方式。這2個問題也是國際科技那人拒絕收禮物後，為了防止這人狡猾，她讓人去調查那傢伙。評價界討論的熱點問題。
適應開放科學、基于人工智能的科學研討等新范式發展。以數據共享為基礎的開放科學（open science）近年來在歐美風行并逐漸影響全球。開放科學運動興起的同時請求改造科技評價系統，以進步公開性和通明度。可是，若何將傳統上以個人創造活動為主的科學研討，轉變為數據共享的、體現年夜規模協作的集體性科研活動并非易事，需求各方面配合盡力。例如，聯合國教導、科學及文明組織（UNESCO）提出了關于開放科學的建議，此中包含為其成員開發的“開放科學東西包”，幫助他們審查和改造科研職業生活的評估標準。人工智能的迅猛發展也將對科技評價產生深遠影響，“人工智能驅動的科學研討”（AI for Science，簡稱AI4S）成為新的科學范式。各國都努力于搶占這一范式制高點，也需求通過科技評價予以激勵和引導。同時，AI4S在促進科技發展、減輕科學家負擔的同時，能夠強化數據預測技術而帶來風險與偏見，也對改造科技評價家教提出了新挑戰。不過，在這方臉孔前雖然有較多說起，但今朝還沒有成為10年來國際科技評價改造的重點。
就以上3個方面而言，這次國際科技評價改造要解決的緊迫問題或許說焦點目標是前2個方面，即文獻計量學方式不當應用，以及影響力評價。這與我國是類似的，第1個問題即文獻計量學方式不當應用方面的挑戰在我國尤其嚴峻。這是因為，比擬于傳統科技強國，由于科學文明單薄、情面原因過多等緣由，我國的同業評議系統還不夠健全，這導致科技評價中對論文發表的刊物的影響因子、論文本身的援用量及論文數量等量化指標加倍倚重。第2個問題即若何推動影響力評價跟我國正在推動的科技結果“五元價瑜伽教室值”評價是類似的。可是，我國破“四唯”中的獎項、學歷、職稱、人才“帽子”等，更多是我國特點，對于一些傳統科學強國而言這些基礎性問題并不顯著。
國際科技評價改造采取了什么舉措？
國際科技評價改造的若干主要舉措
從路徑來看，國際科技評價改造由科學配合體主導，重要采用自下而上方法開展。國際科技評價改造啟動的標志性事務是2013年5月《舊金山宣言》的發布。該宣言的初稿是相關學者和編輯在2012年底舊金山召開的american細胞生物學學會（ASCB）年會期間，針對期刊影響因子在科技評價中不當應用的弊病所提出的。《舊金山宣言》發布后，許多國際學術組織、學術年舞蹈場地會、高校與研討機構紛紛跟進，并成立了DORA科技評價聯盟等新的國際組織配合努力于推動科技評價改造。2023年5月，包含中國在內的全球許多國家分別舉行了《舊金山宣言》發布10周年紀念活動。
10年來，國際科學配合體在推動科技評價改造上做了大批情勢多樣的任務，包含發布宣言、倡議、聲明；組織學術年會交通、專題研討、項目研討；構成研討專報、科技評價方式框架、好的評價案例、科技評價試點協定等。本文梳理了此中14項比較嚴重的舉措（表1）。
國際科技評價改教學場地造的重要後果
在全球范圍內構成科技評價改造共識。截至2024年1月4日，已有3078個組織和21339名個人簽署了《舊金山宣言》，此中包含來自中國的15家機構。2022年，“家教推進科研評價聯盟”（CoARA）正式成立，并發布了《改造科研評價的協定》，來自40多個國家的350多個組織簽署了協定。科技評價改造日益在全球范圍內構成共識。
經過科學配合體各方氣力配合盡力，科技評價改造的“圖譜”逐漸清楚化。好比，《舊金山宣言》提出廢除“以刊評文”；《萊頓宣言》進一個步驟提出要糾偏“量化評價”；《量化指標潮水》報告進一個步驟明確量化評價的感化及規范；SCOPE框架定義負責任評價的過程等。分歧的學術組織針對分歧問題提出科技評革的分歧方面，拼湊成一個比較完全的“圖譜”。最后，這張改造“圖譜”被冠以“負責任科研的評價”（responsible research assessment）的標識，慢慢成為科技界的配合用語。
科技評價改造正在從理念層面走向實踐。今朝，簽署《舊金山宣言》的3000個多組織正在或許已經落實防止“以刊評文”請求。簽署《改造小樹屋科研評價的協定》的300多個組織（包含資助機構、高校和科研機構）正在進行科技評價改造試點，并且經常組織各種情勢的試點經驗交通。
構成了關于科技評價的一些基礎判斷。包含對科技評價正、反兩方面感化個人空間，定量評價與定性評價之間的關系，啟動評價的條件條件，以及晉陞評價數據質量的技術等。這些感性認識對我國有主要啟表示義。
國際上的“三評”改造實踐案例
如前文所述，國際科技評價改造正在從理念層面走向實踐，以下進行實踐案例剖析。鑒于我國當前科技評價源于國家“三評”改造文件，在此也分別選擇人才評價、項目評審和機構評估3個方面的案例進行剖析。
比利時根特年夜學人才評價改造
比利時根特年夜學（Ghent University）較早留意到基于文獻計量學方式的定量評價對研討文明帶來的系統性損害，認為定量評價助長了“發表在哪兒比發表什么更主要”的文明。2013年發布后，根特年夜學簽署了《舊金山宣言》。之后，又簽署了《改造科研評價的協定》。隨之著手對科教人員晉升評價等人才評價進行改造，以維護根特年夜學一貫倡導的多元化文明，同時打消教師對量化評價越來越年夜的不滿，力圖創建一個強調尋求出色研討的配合價值觀、富有挑戰性、高質量且具激勵性的職業框舞蹈教室架。
在學校治理層和科教人員的配合盡力下，2016年11月，根特年夜學發布了《根特年夜學評價研討愿景聲明》，提出科研評價必須遵教學場地照8項原則。2017年進一個步驟公布了科研評價中定量指標的應用指南。根據這2項政小樹屋策，2018年根特年夜學樹立了一種全新的教師評價和晉升形式，從頭將“責任”和學術不受拘束還給傳授級教職員。根據新的評價體系，根特年夜學對教師的評價不再只看科研產出，而會從加倍定性、綜合且以人為本的視角進行評價。評價以5年為周期，包含初期的證據性評價、中期反饋訪談和末期的訪談式評價。評價內容包含在研討、教學、社會參與度、治理和領導力方面最主要成績的敘述性展現（而非應用可權衡的定量標準），以及未來5年的意向規劃。
american國立衛生研討院（NIH）項目評審改造
american國立衛生研討院（NIH）是american最重要的醫學研討和資舞蹈場地助機構，每年都會資助大批新項目以推動相關領域的發展。NIH在簽署了《舊金山宣言》后，著手進行項目評審改造，以打消已有評審中存在的量化問題與偏見，同時適應開放科學的發展。改造重要包含3個方面。
修正評審規則。新規則請求對于研討者和研討環境的評估必須放在研討項目標佈景下來考慮而不是像之前被單獨評分。無論是人員還是機構，評審標準不再是“越強越好”而是“能勝任即可”；假如評審專家認為人員或機構才能缺乏，則需求給出具體說明。新標準的“夠用”原則試圖盡量解決聲看偏見，將關注點更多地放在研討課題自己下面而非機構聲譽。
修正項目申請所用的簡歷格局或“專家介紹”。在專家介紹中添加小段篇幅，由申請人簡要描寫其最主要的科學成績，以轉移項目評審專家對以往研討論文發表期刊的關注度。
出臺數據治理和共享新政策。自2023年1月起，請求每年受NIH資助的30萬名研討人員和2500個機構中的年夜多數在其撥款申請中闡明數據治理和共享（DMS）計劃。DMS計劃中應包含剖析數據所需的軟件或東西的細節、何時何地公布原始數據，以及訪問或分發該數據的任何特別考慮，并對數據共享的任何限制或破例情況說明來由，以促進開放科學發展。
英國年夜學評價改造
2014年，英國對原有年夜學科研評估考察（RAE）體系進行較年夜幅度改造，構成新的科研出色框架（REF）。相較于以往的評估體系RAE，REF最年夜的改造亮點在于：引進了文獻計量學評價指標，為同業評議供給參考；摸索了影響力評價方式，以展現英國年夜學研討對社會的真正影響，強調科學研討給現實世界帶來的好處。由于影響力評價難度較年夜，英國為此進行專門研討，開發了針對分歧類型學科科研結果的影響力指標。
2014實施的REF（REF 2014），在實現以評估結果對年夜學進行資源設置裝備擺設的同時，也不成防止地將競爭壓力通過年夜學傳導至基層學術組織，特別是定量指標的引進加劇了對教師個人科研行為的影響。2015年，受英國高級教導基金委員會委托，以James Wilsdon傳授為首的研討組對定量指標在REF中的感化進行了獨立教學評估。為此，研討組啟動了負責任評價指標專題論壇，重點關注與討論在科技評價中若何用好定量指標的問題。最后，研討組發布了題為《量化指標潮水》的研討報告，對應用定量指標給出“當然！”藍沐毫不猶豫的說道。了確定判斷并提出改進建議。
2022年，英國REF的領導機構——英格蘭研討院（Research England）簽署了《改造科研評價的協定》，要對REF繼續進行改造，旨在整個高校科研生態系統從頭樹立起一種負責任、包涵、多樣的科研文明。由此，英國啟動了“未來科研評價計劃”，旨在對剛實施完畢不久的REF 2021未來變革計劃進行更深刻研討。根據2023年6月發布的新一輪頂層設計計劃，REF 2028的政策重心將從“科研績效激勵”調整為“科研文明建設”，并且周全重塑科研環境、科研結果和科研影響3個評價維度，以晉陞高校對建設安康科研文明的重視水平。
國際上“三評”改造實踐的重要經驗
理論與實踐結合。試點機構充足應用科技評價10年改造期間國際科學配合體構建的一系列理論和方式體系指導實踐，理論與實踐緊密結合。
堅持與其他試點機構的交通共享。試點機構普通會簽署《舊金山宣言》和《改造科研評價的協定》，置身于試點集體之中，與科技評價研討的學者以及其他試點機構堅持互動交通。
在評價方式上堅持不斷創新和完美，而不奢看一揮而就。例如，REF自2008年提出引進科研影響力評價，期“我女兒能把他看成是他三生修煉的福分，他怎麼敢拒絕？”藍沐哼了一聲，一臉若敢拒絕的神情，看她如何修復他的表情，間花費了大批的人力和時間研討開發影響力的內涵、評價標準、評價方式、專家手冊等，直至2014年才應用于實際評價之中，並且現在仍然在研討和完美之中。
試點機構體現了充足的改造自立性。各機構響應國際科學配合體的倡議啟教學場地動改造，是出于交流本身在理念上的認同和實際需求，完整是自立的，而不是源自當局行政請求。
結論與啟示
結論
國際科技評價10年改造值得總結的內容良多，本文重要從與我國科技評價改造比較角度，得出3個方面結論。
國際科技評價改造目標與我國類似。本次國際科技評價改造的焦點目標有2個：破“以刊評文”，這與我國破“四唯”之中破“唯論文”的導向是分歧的；立對經濟和社會貢獻的“影響力”評價，這與我國強調科技結果的五元價值是分歧的。可是，我國破“四唯”中破獎項、學歷、職稱、人才“帽子”等，重要是我國特點。對于國際上的傳統科學強國而言，科技獎項、人才“帽子”等基礎性評價問題并不明顯。
國際科技評價改造路徑與我國差異較年夜。國際科技評價改造重要由科學配合體主導，采用自下而上的方式共享空間，通過科學配合體發布宣言、倡議、評價家教方式體系、簽署承諾協議、實踐案例總結與分送朋友等方法推動，當局很少直接參與。相反，我國更多采用自上而下方式，當局在科技評價改造中發揮主導感化，通過發布改造的政策文件和請求推動改造，科學配合體的感化發揮無限。
國際科技評價10年改造經驗值得借鑒。與自上而下的我國科技評價改造執行力強的特點分歧，國際科技評價改造加倍關注對科技評價規律的認識。由此，國際科技評價改造達成了比較系統的共識，值得借鑒。當然，國際科技評價改造所構成的許多共識跟我國在實踐中秉持的理念是類似的，有些甚至有異曲同工之妙。國際科技評價改造的共識包含：《舊金山宣言》提出的關注論文自己而不是期刊的倡議及對分歧主體做法上的建議、《萊頓宣言》提出的關于公道應用定量評價的倡議、INORMS科技評價任務組提出的SCOPE方式，以及英國REF評估構成的影響力評價方式等。此中家教部門焦點觀點值得特別說起：科技評價是治理的需求，也是一把“雙刃劍”，沒有充分來由和充足準備不要輕易啟動科技評價。科技評價離不開同業評議，難以通過簡單量化方式共享空間評價。可是，量化方式假如應用得當，能夠有用晉陞同業評議質量。量化方式有好壞之分，在實際評價中需求辨別與選擇好的量化方式，如學科規范化引文影響力（CNCI）指標；防止應用欠好的量化方式，如期刊影響因子。需求關注支撐定量評價的數據質量及其來源的靠得住性，沒有數據質量及其來源靠得住性保證，光是指標都倒，身體也沒有以前那麼好了。他在雲隱山的山腰上落腳。雅沒有效。通過應用獨一標識符（如ORCID），將科研產出、參與的科研活動等與科研人員綁定，在保證定量評價數據質量的基礎上便利查尋獲取，已經成為國際科學配合體越來越廣泛的做法。
啟示
以上通過中外比較得出的結論，對我國科技評價改造有許多啟示，本文重點論述4個方面的啟示。
分類分步破“唯”。評價改造要明確責任主體和先后順序。今朝我國的“四唯”中，“唯”要分類分步而破。① 嚴重性分歧。“唯論文”“唯獎項”“唯帽子”比較嚴重需求重點關注，“唯學歷”和“唯職稱”也是問題但影響面較小。② 責任主體分歧。“唯論文”的責任主教學場地體重要在科學配合體，這和國際科技評價改造分歧；“唯獎項”“唯帽子”責任主體重要在當局，國際科技評價改造沒有這方面的問題。這2個責任主體的問題是交互感化的，可是，有先后順序。“唯獎項”“唯帽子”本質是獎項和“帽子”過多，需求當局做減法，為科學配合體破“唯論文”、安心產出原創結果供給基礎性治理軌制保證。“唯論文”則需求借鑒國際科技評價改造經驗，更好地發揮科學配合體自下而上改造的主動性，構成先行先試交流、敢為全國先的局勢。
穩重啟動評價。評價是一把“雙刃劍”，國際科技評價改造倡導不要輕易啟動科技評價，這與我國科技評價改造節奏有相通之處。事實上，在破“唯”之前，我國起首開展的是“減量”改造，請求各單位清算過多過頻、重復穿插的評價。可是，近年來減量風頭過往后，評價沖動又有釋放苗頭；加上國家新出臺的“周全實施預算績效治理”的請求在落實中還沒有和原有科技評價協調好，評價頻次又多起來了。對此，需求通過樹立對評價進行評價的機制約束評價沖動、規范評價軌制和方式，而不僅僅逗留于開展減量改造的階段性運動。
用好量化評價。作為同業評議的輔助方式，量化評價在本次國際科技評價改造中獲得了重點關注，構成了較多共識。鑒于我國過往量化評價過于極端，在這次破“四唯”改造中，有一派觀點主張完整放棄定量評價，回歸同業評議。結合我國國情，這是不成取的。筆者曾經提出定量、定性相結合的BRIDGE理論，主張通過表單化方式將數據資料和證據的隱性知識顯性化，從而對同業評議起到支撐和約束舞蹈場地感化。這一方面是將我國已有量化評價摸索做到物盡其用，另一方面能夠在定量定性結合的評價方式上構成改造衝破，并為國際科技評價改造作出中國貢獻。
積極融進國際科技評價改造。今朝，我國簽署《舊金山宣言》的科研機構、高校和科學家個人還比較少，與我國龐年夜的科學共體還不相稱。同時，我國還沒有科研機構和高校參加國際《改造科研評價的協定》之中。這種情況與我國作為后發國家還存在一個慢慢融進國際科學配合體的過程有關，也與我國科技評價改造由當局主導的特點有關，甚至近幾年的疫情也有較年夜影響。作為國際科學配合體的一部門，我國應該加倍積極地融進國際科技評價改造。通過與國際科學配合體彼此借鑒和促進，一方面可以更好地激發我國科學配合體會議室出租在科技評價改造上的主動性，另一方面可以增添科學配合體之間的懂得與信賴，從而有利于加強全方位國際科技一起配合的紐帶。
（作者：徐芳、李曉軒，中國科學院科技戰略咨詢研討院中國科學院年夜學公共政策與治理學院 中國科學學與科技政策研討會科技治理與評價專委會。《中國科學院院刊》供稿）