期刊審稿專(zhuān)家評(píng)價(jià)方法及有效性

導(dǎo)語(yǔ)：期刊審稿專(zhuān)家評(píng)價(jià)方法及有效性一文來(lái)源于網(wǎng)友上傳，不代表本站觀點(diǎn)，若需要原創(chuàng)文章可咨詢(xún)客服老師，歡迎參考。

1引言

同行評(píng)議是科學(xué)評(píng)價(jià)最重要、最普遍的方式，在論文評(píng)審、項(xiàng)目遴選、職稱(chēng)評(píng)定、學(xué)術(shù)榮譽(yù)授予等眾多科學(xué)評(píng)價(jià)過(guò)程中被廣泛采用，用于鑒別科研價(jià)值、保障科研質(zhì)量[1]。對(duì)于期刊論文評(píng)審，審稿專(zhuān)家對(duì)研究工作的重要性、有效性、創(chuàng)新性等進(jìn)行評(píng)定，同時(shí)向作者提供有關(guān)錯(cuò)誤校正、理論/方法改進(jìn)等方面的建議[2]。有效的同行評(píng)議過(guò)程是保證稿件質(zhì)量、提高期刊聲譽(yù)與影響力的重要保障[3,4]。同行評(píng)議相關(guān)問(wèn)題得到了國(guó)內(nèi)外學(xué)者們比較廣泛的關(guān)注與研究[5]。考慮到同行評(píng)議結(jié)果受專(zhuān)家個(gè)體差異性的影響，如主觀意志的影響、專(zhuān)業(yè)知識(shí)水平的局限以及評(píng)議過(guò)程中其他偶然因素，容易產(chǎn)生偏見(jiàn)與片面性[1]，學(xué)者們開(kāi)始著手研究評(píng)議專(zhuān)家“反評(píng)估”方法，以期評(píng)估專(zhuān)家的評(píng)審行為，為評(píng)議專(zhuān)家遴選提供參考，以盡可能提高同行評(píng)議結(jié)果的公平與公正[6-12]。文獻(xiàn)[6]基于評(píng)議專(zhuān)家的基本情況、修養(yǎng)和工作業(yè)績(jī)?nèi)齻€(gè)方面對(duì)評(píng)議專(zhuān)家進(jìn)行評(píng)估，奠定了評(píng)議專(zhuān)家“反評(píng)估”的基本指標(biāo)體系。作者指出，工作業(yè)績(jī)指標(biāo)可基于歷史評(píng)議數(shù)據(jù)計(jì)算得出，具有較好的可獲得性。其下屬指標(biāo)包括評(píng)議項(xiàng)目累計(jì)數(shù)、（評(píng)分?jǐn)?shù)據(jù)的）離散率、命中率（推薦項(xiàng)目數(shù)/立項(xiàng)項(xiàng)目數(shù)）、算數(shù)偏差（與其他專(zhuān)家意見(jiàn)的偏差）等維度。文獻(xiàn)[7-12]在文獻(xiàn)[6]的框架下，從數(shù)學(xué)意義與物理意義討論了指標(biāo)體系的合理性[7]，設(shè)計(jì)了更加細(xì)粒度的指標(biāo)體系及相應(yīng)的權(quán)重分配[8,9]，對(duì)評(píng)估數(shù)據(jù)進(jìn)行預(yù)處理以提高評(píng)估可靠性[10]，基于不同案例對(duì)指標(biāo)體系進(jìn)行驗(yàn)證分析[7-9,11]。文獻(xiàn)[12]針對(duì)期刊評(píng)議，從審稿時(shí)長(zhǎng)、審稿意見(jiàn)長(zhǎng)度以及審稿意見(jiàn)與編輯意見(jiàn)的一致性三個(gè)維度出發(fā)，設(shè)計(jì)了F3指數(shù)用于輔助期刊評(píng)審人選擇，整體而言也并未超出文獻(xiàn)[6]所給出的指標(biāo)體系范疇。上述工作較大地推進(jìn)了評(píng)議專(zhuān)家評(píng)估指標(biāo)體系的建立與應(yīng)用，然而還存在以下可改進(jìn)之處：（1）文獻(xiàn)[6]中“工作業(yè)績(jī)”指標(biāo)的核心理念為，在存在大量評(píng)議數(shù)據(jù)時(shí)，評(píng)議專(zhuān)家的業(yè)績(jī)可基于該專(zhuān)家與其他專(zhuān)家的一致性程度進(jìn)行刻畫(huà)（一致性越高業(yè)績(jī)更好）。因而，在文獻(xiàn)[6]的框架下，現(xiàn)有研究中工作業(yè)績(jī)指標(biāo)均只考慮了蘊(yùn)含于評(píng)議過(guò)程與評(píng)議結(jié)果數(shù)據(jù)中的專(zhuān)家知識(shí)，而未考慮更廣大的學(xué)術(shù)共同體的認(rèn)可度。（2）現(xiàn)有研究對(duì)指標(biāo)的驗(yàn)證分析往往退化為指標(biāo)的應(yīng)用分析。即針對(duì)某組評(píng)議案例計(jì)算指標(biāo)值，進(jìn)而從數(shù)值分布的角度分析指標(biāo)的合理性。缺乏評(píng)議專(zhuān)家（的評(píng)分）與評(píng)議對(duì)象（如被學(xué)術(shù)共同體認(rèn)可程度）的交叉驗(yàn)證。針對(duì)上述問(wèn)題，本文針對(duì)期刊評(píng)議，同時(shí)考慮蘊(yùn)含于評(píng)議數(shù)據(jù)中的專(zhuān)家知識(shí)與蘊(yùn)含于發(fā)表文獻(xiàn)的計(jì)量數(shù)據(jù)中的學(xué)術(shù)共同體知識(shí)，提出一種審稿專(zhuān)家一致性評(píng)價(jià)方法，基于《長(zhǎng)江流域資源與環(huán)境》期刊評(píng)議數(shù)據(jù)與已發(fā)論文的計(jì)量數(shù)據(jù)計(jì)算一致性指數(shù)，設(shè)計(jì)假設(shè)檢驗(yàn)方法檢驗(yàn)一致性更高的專(zhuān)家是否能對(duì)論文做出更為準(zhǔn)確的評(píng)價(jià)。本文的方法有望輔助期刊編輯從數(shù)據(jù)的角度了解審稿專(zhuān)家，從而為專(zhuān)家遴選提供參考。

2一致性指數(shù)

針對(duì)期刊論文評(píng)議，本文的核心思想為，審稿專(zhuān)家的評(píng)議意見(jiàn)應(yīng)契合于論文的學(xué)術(shù)水平。在評(píng)審階段，論文的學(xué)術(shù)水平應(yīng)契合于評(píng)審論文的（所有）專(zhuān)家的整體意見(jiàn)；后，論文的學(xué)術(shù)水平應(yīng)契合于學(xué)術(shù)共同體的認(rèn)可程度。換言之，審稿專(zhuān)家的業(yè)績(jī)可基于其與（其他）審稿專(zhuān)家的一致性程度（簡(jiǎn)稱(chēng)“評(píng)審一致性”）以及其與學(xué)術(shù)共同體認(rèn)可度的一致性程度（簡(jiǎn)稱(chēng)“學(xué)術(shù)共同體一致性”）刻畫(huà)。因而，本文的一致性指數(shù)C定義如公式1所示：(1)rpC=C+−C(1)其中，Cr與Cp分別為評(píng)審一致性與學(xué)術(shù)共同體一致性，一致性指數(shù)C為Cr與Cp的線性疊加，(0,1)為疊加權(quán)重，用于決定評(píng)審一致性與學(xué)術(shù)共同體一致性在最終一致性指數(shù)中的占比。在實(shí)際應(yīng)用中，可設(shè)置α=0.5以表達(dá)評(píng)審一致性與學(xué)術(shù)共同體一致性在構(gòu)成一致性指數(shù)時(shí)同等重要[13]。對(duì)于評(píng)審一致性，考慮到每篇論文需要多個(gè)專(zhuān)家評(píng)審，大部分專(zhuān)家具備審理多篇論文的經(jīng)歷，令1,mS=ss，isS為專(zhuān)家對(duì)其所審理的論文i的評(píng)分，1,mE=ee，ieE為審理論文i的所有專(zhuān)家評(píng)分的平均值，則評(píng)審一致性Cr定義如公式2所示：(,)rC=rSE(2)其中，r()[−1,1]返還兩個(gè)給定向量的皮爾森相關(guān)性系數(shù)[14]，用于反映兩個(gè)變量的一致性程度。si的取值決定于審稿數(shù)據(jù)所使用的評(píng)分量表。現(xiàn)行審稿制度中，李克特量表由于其易于編制和較高的信度成為應(yīng)用最為廣泛的一種量表形式。而我國(guó)期刊評(píng)審主要采用李克特量表的3、4與5分制量表[15]。具體到本文的研究，由于后續(xù)所使用的《長(zhǎng)江流域資源與環(huán)境》期刊的評(píng)議數(shù)據(jù)遵循4分制量表，公式2中,{1,2,3,4}iisSs（其中1至4分別對(duì)應(yīng)拒稿，重大修改，修改后錄用，錄用）。在使用論文平均值表征所有審稿專(zhuān)家的綜合意見(jiàn)的情況下，公式2表達(dá)了專(zhuān)家的評(píng)審歷史中，對(duì)論文的評(píng)價(jià)與其他專(zhuān)家的一致性程度。對(duì)于學(xué)術(shù)共同體一致性，后，論文的下載、引用等計(jì)量指標(biāo)可表征學(xué)術(shù)共同體對(duì)論文的關(guān)注、認(rèn)可程度[16]。本文基于論文的被引次數(shù)表征論文被學(xué)術(shù)共同體的認(rèn)可程度。其中“認(rèn)可程度”不對(duì)論文的質(zhì)量或?qū)W術(shù)創(chuàng)新性進(jìn)行評(píng)價(jià)，而代表學(xué)術(shù)共同體認(rèn)為該論文對(duì)推進(jìn)某方面研究具備（正向或負(fù)向）借鑒意義。因而，給定1,mTC=tctc，itcTC為i的被引次數(shù)，則學(xué)術(shù)共同體一致性Cp定義如公式3所示：(,)pC=rSTC(3)公式3表達(dá)了有專(zhuān)家審理且發(fā)表的論文，專(zhuān)家對(duì)論文的評(píng)價(jià)與學(xué)術(shù)共同體對(duì)論文認(rèn)可度的一致性程度。由一致性指數(shù)的定義可知，一致性指數(shù)是文獻(xiàn)[6]中“工作業(yè)績(jī)”指標(biāo)下屬“算數(shù)偏差”指標(biāo)的改進(jìn)與擴(kuò)展。一致性指數(shù)的計(jì)算蘊(yùn)含了專(zhuān)家需具備一定的審稿量（累計(jì)數(shù)），論文評(píng)分具備一定的離散度（否則無(wú)法計(jì)算一致性1），所評(píng)審論文具有一定的命中率（即錄用率，否則無(wú)法計(jì)算共同體一致性）。換言之，本文所設(shè)計(jì)的一致性指數(shù)是一個(gè)較為綜合的工作業(yè)績(jī)指標(biāo)。下面將探討一致性指數(shù)是否可用于表征審稿專(zhuān)家對(duì)論文做出準(zhǔn)確評(píng)價(jià)的能力。

3有效性分析

3.1檢驗(yàn)方法。基于一致性指數(shù)的定義可知，相較而言，一致性更高的專(zhuān)家應(yīng)對(duì)論文的評(píng)價(jià)應(yīng)更契合于（其他）審稿專(zhuān)家以及學(xué)術(shù)共同體對(duì)論文的認(rèn)知。考慮到后，對(duì)論文進(jìn)行“審閱”的讀者比審稿專(zhuān)家更多，同時(shí)也更具多樣性（學(xué)術(shù)領(lǐng)域多樣性、學(xué)術(shù)成就多樣性等），本文基于已的被引次數(shù)檢驗(yàn)一致性指數(shù)的有效性。具體而言，給定專(zhuān)家集合R，評(píng)分集合S、發(fā)表文獻(xiàn)集合P及其對(duì)應(yīng)的被引次數(shù)集合TC，首先基于公式1計(jì)算所有審稿專(zhuān)家的一致性指數(shù)集合C。對(duì)iRR，令ijsS為專(zhuān)家Ri對(duì)論文jpP的評(píng)分，ijtcTC為專(zhuān)家Ri對(duì)論文pj的評(píng)分，則專(zhuān)家區(qū)分度集合D定義如公式4所示：{{}{}}hliiD=AvgTCAvgTC(4)其中，Avg{}返還給定數(shù)值集合的均值，,,,hlijiijikiiktcTCsHtcTCsL，H與L用于定義高/低評(píng)分論文，如可定義H={3,4}，L={1,2}用于表達(dá)直接錄用或修改后錄用為高評(píng)分論文，否則為低評(píng)分論文。由公式4可知，對(duì)于每個(gè)審稿專(zhuān)家，專(zhuān)家區(qū)分度給出了該專(zhuān)家所評(píng)審的高評(píng)分論文的平均被引次數(shù)相對(duì)低評(píng)分論文的平均被引次數(shù)的倍數(shù)關(guān)系，該值越大，表明專(zhuān)家區(qū)分論文的學(xué)術(shù)共同體認(rèn)可度的能力越強(qiáng)。令idD為專(zhuān)家Ri的區(qū)分度，icC為專(zhuān)家Ri的一致性指數(shù)，定義{|}hiiD=dDc為高一致性專(zhuān)家的區(qū)分度集合，其中為給定參數(shù)，用于決定高一致性專(zhuān)家的最低一致性指數(shù)值。令lhD=D−D為（相對(duì)）低一致性專(zhuān)家的區(qū)分度集合。使用Mann-WhitneyU檢驗(yàn)Dh與Dl是否具有顯著的差別，以回答高一致性專(zhuān)家是否可更有效地區(qū)分論文的學(xué)術(shù)共同體認(rèn)可度。考慮到一致性指數(shù)的定義中“學(xué)術(shù)共同體一致性”作為合成指標(biāo)之一，一致性指數(shù)的計(jì)算過(guò)程理應(yīng)邏輯蘊(yùn)含“高評(píng)分論文組平均被引次數(shù)高于低評(píng)分論文組平均被引次數(shù)”的趨勢(shì)，本文進(jìn)一步從數(shù)據(jù)上將一致性指數(shù)的計(jì)算過(guò)程與檢驗(yàn)過(guò)程進(jìn)行物理分割。針對(duì)給定數(shù)據(jù)集，基于給定年份Y將數(shù)據(jù)分割為兩個(gè)互斥的子集。基于早于或等于該年份的數(shù)據(jù)集計(jì)算高一致性專(zhuān)家hpreR的區(qū)分度hpreD，進(jìn)而基于晚于該年份的數(shù)據(jù)集計(jì)算hpreR中的專(zhuān)家在后續(xù)年份中的區(qū)分度hpstD，使用Mann-WhitneyU檢驗(yàn)hpreD與hpstD是否具有顯著的差別。此方法具有兩個(gè)優(yōu)勢(shì)：1）由于數(shù)據(jù)的物理分割，基于更早數(shù)據(jù)計(jì)算的一致性指數(shù)將不再蘊(yùn)含新數(shù)據(jù)中“高評(píng)分論文組平均被引次數(shù)高于低評(píng)分論文組平均被引次數(shù)”的趨勢(shì)；2）檢驗(yàn)結(jié)果可用于回答“具備高一致性指數(shù)的審稿專(zhuān)家對(duì)論文學(xué)術(shù)共同體認(rèn)可度的辨識(shí)能力隨時(shí)間的推移可以得到保持”，從而驗(yàn)證基于歷史數(shù)據(jù)計(jì)算一致性指數(shù)并輔助審稿專(zhuān)家遴選是否具備可行性。3.2樣本數(shù)據(jù)。本文將基于《長(zhǎng)江流域資源與環(huán)境》期刊評(píng)議數(shù)據(jù)與已發(fā)論文的被引數(shù)據(jù)計(jì)算審稿專(zhuān)家一致性指數(shù)，并對(duì)專(zhuān)家區(qū)分度進(jìn)行檢驗(yàn)。《長(zhǎng)江流域資源與環(huán)境》創(chuàng)辦于1992年，刊物立足于長(zhǎng)江流域，面向國(guó)內(nèi)外，圍繞長(zhǎng)江流域的資源開(kāi)發(fā)與利用保護(hù)、生態(tài)環(huán)境、社會(huì)經(jīng)濟(jì)可持續(xù)發(fā)展、河流流域綜合管理、湖泊富營(yíng)養(yǎng)化、濕地恢復(fù)與保護(hù)、自然災(zāi)害等重大問(wèn)題，報(bào)道原創(chuàng)性的研究成果。創(chuàng)刊以來(lái)，在近30年的辦刊過(guò)程中積累了大量專(zhuān)家評(píng)議數(shù)據(jù)（由于數(shù)字化原因，審稿數(shù)據(jù)主要集中于2009至今，本次樣本數(shù)據(jù)截止2019年4月）。由于一致性指數(shù)的計(jì)算要求審稿專(zhuān)家具備一定數(shù)量的關(guān)聯(lián)審稿意見(jiàn)，同時(shí)檢驗(yàn)分析需基于已開(kāi)展，定義至少具備m個(gè)審稿意見(jiàn)的論文為有效論文，選取至少審理過(guò)n篇已發(fā)表的有效論文的專(zhuān)家作為有效專(zhuān)家。不同m與n的設(shè)定將導(dǎo)致有效專(zhuān)家數(shù)的不同，且隨著m與n的增大，有效專(zhuān)家數(shù)與有效論文數(shù)將（迅速）降低。通過(guò)對(duì)審稿數(shù)據(jù)的充分探索，綜合考慮有效數(shù)據(jù)量以及計(jì)算所需的關(guān)聯(lián)數(shù)據(jù)量，本研究初定m=2，n=6進(jìn)行計(jì)算與檢驗(yàn)。經(jīng)過(guò)篩選，共177位有效專(zhuān)家所涉及的3114篇有效論文作為本研究的樣本數(shù)據(jù)進(jìn)行檢驗(yàn)分析。3114篇中，1245篇論文已發(fā)表，1869篇論文最終未能獲得錄用。所有3114篇論文均將用于計(jì)算評(píng)審一致性，最終獲得錄用的1245篇論文將用于計(jì)算學(xué)術(shù)共同體一致性。數(shù)據(jù)的詳細(xì)統(tǒng)計(jì)信息如圖1-圖4所示。圖1給出了177位有效專(zhuān)家審理的有效論文數(shù)與有效數(shù)，其中審理的有效論文數(shù)分布于[6,75]之間，均值約為28篇，審理的有效數(shù)分布于[6,23]之間，均值約為9篇。圖2給出了3114篇有效論文的審稿專(zhuān)家數(shù)分布。論文的審稿專(zhuān)家數(shù)分布于2-4之間，平均約2.2位專(zhuān)家/篇。經(jīng)中國(guó)知網(wǎng)檢索并采集1245篇的被引次數(shù)（檢索日期2020年5月18日），并通過(guò)論文標(biāo)題將論文被引次數(shù)與審稿記錄相對(duì)應(yīng)。圖3與圖4分別給出了1245篇已發(fā)論文的發(fā)文時(shí)間分布以及截至檢索時(shí)的被引次數(shù)分布，可見(jiàn)本案例所使用的絕大部分有效已發(fā)論文分布于2010-2019年之間，論文的被引次數(shù)分布于[0,343]之間，大體服從長(zhǎng)尾分布。結(jié)合圖3與圖4可知，已發(fā)論文的發(fā)文時(shí)間以及被引次數(shù)均分布于一個(gè)較大的區(qū)間，年份的不同可能導(dǎo)致被引次數(shù)無(wú)法合理比較。而由公式3和4可知，被引次數(shù)的可比性是一致性指數(shù)計(jì)算與檢驗(yàn)的關(guān)鍵因素之一。因而，本文使用期刊規(guī)范化的引文影響力(JournalNormalizedCitationImpact,JNCI)代替被引次數(shù)。JNCI由數(shù)據(jù)商科瑞唯安提出，定義為論文的被引次數(shù)與同出版年發(fā)表在同期刊上的論文的期望被引次數(shù)的比值，主要用于出版年對(duì)被引次數(shù)的影響。具體而言，令論文pi的發(fā)表年為yi，被引次數(shù)為tci，則pi的JNCI值jncii計(jì)算如公式5所示。,,{}tijjitcjncitcTCyyAvgTC==(5)基于公式5計(jì)算上述1245篇論文的JNCI值，并在公式3與4中，對(duì)ip，使用jncii值替換tci值，以消除發(fā)文時(shí)間的影響。3.3檢驗(yàn)結(jié)果依據(jù)。3.1小節(jié)所述檢驗(yàn)方法，設(shè)定疊加權(quán)重α=0.5以表達(dá)評(píng)審一致性與學(xué)術(shù)共同體一致性同等重要，高評(píng)分論文評(píng)分集合H={3,4}，低評(píng)分論文評(píng)分結(jié)合L={1,2}，有效審稿意見(jiàn)數(shù)m=2，有效審理論文數(shù)n=6。177位專(zhuān)家中，7位專(zhuān)家對(duì)其審理的已給出的評(píng)分均為相同分值，無(wú)法計(jì)算學(xué)術(shù)共同體一致性，因而無(wú)法計(jì)算一致性指數(shù)。剩余170位專(zhuān)家的一致性指數(shù)分布如圖5所示。由圖5可知，專(zhuān)家一致性指數(shù)分布于[-0.049,0.752]之間，均值μ=0.38，標(biāo)準(zhǔn)差σ=0.203，服從正太分布（Kolmogorov-Smirnov檢驗(yàn)p=0.08）。基于上述170位專(zhuān)家的一致性指數(shù)，設(shè)定=+k*（一致性指數(shù)大于τ為高一致性專(zhuān)家），對(duì)專(zhuān)家區(qū)分度進(jìn)行檢驗(yàn)。在計(jì)算區(qū)分度的過(guò)程中，為了進(jìn)一步保證計(jì)算的準(zhǔn)確性，對(duì)任意專(zhuān)家，我們進(jìn)一步要求其審理并發(fā)表的（大于6篇的）論文中，高、低評(píng)分論文均需至少存在3篇。因而170位專(zhuān)家中，最終有64位專(zhuān)家具備區(qū)分度并參與假設(shè)檢驗(yàn)（低一致性專(zhuān)家樣本量+高一致性專(zhuān)家樣本量=64）。使用Mann-WhitneyU檢驗(yàn)對(duì)64位專(zhuān)家的區(qū)分度進(jìn)行檢驗(yàn)，圖6給出了k=0,0.1,0.2,0.3,0.4,0.5時(shí)，高一致性專(zhuān)家與低一致性專(zhuān)家的區(qū)分度的均值，以及高低一致性專(zhuān)家均值的比值（即圖6“高低比”），表1則給了更加詳細(xì)的統(tǒng)計(jì)量（表1中“高”、“低”分別代表高一致性專(zhuān)家與低一致性專(zhuān)家所對(duì)應(yīng)的統(tǒng)計(jì)量）。結(jié)合圖6與表1可知，整體而言，高一致性專(zhuān)家的所評(píng)價(jià)的高評(píng)分論文的JNCI是其所評(píng)價(jià)的低評(píng)分論文的2倍，且隨著高一致性閾值的增加，高低評(píng)分論文的區(qū)分度逐漸增加。反觀低一致性專(zhuān)家，其所評(píng)價(jià)的高評(píng)分論文的JNCI與其所評(píng)價(jià)的低評(píng)分論文并無(wú)太大差別（在區(qū)分度1附近波動(dòng)）。假設(shè)檢驗(yàn)表明高一致性專(zhuān)家的區(qū)分度顯著高于低一致性專(zhuān)家的區(qū)分度（以p=0.000拒絕“高低一致性專(zhuān)家的區(qū)分度無(wú)顯著差異”的零假設(shè)），表明高一致性專(zhuān)家更能有效地區(qū)分論文的學(xué)術(shù)共同體認(rèn)可度。為了驗(yàn)證本文方法在不同參數(shù)設(shè)定下的表現(xiàn)，進(jìn)一步設(shè)定m=2，n=8進(jìn)行計(jì)算與檢驗(yàn)。經(jīng)篩選，共116位合法專(zhuān)家涉及2489篇合法論文，其中1022篇已發(fā)表，1467篇未能錄用。審理的有效論文數(shù)分布于[11,75]之間，均值約為32篇，審理的有效數(shù)分布于[8,23]之間，均值約為11篇。1467篇有效論文的審稿專(zhuān)家數(shù)分布于2-4之間，平均約2.2位專(zhuān)家/篇。116位專(zhuān)家中，113位可計(jì)算一致性指數(shù)。專(zhuān)家一致性指數(shù)分布于[-0.038,0.752]之間，均值μ=0.368，標(biāo)準(zhǔn)差σ=0.17。表2給出了k=0,0.1,0.2,0.3,0.4,0.5時(shí)高一致性專(zhuān)家與低一致性專(zhuān)家所對(duì)應(yīng)的統(tǒng)計(jì)量。結(jié)合表1與表2可知，本文方法在不同參數(shù)設(shè)置下性能表現(xiàn)一致。如3.1小節(jié)所述，以下將通過(guò)將數(shù)據(jù)集進(jìn)行物理分割以移除一致性指數(shù)計(jì)算過(guò)程與驗(yàn)證過(guò)程之間的相關(guān)性，同時(shí)考察具備高一致性指數(shù)的審稿專(zhuān)家對(duì)論文學(xué)術(shù)共同體認(rèn)可度的辨識(shí)能力隨時(shí)間的推移可以得到保持。考慮到專(zhuān)家評(píng)審論文的時(shí)間也存在較大差異，統(tǒng)一的切分時(shí)間可能導(dǎo)致數(shù)據(jù)切割不均勻。本文針對(duì)每個(gè)審稿專(zhuān)家，將其所審理的已的發(fā)表年按從早到晚排序，選取排序中值的論文的發(fā)表時(shí)間作為切分時(shí)間，以保證數(shù)據(jù)切分的均勻性。進(jìn)而設(shè)定α=0.5，H={3,4}，L={1,2}，m=2，n=8,10,12計(jì)算歷史數(shù)據(jù)（切分時(shí)間前的數(shù)據(jù)）審稿專(zhuān)家一致性指數(shù)hpreD，基于τ=μ確定高一致性專(zhuān)家，基于驗(yàn)證數(shù)據(jù)（切分時(shí)間后的數(shù)據(jù)）計(jì)算高一致性專(zhuān)家在驗(yàn)證數(shù)據(jù)中的一致性指數(shù)的hpstD，并使用Mann-WhitneyU檢驗(yàn)hpreD與hpstD是否具備差異，結(jié)果如圖7所示，其中紅色與藍(lán)色數(shù)據(jù)點(diǎn)分別代表基于驗(yàn)證數(shù)據(jù)與歷史數(shù)據(jù)計(jì)算的區(qū)分度。詳細(xì)檢驗(yàn)統(tǒng)計(jì)量如表2所示（“前”、“后”分別代表歷史數(shù)據(jù)與驗(yàn)證數(shù)據(jù)）。其中，n的取值（8,10,12）盡可能權(quán)衡了計(jì)算一致性指數(shù)所需的數(shù)據(jù)量與最終可參與檢驗(yàn)的專(zhuān)家數(shù)，隨著n的變化，最終檢驗(yàn)專(zhuān)家數(shù)會(huì)有所不同。結(jié)合圖7與表3可知，歷史數(shù)據(jù)中的高一致性專(zhuān)家在歷史數(shù)據(jù)與驗(yàn)證數(shù)據(jù)上的區(qū)分度并無(wú)顯著差別（分別以p=0.482,0.613,1保持“歷史數(shù)據(jù)與驗(yàn)證數(shù)據(jù)上高一致性專(zhuān)家的區(qū)分度無(wú)顯著差異”的零假設(shè)），驗(yàn)證了審稿專(zhuān)家對(duì)論文學(xué)術(shù)共同體認(rèn)可度的辨識(shí)能力隨時(shí)間的推移可以得到保持，基于歷史數(shù)據(jù)計(jì)算一致性指數(shù)并輔助審稿專(zhuān)家遴選具備可行性。

4總結(jié)與討論

本文針對(duì)期刊評(píng)議，設(shè)計(jì)了一種審稿專(zhuān)家一致性評(píng)價(jià)方法以綜合考察專(zhuān)家對(duì)稿件的認(rèn)知相對(duì)其他專(zhuān)家以及學(xué)術(shù)共同體的一致程度，基于《長(zhǎng)江流域資源與環(huán)境》期刊評(píng)議數(shù)據(jù)與已發(fā)論文的引用數(shù)據(jù)計(jì)算了部分審稿專(zhuān)家的一致性指數(shù)。設(shè)計(jì)了假設(shè)檢驗(yàn)方法，基于整體數(shù)據(jù)以及劃分?jǐn)?shù)據(jù)檢驗(yàn)了一致性指數(shù)對(duì)專(zhuān)家區(qū)分度的決定能力。分析表明高一致性專(zhuān)家更能有效地區(qū)分論文的學(xué)術(shù)共同體認(rèn)可度（能獲得更多的引用），且該能力隨時(shí)間的推移可以得到保持，基于歷史數(shù)據(jù)計(jì)算一致性指數(shù)并輔助審稿專(zhuān)家遴選具備可行性。值得注意的是，評(píng)議專(zhuān)家評(píng)價(jià)是一個(gè)復(fù)雜的問(wèn)題。本文從數(shù)據(jù)的角度對(duì)論文審稿專(zhuān)家進(jìn)行了定量刻畫(huà)與解讀，而專(zhuān)家遴選過(guò)程中，對(duì)專(zhuān)家的定性了解同樣十分重要。因而，本文的專(zhuān)家一致性指數(shù)不是要替代期刊編輯進(jìn)行專(zhuān)家選擇，而是希望在期刊編輯選擇審稿專(zhuān)家時(shí)為其提供客觀的數(shù)據(jù)參考，以提高遴選效率與效果。此外，由于論文的學(xué)術(shù)性、創(chuàng)新性評(píng)價(jià)也是一個(gè)復(fù)雜的問(wèn)題，本文在專(zhuān)家一致性指數(shù)的計(jì)算與檢驗(yàn)過(guò)程中，論文被引次數(shù)僅用于表征學(xué)術(shù)共同體認(rèn)可其對(duì)推進(jìn)某方面研究具備（正向或負(fù)向）借鑒意義，而不對(duì)其學(xué)術(shù)性進(jìn)行解讀。在實(shí)際的計(jì)算過(guò)程中，被引次數(shù)也可替換為其他相關(guān)指標(biāo)，如Altmetrics指數(shù)。最后，本文以《長(zhǎng)江流域資源與環(huán)境》為案例檢驗(yàn)了一致性評(píng)價(jià)在期刊評(píng)審人遴選上的輔助作用。在合理的指標(biāo)選擇下，本文的方法可遷移至項(xiàng)目評(píng)審人一致性評(píng)價(jià)。如對(duì)于學(xué)術(shù)共同體對(duì)項(xiàng)目執(zhí)行效果的認(rèn)知，可基于項(xiàng)目的獲獎(jiǎng)情況、項(xiàng)目發(fā)文的被引情況等進(jìn)行刻畫(huà)。考慮到本文驗(yàn)證數(shù)據(jù)的來(lái)源與規(guī)模，后續(xù)研究將進(jìn)一步擴(kuò)充評(píng)議數(shù)據(jù)量（如采集數(shù)據(jù)完整的開(kāi)放評(píng)議數(shù)據(jù)），以在更大規(guī)模的樣本上驗(yàn)證本文方法的有效性。

作者:岳名亮 李富山 湯宏波 呂新華 馬廷燦