期刊評(píng)價(jià)方法選擇研究

時(shí)間:2022-11-03 11:40:37

導(dǎo)語(yǔ):期刊評(píng)價(jià)方法選擇研究一文來(lái)源于網(wǎng)友上傳,不代表本站觀點(diǎn),若需要原創(chuàng)文章可咨詢客服老師,歡迎參考。

期刊評(píng)價(jià)方法選擇研究

指標(biāo)體系多屬性評(píng)價(jià)方法是學(xué)術(shù)評(píng)價(jià)中應(yīng)用最為廣泛的評(píng)價(jià)方法之一。世界大學(xué)主流大學(xué)評(píng)價(jià)、教育部學(xué)科評(píng)價(jià)及中國(guó)第三方機(jī)構(gòu)學(xué)術(shù)期刊評(píng)價(jià)等,均廣泛采用多屬性評(píng)價(jià)方法。多屬性評(píng)價(jià)方法圍繞評(píng)價(jià)目的,通過(guò)選取各種評(píng)價(jià)指標(biāo)來(lái)建立評(píng)價(jià)體系,從而避免了單一評(píng)價(jià)指標(biāo)的片面性,使得評(píng)價(jià)更加全面,在實(shí)踐中取得了較好的評(píng)價(jià)結(jié)果。多屬性評(píng)價(jià)方法的選擇問(wèn)題是學(xué)術(shù)界長(zhǎng)期以來(lái)沒(méi)有得到解決的問(wèn)題。現(xiàn)有的多屬性評(píng)價(jià)方法有好幾十種,比如層次分析法、主成分分析、因子分析、秩和比、灰色關(guān)聯(lián)、康拓對(duì)角線、模糊數(shù)學(xué)、粗糙集、TOPSIS、VIKOR、ELECTRE、CRITIC等等,這些評(píng)價(jià)方法原理各異,并且各有其優(yōu)點(diǎn),每種方法的適用性均較廣,很難從評(píng)價(jià)目的與評(píng)價(jià)方法自身角度進(jìn)行選擇。由于不同多屬性評(píng)價(jià)方法的評(píng)價(jià)結(jié)果不同,從而帶來(lái)了評(píng)價(jià)的不確定性。目前的解決方法圍繞兩個(gè)路徑展開(kāi),一個(gè)多屬性評(píng)價(jià)方法的選擇,選出最合適的一種評(píng)價(jià)方法;二是組合評(píng)價(jià),即同時(shí)采用若干種多屬性評(píng)價(jià)方法進(jìn)行評(píng)價(jià),然后采用一定的方法將評(píng)價(jià)結(jié)果進(jìn)行組合,得到唯一評(píng)價(jià)結(jié)果。但是,組合評(píng)價(jià)面臨的問(wèn)題是,組合評(píng)價(jià)方法也有很多種,何況理論上任何一種單一的多屬性評(píng)價(jià)方法也可以用于組合評(píng)價(jià)。Seren-koA[1]指出,即使兩種最流行的方法的組合也不能保證獲得的排名列表的準(zhǔn)確性。封鐵英[2]認(rèn)為,科技人才評(píng)價(jià)的關(guān)鍵在于對(duì)評(píng)價(jià)方法的選擇和創(chuàng)新,要準(zhǔn)確區(qū)分不同評(píng)價(jià)方法應(yīng)用的前提條件和適用范圍,避免采用恰當(dāng)?shù)脑u(píng)價(jià)方法而造成錯(cuò)誤的評(píng)價(jià)結(jié)果。相對(duì)多屬性評(píng)價(jià)方法選擇與組合評(píng)價(jià)兩條路徑,選擇合適的多屬性評(píng)價(jià)方法是首選思路。開(kāi)展學(xué)術(shù)評(píng)價(jià)的多屬性評(píng)價(jià)方法選擇具有重要意義。首先,這是學(xué)術(shù)評(píng)價(jià)的基礎(chǔ)理論問(wèn)題,一旦取得進(jìn)展,不僅推進(jìn)了科學(xué)學(xué)方法論研究,同時(shí)也推進(jìn)了多元統(tǒng)計(jì)理論的研究。其次,從實(shí)踐角度,如果能夠優(yōu)選出最合適的多屬性評(píng)價(jià)方法,評(píng)價(jià)結(jié)果就具有唯一性,從而從評(píng)價(jià)方法角度提高了評(píng)價(jià)的公信力,有助于保證學(xué)術(shù)評(píng)價(jià)的公正、公平、公開(kāi)。第三,解決了多屬性評(píng)價(jià)方法的選擇問(wèn)題,也有利于政府相關(guān)部門(mén)在各種學(xué)術(shù)評(píng)價(jià)活動(dòng)中減少利益相關(guān)者沖突,提升形象。關(guān)于多屬性評(píng)價(jià)方法在學(xué)術(shù)評(píng)價(jià)中的應(yīng)用,國(guó)外研究主要集中在學(xué)術(shù)期刊方面,F(xiàn)ranceschetM[3]提出,從信譽(yù)度和知名度兩個(gè)方面選取指標(biāo)來(lái)進(jìn)行學(xué)術(shù)期刊評(píng)價(jià),信譽(yù)度主要采用特征因子類指標(biāo),知名度主要采用期刊影響因子類指標(biāo)。ShottonD[4]提出了學(xué)術(shù)期刊評(píng)價(jià)的5個(gè)一級(jí)指標(biāo),即同行評(píng)議、內(nèi)容質(zhì)量、數(shù)據(jù)集、計(jì)算機(jī)可讀元數(shù)據(jù)、開(kāi)放獲取。SombatsompopN等[5]提出了采用期刊影響因子、文章影響因子、位置影響因子等多個(gè)指標(biāo)進(jìn)行評(píng)價(jià)。PhilippM[6]從搜索引擎、直接路徑和背部路徑3方面構(gòu)建了開(kāi)放存取期刊評(píng)價(jià)指標(biāo)。MarkJM等[7]從論文隨機(jī)質(zhì)量、編輯審稿能力、作者獲益度3個(gè)方面建立開(kāi)放存取期刊質(zhì)量評(píng)價(jià)模型。國(guó)內(nèi)關(guān)于采用多屬性評(píng)價(jià)方法進(jìn)行學(xué)術(shù)評(píng)價(jià)的文獻(xiàn)浩如煙海,目前已經(jīng)有數(shù)千篇相關(guān)論文。趙潔[8]則從引文數(shù)量是質(zhì)量視角研究了學(xué)術(shù)期刊的評(píng)價(jià)問(wèn)題。關(guān)于學(xué)術(shù)評(píng)價(jià)中多屬性評(píng)價(jià)方法的選擇,俞立平提出了4種思路:第一種是對(duì)評(píng)價(jià)指標(biāo)和評(píng)價(jià)結(jié)果分別進(jìn)行聚類,根據(jù)聚類結(jié)果一致度高低來(lái)進(jìn)行選取[9];第二種是通過(guò)評(píng)價(jià)指標(biāo)公共因子的模擬權(quán)重來(lái)進(jìn)行選取[10];第三種是評(píng)價(jià)結(jié)果與評(píng)價(jià)指標(biāo)數(shù)據(jù)分布的擬合度,以及評(píng)價(jià)結(jié)果與評(píng)價(jià)指標(biāo)的擬合度[11];第四種是基于偏最小二乘法對(duì)評(píng)價(jià)結(jié)果與評(píng)價(jià)指標(biāo)進(jìn)行回歸,根據(jù)指標(biāo)權(quán)重單調(diào)性及其正負(fù)來(lái)進(jìn)行選取[12]。蘇為華[13]指出,可以從評(píng)價(jià)方法的區(qū)分度、靈敏度等角度進(jìn)行選取。段曉君等[14]提出,綜合考慮模型擬合殘差大小、殘差信息量與參數(shù)數(shù)量進(jìn)行選取。陳述云等[15]提出,采用不同多屬性評(píng)價(jià)方法結(jié)果的相關(guān)系數(shù)大小選擇多屬性評(píng)價(jià)方法。從現(xiàn)有的研究看,多屬性評(píng)價(jià)方法已經(jīng)在學(xué)術(shù)評(píng)價(jià)中得到了廣泛的應(yīng)用,國(guó)外主要集中在學(xué)術(shù)期刊評(píng)價(jià)領(lǐng)域,國(guó)內(nèi)的研究領(lǐng)域非常廣泛,研究成果眾多。一些多屬性評(píng)價(jià)方法自身就有其適用性檢驗(yàn),比如主成分或因子分析可以根據(jù)KMO檢驗(yàn)來(lái)進(jìn)行適用性初篩,但是這樣的評(píng)價(jià)方法太少了,更多的評(píng)價(jià)方法其實(shí)不存在適用性檢驗(yàn)。關(guān)于多屬性評(píng)價(jià)方法的選取問(wèn)題,學(xué)術(shù)界已經(jīng)意識(shí)到并開(kāi)展了一些研究,但是總體上成果不算太多,并且在以下幾個(gè)方面有待進(jìn)一步深入:第一,一些多屬性評(píng)價(jià)方法篩選思路值得商榷。比如采用技術(shù)類方法進(jìn)行篩選,如靈敏度、數(shù)據(jù)分布、相關(guān)系數(shù)、殘差大小、區(qū)分度等等。盛明科[16]在研究政府績(jī)效評(píng)價(jià)時(shí)指出,評(píng)價(jià)是一個(gè)倫理和價(jià)值問(wèn)題,而非純技術(shù)問(wèn)題。選擇評(píng)估方法不僅要考慮不同類型方法的特點(diǎn),還要求評(píng)價(jià)方法必須契合政府績(jī)效評(píng)價(jià)的價(jià)值取向和理念。第二,單純采用純技術(shù)類方法不能解決多屬性評(píng)價(jià)方法的選擇問(wèn)題。很難同時(shí)考慮靈敏度、數(shù)據(jù)分布、相關(guān)系數(shù)、殘差大小、區(qū)分度等進(jìn)行評(píng)價(jià),只能考慮其中的部分技術(shù)相關(guān)內(nèi)容進(jìn)行評(píng)價(jià)方法的篩選。進(jìn)一步地,單純采用技術(shù)類方法進(jìn)行多屬性評(píng)價(jià)方法的篩選,其篩選方法也是多樣的。第三,一些評(píng)價(jià)方法的篩選方法難以保證篩選出的評(píng)價(jià)方法的唯一性。比如某種篩選方法篩選出的結(jié)果可能仍然還有數(shù)種評(píng)價(jià)方法,在這種情況下,如何進(jìn)一步進(jìn)行篩選有待研究。第四,現(xiàn)有的篩選方法,許多只能用在非線性評(píng)價(jià)中,對(duì)于線性多屬性評(píng)價(jià)方法,缺乏有效的篩選手段。本研究在分析評(píng)價(jià)本質(zhì)屬性的基礎(chǔ)上,提出采用因子分析與人工神經(jīng)網(wǎng)絡(luò)相結(jié)合,將技術(shù)方法與專家的主觀能動(dòng)性相結(jié)合進(jìn)行多屬性評(píng)價(jià)方法的選取,并以JCR2017經(jīng)濟(jì)學(xué)期刊為例,同時(shí)采用專家會(huì)議賦權(quán)法、主成分分析、因子分析、TOPSIS進(jìn)行評(píng)價(jià),并進(jìn)行評(píng)價(jià)方法的篩選。本研究主要?jiǎng)?chuàng)新體現(xiàn)在,第一,讓評(píng)價(jià)回歸到評(píng)價(jià)的本質(zhì),充分結(jié)合專家知識(shí)、管理需求與技術(shù)手段;第二,通過(guò)因子分析法降維,輔助專家進(jìn)行權(quán)重合理性的判斷。

1研究方法

1.1評(píng)價(jià)的本質(zhì)屬性分析。辭海中對(duì)評(píng)價(jià)的界定有兩種:“評(píng)估人、事、物的優(yōu)劣、善惡美丑、或合不合理,稱為「評(píng)價(jià)」”;“衡量評(píng)定人或事物的價(jià)值。”這兩種解釋含義基本一致,都是評(píng)價(jià)主體對(duì)評(píng)價(jià)客體的看法。它說(shuō)明了以下幾個(gè)問(wèn)題:第一,評(píng)價(jià)主體是人,也可以是機(jī)構(gòu)。之所以機(jī)構(gòu)也是評(píng)價(jià)主體,這是現(xiàn)代社會(huì)發(fā)展的必然。比如政府部門(mén)提供公共服務(wù),必然會(huì)分配資源,進(jìn)而涉及到對(duì)資源應(yīng)用效果的評(píng)價(jià)。不過(guò)機(jī)構(gòu)評(píng)價(jià)集中的是若干人的智慧,即使評(píng)價(jià)中體現(xiàn)了文化道德和規(guī)章制度等,也是對(duì)以往傳統(tǒng)的繼承,本質(zhì)上,機(jī)構(gòu)也是“人”的體現(xiàn),是機(jī)構(gòu)決策者的體現(xiàn)。第二,評(píng)價(jià)是主觀的。從哲學(xué)層面,評(píng)價(jià)是人對(duì)他人或事情的看法,所以評(píng)價(jià)的主觀性是毋容置疑的。即使是機(jī)構(gòu)評(píng)價(jià),也體現(xiàn)了一定的管理思想,同樣是主觀的。第三,評(píng)價(jià)是動(dòng)態(tài)的。由于物質(zhì)是運(yùn)動(dòng)的,評(píng)價(jià)對(duì)象也是永遠(yuǎn)處在運(yùn)動(dòng)和變化中,任何評(píng)價(jià)均是針對(duì)一定時(shí)間范圍的人或事物的評(píng)價(jià),并且任何評(píng)價(jià)均有一定的有效期。第四,評(píng)價(jià)標(biāo)準(zhǔn)也是動(dòng)態(tài)的。由于作為評(píng)價(jià)主體的人也是不斷變化發(fā)展的,因此,評(píng)價(jià)標(biāo)準(zhǔn)也是動(dòng)態(tài)變化的。1.2主觀評(píng)價(jià)與客觀評(píng)價(jià)的本質(zhì)。評(píng)價(jià)隨著人類社會(huì)的發(fā)展越來(lái)越復(fù)雜。人類社會(huì)發(fā)展初期,評(píng)價(jià)是相對(duì)簡(jiǎn)單的,人們可以根據(jù)評(píng)價(jià)客體的表現(xiàn)和各種特征,得出一個(gè)大致的評(píng)價(jià)結(jié)論。隨著人類社會(huì)發(fā)展,被評(píng)價(jià)對(duì)象越來(lái)越復(fù)雜,需要評(píng)價(jià)的因素越來(lái)越多,超越了人類大腦直接判斷的范圍,此時(shí)就必須借鑒一定的數(shù)學(xué)模型來(lái)進(jìn)行評(píng)價(jià)。多屬性評(píng)價(jià)就是在這樣的背景下產(chǎn)生的,現(xiàn)在復(fù)雜的多屬性評(píng)價(jià)已經(jīng)擁有幾百個(gè)指標(biāo),比如世界衛(wèi)生組織的健康城市評(píng)價(jià)單純靠個(gè)人的力量很難判斷,即使是多個(gè)人共同評(píng)價(jià)也比較困難,所以,屬性評(píng)價(jià)也是在現(xiàn)實(shí)評(píng)價(jià)需求發(fā)展的背景下產(chǎn)生的。本質(zhì)上,多屬性評(píng)價(jià)方法是一種輔助人類進(jìn)行評(píng)價(jià)的技術(shù)手段。多屬性評(píng)價(jià)方法包括主觀評(píng)價(jià)方法與客觀評(píng)價(jià)方法兩大類。所謂主觀評(píng)價(jià)方法,就是在評(píng)價(jià)中添加了人為因素,最典型的就是指標(biāo)權(quán)重。如層次分析法、專家打分法、加權(quán)TOPSIS等等。所謂客觀評(píng)價(jià)方法,就是不涉及主觀權(quán)重的評(píng)價(jià)方法,如主成分分析、因子分析、康拓對(duì)角線、概率權(quán)等等。當(dāng)然還有一種分類方法是主客觀評(píng)價(jià)方法,本文將這類評(píng)價(jià)方法仍然歸類到主觀評(píng)價(jià)方法。客觀評(píng)價(jià)方法仍然具有主觀性,并沒(méi)有改變?cè)u(píng)價(jià)的本質(zhì)。第一,評(píng)價(jià)是為管理服務(wù)的,邱均平等[17]指出,沒(méi)有科學(xué)的評(píng)價(jià)就沒(méi)有科學(xué)的管理,沒(méi)有科學(xué)的管理,就沒(méi)有科學(xué)的發(fā)展。管理是讓合適的人干合適的事情,本質(zhì)上就有很強(qiáng)的主觀性。第二,客觀評(píng)價(jià)方法貌似客觀,但是客觀評(píng)價(jià)方法的選取還是需要人,仍然是主觀的。第三,客觀評(píng)價(jià)方法的評(píng)價(jià)結(jié)果是否合適,還是要通過(guò)人工加以判斷。如果某種客觀評(píng)價(jià)方法的評(píng)價(jià)結(jié)果明顯不合理,那么該種客觀評(píng)價(jià)方法肯定是不能選取的。所以對(duì)于客觀評(píng)價(jià)方法的本質(zhì)判斷,不能簡(jiǎn)單看方法本身,而應(yīng)該從更系統(tǒng)、更全面的高度看。1.3多屬性評(píng)價(jià)方法的選取必須引入主觀因素。無(wú)論是主觀評(píng)價(jià)方法還是客觀評(píng)價(jià)方法,均要考慮其本質(zhì)上的主觀性,都要考慮其評(píng)價(jià)目的必須為管理服務(wù)。就學(xué)術(shù)評(píng)價(jià)而言,無(wú)論是大學(xué)評(píng)價(jià)、學(xué)科評(píng)價(jià)、期刊評(píng)價(jià)、人才評(píng)價(jià)等等,評(píng)價(jià)結(jié)果均涉及到單位發(fā)展與資源分配。政府部門(mén)自身的評(píng)價(jià)是為管理服務(wù),即使是民間或第三方機(jī)構(gòu)的評(píng)價(jià),盡管貌似不直接參與管理與資源分配,但是對(duì)公眾或政府部門(mén)仍然發(fā)揮較大的影響。所以,在多屬性評(píng)價(jià)方法選取時(shí),一定要納入人為因素或者管理因素,傳統(tǒng)的單純采用統(tǒng)計(jì)學(xué)技術(shù)手段的多屬性評(píng)價(jià)方法選擇方法,只可以用來(lái)輔助評(píng)價(jià)方法選取,但不可以作為終極手段。1.4因子-BP人工神經(jīng)網(wǎng)絡(luò)篩選法。因子-BP人工神經(jīng)網(wǎng)絡(luò)篩選法的原因如圖1所示。對(duì)于任何一種多屬性評(píng)價(jià)方法,其評(píng)價(jià)過(guò)程是首先選擇評(píng)價(jià)指標(biāo),然后采用某種多屬性評(píng)價(jià)方法進(jìn)行評(píng)價(jià),并得到評(píng)價(jià)結(jié)果。方法篩選的思路是這樣,首先根據(jù)評(píng)價(jià)指標(biāo)采用因子分析法提取公共因子,然后用公共因子作為人工神經(jīng)網(wǎng)絡(luò)的輸入,評(píng)價(jià)結(jié)果作為人工神經(jīng)網(wǎng)絡(luò)的輸出,通過(guò)機(jī)器學(xué)習(xí)建立訓(xùn)練模型,最終得到各公共因子的權(quán)重,最后專家或管理者根據(jù)公共因子的權(quán)重是否符合管理需求來(lái)進(jìn)行評(píng)價(jià)方法的篩選。人工神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代心理學(xué)、神經(jīng)學(xué)、生物學(xué)、計(jì)算機(jī)技術(shù)等學(xué)科基礎(chǔ)上產(chǎn)生的,它是在模擬人類大腦神經(jīng)組織工作原理基礎(chǔ)上發(fā)展起來(lái)的。人工神經(jīng)網(wǎng)絡(luò)具有生物神經(jīng)系統(tǒng)的基本特征,具有分布式處理、大規(guī)模并行、自學(xué)習(xí)、自組織等優(yōu)點(diǎn),是人工智能的主要技術(shù)手段,廣泛應(yīng)用在圖像識(shí)別、語(yǔ)音分析、計(jì)算機(jī)視覺(jué)、數(shù)字水印、專家系統(tǒng)圖1因子-BP人工神經(jīng)網(wǎng)絡(luò)篩選法原理等很多領(lǐng)域。多層前向BP神經(jīng)網(wǎng)絡(luò)是目前應(yīng)用最多的人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)。BP神經(jīng)網(wǎng)絡(luò)模型是對(duì)人腦神經(jīng)網(wǎng)絡(luò)若干基本特性的抽象和模擬,可以進(jìn)行分布式并行信息處理[18]。典型的BP神經(jīng)網(wǎng)絡(luò)由一個(gè)輸入層,若干個(gè)隱蔽層和一個(gè)輸出層構(gòu)成,其主干是隱蔽層。對(duì)于本文而言,輸入層節(jié)點(diǎn)的數(shù)量取決于公共因子的數(shù)量,輸出層節(jié)點(diǎn)數(shù)為1,就是評(píng)價(jià)結(jié)果,隱含層通過(guò)一定的算法確定。每層單元節(jié)點(diǎn)與它鄰近兩邊層的各個(gè)單元節(jié)點(diǎn)相連,每個(gè)連接都會(huì)賦予權(quán)重,表明上一個(gè)單元的輸出對(duì)下一個(gè)單元的影響力。1.5多屬性評(píng)價(jià)方法。本文主觀評(píng)價(jià)法中以專家會(huì)議賦權(quán)法為例,客觀評(píng)價(jià)法中以主成分分析、因子分析、TOPSIS法為例。從另外一個(gè)角度看,專家會(huì)議賦權(quán)法屬于線性評(píng)價(jià)方法,而主成分分析、因子分析、TOPSIS屬于非線性評(píng)價(jià)方法。本文同時(shí)采取以上4種方法進(jìn)行評(píng)價(jià),然后采用因子-BP人工神經(jīng)網(wǎng)絡(luò)篩選法進(jìn)行篩選,這樣可以進(jìn)一步闡明該方法的原理。至于主成分分析、因子分析、TOPSIS、專家會(huì)議賦權(quán)法的原理,由于其應(yīng)用眾多,本文不再贅述。

2研究數(shù)據(jù)

本文基于JCR2017數(shù)據(jù)庫(kù),選取學(xué)科期刊數(shù)量較多的經(jīng)濟(jì)學(xué)期刊為例進(jìn)行說(shuō)明,從而保證了相對(duì)較大的樣本,以便取得較好的學(xué)習(xí)效果,提高研究的穩(wěn)健性。JCR2017共有經(jīng)濟(jì)學(xué)期刊353種,由于部分期刊數(shù)據(jù)缺失,需要將其刪除,經(jīng)過(guò)清洗后還有321種期刊。關(guān)于評(píng)價(jià)指標(biāo),本文選取總被引頻次、影響因子、他引影響因子、5年影響因子、即年指標(biāo)、特征因子、論文影響分值、被引半衰期、引用半衰期9個(gè)指標(biāo)進(jìn)行評(píng)價(jià)。影響因子百分位指標(biāo)沒(méi)有選取,因?yàn)樗鼇?lái)源于影響因子,另外具有非參數(shù)性質(zhì),用于評(píng)價(jià)不太合適。此外標(biāo)準(zhǔn)特征因子來(lái)源于特征因子,選取存在重復(fù)計(jì)算。另外,被引半衰期和引用半衰期屬于反向指標(biāo),需要進(jìn)行正向處理,這樣才能進(jìn)一步用于評(píng)價(jià),本文首先采用極大值減去每個(gè)指標(biāo)將其轉(zhuǎn)化為正向指標(biāo),再采用極大值法標(biāo)準(zhǔn)化。

3實(shí)證研究結(jié)果

采用專家會(huì)議賦權(quán)法進(jìn)行評(píng)價(jià),首先要確定各評(píng)價(jià)指標(biāo)的權(quán)重。本文作為一個(gè)評(píng)價(jià)算例,邀請(qǐng)了8名學(xué)術(shù)評(píng)價(jià)領(lǐng)域的教授和研究人員進(jìn)行賦權(quán),經(jīng)過(guò)兩輪打分,權(quán)重區(qū)域穩(wěn)定,各評(píng)價(jià)指標(biāo)的權(quán)重分別為:總被引頻次0.10、影響因子0.20、他引影響因子0.15、5年影響因子0.1、即年指標(biāo)0.05、特征因子0.12、論文影響分值0.08、被引半衰期0.1、引用半衰期0.1。主成分分析和因子分析評(píng)價(jià)需要首先進(jìn)行適用性檢驗(yàn),KMO檢驗(yàn)值為0.772,Bartlett檢驗(yàn)值為3623.831,相伴概率p為0.000,說(shuō)明符合采用這兩種評(píng)價(jià)方法的前提條件。采用主成分分析,其主成分矩陣如表1所示。從主成分矩陣可以看出,第一主成分包括總被引頻次、影響因子、他引影響因子、5年影響因子、即年指標(biāo)、特征因子、論文影響分值7個(gè)指標(biāo),可以將其命名為期刊影響力;第二主成分包括被引半衰期和引用半衰期2個(gè)指標(biāo),可以將其命名為期刊時(shí)效性。第一主成分的方差貢獻(xiàn)率為56.98%,第二主成分的方差貢獻(xiàn)率為16.49%,兩者累計(jì)貢獻(xiàn)率為73.47%,根據(jù)方差貢獻(xiàn)率進(jìn)行加權(quán)匯總,就得到主成分分析的評(píng)價(jià)結(jié)果。采用因子分析評(píng)價(jià),需要對(duì)矩陣進(jìn)行旋轉(zhuǎn),方法采用最大方差法,旋轉(zhuǎn)成分矩陣如表2所示。第一公共因子包括總被引頻次、影響因子、他引影響因子、5年影響因子、特征因子、論文影響分值6個(gè)指標(biāo),為期刊影響力。第二公共因子包括即年指標(biāo)、被引半衰期和引用半衰期3個(gè)指標(biāo),為期刊時(shí)效性。第一公共因子旋轉(zhuǎn)方差貢獻(xiàn)率為55.94%,第二公共因子的旋轉(zhuǎn)方差貢獻(xiàn)率為17.53%,兩者之和為73.47%,同樣根據(jù)旋轉(zhuǎn)方差貢獻(xiàn)率進(jìn)行加權(quán)匯總,得到因子分析的評(píng)價(jià)結(jié)果。TOPSIS評(píng)價(jià)包括加權(quán)TOPSIS和等權(quán)重TOP-SIS,為了分析問(wèn)題方便,本文采取后者進(jìn)行評(píng)價(jià)。4種評(píng)價(jià)方法的評(píng)價(jià)結(jié)果如表3所示,由于篇幅所限,本文僅公布按照專家會(huì)議賦權(quán)法評(píng)價(jià)排名的前40種期刊評(píng)價(jià)結(jié)果。從評(píng)價(jià)結(jié)果看,由于不同評(píng)價(jià)方法評(píng)價(jià)原理不同,其評(píng)價(jià)結(jié)果相差較大,除了前3名排序一致外,其他排序結(jié)果相差較大。從評(píng)價(jià)方法選取的角度,專家會(huì)議賦權(quán)法、TOPSIS評(píng)價(jià)方法幾乎可以適用于一切評(píng)價(jià),主成分分析和因子分析需要進(jìn)行適用性檢驗(yàn),但一般不通過(guò)的情況極其罕見(jiàn),所以從評(píng)價(jià)方法角度來(lái)選擇評(píng)價(jià)方法幾乎是不可能的。4種評(píng)價(jià)方法的相關(guān)系數(shù)如表4所示,它們之間擁有極高的相關(guān)系數(shù),最低的相關(guān)系數(shù)為因子分析與TOPSIS之間的相關(guān)系數(shù),為0.936;最高的相關(guān)系數(shù)為因子分析與主成分分析之間的相關(guān)系數(shù),為0.987。對(duì)比表3中的排序結(jié)果可以看出,盡管不同評(píng)價(jià)方法評(píng)價(jià)結(jié)果的相關(guān)系數(shù)很高,但是評(píng)價(jià)結(jié)果的排序相差仍然較大。需要注意的是,表3中這種排序差異是在區(qū)分度相對(duì)較好的優(yōu)秀期刊之間的,如果是處在中等水平的期刊排序,其差異會(huì)更大。下面用兩個(gè)公共因子作為輸入,4種評(píng)價(jià)方法的評(píng)價(jià)結(jié)果分別作為輸出,基于BP神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí),并得到最終模型的權(quán)重。由于BP神經(jīng)網(wǎng)絡(luò)可能存在局部極小化問(wèn)題和網(wǎng)絡(luò)結(jié)構(gòu)不唯一問(wèn)題,為了提高研究的穩(wěn)健性,每種評(píng)價(jià)方法的BP神經(jīng)網(wǎng)絡(luò)模型均學(xué)習(xí)5次,每次迭代次數(shù)為500,取5次的平均結(jié)果。專家賦權(quán)法、主成分分析、因子分析、TOP-SIS這4種評(píng)價(jià)方法的因子-BP人工神經(jīng)網(wǎng)絡(luò)篩選結(jié)果權(quán)重如表5~8所示。將4種評(píng)價(jià)方法的因子-BP人工神經(jīng)網(wǎng)絡(luò)平均權(quán)重做成1張表(如表9所示)。這樣就可以非常清晰地看出各種評(píng)價(jià)方法的側(cè)重點(diǎn),專家會(huì)議賦權(quán)法影響力權(quán)重為0.898,時(shí)效性權(quán)重為0.102,更加側(cè)重影響力。因子分析法影響力權(quán)重為0.922,時(shí)效性權(quán)重為0.078,相比專家會(huì)議賦權(quán)法更加注重影響力。主成分分析賦權(quán)法影響力權(quán)重為0.832,時(shí)效性權(quán)重為0.168,對(duì)時(shí)效性的重視程度有所加強(qiáng)。而TOPSIS最重視時(shí)效性,其權(quán)重為0.433,影響力權(quán)重為0.567。如果在這個(gè)基礎(chǔ)上進(jìn)一步比較權(quán)重,選擇評(píng)價(jià)方法則非常方便。本文將這個(gè)權(quán)重組合發(fā)給各位專家,8位專家有7位傾向于采用主成分分析法進(jìn)行評(píng)價(jià),即以期刊影響力評(píng)價(jià)為主,兼顧時(shí)效性進(jìn)行評(píng)價(jià)。這樣評(píng)價(jià)方法的選取就結(jié)束了,對(duì)于4種評(píng)價(jià)方法而言,選取主成分分析更合適,最后應(yīng)該采用主成分分析的評(píng)價(jià)結(jié)果作為唯一標(biāo)準(zhǔn)。

4研究結(jié)論

4.1在學(xué)術(shù)評(píng)價(jià)中多屬性評(píng)價(jià)方法的選擇必須兼顧主觀和管理因素學(xué)術(shù)評(píng)價(jià)本質(zhì)上是主觀的,評(píng)價(jià)隨著人類社會(huì)的發(fā)展越來(lái)越復(fù)雜,進(jìn)而誕生了客觀賦權(quán)法,但是客觀評(píng)價(jià)法也必須為管理服務(wù),客觀評(píng)價(jià)方法的選取也是人為的,其評(píng)價(jià)結(jié)果是否合適也要依靠人工加以判斷,評(píng)價(jià)結(jié)果的運(yùn)用也要考慮到各利益相關(guān)者的感受,所以對(duì)于多屬性評(píng)價(jià)方法的選取,無(wú)論是客觀評(píng)價(jià)方法還是主觀評(píng)價(jià)方法,均要兼顧主觀和管理因素,即在方法選取中必須施加人工的判斷。4.2因子-BP人工神經(jīng)網(wǎng)絡(luò)篩選法是一種有效的評(píng)價(jià)方法選取手段因子-BP人工神經(jīng)網(wǎng)絡(luò)篩選法首先通過(guò)降維,從評(píng)價(jià)指標(biāo)中提取少數(shù)公共因子,再通過(guò)BP人工神經(jīng)網(wǎng)絡(luò)對(duì)某種多屬性評(píng)價(jià)方法的公共因子和評(píng)價(jià)結(jié)果進(jìn)行訓(xùn)練學(xué)習(xí),從而得到該評(píng)價(jià)方法的因子權(quán)重,再輔助專家知識(shí)和管理需求來(lái)進(jìn)行評(píng)價(jià)方法的篩選。實(shí)證研究表明,通過(guò)因子分析降維,降低了專家判斷權(quán)重的難度。人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)模型具有較好的穩(wěn)定性,得到的權(quán)重是可信的。并且該方法適用于所有的多屬性評(píng)價(jià)方法,因此具有廣闊的應(yīng)用前景。4.3因子-BP人工神經(jīng)網(wǎng)絡(luò)篩選法可以用來(lái)輔助專家賦權(quán)雖然因子-BP人工神經(jīng)網(wǎng)絡(luò)篩選法是一種多屬性評(píng)價(jià)方法篩選方法,但是在專家賦權(quán)時(shí),利用該方法可以得到公共因子的權(quán)重,并反饋給專家,由于只有少數(shù)公共因子,并且公共因子之間不相關(guān),這樣可以讓專家非常容易地判斷指標(biāo)賦權(quán)是否合適,因?yàn)椴皇侵苯用鎸?duì)幾十個(gè)甚至更多的評(píng)價(jià)指標(biāo)。本質(zhì)上,因子-BP人工神經(jīng)網(wǎng)絡(luò)篩選法提高了評(píng)價(jià)要素的區(qū)分度,方便了專家。4.4對(duì)于多屬性評(píng)價(jià)方法的進(jìn)一步優(yōu)化成為新的問(wèn)題通過(guò)因子-BP人工神經(jīng)網(wǎng)絡(luò)篩選法進(jìn)行多屬性評(píng)價(jià)方法的篩選,只能依托現(xiàn)有的多屬性評(píng)價(jià)方法,在極限情況下,如果嘗試的所有多屬性評(píng)價(jià)方法的因子權(quán)重均不能達(dá)到專家或管理需求希望的結(jié)果,即有可能否決正在嘗試的所有多屬性評(píng)價(jià)方法。在這種情況下,如何進(jìn)一步推進(jìn)評(píng)價(jià)?一種可能的思路是進(jìn)一步調(diào)整各評(píng)價(jià)指標(biāo)的權(quán)重,采用專家賦權(quán)法重新進(jìn)行評(píng)價(jià)并進(jìn)行進(jìn)一步的檢驗(yàn),但這種工作耗時(shí)長(zhǎng),不確定性因素多,有待進(jìn)一步深入研究。4.5當(dāng)評(píng)價(jià)對(duì)象較少時(shí)不宜采用本文方法因子-BP人工神經(jīng)網(wǎng)絡(luò)篩選法必須符合兩個(gè)前提條件,第一是因子分析的前提條件,比如KMO檢驗(yàn)必須通過(guò)(這通常沒(méi)有問(wèn)題),評(píng)價(jià)對(duì)象至少達(dá)到一定數(shù)量;第二是人工神經(jīng)網(wǎng)絡(luò)的前提條件,比如對(duì)樣本數(shù)量的要求。如果這些前提條件不滿足,是無(wú)法應(yīng)用該方法進(jìn)行多屬性評(píng)價(jià)方法選取的。需要說(shuō)明的是,本文中期刊評(píng)價(jià)方法的篩選方法嚴(yán)重依賴于研究數(shù)據(jù),即依賴了評(píng)價(jià)指標(biāo)本身和評(píng)價(jià)數(shù)據(jù)。