第1章?緒論 1.1… 研究緣起 1.1.1 口語測試的發(fā)展 在語言測試中，口語測試是一種常見的考試類型，是測量應試人口語能力最直接的一種手段。20世紀末期，Bachmam提出了著名的“語言交際能力說”。這種語言能力觀認為語言能力不僅包括對語言系統(tǒng)知識的掌握，還包括對句子之外語言交際環(huán)境的掌握�；�于“語言交際能力說”的語言測試體系強調(diào)測試的“真實性”和“交際性”。在這種背景下，口語測試因其符合真實性和交際性的特點，日益受到重視。 口語測試是一種主觀測試。與客觀測試相比較，口語測試命題簡單，評分卻比較困難。口語測試在真實的交際環(huán)境中進行，評分誤差的來源比較多。 如何控制口語評分的誤差，保證口語考試的信度是主觀性考試中的一個重要課題。 主觀考試評分中的誤差主要來源于測試任務、評分標準、評分量表和評分員等方面。測試任務、評分標準和評分量表等都是測驗的開發(fā)者制訂的，處于測驗開發(fā)者可控制范圍之內(nèi)，測驗開發(fā)者可以不斷修改、逐步完善。而評分員是測驗開發(fā)者無法把握的一個誤差來源，評分員的表現(xiàn)可能受到各種因素的影響，是動態(tài)的、不斷變化的。評分員評分是一個根據(jù)既定的評分標準和評分量表，給應試人口語能力賦值的過程。評分標準和評分量表要通過評分員才能作用于應試人。評分標準和評分量表被評分員理解、內(nèi)化，最后才應用于被試。所以，評分員如何評分直接關系到口語測試的信度和效度，評分員的評分質(zhì)量是測驗開發(fā)者的設計思路能否實現(xiàn)的關鍵。很多研究顯示，不同評分員評分的過程差異很大。評分員在理解、內(nèi)化評分標準時發(fā)生了什么？產(chǎn)生了哪些差異？如何描寫這種差異？不同的評分員差異反映的本質(zhì)是什么？ 進而我們要討論：這些評分員差異對評分質(zhì)量有哪些影響？什么樣的評分員的評分質(zhì)量較高？什么樣的評分員評分質(zhì)量較差？我們應該如何評價一個口語測試的評分員？這就是本書要討論的問題。 1.1.2 評分員評價體系研究現(xiàn)狀 在主觀測試領域中，對評分員的研究一直是一個熱點。這些研究的角度不同，有關于評分員的評分方法的，有關于評分員的評分信度的，還有關于如何培養(yǎng)評分員的，但其中有關漢語口語測試評分員評價的研究不多。在我們搜集到的文獻中，僅有三篇是專門研究普通話評分員考核的，與我們要探討的評分員評價體系研究比較接近。 毛立群（2003）主要探討了普通話水平測試員考核體系的建立。文章首先從以下三個方面歸納了測試員隊伍的現(xiàn)狀：業(yè)務素質(zhì)、職業(yè)道德和科研進修。在此基礎上結(jié)合浙江省普通話水平測試員管理的經(jīng)驗，提出了建立普通話水平測試員考核體系的設想，包括以下四點：規(guī)范選拔程序，保證選送人員的質(zhì)量；點面結(jié)合，使業(yè)務素質(zhì)的考核盡量做到量化；工作量考核能客觀反映出測試員的熱情和態(tài)度；強調(diào)科研進修，確立后續(xù)培訓制度。這篇文章從普通話水平測試實踐管理出發(fā)，較全面地論述了普通話水平測試員考核體系的內(nèi)涵。美中不足的是，這篇文章比較宏觀，沒有往深處挖掘考核評分員的具體指標以及考核評價對評分員的反饋效果。 錢華（2004）的研究，是迄今為止有關普通話水平測試員考核體系的研究中較為全面的一篇。文章首先從測試實踐出發(fā)，總結(jié)歸納了測試員考核中存在的問題，在此基礎上提出構(gòu)建測試員考核體系的意義和原則，其次提出了測試員綜合指標體系的內(nèi)容與基本框架，最后論述了考核工作的組織實施以及考核結(jié)果的運用。這篇文章的考核指標體系涉及四大方面：思想素質(zhì)結(jié)構(gòu)、業(yè)務素質(zhì)結(jié)構(gòu)、身心素質(zhì)結(jié)構(gòu)和績效結(jié)構(gòu)。這四個方面作為考核體系的一級指標，每個一級指標又具體細化為若干二級指標，最后呈現(xiàn)為26個三級指標。這些指標設定得非常全面，包含了《國家語言文字工作委員會關于普通話水平測試管理工作的若干規(guī)定（試行）》第十一條規(guī)定的普通話水平測試評分員的考核內(nèi)容：工作態(tài)度、測試能力、測試工作量、遵守工作紀律情況等。同時，此研究還提出了考核的具體實施步驟。這篇研究從普通話水平測試員的測試實踐出發(fā)，具有很強的參考價值，但是理論的部分還有待加強。 在漢語水平考試（HSK）高等口語測試的相關研究中，專門對口語測試評分員展開的研究不多。有些研究的成果可供參考，例如：關于評分誤差控制、評分員培訓的研究，但還沒有見到專門關于口語測試評分員評價的研究。 1.2… 研究思路 1.2.1 研究目的和內(nèi)容 本文以語言測試學、人力資源評價理論為指導，采取理論與實證相結(jié)合的方法，通過研究旨在揭示評分員評價的本質(zhì)，提出構(gòu)建漢語口語測試評分員評價體系的理論依據(jù)，確立漢語口語測試評分員評價體系的指標，設計評價方案，從理論與實踐兩個層面提出解決漢語口語測試評分員評價的理論體系和實施方法。 從選題視角引出口語測試、語言能力、評分員、評分員評價等基本概念，對這些口語測試中的基本概念及它們的特征做詳細論述，在此基礎上完成構(gòu)建包括“素質(zhì)、能力、績效”為一級評價指標的評分員評價體系。對“素質(zhì)”、“能力”和“績效”的評價分別通過“考核”、“考試”和“考績”的方式進行。三種評價體系中，對“績效”的評價是最重要的，其他兩種處于輔助地位。本文的主要研究內(nèi)容包括： （1）構(gòu)建漢語口語測試評分員評價模式。闡述了建立漢語口語測試評分員評價體系的理論基礎，包括建立評價體系的目的、作用、原則等。一個完整的漢語口語測試評分員評價體系包含三個部分：“素質(zhì)”評價體系、“績效”評價體系和“能力”評價體系。在這三個方面中，“素質(zhì)”和“能力”主要是用來衡量評分員的內(nèi)在價值，“績效”主要是衡量評分員的外在價值，也就是評分員創(chuàng)造的價值。內(nèi)在價值能夠轉(zhuǎn)化為外在價值，所以在三個一級指標中，“績效”指標是最直接和最主要的。我們認為，這三個方面較全面地代表了評分員的日常工作表現(xiàn)，是一個具有實際應用價值的理論框架。 （2）構(gòu)建評分員“績效”評價模式。對評分員“績效”的評價主要反映在對評分員評分質(zhì)量的評價上。評分員的任務很多，特別是普通話水平測試（PSC）的評分員還有推廣普通話等其他任務。不同口語測試中，評分員承擔的任務不同，但其主要任務是為應試人評分。評分質(zhì)量的高低關系著口語測試的信度和效度。本文為了量化評分員的評分質(zhì)量，構(gòu)建了以嚴厲度、一致性為指標的“績效”評價體系。這個體系在理論上能夠反映評分員評分結(jié)果和應試人能力的差別，可以用來評價評分員的評分質(zhì)量。 （3）應用評分員“績效”評價模式進行實證研究。本部分將使用現(xiàn)代測量理論嘗試量化評分員的評分質(zhì)量，為評價評分員提供測量學方面的理論支持。本部分的另一個貢獻是對量化結(jié)果進行了有效性檢驗，檢驗結(jié)果顯示嚴厲度和一致性作為評價指標可以反映評分員的評分質(zhì)量。 1.2.2 研究方法 理論與實證研究相結(jié)合的研究方法是本文研究最基本的研究方法。具體來講，本文使用的主要研究方法有： （1）文獻法。為完成本項研究，我們搜集了數(shù)百篇有關漢語口語測試、評價體系的學術(shù)論文，窮盡性地收集了關于普通話水平測試（PSC）和漢語水平考試（HSK）的學術(shù)論文，其中包括數(shù)十篇碩博士論文。除此之外，筆者還認真研讀了語言測試方面的中外文專著。通過閱讀文獻，掌握了進行評分員評價的理論和方法，為完成論文打下了良好的基礎。 （2）分析法。在占有大量文獻資料的基礎上，“去粗取精、去偽存真、由此及彼、由表及里”，對文獻資料的內(nèi)部邏輯關系進行深入分析。 A.對比總結(jié)。對比分析是本研究中使用的重要方法之一�？谡Z測試的種類很多，我們選擇了幾種有代表性的測試，有的是外語口語測試，有的是漢語口語測試。在和其他口語測試對比的基礎上，我們得出了漢語口語測試的特點，即對評分員的要求是全面的。在分析評分員的特點時，我們也使用了這種方法。通過和科研人員、高校管理人員等的對比，發(fā)現(xiàn)了漢語口語測試評分員具有“雙重性”特點。 B.歸納演繹。歸納由個別走向一般，演繹由一般走向個別。本文運用歸納與演繹相結(jié)合的方法，提出了漢語口語測試評分員評分質(zhì)量的指標，對漢語口語測試評分員評分質(zhì)量指標的有效性進行了檢驗。 （3）問卷調(diào)查。本研究在研究口語測試中評分員內(nèi)化評分標準類型時，使用了問卷調(diào)查的方式，共向90位評分員發(fā)放了調(diào)查問卷，回收82份。問卷調(diào)查是現(xiàn)代社會科學研究中最常用的資料收集方法，使用問卷可以了解人的態(tài)度。問卷調(diào)查結(jié)果為解釋評分員評分差異提供了寶貴信息。 （4）實驗法。在當今時代，實驗方法已經(jīng)不再是自然科學的專屬方法了。對某種行為或現(xiàn)象進行研究，對其做出解釋、預測和控制，只能通過實驗。本研究中設計了評分員為共同應試人評分的實驗，收集到了寶貴的一手數(shù)據(jù)，這些數(shù)據(jù)是完成此次研究的基礎保障。 （5）聚類分析等多元統(tǒng)計方法。本項研究對數(shù)據(jù)進行分析時，我們使用了聚類分析（cluster analysis）這種多元變量統(tǒng)計方法，對評分員的內(nèi)化評分標準進行歸類研究。聚類分析實質(zhì)上是一種分類技術(shù)，而分類是人類認識事物的最基本方法之一。聚類分析和以往分類技術(shù)不同的是依靠科學的定量方法進行分類，是一種精確可靠的方法。除此而外，本項研究還應用了相關分析等其他統(tǒng)計方法。 （6）多面Rasch模型。多面Rasch模型是一個功能強大的項目反應理論模型，它可以將觀測試中來自應試人、評分員、口語測試任務等多個方面的變異分解，是目前主觀評分研究中使用最多的模型。本研究應用此模型量化了評分員的嚴厲度和一致性，評價了應試人的口語能力。這是本研究使用的最重要的研究方法之一。