- 相關(guān)推薦
大學(xué)英語(yǔ)六級(jí)考試數(shù)據(jù)處理指南
大學(xué)英語(yǔ)四、六級(jí)考試每年考生超過(guò)一百萬(wàn),因此只能依靠機(jī)器閱卷。為了保證機(jī)器閱卷的精度及正確性,在數(shù)據(jù)輸入階段還要采取大量質(zhì)量保證措施。
數(shù)據(jù)輸入階段結(jié)束后即開(kāi)始數(shù)據(jù)處理階段,包括 IRT 等值處理、作文分調(diào)整、考生成績(jī)正態(tài)化處理三個(gè)步驟。大學(xué)英語(yǔ)四、六級(jí)考試為了進(jìn)行等值處理,每次考試前一周要組織對(duì)比考試,建立 IRT 等值處理模型。
在對(duì)客觀題進(jìn)行等值處理后,對(duì)作文分進(jìn)行調(diào)整。進(jìn)行作文分調(diào)整的目的是濾除閱卷過(guò)程中閱卷員評(píng)分的主觀誤差,保證主觀題的閱卷信度。這一步驟完成后輸出客觀題成績(jī)?cè)?25 分以下而作文成績(jī)?cè)?10 分以上的異?忌鍐,這種客觀題得分極低而主觀題得分相當(dāng)高的異常情況說(shuō)明必然在某一環(huán)節(jié)上發(fā)生了差錯(cuò)。這時(shí)首先檢查考生的答題紙,再查作文成績(jī),檢查是否登分錯(cuò)誤、或閱卷員評(píng)分錯(cuò)誤、或因?yàn)榭忌铄e(cuò) A、B 卷代號(hào)而造成錯(cuò)誤等等。在以上步驟都確認(rèn)正確無(wú)誤后,輸出作文分調(diào)整模型。 最后進(jìn)行各種統(tǒng)計(jì),包括全國(guó)的、各省市的、各校的成績(jī)統(tǒng)計(jì)。作為數(shù)據(jù)處理的最后一環(huán)還要進(jìn)行試題分析、完成試卷檢驗(yàn)報(bào)告 大學(xué)英語(yǔ)四、六級(jí)考試的數(shù)據(jù)處理采取如此嚴(yán)格的質(zhì)量控制措施是為了保證考試的信度,最終也是為了保證考試的效度,因?yàn)闆](méi)有信度就談不上效度。
等值處理
大規(guī)模標(biāo)準(zhǔn)化考試的重要標(biāo)志之一是分?jǐn)?shù)的可比性。為此,首先必須根據(jù)考試的性質(zhì)和目的確定記分體制,使分?jǐn)?shù)具有可解釋性,能夠說(shuō)明分?jǐn)?shù)所反映的考生實(shí)際水平,以便于用戶使用;此外還必須通過(guò)等值處理,使不同考次的分?jǐn)?shù)做到等值,達(dá)到可比的目的,并保持穩(wěn)定的測(cè)量標(biāo)準(zhǔn),也就是保持記分體制的參照系不變。
大學(xué)英語(yǔ)四、六級(jí)考試等值處理的方法及其質(zhì)量控制措施見(jiàn)《大學(xué)英語(yǔ)四、六級(jí)考試效度研究》一書(shū)
作文分調(diào)整
作文是一種對(duì)語(yǔ)言表達(dá)能力的考試。學(xué)生運(yùn)用語(yǔ)言的結(jié)果,可以直接觀察,因此作文是一種直接考試。只要題目出得好,作文對(duì)考生語(yǔ)言能力的測(cè)量最準(zhǔn)確,效度最高。而且作文這種題型最難搞應(yīng)試培訓(xùn),也最難搞題海戰(zhàn)術(shù)。要提高學(xué)生的成績(jī),唯一途徑是扎扎實(shí)實(shí)搞好課堂教學(xué),提高學(xué)生實(shí)際英語(yǔ)能力。從組織考試的角度來(lái)看,采用作文題的困難在于如何保證評(píng)分的一致性。
作文題是主觀題。所謂主觀題只是指在閱卷過(guò)程中評(píng)分要依靠閱卷員的主觀判斷的題目。至于命題和答題,當(dāng)然必然是主觀的。這些因素最終都會(huì)影響到對(duì)作文閱卷的判分。要使作文卷的分?jǐn)?shù)能正確地反映考生的真實(shí)能力,如果不考慮考生本身這一因素,則影響最大的主要是命題和閱卷兩個(gè)因素。
大學(xué)英語(yǔ)四、六級(jí)考試中安排短文寫(xiě)作這一部分,主要目的是考核學(xué)生用英語(yǔ)進(jìn)行書(shū)面表達(dá)的能力,也就是說(shuō)主要是考核語(yǔ)言運(yùn)用能力,因此大學(xué)英語(yǔ)四、六級(jí)考試的作文部分不是自由作文,而是有控制的作文,對(duì)考生寫(xiě)什么內(nèi)容有比較明確的要求,用各種明確的方式如提綱、圖表、關(guān)鍵詞等加以規(guī)定;但提綱常用中文給出,以避免考生將提綱中的文字直接抄錄進(jìn)作文。采用有控制的作文也有利于提高評(píng)分的一致性。 對(duì)作文評(píng)分影響最大的是評(píng)分過(guò)程。同一篇作文,不同的閱卷員可能給出不同的分?jǐn)?shù)。提高作文閱卷的信度就是要保證評(píng)分的一致性,包括閱卷員本人的一致性(intra-marker consistency)、閱卷員之間的一致性(inter-marker consistency)、和閱卷點(diǎn)之間的一致性(inter-centre consistency),要采取一定的質(zhì)量控制措施盡量減少和濾除閱卷員評(píng)分的主觀性對(duì)分?jǐn)?shù)客觀性的影響。 近年來(lái)在大規(guī)模標(biāo)準(zhǔn)化考試中采用作文題的重要性已為大家所接受,對(duì)作文評(píng)分的研究發(fā)展也很快。
作文題的評(píng)分通常有兩種方法:一種是綜合法(holistic approach),一種是分析法(analytic approach)。分析法是把一篇作文分解為若干要點(diǎn),如內(nèi)容、結(jié)構(gòu)、文章連貫性(cohesion)、語(yǔ)法、詞匯等,不同的要點(diǎn)也可作不同的加權(quán)處理,各要點(diǎn)得分的總和即為全篇得分。綜合法是憑閱卷員通讀一遍的總體印象打分。綜合法的優(yōu)點(diǎn)是能從總體上把握通篇印象,評(píng)卷速度比較快。此外,為了提高閱卷的信度也有采用兩讀的方法,即每篇作文由兩名閱卷員分別獨(dú)立評(píng)分,若分?jǐn)?shù)差兩檔以上,由第三名閱卷員重判?紤]到大學(xué)英語(yǔ)四、六級(jí)考試規(guī)模太大,不可能進(jìn)行兩讀,因此,決定采用綜合法和一讀的評(píng)分方法,然后根據(jù)考生的客觀題得分進(jìn)行調(diào)整,濾除系統(tǒng)誤差。大學(xué)英語(yǔ)四、六級(jí)考試實(shí)踐和效度研究結(jié)果證明,大學(xué)英語(yǔ)四、六級(jí)考試目前采用的作文分調(diào)整方法能保證閱卷信度,詳見(jiàn)《大學(xué)英語(yǔ)四、六級(jí)考試效度研究》一書(shū)。
【大學(xué)英語(yǔ)六級(jí)考試數(shù)據(jù)處理指南】相關(guān)文章:
大學(xué)英語(yǔ)六級(jí)考試報(bào)考指南10-29
2015年大學(xué)英語(yǔ)六級(jí)考試報(bào)考指南10-14
2014年大學(xué)英語(yǔ)六級(jí)考試報(bào)考指南11-03
2015年全國(guó)大學(xué)英語(yǔ)六級(jí)口語(yǔ)考試指南09-16
2015年6月蘇州大學(xué)英語(yǔ)六級(jí)考試指南10-14
大學(xué)英語(yǔ)六級(jí)聽(tīng)力成功指南習(xí)題05-26
有關(guān)大學(xué)英語(yǔ)六級(jí)聽(tīng)力成功指南09-03