翻译教学中的师评、自评和互评研究——基于多层面Rasch模型的方法 被引量：32

1

作者 范劲松 季佩英 《外语界》 CSSCI 北大核心 2017年第4期61-70,共10页

本研究采用多层面Rasch模型探讨了大学英语翻译教学中的师评、自评和互评问题。研究结果表明:师评最为严厉,自评和互评相对宽松;评分标准设计合理,师评、自评与评分标准之间存在一定交互性。研究进而指出,只要评分标准设计科学,并且评... 本研究采用多层面Rasch模型探讨了大学英语翻译教学中的师评、自评和互评问题。研究结果表明:师评最为严厉,自评和互评相对宽松;评分标准设计合理,师评、自评与评分标准之间存在一定交互性。研究进而指出,只要评分标准设计科学,并且评分之前为学生提供评分培训,自评和互评就可以有效应用于翻译教学。 展开更多

关键词 翻译教学 形成性评估 多层面rasch模型

原文传递

多面Rasch模型在主观题评分培训中的应用 被引量：16

2

作者 李中权 孙晓敏 +1 位作者 张厚粲 张立松 《中国考试》 2008年第1期26-31,共6页

主观题的评分受到很多因素的影响，如评分者的知识水平、综合能力和个人偏好等。这些评分者偏差不仅会导致不同评分者之M存在主观差异，也会到导致同一评分者在不同的时间也具有主观不稳定性。最终导致主观题评分信度的降低。本研究将多... 主观题的评分受到很多因素的影响，如评分者的知识水平、综合能力和个人偏好等。这些评分者偏差不仅会导致不同评分者之M存在主观差异，也会到导致同一评分者在不同的时间也具有主观不稳定性。最终导致主观题评分信度的降低。本研究将多面Rasch模型运用到某国家级考试论述题的评分培训中。通过分析6名有经验评分者对58份试卷的试评数据，鉴别出四种评分者偏差，然后据此对每个评分者进行个别反馈,从而提高评分的客观性和精确性。 展开更多

关键词 多面rasch模型 主观评分 评分者培训

原文传递

基于概化理论和多层面Rasch模型的CET-6作文评分信度研究 被引量：15

3

作者 李航 《外语与外语教学》 CSSCI 北大核心 2011年第5期51-56,共6页

信度是任何测试结果有效的必要条件。为探究CET-6写作评分的信度表现，本研究通过使用概化理论和多层面Rasch模型，对10名CET-6评分员对100份CET-6实考作文的评分结果进行了分析。概化理论的分析发现，评分员侧面以及包含评分员与考生... 信度是任何测试结果有效的必要条件。为探究CET-6写作评分的信度表现，本研究通过使用概化理论和多层面Rasch模型，对10名CET-6评分员对100份CET-6实考作文的评分结果进行了分析。概化理论的分析发现，评分员侧面以及包含评分员与考生间交互作用的残差的方差分量在总方差中占有一定的比重。而多层面Rasch模型的分析则发现评分员在严厉度上的确存在较大的差异；而且评分员与考生间的显著偏差交互也呈现出对较高能力的考生偏严，而对较差能力考生偏松的趋势。研究也表明概化理论和多层面Rasch模型具有良好的互补性，能对测试信度做出点面结合的丰富说明。 展开更多

关键词 信度 概化理论 多层面rasch模型 CET-6作文评分

原文传递

外语写作思辨能力评价效度研究——基于多面Rasch模型分析 被引量：13

4

作者 马利红 刘坚 《外语教学理论与实践》 CSSCI 北大核心 2021年第2期97-107,115,共12页

采用多面Rasch模型,以913名高中生为研究对象,从被试、评分员、任务和评分标准四个层面对外语写作思辨能力评价进行效度验证。研究结果显示:(1)包含提出问题、表达观点、提供证据、推理论证、得出结论、阐释评价的评价框架符合多面Rasc... 采用多面Rasch模型,以913名高中生为研究对象,从被试、评分员、任务和评分标准四个层面对外语写作思辨能力评价进行效度验证。研究结果显示:(1)包含提出问题、表达观点、提供证据、推理论证、得出结论、阐释评价的评价框架符合多面Rasch模型的测评要求,能体现并合理区分被试的外语写作思辨能力。(2)推理论证和提供证据对测试结果的整体效度有一定影响,需要进一步完善。研究结果对于外语教学中的思辨能力培养与评价具有一定的启示意义。 展开更多

关键词 外语写作 思辨能力 效度验证 多面rasch模型

原文传递

基于多面Rasch模型的作文网上评卷“趋中评分”判定研究 被引量：12

5

作者 俞韫烨 谢小庆 《中国考试》 2012年第1期6-13,共8页

写作测试则是评价学生语言能力最有效的工具之一,但在作文评分中,评分员容易出现"趋中评分",即打"中间分"的现象。趋中评分是评分过程中形成的一种系统性误差,它在一定程度上会影响作文评分的质量。本文基于多面Ra... 写作测试则是评价学生语言能力最有效的工具之一,但在作文评分中,评分员容易出现"趋中评分",即打"中间分"的现象。趋中评分是评分过程中形成的一种系统性误差,它在一定程度上会影响作文评分的质量。本文基于多面Rasch模型,采用MHK(三级)考试的实测数据,估计了考生的能力值和期望得分,计算出残差标准差、残差与期望得分的相关,同时参考原始评分的峰度值、评分员infit值、评分员期望评分的峰度值和专家校验卷的分析结果,最后确定了具有趋中评分倾向的评分员,同时提出了判定趋中评分的方法和标准。 展开更多

关键词 趋中评分 网上阅卷 多面rasch模型

下载PDF 职称材料

结构化面试评定量表的现代测量学分析 被引量：10

6

作者 孙晓敏 张厚粲 《应用心理学》 CSSCI 2007年第3期250-256,共7页

结构化面试作为使用最为普遍的人事选拔技术之一受到越来越多研究者的关注。本研究与传统分析方法和内容不同,选用IRT的Rasch模型的拓展——多面Rasch模型,对某次结构化面试中两组12位评委对66名考生的面试数据进行分析,主要对面试中10... 结构化面试作为使用最为普遍的人事选拔技术之一受到越来越多研究者的关注。本研究与传统分析方法和内容不同,选用IRT的Rasch模型的拓展——多面Rasch模型,对某次结构化面试中两组12位评委对66名考生的面试数据进行分析,主要对面试中10点量表的使用进行了检测。结果表明:在面试的五个维度中,10点量表并未完全使用,低端的3个等级未被使用;总体而言,考生在各维度上得到的评定越高就越有能力,但在综合分析和口头表达两个维度上,出现了等级评定和考生能力倒挂现象;而且,在各个面试维度上均发现了评定等级的非等距性。 展开更多

关键词 结构化面试 评定量表 多面rasch模型

下载PDF 职称材料

口语测试评分标准的现代测试学分析 被引量：10

7

作者 孙海洋 魏梅 《外语与外语教学》 CSSCI 北大核心 2012年第6期66-70,共5页

本研究运用多层面Rasch测量模型,分析了朗读和口头陈述两种口语考试任务评分维度的设置及评分量表的使用情况。结果表明,口头陈述任务的一个评分维度设置不够合理,两个量表的等级之间都存在非等距性问题,而且口头陈述任务评分量表的某... 本研究运用多层面Rasch测量模型,分析了朗读和口头陈述两种口语考试任务评分维度的设置及评分量表的使用情况。结果表明,口头陈述任务的一个评分维度设置不够合理,两个量表的等级之间都存在非等距性问题,而且口头陈述任务评分量表的某些等级与考生的能力之间出现了负增长现象,即考生的能力越强得分反而越低。这些信息对于修改和完善评分维度和评分量表具有非常重要的意义。 展开更多

关键词 口语测试 评分标准 评分维度 评分量表 多层面rasch模型

原文传递

PETS三级口语考试评分误差研究——结合定量统计和定性描述的方法 被引量：10

8

作者 张洁 《外语测试与教学》 2012年第2期33-42,共10页

口语考试作为主观性考试,其评分准确性在很大程度上会影响考试的信度和整体效度。本研究结合对评分结果的多层面Rasch模型统计分析和对评分员评分依据的定性描述,探讨PETS三级口语考试中常见的评分误差类型、程度和造成误差的可能原因,... 口语考试作为主观性考试,其评分准确性在很大程度上会影响考试的信度和整体效度。本研究结合对评分结果的多层面Rasch模型统计分析和对评分员评分依据的定性描述,探讨PETS三级口语考试中常见的评分误差类型、程度和造成误差的可能原因,并据此提出了改进评分标准,评分流程和评分员培训的建议。 展开更多

关键词 PETS三级口语考试 评分员效应 多层面rasch模型 定性描述

下载PDF 职称材料

概化理论和多层面Rasch模型在建立“职前中学英语教师口语考试模型”中的应用 被引量：8

9

作者 孙海洋 《外语与外语教学》 CSSCI 北大核心 2011年第5期57-62,共6页

本研究以概化理论和多层面Rasch模型为基础，运用GENOVA和FACETS分析了一项针对职前中学英语教师的口语考试模型的试测结果，旨在探索此项考试的信度和效度，为完善考试设计提供依据。两种方法的分析结果为我们提供了互为补充的信息：GE... 本研究以概化理论和多层面Rasch模型为基础，运用GENOVA和FACETS分析了一项针对职前中学英语教师的口语考试模型的试测结果，旨在探索此项考试的信度和效度，为完善考试设计提供依据。两种方法的分析结果为我们提供了互为补充的信息：GENOVA分析结果表明，适当减少考试任务不会对考试的信度有很大影响，然而减少评分员人数会对信度有较大影响；FACETS分析结果显示，个别任务与整体模型不拟合，一位评分员打分一致性不好。这些结果为修改考试内容和完善评，分过程提供了非常重要的参考信息。 展开更多

关键词 概化理论 多层面rasch模型 口语考试

原文传递

机助英语听说考试计算机自动评分的多层面Rasch模型分析 被引量：7

10

作者 周燕 曾用强 《外语测试与教学》 2016年第1期22-31,共10页

本研究运用多层面Rasch模型测量软件FACETS分析了计算机和15名专家评分员在一次广东省高考机助英语听说考试模拟测试中批阅215名考生口语录音的阅卷行为。研究发现:计算机自动评分和专家评分员评分的严厉度虽有显著差异,但并不会对考生... 本研究运用多层面Rasch模型测量软件FACETS分析了计算机和15名专家评分员在一次广东省高考机助英语听说考试模拟测试中批阅215名考生口语录音的阅卷行为。研究发现:计算机自动评分和专家评分员评分的严厉度虽有显著差异,但并不会对考生能力分布产生决定性影响;计算机自动评分阅卷较低的评分偏差几率说明计算机自动评分比专家人工阅卷具有更高的内部一致性。 展开更多

关键词 多层面rasch模型 机助英语听说考试 计算机自动评分 阅卷效度

下载PDF 职称材料

无领导小组讨论的多侧面Rasch模型应用 被引量：7

11

作者 姚若松 赵葆楠 +1 位作者 刘泽 苗群鹰 《心理学报》 CSSCI CSCD 北大核心 2013年第9期1039-1049,共11页

采用项目反应理论(IRT)的多侧面Rasch模型(MFRM),分析评价中心技术中无领导小组讨论(LGD)的测评结果,探讨被试能力水平、评委评分宽严度、评分内部一致性、维度难度和评定等级等问题,进而讨论各种偏差。通过MFRM分析人事测评结果,可深... 采用项目反应理论(IRT)的多侧面Rasch模型(MFRM),分析评价中心技术中无领导小组讨论(LGD)的测评结果,探讨被试能力水平、评委评分宽严度、评分内部一致性、维度难度和评定等级等问题,进而讨论各种偏差。通过MFRM分析人事测评结果,可深入了解被试能力的真实差异、甑别维度难度、探查测评误差源,从而完善测评试题编制、评估或诊断评委合格性、提高测评维度与测评目的匹配性,为拓展项目反应理论在人事测评中的应用提供独特视角。 展开更多

关键词 无领导小组讨论 多侧面rasch模型 项目反应理论 人事测评

下载PDF 职称材料

PETS口试评分培训效果的多面Rasch分析 被引量：5

12

作者 李英 关丹丹 《外语教学理论与实践》 CSSCI 北大核心 2016年第3期43-48,共6页

本研究以PETS-1级拟聘口试教师为研究对象,对口试教师评分的培训效果进行了研究。采用多面Rasch分析对比口试教师接受培训前后的评分效果。结果发现:培训后,提升了口试教师与专家评分完全一致的比率,评分偏于严格的口试教师在评分标准... 本研究以PETS-1级拟聘口试教师为研究对象,对口试教师评分的培训效果进行了研究。采用多面Rasch分析对比口试教师接受培训前后的评分效果。结果发现:培训后,提升了口试教师与专家评分完全一致的比率,评分偏于严格的口试教师在评分标准上做了恰当的调整,所有口试教师评分拟合值都在可接受范围内,总体上,口试教师评分的培训比较有效,培训后提升了评分的准确性。多面Rasch分析有助于发现评分过于宽松、过于严格、评分拟合差的口试教师以及评分异常情况,为开展有针对性的培训提供了可靠的依据。 展开更多

关键词 PETS 口试 评分 培训效果 多面rasch分析

原文传递

研究生入学考试写作评分的概化理论研究与多面Rasch分析 被引量：5

13

作者 关丹丹 《心理学探新》 CSSCI 2014年第5期437-440,共4页

为了评价和改进硕士研究生入学考试一般能力测试的写作评分,研究者采用概化理论和多面Rasch分析对113位考生的写作样本的评分误差来源、评分信度等进行了探讨。概化理论研究显示,评分者和题目对评分准确性影响不大,以两道写作题的考试... 为了评价和改进硕士研究生入学考试一般能力测试的写作评分,研究者采用概化理论和多面Rasch分析对113位考生的写作样本的评分误差来源、评分信度等进行了探讨。概化理论研究显示,评分者和题目对评分准确性影响不大,以两道写作题的考试设计而言,评分者为2人即可保证评分信度在0.75以上。多面Rasch分析显示,评分者宽严度的估计值及其误差均在可接受的范围内,评分者之间在宽严度上不存在显著差异,且评分者自身在评分时总体上比较稳定。但个别评分者在特定考生特定题目上表现出特殊偏向。概化理论和多面Rasch分析丰富了写作评分研究的量化指标,证实了硕士研究生入学考试一般能力测试的写作评分具有较高的信度。 展开更多

关键词 写作 评分信度 概化理论 多面rasch分析

下载PDF 职称材料

概化理论和多层面Rasch模型在CET-4作文评分中的应用研究 被引量：5

14

作者 徐鹰 《西安外国语大学学报》 CSSCI 2016年第1期91-95,共5页

本研究采用概化理论和多层面Rasch模型,对26位CET-4作文评分人给30篇CET-4模拟作文的分数进行了分析。概化理论研究结果表明:考生能力是测试总变异的主要来源(77.7%),在当前采用一评的评分条件下,概化系数(0.81)可以接受。多层面Rasch... 本研究采用概化理论和多层面Rasch模型,对26位CET-4作文评分人给30篇CET-4模拟作文的分数进行了分析。概化理论研究结果表明:考生能力是测试总变异的主要来源(77.7%),在当前采用一评的评分条件下,概化系数(0.81)可以接受。多层面Rasch模型分析结果表明:评分人严厉度差异显著,但自我一致性较好,评分人和考生偏差存在对高分和中分考生偏严、对低分考生偏松的问题,评分标准整体上能区分不同水平考生。 展开更多

关键词 概化理论 多层面rasch模型 CET-4作文评分

原文传递

基于多面Rasch模型的商务英语口语测试评分研究 被引量：5

15

作者 揭薇 《山东外语教学》 2018年第3期22-32,49,共12页

信度和效度研究较多考察通用英语测试,而对专门用途英语测试的效度微观研究则相对缺失。本文应用FACETS软件对某高校VECTOR商务英语主观题型测试进行分析,从微观上对评分者严厉程度、考生能力差异、试题难易度差异进行进一步分析。结果... 信度和效度研究较多考察通用英语测试,而对专门用途英语测试的效度微观研究则相对缺失。本文应用FACETS软件对某高校VECTOR商务英语主观题型测试进行分析,从微观上对评分者严厉程度、考生能力差异、试题难易度差异进行进一步分析。结果显示,与其他通用英语主观题型测试的经验性结论相比,商务英语话题任务难度差异大,评卷者严厉度存在显著差异。本研究的结论有助于解释商务英语口语测试效度,并且利用该模型对评分者进行培训,从而改善考试设计、控制评分质量,改进评分标准和提高考试效度,这对相关教学和测试意义重大。 展开更多

关键词 商务英语口语测试 评分员 多面rasch模型 facetS

下载PDF 职称材料

基于多层面Rasch模型的在线学生自评、师评和学生互评研究 被引量：5

16

作者 郭婉瑢 蔡旻君 《上海教育评估研究》 2020年第1期22-26,31,共6页

在线学习评价是检测学习质量的重要方式,在评价中加入自评和互评会使评价结果更具合理性。研究针对在线学习评价中自评、师评和同伴评价中的问题,基于Moodle平台,应用多层面Rasch模型探究学生自评、师评和同伴评价的一致性。研究结果表... 在线学习评价是检测学习质量的重要方式,在评价中加入自评和互评会使评价结果更具合理性。研究针对在线学习评价中自评、师评和同伴评价中的问题,基于Moodle平台,应用多层面Rasch模型探究学生自评、师评和同伴评价的一致性。研究结果表明,师评最为严厉,然后依次是同伴评价和自评;评价量规的制定需要有科学有效的方法,需要让学生参与其中;在线环境中评价应增加即时反馈,从而使评价促进学习。多层面Rasch模型使在线学习评价更具合理性,对评价标准和一致性的检验有重要意义。 展开更多

关键词 多层面rasch模型 在线学习 形成性评价

下载PDF 职称材料

托幼机构教育质量评价中评委偏差的多侧面Rasch分析 被引量：5

17

作者 陈德枝 秦金亮 李克建 《心理科学》 CSSCI CSCD 北大核心 2016年第3期628-636,共9页

采用多侧面Rasch模型对28位评委在托幼机构教育质量评价中的评委偏差进行了分析。分析结果显示:28名评委评分宽严度差异显著;3名评委内部一致性较差,其余25名评委内部一致性较稳定;评委与评价班级的交互作用不显著,与评价项目的交互作... 采用多侧面Rasch模型对28位评委在托幼机构教育质量评价中的评委偏差进行了分析。分析结果显示:28名评委评分宽严度差异显著;3名评委内部一致性较差,其余25名评委内部一致性较稳定;评委与评价班级的交互作用不显著,与评价项目的交互作用显著。研究结果表明MFRM可以对托幼机构教育质量评价的评委偏差进行个体层面的具体分析,从项目反应理论的视角为托幼机构教育质量评价的评委针对性培训、评估评委的合格性从而建立合格评委库等提供现代教育、心理测量学依据。 展开更多

关键词 多侧面rasch模型 评委偏差 托幼机构教育质量评价

下载PDF 职称材料

中国大学生英语写作测试中母语与非母语评分员行为的对比分析 被引量：5

18

作者 林椿 肖云南 《中国外语》 CSSCI 北大核心 2018年第5期72-84,共13页

为探究汉语母语与英语母语评分员在写作评分信度和评分行为上的差异,本文分别运用概化理论和多面Rasch模型,分析了他们对448篇英语作文样本的整体法评分结果。结果表明:(1)评分员的母语背景显著影响他们对学生作文的评分;汉语评分员为2... 为探究汉语母语与英语母语评分员在写作评分信度和评分行为上的差异,本文分别运用概化理论和多面Rasch模型,分析了他们对448篇英语作文样本的整体法评分结果。结果表明:(1)评分员的母语背景显著影响他们对学生作文的评分;汉语评分员为2人即可保证两个评分信度系数都达到0.9或以上,而英语评分员需3人才能保证两者都达到0.7以上。(2)评分员的内部一致性较好,但评分员之间的严厉度存在显著差异;英语母语评分员对各水平段的考生作文评分偏严,对最高水平考生评分偏宽;汉语母语评分员对高水平段的考生评分倾向偏宽,对最低水平考生评分偏严。概化理论和多面Rasch模型分别从宏观和微观层面证明了,在趋中度方面,汉语母语与英语母语评分员的评分质量无差别,而在信度系数、评分员一致性、对评分量表的把握、与考生交互方面,汉语母语评分员的评分质量则更高一些。 展开更多

关键词 写作评分 评分信度 母语背景 概化理论 多面rasch模型 偏差分析

原文传递

多面Rasch模型的商务谈判口译行为测试效度验证 被引量：4

19

作者 温倩 《中国外语》 CSSCI 北大核心 2019年第3期73-82,共10页

本文旨在对新开发的商务谈判口译行为测试进行效度验证。研究采用了项目反应理论中的多面Rasch模型法,其优势在于可将口译测试中对影响应试者分数的重要因素——评分员和评分量表进行参数化,并做直观的比较和分析,为效度验证提供证据支... 本文旨在对新开发的商务谈判口译行为测试进行效度验证。研究采用了项目反应理论中的多面Rasch模型法,其优势在于可将口译测试中对影响应试者分数的重要因素——评分员和评分量表进行参数化,并做直观的比较和分析,为效度验证提供证据支持。通过该模型研究发现,新口译测试的分项评分量表维度设置合理,对应试者能力的区分力强;评分员表现出良好的评分员间一致性。多面Rasch模型法为口译测试的效度验证提供了新思路和方法。 展开更多

关键词 多面rasch模型 口译测试 分项评分量表 效度验证

原文传递

基于多层面Rasch模型的评分员评分质量诊断 被引量：4

20

作者 张洁 《外语测试与教学》 2016年第2期47-54,共8页

大规模语言运用测试(performance assessment)中评分员的评分质量直接关系到考生的命运和考试成绩的信效度及公平性,因此如何通过有效的评分员培训最小化评分误差是确保考试成绩有效性的重要问题。本研究运用多层面Rasch模型(MFRM)中所... 大规模语言运用测试(performance assessment)中评分员的评分质量直接关系到考生的命运和考试成绩的信效度及公平性,因此如何通过有效的评分员培训最小化评分误差是确保考试成绩有效性的重要问题。本研究运用多层面Rasch模型(MFRM)中所提供的丰富的统计信息对评分员的评分数据进行诊断分析,研究表明,MFRM输出的统计结果可以较为全面地诊断评分员在评分中所存在的问题,为评分员培训提供更加具有针对性的反馈信息,也可以作为区分评分员准确度高低的依据,为更多评分员误差研究提供有效的测量工具。 展开更多

关键词 评分质量 多层面rasch模型 诊断

下载PDF 职称材料