一对一数字化互动反馈智能课堂学习环境研究 被引量：15

1

作者 王伟东 金义富 《中国电化教育》 CSSCI 北大核心 2015年第7期55-59,共5页

为了实现课堂教学中及时全面的互动反馈,灵活开展各种模式的学习和评价分析管理,该文以互动反馈系统为基础,结合电子书包、一对一数字化学习、云桌面、知识库、基于大数据的学习分析、虚拟课堂等数字化学习相关技术进行改进后,构建了一... 为了实现课堂教学中及时全面的互动反馈,灵活开展各种模式的学习和评价分析管理,该文以互动反馈系统为基础,结合电子书包、一对一数字化学习、云桌面、知识库、基于大数据的学习分析、虚拟课堂等数字化学习相关技术进行改进后,构建了一种一对一数字化互动反馈智能课堂学习环境。形成的知识库,可进行基于大数据的学习分析、个性化学习资源推荐、启发式联想搜索知识、主观题的自动评分等。该文提出了一种主观题交叉评分的方法,并给出了主要流程方案,实现了复杂主观题也能进行互动并可当堂反馈。 展开更多

关键词 互动反馈 电子书包 一对一数字化学习 知识库 主观题评分

下载PDF 职称材料

基于领域预训练的孪生网络智能评分方法 被引量：2

2

作者 肖国亮 马磊 +1 位作者 袁峰 郭成锋 《中国考试》 北大核心 2023年第4期78-85,共8页

随着信息技术的发展,主观题智能评分成为考试与测评领域的研究热点。基于深度学习的主观题智能评分方法目前尚存在一定局限性:一是基于深度学习的方法通常需要充足的训练样本才能达到比较好的效果,而一些真实阅卷场景却无法提供充足的... 随着信息技术的发展,主观题智能评分成为考试与测评领域的研究热点。基于深度学习的主观题智能评分方法目前尚存在一定局限性:一是基于深度学习的方法通常需要充足的训练样本才能达到比较好的效果,而一些真实阅卷场景却无法提供充足的标定样本;二是评分模型仅预测总分值,缺少评分细节,无法为后续的结果评价提供依据。针对以上问题,提出基于领域预训练的孪生网络智能评分方法,探索利用考生作答文本提高评卷精度的方法,探索得分点模型的可行性与实现方法。实验证明,孪生网络智能评分方法能够有效提高小样本情况下的主观题智能评分精度。 展开更多

关键词 智能评分 主观题评分 自动评分

下载PDF 职称材料

主观题评分中的评分者漂移及其传统检测方法 被引量：5

3

作者 赵海燕 辛涛 田伟 《中国考试》 2018年第8期20-27,共8页

评分者漂移是指评分员跨时间、场合或任务的行为改变,即评分者效应的波动。该构念的提出反映了研究者对评分者效应的兴趣由静态转为动态。在高利害教育考试的背景下,对评分者漂移进行检测是保障结果分数的信度、效度和考试公平性的必然... 评分者漂移是指评分员跨时间、场合或任务的行为改变,即评分者效应的波动。该构念的提出反映了研究者对评分者效应的兴趣由静态转为动态。在高利害教育考试的背景下,对评分者漂移进行检测是保障结果分数的信度、效度和考试公平性的必然要求。目前,对评分者漂移的检测主要采取基于多面Rasch模型和差异检验的传统方法。评分者漂移的模型拓展、认知与测量结合以及改进评分设计等方面值得做进一步的研究。 展开更多

关键词 主观题评分 评分者效应 评分者漂移 传统检测方法

下载PDF 职称材料

智能评分技术应用效果的评价研究

4

作者 肖国亮 马磊 +2 位作者 袁峰 郭成锋 邢金宝 《中国考试》 北大核心 2023年第10期17-27,共11页

智能评分技术在教育考试实践中应用越来越广泛,但社会对于其准确性和安全性问题还存有疑虑,其中一个重要原因是当前尚缺少智能评分应用效果的评价方法。针对于此,提出智能评分的研究和应用框架,在文献分析和实践经验基础上提出面向机器... 智能评分技术在教育考试实践中应用越来越广泛,但社会对于其准确性和安全性问题还存有疑虑,其中一个重要原因是当前尚缺少智能评分应用效果的评价方法。针对于此,提出智能评分的研究和应用框架,在文献分析和实践经验基础上提出面向机器学习专家和面向领域评分专家的评价指标,形成一套智能评分应用效果综合评价方案。以军队文职人员招录考试智能评分数据为案例,利用综合评价方案中的统计指标对其评分效果进行了验证。研究结果显示,机器评分的一致性和稳定性均高于人工评分,能够起到良好的辅助质检作用。 展开更多

关键词 人工智能 智能评分 主观题评分 评价指标 综合评价方案

下载PDF 职称材料

翻译测试的评分策略研究——基于CET-4翻译任务 被引量：4

5

作者 徐鹰 叶美琳 《中国考试》 CSSCI 2020年第6期43-50,共8页

采用混合研究法探究CET-4翻译评分员使用的评分策略:首先,邀请13位评分员对5篇CET-4翻译作答进行有声思维评分,据此生成翻译评分策略问卷初稿;然后,在对问卷初稿进行试测后对255位评分员施测;最后,对问卷的信度、效度进行检验并删减题项... 采用混合研究法探究CET-4翻译评分员使用的评分策略:首先,邀请13位评分员对5篇CET-4翻译作答进行有声思维评分,据此生成翻译评分策略问卷初稿;然后,在对问卷初稿进行试测后对255位评分员施测;最后,对问卷的信度、效度进行检验并删减题项,得到问卷终稿。结果表明,最终问卷包括19个题项,整体信度为0.886,翻译评分策略结构包括"修改""诊断""自我评估""推测"和"比较"5个因子,可解释总方差的58.249%。本研究可为大规模语言测试翻译题的设计和评分提供参考。 展开更多

关键词 翻译测试 主观题评分 有声思维 评分策略

下载PDF 职称材料

网络双评过程中作文评分误差以及评分者效应的分析——以大规模英语考试作文评分为例 被引量：3

6

作者 李美娟 刘红云 《中国考试》 2015年第2期39-48,共10页

目前大规模考试作文评分大都采用双评评分模式,本研究采用多侧面Rasch模型(MFRM)分析双评模式下大型英语作文评分中的评分者误差来源及主要影响因素。对57名评分者所评价的2 427篇作文分析发现:1评分者的宽严度存在显著的差异;2在作文... 目前大规模考试作文评分大都采用双评评分模式,本研究采用多侧面Rasch模型(MFRM)分析双评模式下大型英语作文评分中的评分者误差来源及主要影响因素。对57名评分者所评价的2 427篇作文分析发现:1评分者的宽严度存在显著的差异;2在作文评分中,约有22.8%的评分者之间的一致性较差,也存在约3.5%的评分者之间一致性过高;3约90%的评分者自身的一致性都较高,但仍有8.8%的评分者自身一致性很差,约2%的评分者出现评分自身一致性过高的情况;4从整体上讲,评分者在不同的评分标准(或维度)上、不同评分等级宽严程度的把握存在差异;评分者和被试,以及评分者、被试和评分标准三者的交互作用不显著;5评分者对男生和女生具有相同的宽严度。 展开更多

关键词 主观题评分 多侧面Rasch模型 评分者误差分析

下载PDF 职称材料

基于领域本体和依存句法分析的主观题自动评分方法 被引量：3

7

作者 王金水 郭伟文 唐郑熠 《贵州大学学报（自然科学版）》 2020年第6期79-84,124,共7页

现有主观题自动评分方法大多无法识别电力系统领域的专业术语,且在评分过程中易遗漏文本间的语义关系,进而导致其评分结果与人工评分结果偏差较大,无法满足实际考试的要求。针对这些问题,本文提出一种基于领域本体和依存句法分析的主观... 现有主观题自动评分方法大多无法识别电力系统领域的专业术语,且在评分过程中易遗漏文本间的语义关系,进而导致其评分结果与人工评分结果偏差较大,无法满足实际考试的要求。针对这些问题,本文提出一种基于领域本体和依存句法分析的主观题自动评分方法。该方法综合了节点距离相似度、节点信息相似度、通用词语相似度和依存句法搭配词对相似度等因素,并将电力系统领域本体引入到评分过程中,进而提高评分结果的有效性。实验结果表明:与现有方法相比,本文评分方法在主观题自动评分中更贴近人工评分结果,在MAE、RMSE和SMAPE指标上优于其他方法。 展开更多

关键词 自动评分 主观题评分 领域本体 依存句法分析 语义关系

下载PDF 职称材料

大规模教育考试作文评分中的严厉度漂移研究 被引量：1

8

作者 赵海燕 辛涛 田伟 《中国考试》 CSSCI 2019年第2期1-8,共8页

严厉度漂移是指在主观题评分过程中,评分员的严厉度效应的跨时间、场合或任务的波动。本研究基于某高利害性大规模教育考试的作文评分现场收集的操作性数据,借助传统检测方法侦测严厉度漂移,并比较不同模型变式和效应指标的结果。研究... 严厉度漂移是指在主观题评分过程中,评分员的严厉度效应的跨时间、场合或任务的波动。本研究基于某高利害性大规模教育考试的作文评分现场收集的操作性数据,借助传统检测方法侦测严厉度漂移,并比较不同模型变式和效应指标的结果。研究结果表明,在当前评分任务上,评分员在整体上并未发生明显的严厉度漂移,但有相当比例的个体评分员显示出波动现象,并且分离模型的检出率要明显高于交互作用模型。静态和动态严厉度效应间并不存在简单的加合或对应关系。评分员是否发生严厉度漂移并不取决于其静态效应的强度。 展开更多

关键词 主观题评分 作文评分 评分者效应 评分者漂移 严厉度漂移

下载PDF 职称材料

在线考试系统的改进 被引量：2

9

作者 张睿 《电脑编程技巧与维护》 2010年第2期28-30,共3页

随着计算机网络技术的飞速发展,现在很多大学和社会教育部门都已经开设了在线的学习系统和考试系统。由于传统考试复杂,并且浪费资源,开发出一些在线考试系统,既减少了教学工作人员的工作量,同时也节约了纸张等考试资源,保护了环境。现... 随着计算机网络技术的飞速发展,现在很多大学和社会教育部门都已经开设了在线的学习系统和考试系统。由于传统考试复杂,并且浪费资源,开发出一些在线考试系统,既减少了教学工作人员的工作量,同时也节约了纸张等考试资源,保护了环境。现阶段有很多在线考试系统,但在成绩评分这个功能上并不是很完善,本文针对这个功能进行了改进,给开发此项功能时指出了一个方向。 展开更多

关键词 在线考试 B/S模式 题库 主观题评分

下载PDF 职称材料

MultiHead-SelfAttentionBiLSTM网络应用于主观题评分的研究 被引量：2

10

作者 杨松 卫文学 《软件》 2020年第12期180-184,共5页

为了降低主观题评分对人工阅卷的依赖,提升主观题自动阅卷的效率和准确性,使评分结果更客观,设计了MultiHead-SelfAttention BiLSTM Automatic Grading模型。该模型是将深度学习与多头自注意力机制结合,采用BiLSTM模型对进行过人工判分... 为了降低主观题评分对人工阅卷的依赖,提升主观题自动阅卷的效率和准确性,使评分结果更客观,设计了MultiHead-SelfAttention BiLSTM Automatic Grading模型。该模型是将深度学习与多头自注意力机制结合,采用BiLSTM模型对进行过人工判分的主观题进行文本语义特征学习;利用多头机制模拟多人主观判分从多个角度进行关系抽取,降低阅卷偏差;关系抽取利用自注意力机制提取出符合得分要求的关键特征组合。实验结果表明,MultiHead-SelfAttention BiLSTM Automatic Grading模型与常规方法比较,对主观题自动评分的准确率均有不同程度的提高,精确率、召回率、F1值均达到了较好的效果。对减少人工阅卷成本、推进中文自动化评判的进一步发展起到了积极作用。 展开更多

关键词 深度学习 主观题评分 MultiHead-SelfAttention BiLSTM 多头机制 自注意力机制

下载PDF 职称材料

高考语文阅读主观题评分方法对考试质量的影响 被引量：2

11

作者 温红博 杨建强 《中国考试》 CSSCI 2020年第3期1-5,共5页

本研究选取1019份高考语文阅读真实答卷,探讨基于经验的传统"采点"评分、基于理论的SOLO评分和CIM评分3种方法对考试质量的影响。结果表明:采用SOLO评分法和CIM评分法,题目区分度更高,评分信度提升,试卷内部结构拟合更佳;SOL... 本研究选取1019份高考语文阅读真实答卷,探讨基于经验的传统"采点"评分、基于理论的SOLO评分和CIM评分3种方法对考试质量的影响。结果表明:采用SOLO评分法和CIM评分法,题目区分度更高,评分信度提升,试卷内部结构拟合更佳;SOLO评分法和CIM评分法优于"采点"评分法,CIM评分法优于SOLO评分法。高考语文阅读主观题评分可尝试CIM评分法。 展开更多

关键词 高考语文 主观题评分 SOLO分类评价 建构整合模型

下载PDF 职称材料

刍议高考英语网上阅卷 被引量：1

12

作者 韩程峰 《中小学英语教学与研究》 2005年第1期46-47,61,共3页

今年笔者有幸参加了2004年浙江省普通高校招生考试外语卷的网上阅卷工作，由于今年是浙江省第一次网上阅卷，师生可能并不是很熟悉网上阅卷的情况，对此会有很多疑问，如网上阅卷会给我们带来什么?我们该注意些什么?本文拟就网上阅卷的... 今年笔者有幸参加了2004年浙江省普通高校招生考试外语卷的网上阅卷工作，由于今年是浙江省第一次网上阅卷，师生可能并不是很熟悉网上阅卷的情况，对此会有很多疑问，如网上阅卷会给我们带来什么?我们该注意些什么?本文拟就网上阅卷的一些基本情况及高考主观题阅卷后给我们带来的反思作一些粗浅的论述。 展开更多

关键词 高考 英语 网上阅卷 浙江 主观题评分

下载PDF 职称材料

高等汉语水平考试作文评分的调整——评分员残项调整模型的应用

13

作者 李传益 《中国考试》 2012年第12期43-47,共5页

主观题评分差异太大时需要组织评分员进行重评,费时费力,而且仍有可能达不到期望的效果。本研究用残项调整模型(UAdj scheme)对评分员给出的差异较大的分数进行了客观、数学上的调整,调整后的分数差异缩小,分数更接近被试真实水平的期... 主观题评分差异太大时需要组织评分员进行重评,费时费力,而且仍有可能达不到期望的效果。本研究用残项调整模型(UAdj scheme)对评分员给出的差异较大的分数进行了客观、数学上的调整,调整后的分数差异缩小,分数更接近被试真实水平的期望值。用这种方法代替传统的人工复评可以提高主观题评分的效率和考试的信度。 展开更多

关键词 主观题评分 评分误差 复评 残项调整模型

下载PDF 职称材料

基于词网的主观题自动评阅算法的研究

14

作者 宋燕 《电脑知识与技术（过刊）》 2014年第10X期6827-6830,共4页

通过构建有限领域概念网模型,形成一种新颖的自然语言文本处理方法。该方法首先构建领域概念网,再对目标文本进行常规处理后提取其语句框架,最后计算文本相似度。据此开发的试卷主观题评测系统表明,与目前方法相比,该系统以语义为核心,... 通过构建有限领域概念网模型,形成一种新颖的自然语言文本处理方法。该方法首先构建领域概念网,再对目标文本进行常规处理后提取其语句框架,最后计算文本相似度。据此开发的试卷主观题评测系统表明,与目前方法相比,该系统以语义为核心,使得命题所指的概念网与考生答案的语义之间有联系,从而提高评分准确率。 展开更多

关键词 概念网 语句框架 词网 句子相似度 主观题评分

下载PDF 职称材料

主观题评分质量的估计方法评述 被引量：8

15

作者 关丹丹 《中国考试》 2008年第10期52-55,共4页

在心理测量理论中，主观题的评分质量是一个值得研究的课题。本文分别介绍了三大测量理论（经典测量理论、概化理论、项目反应理论）对于主观题评分质量的估计方法，并对其优劣进行了比较。概化理论和项目反应理论在评价主观题评分质量... 在心理测量理论中，主观题的评分质量是一个值得研究的课题。本文分别介绍了三大测量理论（经典测量理论、概化理论、项目反应理论）对于主观题评分质量的估计方法，并对其优劣进行了比较。概化理论和项目反应理论在评价主观题评分质量上具有较明显的优势，如何结合使用三大理论，为主观题评分质量获取更多有价值的信息是值得深入探讨的问题。 展开更多

关键词 主观题评分质量 经典测量理论 概化理论 项目反应理论

原文传递

“人—机对抗”视域下主观题评分误差控制策略探究 被引量：5

16

作者 王文成 《中国考试》 2013年第9期11-19,共9页

网上阅卷没有根本改变传统人工阅卷的本质,但阅卷人员过分追求评分一致性而产生的"人—机对抗"现象,使主观题评分误差及其控制产生了新变化。从"人—机对抗"的视角看,在造成网上阅卷主观题评分误差的诸多因素中,试... 网上阅卷没有根本改变传统人工阅卷的本质,但阅卷人员过分追求评分一致性而产生的"人—机对抗"现象,使主观题评分误差及其控制产生了新变化。从"人—机对抗"的视角看,在造成网上阅卷主观题评分误差的诸多因素中,试题命制、参考答案与评分标准设置的科学性程度是根本性因素,对阅卷员的管理与阅卷过程目标的追求是外在性因素,阅卷员自身的能力素质状况是关键性因素。因此,网上阅卷主观题评分误差的控制,应在传统纸质阅卷的基础上,其重点应关注阅卷员对评分标准掌握情况、控制"宽宽严严"、计算离散程度和提高评分的有效度等。 展开更多

关键词 网上阅卷 主观题评分误差 误差控制 人-机对抗

下载PDF 职称材料

主观题评分系统的设计与实现

17

作者 刘博 《数字技术与应用》 2014年第7期146-147,共2页

科学技术的迅猛发展使计算机的使用范围更加广泛,而教育系统也越来越多的使用计算机加快现代化的步伐。主观题评分系统是基于Excel中的VBA宏开发的一种应用软件,Excel工作区由七部分组成:主页、设置页、课题页、学生页、评分页、成绩页... 科学技术的迅猛发展使计算机的使用范围更加广泛,而教育系统也越来越多的使用计算机加快现代化的步伐。主观题评分系统是基于Excel中的VBA宏开发的一种应用软件,Excel工作区由七部分组成:主页、设置页、课题页、学生页、评分页、成绩页和报表页。尽管各页使用不同,但相互之间都有一定的联系。它的主要功能是基本信息的录入和以邮件形式发送成绩单及进行打印和保存,是帮助教师对学生上交的主观题进行主观评测。本系统的开发可以最大限度的减轻教师评判主观题的工作量,实现阅卷的机器化和更完善的远程教育。 展开更多

关键词 主观题评分系统 VBA 主页 学生页

下载PDF 职称材料

基于改进的LDA模型的中文主观题自动评分研究 被引量：9

18

作者 罗海蛟 柯晓华 《计算机科学》 CSCD 北大核心 2017年第B11期102-105,128,共5页

主观题自动评分(Automated Scoring Subjective Responses,ASSR)在语言学习与语言测试领域的诊断信息及信度方面具有重要的应用前景。将主题模型中的隐含狄利克雷分配(Latent Dirichlet Allocation,LDA)引入到中文主观题自动评分中,提... 主观题自动评分(Automated Scoring Subjective Responses,ASSR)在语言学习与语言测试领域的诊断信息及信度方面具有重要的应用前景。将主题模型中的隐含狄利克雷分配(Latent Dirichlet Allocation,LDA)引入到中文主观题自动评分中,提出了一种结合专家知识的改进的LDA模型,并采用了一种综合文档-隐含主题概率向量及隐含主题-核心词项概率向量的文本特征表示方式。实验对比了改进的LDA与潜在语义分析(Latent Semantic Analysis,LSA)的自动评分效果,结果表明改进的LDA模型在中文主观题自动评分中切实有效。 展开更多

关键词 主观题自动评分 潜在语义分析(LSA) 隐含狄利克雷分配(LDA) 绝对一致性 相邻一致性

下载PDF 职称材料

基于孪生网络和BERT模型的主观题自动评分系统 被引量：7

19

作者 钱升华 《计算机系统应用》 2022年第3期143-149,共7页

由于现在缺乏多语言教学中的主观题自动评分,针对这一问题提出了一种基于孪生网络和BERT模型的主观题自动评分系统.主观题的问题文本和答案文本通过自然语言预处理BERT模型得到文本的句向量,BERT模型已经在大规模多种语言的语料上经过训... 由于现在缺乏多语言教学中的主观题自动评分,针对这一问题提出了一种基于孪生网络和BERT模型的主观题自动评分系统.主观题的问题文本和答案文本通过自然语言预处理BERT模型得到文本的句向量,BERT模型已经在大规模多种语言的语料上经过训练,得到的文本向量包含了丰富的上下文语义信息,并且能处理多种语言信息.然后把问题文本和答案文本的句向量再通过深度网络的孪生网络进行语义相似度的计算,最后连接逻辑回归分类器,完成主观题的自动评分.实验所使用数据集由Hewlett基金提供的英文数据集以及翻译后的中文数据集,并以二次加权Kappa系数作为模型的评估指标.实验结果表明,对比其他基准模型,基于孪生网络和BERT模型的自动评分系统在各个数据子集得到的结果最好. 展开更多

关键词 自然语言处理 主观题自动评分 孪生网络 基于transformer的双向编码器表示 二次加权Kappa系数

下载PDF 职称材料

基于大型语言模型的药理学考试主观题智能评分研究

20

作者 向巴卓玛 王珍珍 +3 位作者 畅洪昇 赵岩松 廖国龙 马星光 《中国医学教育技术》 2024年第5期572-579,共8页

文章探讨大型语言模型(large language model,LLM)在药理学主观题智能评分中的应用效果。选取ChatGPT 4.0、Claude 2、讯飞星火认知大模型3.0、智谱清言3.0和文心一言3.5五种LLM,通过多种评分标准和提示工程技术,对药理学短文本类主观... 文章探讨大型语言模型(large language model,LLM)在药理学主观题智能评分中的应用效果。选取ChatGPT 4.0、Claude 2、讯飞星火认知大模型3.0、智谱清言3.0和文心一言3.5五种LLM,通过多种评分标准和提示工程技术,对药理学短文本类主观题进行评分。结果显示,ChatGPT 4.0评分上表现最为出色,平均绝对误差率(mean absolute error rate,MAER)和均方根误差(root mean square error,RMSE)分别为0.0517和1.0339,且组内相关系数(ICC)高达0.936,表明其评分具有较高的一致性和准确性。Claude 2紧随其后,MAER和RMSE分别为0.0724和1.2999,ICC为0.893,同样显示出良好的评分性能。其他模型在评分一致性和偏差方面表现较差,尤其是讯飞星火认知大模型3.0,MAER和RMSE分别为0.2828和3.0286,ICC仅为0.217。总体来看,LLM能有效利用其语言理解和逻辑推理能力,实现主观题的智能评分,并提供详尽的评分解析,这有助于提升学生的学习效率和自我评估能力。相比传统人工评分,LLM在主观题智能评分方面具有更高的效率和成本效益。该研究为ChatGPT等先进模型在教育领域的应用提供了新的视角和方法,也为未来教育结合人工智能的发展与应用提供借鉴。 展开更多

关键词 人工智能 大型语言模型 主观题智能评分 药理学 提示工程

下载PDF 职称材料