期刊文献+
共找到2篇文章
< 1 >
每页显示 20 50 100
基于门控注意力单元的中文医学命名实体识别
1
作者 吴晓鸰 陈祥旺 +1 位作者 占文韬 凌捷 《广东工业大学学报》 CAS 2023年第6期176-184,共9页
医学命名实体识别任务是对电子病历中的医学实体进行自动识别和分类,对于下游任务例如信息检索、知识图谱等有着十分重要的作用。现有的方法忽略了实体间的依赖性,因此,本文提出了一种基于门控注意力单元的模型,首先利用预训练模型MC-B... 医学命名实体识别任务是对电子病历中的医学实体进行自动识别和分类,对于下游任务例如信息检索、知识图谱等有着十分重要的作用。现有的方法忽略了实体间的依赖性,因此,本文提出了一种基于门控注意力单元的模型,首先利用预训练模型MC-BERT捕捉上下文语境信息,再利用交叉注意力和门控注意力单元提高实体查询和上下文语义之间的交互性,并提取实体间的依赖关系和关联性,最后,利用二分图的匹配算法,计算模型训练中的损失。本文在CMeEE、CMQNN和MSRA数据集上进行了实验,实验结果表明本文模型在3个数据集上的F1值分别达到了70.74%,96.92%和95.53%,优于其他相关模型,证明了本文模型在中文医学命名实体识别任务上的有效性。 展开更多
关键词 中文命名实体识别 门控注意力单元 交叉注意力 MC-BERT
下载PDF
基于分解门控注意力单元的高效Conformer模型
2
作者 李宜亭 屈丹 +2 位作者 杨绪魁 张昊 沈小龙 《计算机工程》 CAS CSCD 北大核心 2023年第5期73-80,共8页
为利用有限的存储和计算资源,在保证Conformer端到端语音识别模型精度的前提下,减少模型参数量并加快训练和识别速度,构建一个基于分解门控注意力单元与低秩分解的高效Conformer模型。在前馈和卷积模块中,通过低秩分解进行计算加速,提高... 为利用有限的存储和计算资源,在保证Conformer端到端语音识别模型精度的前提下,减少模型参数量并加快训练和识别速度,构建一个基于分解门控注意力单元与低秩分解的高效Conformer模型。在前馈和卷积模块中,通过低秩分解进行计算加速,提高Conformer模型的泛化能力。在自注意力模块中,使用分解门控注意力单元降低注意力计算复杂度,同时引入余弦加权机制对门控注意力进行加权保证其向邻近位置集中,提高模型识别精度。在AISHELL-1数据集上的实验结果表明,在引入分解门控注意力单元和余弦编码后,该模型的参数量和语音识别字符错误率(CER)明显降低,尤其当参数量被压缩为Conformer端到端语音识别模型的50%后语音识别CER仅增加了0.34个百分点,并且具有较低的计算复杂度和较高的语音识别精度。 展开更多
关键词 端到端语音识别 Conformer模型 分解门控注意力单元 模型压缩 低秩分解
下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部