期刊导航
期刊开放获取
cqvip
退出
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
2
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式:
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于门控注意力单元的中文医学命名实体识别
1
作者
吴晓鸰
陈祥旺
+1 位作者
占文韬
凌捷
《广东工业大学学报》
CAS
2023年第6期176-184,共9页
医学命名实体识别任务是对电子病历中的医学实体进行自动识别和分类,对于下游任务例如信息检索、知识图谱等有着十分重要的作用。现有的方法忽略了实体间的依赖性,因此,本文提出了一种基于门控注意力单元的模型,首先利用预训练模型MC-B...
医学命名实体识别任务是对电子病历中的医学实体进行自动识别和分类,对于下游任务例如信息检索、知识图谱等有着十分重要的作用。现有的方法忽略了实体间的依赖性,因此,本文提出了一种基于门控注意力单元的模型,首先利用预训练模型MC-BERT捕捉上下文语境信息,再利用交叉注意力和门控注意力单元提高实体查询和上下文语义之间的交互性,并提取实体间的依赖关系和关联性,最后,利用二分图的匹配算法,计算模型训练中的损失。本文在CMeEE、CMQNN和MSRA数据集上进行了实验,实验结果表明本文模型在3个数据集上的F1值分别达到了70.74%,96.92%和95.53%,优于其他相关模型,证明了本文模型在中文医学命名实体识别任务上的有效性。
展开更多
关键词
中文命名实体识别
门控注意力单元
交叉注意力
MC-BERT
下载PDF
职称材料
基于分解门控注意力单元的高效Conformer模型
2
作者
李宜亭
屈丹
+2 位作者
杨绪魁
张昊
沈小龙
《计算机工程》
CAS
CSCD
北大核心
2023年第5期73-80,共8页
为利用有限的存储和计算资源,在保证Conformer端到端语音识别模型精度的前提下,减少模型参数量并加快训练和识别速度,构建一个基于分解门控注意力单元与低秩分解的高效Conformer模型。在前馈和卷积模块中,通过低秩分解进行计算加速,提高...
为利用有限的存储和计算资源,在保证Conformer端到端语音识别模型精度的前提下,减少模型参数量并加快训练和识别速度,构建一个基于分解门控注意力单元与低秩分解的高效Conformer模型。在前馈和卷积模块中,通过低秩分解进行计算加速,提高Conformer模型的泛化能力。在自注意力模块中,使用分解门控注意力单元降低注意力计算复杂度,同时引入余弦加权机制对门控注意力进行加权保证其向邻近位置集中,提高模型识别精度。在AISHELL-1数据集上的实验结果表明,在引入分解门控注意力单元和余弦编码后,该模型的参数量和语音识别字符错误率(CER)明显降低,尤其当参数量被压缩为Conformer端到端语音识别模型的50%后语音识别CER仅增加了0.34个百分点,并且具有较低的计算复杂度和较高的语音识别精度。
展开更多
关键词
端到端语音识别
Conformer模型
分解门控注意力单元
模型压缩
低秩分解
下载PDF
职称材料
题名
基于门控注意力单元的中文医学命名实体识别
1
作者
吴晓鸰
陈祥旺
占文韬
凌捷
机构
广东工业大学计算机学院
出处
《广东工业大学学报》
CAS
2023年第6期176-184,共9页
基金
广东省重点研发计划项目(2019B010139002)
广东省国际科技合作项目(2019A050513010)。
文摘
医学命名实体识别任务是对电子病历中的医学实体进行自动识别和分类,对于下游任务例如信息检索、知识图谱等有着十分重要的作用。现有的方法忽略了实体间的依赖性,因此,本文提出了一种基于门控注意力单元的模型,首先利用预训练模型MC-BERT捕捉上下文语境信息,再利用交叉注意力和门控注意力单元提高实体查询和上下文语义之间的交互性,并提取实体间的依赖关系和关联性,最后,利用二分图的匹配算法,计算模型训练中的损失。本文在CMeEE、CMQNN和MSRA数据集上进行了实验,实验结果表明本文模型在3个数据集上的F1值分别达到了70.74%,96.92%和95.53%,优于其他相关模型,证明了本文模型在中文医学命名实体识别任务上的有效性。
关键词
中文命名实体识别
门控注意力单元
交叉注意力
MC-BERT
Keywords
Chinese
named
entity
recognition
gated
attention
unit
cross
attention
MC-BERT
分类号
TP391.41 [自动化与计算机技术—计算机应用技术]
下载PDF
职称材料
题名
基于分解门控注意力单元的高效Conformer模型
2
作者
李宜亭
屈丹
杨绪魁
张昊
沈小龙
机构
中国人民解放军战略支援部队信息工程大学信息系统工程学院
出处
《计算机工程》
CAS
CSCD
北大核心
2023年第5期73-80,共8页
基金
国家自然科学基金(62171470)
河南省中原科技创新领军人才项目(234200510019)
河南省自然科学基金面上项目(232300421240)。
文摘
为利用有限的存储和计算资源,在保证Conformer端到端语音识别模型精度的前提下,减少模型参数量并加快训练和识别速度,构建一个基于分解门控注意力单元与低秩分解的高效Conformer模型。在前馈和卷积模块中,通过低秩分解进行计算加速,提高Conformer模型的泛化能力。在自注意力模块中,使用分解门控注意力单元降低注意力计算复杂度,同时引入余弦加权机制对门控注意力进行加权保证其向邻近位置集中,提高模型识别精度。在AISHELL-1数据集上的实验结果表明,在引入分解门控注意力单元和余弦编码后,该模型的参数量和语音识别字符错误率(CER)明显降低,尤其当参数量被压缩为Conformer端到端语音识别模型的50%后语音识别CER仅增加了0.34个百分点,并且具有较低的计算复杂度和较高的语音识别精度。
关键词
端到端语音识别
Conformer模型
分解门控注意力单元
模型压缩
低秩分解
Keywords
end-to-end
speech
recognition
Conformer
model
Factorized
gated
attention
unit
(FGAU)
model
compression
low
rank
decomposition
分类号
TP391 [自动化与计算机技术—计算机应用技术]
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于门控注意力单元的中文医学命名实体识别
吴晓鸰
陈祥旺
占文韬
凌捷
《广东工业大学学报》
CAS
2023
0
下载PDF
职称材料
2
基于分解门控注意力单元的高效Conformer模型
李宜亭
屈丹
杨绪魁
张昊
沈小龙
《计算机工程》
CAS
CSCD
北大核心
2023
0
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部