基于Transformer编码器的中文命名实体识别模型 被引量：9

1

作者 司逸晨 管有庆 《计算机工程》 CAS CSCD 北大核心 2022年第7期66-72,共7页

命名实体识别是自然语言处理中的重要任务,且中文命名实体识别相比于英文命名实体识别任务更具难度。传统中文实体识别模型通常基于深度神经网络对文本中的所有字符打上标签,再根据标签序列识别命名实体,但此类基于字符的序列标注方式... 命名实体识别是自然语言处理中的重要任务,且中文命名实体识别相比于英文命名实体识别任务更具难度。传统中文实体识别模型通常基于深度神经网络对文本中的所有字符打上标签,再根据标签序列识别命名实体,但此类基于字符的序列标注方式难以获取词语信息。提出一种基于Transformer编码器的中文命名实体识别模型,在字嵌入过程中使用结合词典的字向量编码方法使字向量包含词语信息,同时针对Transformer编码器在注意力运算时丢失字符相对位置信息的问题,改进Transformer编码器的注意力运算并引入相对位置编码方法,最终通过条件随机场模型获取最优标签序列。实验结果表明,该模型在Resume和Weibo中文命名实体识别数据集上的F1值分别达到94.7%和58.2%,相比于基于双向长短期记忆网络和ID-CNN的命名实体识别模型均有所提升,具有更优的识别效果和更快的收敛速度。 展开更多

关键词 自然语言处理 中文命名实体识别 Transformer编码器 条件随机场 相对位置编码

下载PDF 职称材料

融合词汇边界信息的合同实体识别方法

2

作者 王浩畅 和婷婷 郑冠彧 《计算机工程与设计》 北大核心 2024年第6期1757-1763,共7页

针对合同中实体表达形式复杂多变、识别粒度细的特点,及合同文本中实体较长问题,提出一种融合词汇边界信息的合同实体识别方法。利用预训练语言模型动态生成语义向量作为模型输入;运用相对位置编码对Transformer结构进行改进,使其在编... 针对合同中实体表达形式复杂多变、识别粒度细的特点,及合同文本中实体较长问题,提出一种融合词汇边界信息的合同实体识别方法。利用预训练语言模型动态生成语义向量作为模型输入;运用相对位置编码对Transformer结构进行改进,使其在编码过程中融合词汇信息,进一步丰富语义特征;通过条件随机场(CRF)结构进行解码,得到输入序列的标签预测。实验结果表明,该方法可以有效确定合同文本中的实体边界,具有良好的泛化性能。 展开更多

关键词 实体识别 合同文本 预训练语言模型 相对位置编码 转换器结构 词汇边界信息 条件随机场

下载PDF 职称材料

一种改进的DETR输电线通道山火烟雾检测方法

3

作者 张政 何慧 《小型微型计算机系统》 CSCD 北大核心 2024年第3期670-675,共6页

输电线通道中的火灾会对电力系统的正常运行造成极大的安全隐患,但由于山火烟雾的形状、大小和颜色变化多样导致传统图像方法检测精度较差.为了提高山火检测精度,本文提出一种基于改进DETR的输电线通道山火检测方法.首先,在特征提取阶... 输电线通道中的火灾会对电力系统的正常运行造成极大的安全隐患,但由于山火烟雾的形状、大小和颜色变化多样导致传统图像方法检测精度较差.为了提高山火检测精度,本文提出一种基于改进DETR的输电线通道山火检测方法.首先,在特征提取阶段加入多尺度特征信息,并利用空洞卷积提高算法对底层特征的感知能力;然后,引入相对位置编码对Transformer模块中的自注意力机制进行改进;其次,利用CIOU对算法的损失函数进行调整;最后,在标注好的输电线通道山火数据集上对改进后算法进行模型训练和测试.实验结果表明,本文所提出的改进后的DETR模型平均精度可达到84.77%,与原始DETR算法相比提高了6.52%,与其它主流目标检测算法对比,本文提出的山火检测模型可有效识别输电线通道中的山火目标并达到较高的检测精度. 展开更多

关键词 山火烟雾检测 深度学习 目标检测 多尺度特征信息 相对位置编码

下载PDF 职称材料

基于图像相对位置和负向感知的图文匹配

4

作者 余超 王铭硕 +1 位作者 赵子樵 于清 《现代电子技术》 北大核心 2024年第17期88-93,共6页

图文匹配任务在计算机视觉以及多模态信息处理领域引起了广泛关注。这一跨模态任务主要难点在于如何高效地提取视觉和文本的信息以及如何解决不一致图文冲突问题。文中提出了一种新颖的图像文本匹配方法,利用图像对象相对位置的注意力... 图文匹配任务在计算机视觉以及多模态信息处理领域引起了广泛关注。这一跨模态任务主要难点在于如何高效地提取视觉和文本的信息以及如何解决不一致图文冲突问题。文中提出了一种新颖的图像文本匹配方法,利用图像对象相对位置的注意力机制解决忽视图像中物体相对位置信息的问题,从而更好地关注视觉信息的提取,同时为了解决忽视图像-文本间不对齐内容相似度贡献的问题,运用了负向感知模块关注物体相对位置和文本中的单词非对齐的信息对相似度的负贡献,从而提高图像-文本匹配相似度的准确性。最后,在公开图文匹配数据集Flickr30K上达到了最好的r_(Sum),比当前最好的负向感知模型提高了7.3,取得了最先进的性能。 展开更多

关键词 多模态 图文匹配 视觉信息提取 相对位置编码 注意力机制 负向感知

下载PDF 职称材料

基于改进Informer的蒸汽管网流量预测

5

作者 卢文博 黄云峰 +1 位作者 李峥 王欣 《上海电力大学学报》 CAS 2023年第6期571-577,共7页

提出了一种基于改进Informer的蒸汽管网流量预测模型Informer_BEST。该模型通过引入扩展的因果卷积、相对位置和季节特征编码以及梯度中心化技术等3种算法,对Informer模型进行了改进和优化。对5种预测模型进行实验,结果表明,所提出的Inf... 提出了一种基于改进Informer的蒸汽管网流量预测模型Informer_BEST。该模型通过引入扩展的因果卷积、相对位置和季节特征编码以及梯度中心化技术等3种算法,对Informer模型进行了改进和优化。对5种预测模型进行实验,结果表明,所提出的Informer_BEST预测模型展现了令人满意的测试结果,预测曲线与实际数据的变化趋势相吻合,对供热调度决策具有良好的指导作用。 展开更多

关键词 蒸汽管网流量 Informer模型 扩展的因果卷积网络 相对位置编码 梯度中心化技术

下载PDF 职称材料

基于改进Transformer模型的运动想象脑电分类方法研究

6

作者 刘月峰 刘好峰 +2 位作者 王越 刘博 暴祥 《计量学报》 CSCD 北大核心 2023年第7期1147-1153,共7页

运动想象(MI)脑电信号本身是由一组较长且连续的特征值组成的信号序列,传统Transformer模型无法捕捉较长序列之间的依赖,设置固定长度的序列又会产生碎片化问题,因此有待进一步调整和优化。针对上述问题,在传统Transformer模型中加入了... 运动想象(MI)脑电信号本身是由一组较长且连续的特征值组成的信号序列,传统Transformer模型无法捕捉较长序列之间的依赖,设置固定长度的序列又会产生碎片化问题,因此有待进一步调整和优化。针对上述问题,在传统Transformer模型中加入了片段重用的循环机制和重用之前片段信息的相对位置编码机制,使Transformer模型能够学习更长特征序列的特征信息,同时解决重用片段之间的位置编码信息错乱和重用等问题。然后,通过并行多分支CNN进一步捕捉脑电局部特征。最后,利用竞赛数据集2008 BCI-Competition 2A对改进的Transformer模型性能进行评估。结果表明,在不做任何人工特征提取的前提下,对于四分类数据集,改进Transformer模型的平均准确率和kappa值分别为94.27%和87.34%。 展开更多

关键词 计量学 脑电信号 运动想象 脑机接口 卷积神经网络 Transformer模型 片段循环机制 相对位置编码

下载PDF 职称材料

改进DAB⁃DETR算法的非规则交通对象检测

7

作者 林峰 宁琪琳 朱智勤 《现代电子技术》 2023年第21期141-148,共8页

非规则交通对象主要指任何在车辆行驶过程中可能对车辆行驶起到阻碍作用的物体,例如坑洼、落石、树枝等影响车辆正常驾驶的目标。针对道路中的非规则交通对象检测问题,提出一种基于改进DAB⁃DETR算法的非规则交通对象目标检测算法,经过... 非规则交通对象主要指任何在车辆行驶过程中可能对车辆行驶起到阻碍作用的物体,例如坑洼、落石、树枝等影响车辆正常驾驶的目标。针对道路中的非规则交通对象检测问题,提出一种基于改进DAB⁃DETR算法的非规则交通对象目标检测算法,经过对原始模型结构的分析,发现在图像特征输入编码器前加入绝对位置编码来弥补图像位置信息的缺失,只能隐式地表达特征间的相对位置信息,因此改进DAB⁃DETR在Transformer的编码结构中的多头自注意力机制中添加了针对图像的相对位置编码;其次发现在原始训练策略中,对得到的检测定位结果与类别信息进行二分匹配并计算损失值时,只是简单地将定位损失和分类损失加权求和,这样会导致性能下降,所以在训练策略中增加了将分类、定位损失集成在一个统一参数化公式中的AP损失函数。实验结果表明:改进DAB⁃DETR算法的检测精度达到了82.00%,比原始模型提高了3.3%,比传统模型Faster R⁃CNN、YOLOv5分别提高了6.20%、7.71%。 展开更多

关键词 非规则交通对象 目标检测 DAB⁃DETR算法 相对位置编码 AP损失函数 消融实验

下载PDF 职称材料

基于门控多头注意力机制的视频摘要 被引量：1

8

作者 王坤阳 高伟 滕国伟 《工业控制计算机》 2022年第12期120-122,共3页

技术能降低原始视频冗余程度,减小视频存储空间和浏览时间。现有的视频摘要方法大多采用递归结构,不仅计算复杂而且模型很难并行化运行。为了解决这个问题,提出了一种基于门控多头注意力机制的视频摘要网络模型(GMPAVS),该模型包含两种... 技术能降低原始视频冗余程度,减小视频存储空间和浏览时间。现有的视频摘要方法大多采用递归结构,不仅计算复杂而且模型很难并行化运行。为了解决这个问题,提出了一种基于门控多头注意力机制的视频摘要网络模型(GMPAVS),该模型包含两种多头自注意模块,能同时捕获时间帧之间的全局和局部依赖关系,同时引入了相对位置编码和绝对位置编码,用于捕获视频的时间相关性。在两个基准数据集SumMe和TVSum上的实验结果证明了该方法的有效性。 展开更多

关键词 视频摘要 并行化 注意力机制 相对位置编码

下载PDF 职称材料

基于注意力网络的情感分析中的对比句处理

9

作者 张蓉 刘渊 李阳 《计算机应用研究》 CSCD 北大核心 2022年第9期2695-2700,2716,共7页

方面级情感分析旨在确定评论中对特定方面的情绪极性,但目前较少研究复杂句对情感分类的影响。基于此,提出了一种基于BERT和带相对位置自注意力网络的方面级情感分析模型。首先,通过动态加权采样方法平衡对比句稀缺的问题,使模型学习到... 方面级情感分析旨在确定评论中对特定方面的情绪极性,但目前较少研究复杂句对情感分类的影响。基于此,提出了一种基于BERT和带相对位置自注意力网络的方面级情感分析模型。首先,通过动态加权采样方法平衡对比句稀缺的问题,使模型学习到更多的对比句特征信息;其次,利用双头自注意力网络提取带相对位置的特征表示,与预训练模型得到的带绝对位置的特征表示联合训练;最后,通过标签平衡技术对模型正则化处理,稳定模型对中性样本的辨识。该模型在SemEval 2014 Task 4 Sub Task 2上进行实验,在两个数据集上的accuracy和macro-F_(1)指标都有所提高。实验结果表明,该模型在对比句分类上是有效的,同时在整个测试集上分类也优于其他基准模型。 展开更多

关键词 方面级情感分析 对比句 注意力网络 BERT模型 相对位置编码

下载PDF 职称材料

基于编码器-解码器的离线手写数学公式识别

10

作者 杜永涛 余元辉 《集美大学学报（自然科学版）》 CAS 2022年第6期570-576,共7页

提出一种改进的编码器-解码器模型。模型采用多尺度密集卷积网络作为编码器,以提取手写数学公式图像的多分辨率特征。采用完全基于注意力机制的Transformer模型作为解码器,依据图像特征将二维手写数学公式解码为一维LaTeX序列。通过相... 提出一种改进的编码器-解码器模型。模型采用多尺度密集卷积网络作为编码器,以提取手写数学公式图像的多分辨率特征。采用完全基于注意力机制的Transformer模型作为解码器,依据图像特征将二维手写数学公式解码为一维LaTeX序列。通过相对位置编码嵌入图像位置信息和LaTeX符号位置信息。实验结果表明,模型在官方CROHME 2014数据集上取得了优异的性能,相比于当前最先进的方法,其公式识别准确率提高了3.55%,字错误率降低了1.41%。 展开更多

关键词 编码器-解码器 离线手写数学公式识别 多尺度密集卷积网络 Transformer模型 相对位置编码

下载PDF 职称材料

基于高分辨率图像的多尺度作物分类

11

作者 郭金 宋廷强 +3 位作者 巩传江 孙媛媛 马兴录 范海生 《计算机系统应用》 2023年第7期84-94,共11页

基于无人机平台获取的地面影像有着较高的空间分辨率,但提供丰富的细节信息的同时,也为农作物分类带来很多“干扰”,尤其是在利用深度模型进行作物识别时,存在边缘信息提取不充分及相似纹理作物误分,导致分类效果欠佳等问题.因此,通过... 基于无人机平台获取的地面影像有着较高的空间分辨率,但提供丰富的细节信息的同时,也为农作物分类带来很多“干扰”,尤其是在利用深度模型进行作物识别时,存在边缘信息提取不充分及相似纹理作物误分,导致分类效果欠佳等问题.因此,通过多尺度注意力特征提取的思路构建模型,有效提取边缘信息,提高作物分类精度.所提出的多尺度注意力模型(multi-scale attention network,MSAT)通过多尺度块嵌入获取同一层级不同尺度的作物信息,多尺度特征图被映射为多条序列独立地馈送到因子注意力模块中,增强对农作物上下文信息的关注,提高模型对地块边缘信息的提取,因子注意力模块内置的卷积相对位置编码增强块内部局部信息的建模,提高对相似纹理作物的区分能力,最后通过融合局部特征与全局特征,实现粗细双重信息的提取.在水稻、甘蔗、玉米、香蕉和柑橘5种作物上的分类结果表明,MSAT模型的MIoU(mean intersection over union)和OA(overall accuracy)指标达0.816、98.10%,验证了基于高分辨率图像的精细作物分类方法可行且设备成本低. 展开更多

关键词 无人机 多尺度注意力 作物分类 因子注意力 卷积相对位置编码

下载PDF 职称材料