Bert在微博短文本情感分类中的应用与优化 被引量：14

1

作者 宋明 刘彦隆 《小型微型计算机系统》 CSCD 北大核心 2021年第4期714-718,共5页

微博短文本是一种典型的用户生成数据(user generate data),蕴含了丰富的用户情感信息,微博短文本情感分类在舆情分析等众多应用中具有较强的实用价值.微博短文本具有简洁不规范、话题性强等特征,现有研究表明基于有监督的深度学习模型... 微博短文本是一种典型的用户生成数据(user generate data),蕴含了丰富的用户情感信息,微博短文本情感分类在舆情分析等众多应用中具有较强的实用价值.微博短文本具有简洁不规范、话题性强等特征,现有研究表明基于有监督的深度学习模型能够显著提升分类效果.本文针对广播电视领域微博文本展开情感分类研究,实验对比了多种文本分类模型,结果表明基于Bert的情感分类方法准确率最高.深入分析实验结果发现,Bert模型对于困难样本的分类错误率较高,为此本文引入Focal Loss作为Bert模型的损失函数,提出一种基于Bert与Focal Loss的微博短文本情感分类方法(简称为Bert-FL方法),使得Bert模型能够更容易学习到困难样本的类别边界信息,实验表明Bert-FL方法的分类准确率绝对提升了0.8%,同时对困难样本的分类准确率也有显著提升. 展开更多

关键词 微博 情感分类 Bert 困难样本 Focal Loss Bert-FL

下载PDF 职称材料

模拟困难样本的Mask R-CNN滑坡分割识别 被引量：7

2

作者 姜万冬 席江波 +3 位作者 李振洪 丁明涛 杨立功 谢大帅 《武汉大学学报(信息科学版)》 EI CAS CSCD 北大核心 2023年第12期1931-1942,共12页

随着人工智能的发展,利用高分影像进行滑坡等地质灾害识别逐渐成为研究热点。滑坡目视解译需依赖专家经验,传统滑坡自动识别方法又易将滑坡和裸地、道路等地物混淆。针对以上问题,提出了基于模拟困难样本的掩模区域卷积神经网络(mask re... 随着人工智能的发展,利用高分影像进行滑坡等地质灾害识别逐渐成为研究热点。滑坡目视解译需依赖专家经验,传统滑坡自动识别方法又易将滑坡和裸地、道路等地物混淆。针对以上问题,提出了基于模拟困难样本的掩模区域卷积神经网络(mask region-based convolutional neural network,Mask R-CNN)滑坡提取方法。在现有样本的基础上,利用滑坡的形状、颜色、纹理等特征模拟更为复杂的滑坡背景进行困难样本挖掘增强,并将得到的困难样本输入Mask R-CNN网络进行滑坡精细检测分割。在实际研究区域中,由于滑坡数量有限,因此在频率域进行小样本学习,在减少数据需求的同时,保证分割识别的准确度。中国贵州省毕节市的实验结果表明,基于模拟困难样本的Mask R-CNN方法检测精度为94.0%,像素分割平均准确率为90.3%,可实现低虚警率下的高性能检测分割;采用频率域学习,在一半数据输入量的情况下,模型检测精度仍可得到提升。利用中国甘肃省天水地区的滑坡区域进行实际验证,进一步证明了所提方法的有效性。 展开更多

关键词 深度学习 滑坡提取 Mask R-CNN 困难样本 频率域

原文传递

基于局部对抗训练的命名实体识别方法研究 被引量：4

3

作者 李静 程芃森 +1 位作者 许丽丹 刘嘉勇 《四川大学学报（自然科学版）》 CAS CSCD 北大核心 2021年第2期107-114,共8页

命名实体识别研究中,数据集内普遍存在实体与非实体,实体内部类别间边界样本混淆的问题,极大地影响了命名实体识别方法的性能.提出以BiLSTM-CRF为基线模型,结合困难样本筛选与目标攻击对抗训练的命名实体识别方法.该方法筛选出包含大量... 命名实体识别研究中,数据集内普遍存在实体与非实体,实体内部类别间边界样本混淆的问题,极大地影响了命名实体识别方法的性能.提出以BiLSTM-CRF为基线模型,结合困难样本筛选与目标攻击对抗训练的命名实体识别方法.该方法筛选出包含大量边界样本的困难样本,利用边界样本易被扰动偏离正确类别的特性,采用按照混淆矩阵错误概率分布的目标攻击方法,生成对抗样本用于对抗训练,增强模型对混淆边界样本的识别能力.为验证该方法的优越性,设计非目标攻击方式的全局、局部对抗训练方法与目标攻击全局对抗训练方法作为对比实验.实验结果表明,该方法提高了对抗样本质量,保留了对抗训练的优势,在JNLPBA、MalwareTextDB、Drugbank三个数据集上F1值分别提升1.34%、6.03%、3.65%. 展开更多

关键词 命名实体识别 对抗训练 困难样本 目标攻击

下载PDF 职称材料

基于改进三元组损失的伪造人脸视频检测方法 被引量：3

4

作者 杨挺 朱希安 张帆 《计算机应用研究》 CSCD 北大核心 2021年第12期3771-3775,共5页

当前大部分伪造人脸检测技术使用深度学习来鉴别真实视频与伪造视频之间的特征差异,此类方法在未压缩视频上取得了不错的效果,但在检测经过压缩处理的视频时检测效果就会严重下降。针对此类问题,提出了基于改进三元组损失的伪造人脸视... 当前大部分伪造人脸检测技术使用深度学习来鉴别真实视频与伪造视频之间的特征差异,此类方法在未压缩视频上取得了不错的效果,但在检测经过压缩处理的视频时检测效果就会严重下降。针对此类问题,提出了基于改进三元组损失的伪造人脸视频检测方法。首先,使用伪影图生成器生成一幅伪影图来加深伪造人脸与真实人脸之间的特征差异;其次,使用改进的三元组损失来解决难例样本难以被正确检测的问题;最后,选用更适合人脸鉴伪的深度学习网络提取卷积特征。在FaceForensics++数据集上与目前领先的人脸鉴伪方法的对比表明,该方法检测准确率优于对比方法。 展开更多

关键词 深度学习 人脸鉴伪 改进的三元组损失 卷积神经网络 难例样本

下载PDF 职称材料

利用改进CNN的无人机遥感影像特征描述符的学习方法

5

作者 王瑞瑞 冯伍法 +2 位作者 张艳 王涛 刘冰 《测绘科学与工程》 2017年第5期51-56,共6页

由于人工设计的特征描述符往往通过增加描述符构造的复杂度提高鲁棒性，导致描述符的实时性降低。为了提高描述符鲁棒性与实时性的兼容能力，本文对基于卷积神经网络（CNN）的特征描述符学习方法进行改进。通过交换三重样本间基准样本... 由于人工设计的特征描述符往往通过增加描述符构造的复杂度提高鲁棒性，导致描述符的实时性降低。为了提高描述符鲁棒性与实时性的兼容能力，本文对基于卷积神经网络（CNN）的特征描述符学习方法进行改进。通过交换三重样本间基准样本挖掘“难样本对”，解决了现有基于CNN特征描述符学习方法中“难样本对”挖掘计算成本较高的问题。同时，结合无人机影像的特点，采用多分辨率训练样本代替原有单一分辨率训练样本，使基于CNN的特征描述符学习方法更好地适用于无人机影像匹配。试验表明，本文改进的基于CNN的特征描述符学习方法获得的描述符可以较好地兼顾鲁棒性和实时性，且对无人机影像匹配有较好的应用效果。 展开更多

关键词 特征描述符 卷积神经网路 难样本对 鲁棒性 实时性

下载PDF 职称材料

基于改进YOLOv5的黑色素瘤图像自动诊断

6

作者 周莲英 韦博文 《中国科技论文》 CAS 2024年第6期724-732,共9页

为解决现有黑色素瘤智能诊断模型中存在的对毛发遮挡目标识别精度不足、样本不均以及轻量化程度不够的问题,提出一种改进的YOLOv5模型。首先,基于改进的C3结构和自注意力机制设计CS_Neck结构,从而有效区分黑色素瘤和毛发的相关特征;其次... 为解决现有黑色素瘤智能诊断模型中存在的对毛发遮挡目标识别精度不足、样本不均以及轻量化程度不够的问题,提出一种改进的YOLOv5模型。首先,基于改进的C3结构和自注意力机制设计CS_Neck结构,从而有效区分黑色素瘤和毛发的相关特征;其次,提出一种二次筛选难样本挖掘方法,利用焦点损失函数降低简单样本权重,引入损失秩排序(loss rank mining,LRM)思想降低简单样本数量;最后,设计轻量级骨干网络,提出使用改进的RepVGG结构替换普通卷积提取特征,提高推理速度,并引入宽度乘子降低参数量和权重,实现模型轻量化。基于ISIC2019数据集的实验结果表明,所提算法的权重和参数量仅为7.9 MB和4.0×10^(6),精度达到92.9%。所提算法有效提升了精度且实现了轻量化,可以满足高效诊断黑色素瘤的要求。 展开更多

关键词 黑色素瘤检测 YOLOv5 注意力机制 难样本挖掘 轻量化

下载PDF 职称材料

融合多聚类信息的无监督行人重识别算法 被引量：1

7

作者 苏荻翔 王帮海 叶子成 《计算机工程与应用》 CSCD 北大核心 2022年第18期195-204,共10页

在无监督的行人重识别领域中,始终很难对数据集中的难样本对进行很好的挖掘。针对这个问题,提出了融合多种聚类信息生成软多重标签并进行难样本对挖掘的方法。该方法基于不同聚类方法使用的聚类机制不同这一原理,发掘类内样本的共通性... 在无监督的行人重识别领域中,始终很难对数据集中的难样本对进行很好的挖掘。针对这个问题,提出了融合多种聚类信息生成软多重标签并进行难样本对挖掘的方法。该方法基于不同聚类方法使用的聚类机制不同这一原理,发掘类内样本的共通性与类间样本的差异性,进而使模型能够学习到更有区分性的特征。在Market-1501数据集与DukeMTMC-reID数据集上进行的对比实验结果表明,提出的方法在原来初步学习的网络的基础上,mAP分别提高了14.4%与8.9%,精度均提高显著。 展开更多

关键词 行人重识别 神经网络 聚类 难样本挖掘

下载PDF 职称材料

难检测样品的能谱分析技术研究 被引量：7

8

作者 蔡志伟 任小明 禹宝军 《电子显微学报》 CAS CSCD 北大核心 2021年第1期55-60,共6页

X射线能谱仪(EDS)作为扫描电镜的重要附件,能够便捷、快速地分析样品微区的元素信息。然而,部分难分析样品在采用常规的EDS测试技术时会出现较大的分析误差或错误。本文利用装配布鲁克QUANTAX XFlash 6|30能谱探测器的Zeiss sigma 500... X射线能谱仪(EDS)作为扫描电镜的重要附件,能够便捷、快速地分析样品微区的元素信息。然而,部分难分析样品在采用常规的EDS测试技术时会出现较大的分析误差或错误。本文利用装配布鲁克QUANTAX XFlash 6|30能谱探测器的Zeiss sigma 500型场发射扫描电镜,针对轻重元素兼具样品、粗糙不平整样品、谱峰相近元素样品以及纳米填充颗粒四种较难检测样品的能谱分析,分别给出了相应的解决技术并剖析了典型的应用案例,相比较常规技术,其能谱分析的准确性获得了很大的提高,这些解决问题的思路和方法可作为今后分析类似样品的一种参考。 展开更多

关键词 能谱分析 难检测样品 分析误差 应用案例

下载PDF 职称材料

结合桥梁难分样本优化的大清河流域水坝遥感检测

9

作者 郭勇 张琳翔 +1 位作者 许泽宇 蔡中祥 《自然资源遥感》 CSCD 北大核心 2024年第4期201-209,共9页

水坝的检测对于城市规划、生态环境评估等有着重要意义。目前基于遥感的水坝检测研究主要是基于样本集的算法改进或在小区域上的检测,缺乏在大尺度地学区域的实践应用。而在大区域中,水坝分布稀疏,地表存在更多的桥梁等地物会对水坝的... 水坝的检测对于城市规划、生态环境评估等有着重要意义。目前基于遥感的水坝检测研究主要是基于样本集的算法改进或在小区域上的检测,缺乏在大尺度地学区域的实践应用。而在大区域中,水坝分布稀疏,地表存在更多的桥梁等地物会对水坝的检测形成显著干扰。为应对这一问题,该文以大清河流域为例,研究大尺度区域内的水坝遥感检测。该文研究主要分为2个阶段,第一阶段是将容易与水坝混淆的桥梁作为难分负样本(即容易产生假阳性的样本)参加训练,基于DIOR公开数据集改进适合于水坝提取的神经网络结构;第二阶段是基于优化后的网络以及大区域多源样本数据进行微调训练获取模型,并实现大清河区域的水坝检测。优化后的模型在第一阶段测试中水坝检测F1分数为0.783,在第二阶段大清河流域检测得到了330处水坝,其结果与现有公开的水坝空间分布数据集GRandD相符,且更为详细。结果表明,结合桥梁样本优化训练后的模型可以有效避免对桥梁的误提取,从而提高检测精度。 展开更多

关键词 水坝 难分负样本 大清河流域 CenterNet网络 目标检测

下载PDF 职称材料

基于硬负样本对比学习的水下图像生成方法

10

作者 刘子健 王兴梅 +2 位作者 陈伟京 张万松 张天姿 《模式识别与人工智能》 EI CSCD 北大核心 2024年第10期887-909,共23页

在获取稀缺水下图像时图像生成技术至关重要,通常依赖有序配对数据.考虑到实际海洋环境中获取该类数据受限,引入CL-GAN(Contrastive Learning-Based Generative Adversarial Network),克服图像域双射条件的限制,但由于随机采样的负样本... 在获取稀缺水下图像时图像生成技术至关重要,通常依赖有序配对数据.考虑到实际海洋环境中获取该类数据受限,引入CL-GAN(Contrastive Learning-Based Generative Adversarial Network),克服图像域双射条件的限制,但由于随机采样的负样本质量较低,模型难以从水下噪声图像中学习复杂内容特征.因此,文中提出基于硬负样本对比学习的特征级生成对抗网络(Hard Negative Sample Contrastive Learning-Based Feature Level Generative Adversa-rial Network,HCFGAN),用于水下图像生成.为了提高负样本质量,提出硬负样本采样模块(Hard Negative Sampling Module,HNS),挖掘样本间的特征相似性,将靠近锚点样本的硬负样本加入对比损失中,学习复杂特征.为了保证负样本的复杂性和全面性,构造负样本生成模块(Negative Sample Generation Module,NSG).通过NSG和HNS的对抗性训练,确保硬负样本的有效性.为了提高模型对水下模糊图像的特征提取能力及训练稳定性,设计上下文特征生成器和全局特征判别器,增强对细微内容特征和水下风格信息的感知能力.实验表明,HCFGAN生成的水下图像具有良好的真实性和丰富性,在水下图像生成实际应用中具有重要价值. 展开更多

关键词 水下图像生成 生成对抗网络(GAN) 对比学习 硬负样本 特征提取

下载PDF 职称材料

基于用户偏好挖掘生成对抗网络的推荐系统 被引量：3

11

作者 李广丽 滑瑾 +4 位作者 袁天 朱涛 邬任重 姬东鸿 张红斌 《计算机科学与探索》 CSCD 北大核心 2020年第5期803-814,共12页

用户偏好挖掘是推荐系统研究中的关键问题,它对于改善推荐质量具有非常重要的作用。提出用户偏好挖掘生成对抗网络(UPM-GAN),从两个角度深入分析用户隐含偏好:基于三元组损失算法对用户评分矩阵进行处理,挖掘难分负样本,以更好地确立正... 用户偏好挖掘是推荐系统研究中的关键问题,它对于改善推荐质量具有非常重要的作用。提出用户偏好挖掘生成对抗网络(UPM-GAN),从两个角度深入分析用户隐含偏好:基于三元组损失算法对用户评分矩阵进行处理,挖掘难分负样本,以更好地确立正样本,为准确刻画用户偏好奠定基础;基于奇异值分解(SVD++)算法构建UPM-GAN的生成模型,利用SVD++算法中的偏置信息及隐式参数描述用户隐含偏好,以提高评分预测精度。最后使用最新生成对抗网络(GAN)框架完成推荐系统训练,在MovieLens-100K、MovieLens-1M这两个主流数据集上展开实验仿真。实验表明UPM-GAN的Precision@K、均值平均精度(MAP)等多项指标均优于对比基线,且它还具有收敛速度快、训练过程平稳等优点。基于UPM-GAN的推荐系统具有一定实用价值。 展开更多

关键词 推荐系统 生成对抗网络(GAN) 用户偏好挖掘 奇异值分解(SVD++) 三元组损失 难分负样本

下载PDF 职称材料

基于混合采样的图对比学习推荐算法 被引量：1

12

作者 袁琮淇 刘渊 刘静文 《计算机应用研究》 CSCD 北大核心 2023年第5期1346-1351,共6页

在推荐系统领域中,图卷积网络具有对于图结构数据更强的信息抽取能力。然而,现有的图卷积网络推荐算法主要关注改进模型结构,忽视了提高原始样本采样质量与挖掘用户—项目间隐式关系的重要性。针对上述问题,提出一种基于混合采样的图对... 在推荐系统领域中,图卷积网络具有对于图结构数据更强的信息抽取能力。然而,现有的图卷积网络推荐算法主要关注改进模型结构,忽视了提高原始样本采样质量与挖掘用户—项目间隐式关系的重要性。针对上述问题,提出一种基于混合采样的图对比学习推荐算法。首先使用混合采样方法,提取出正样本中部分信息并将其注入负样本,从而生成全新的富含信息的难负样本;其次,通过轻量图卷积网络对难负样本进行特征提取,得到用户和项目的节点表征,采用邻域对比学习方法挖掘样本隐式关系;最后,利用多任务策略对推荐监督任务和对比学习任务进行联合优化。在真实数据集Yelp2018和Amazon-book上进行实验,采用recall和NDCG指标进行评估,实验结果表明,提出的模型相较其他基准模型取得了更好的效果。 展开更多

关键词 图卷积网络 推荐系统 难负样本 图对比学习

下载PDF 职称材料