基于离线高斯模型的输电线路无人机巡检缺陷智能识别方法研究 被引量：28

1

作者 王红星 陈玉权 +3 位作者 张欣 吴媚 毛伟平 李红斌 《电测与仪表》 北大核心 2022年第3期92-99,共8页

高压架空输电线路是沟通我国清洁能源中心与负荷中心的关键基础设施,保障其安全稳定运行对“双碳”目标按期达成至关重要。基于无人机巡检的电网输电线路缺陷检测具有很强的实用价值。由于缺陷种类众多,各类别分布不均衡而导致了长尾分... 高压架空输电线路是沟通我国清洁能源中心与负荷中心的关键基础设施,保障其安全稳定运行对“双碳”目标按期达成至关重要。基于无人机巡检的电网输电线路缺陷检测具有很强的实用价值。由于缺陷种类众多,各类别分布不均衡而导致了长尾分布效应。文中介绍了一种基于离线高斯模型的缺陷检测方案,该方案通过离线高斯模型去增强Mask R-CNN中的分类器,从而提高分类器在“尾部”数据类别上的分类性能。其中离线高斯模型不需要额外训练,对数据分布具有鲁棒性。该方案简单有效且拓展性强,不需要额外的模型结构和超参数,可以直接在已有的检测、分割模型上使用,能够有效缓解数据类别长尾分布对分类器的影响。 展开更多

关键词 碳中和 长尾分布 离线高斯模型 目标检测

下载PDF 职称材料

网络监督数据下的细粒度图像识别综述 被引量：7

2

作者 魏秀参 许玉燕 杨健 《中国图象图形学报》 CSCD 北大核心 2022年第7期2057-2077,共21页

细粒度图像识别旨在对某一传统语义类别下细粒度级别的不同子类类别进行视觉识别,在智慧新经济和工业物联网等领域(如智慧城市、公共安全、生态保护、农业生产与安全保障)具有重要的科学意义和应用价值。细粒度图像识别在深度学习的助... 细粒度图像识别旨在对某一传统语义类别下细粒度级别的不同子类类别进行视觉识别,在智慧新经济和工业物联网等领域(如智慧城市、公共安全、生态保护、农业生产与安全保障)具有重要的科学意义和应用价值。细粒度图像识别在深度学习的助力下取得了长足进步,但其对大规模优质细粒度图像数据的依赖成为制约细粒度图像识别推广和普及的瓶颈。随着互联网和大数据的快速发展,网络监督图像数据作为免费的数据来源成为缓解深度学习对大数据依赖的可行解决方案,如何有效利用网络监督数据成为提升细粒度图像识别推广性和泛化性的热门课题。本文围绕细粒度图像识别主题,以网络监督数据下的细粒度识别为重点,先后对细粒度识别数据集、传统细粒度识别方法、网络监督下细粒度识别特点与方法进行介绍,并回顾了全球首届网络监督下的细粒度图像识别竞赛的相关情况及冠军解决方案。最后,在上述内容基础上总结和讨论了该领域的未来发展趋势。 展开更多

关键词 网络监督 细粒度图像识别 噪声数据 长尾分布 类间差异小 综述

原文传递

基于多分类器分级蒸馏的长尾视觉识别方法

3

作者 巩炫瑾 《现代信息科技》 2024年第16期49-52,59,共5页

为了提高模型在长尾视觉识别领域的性能,文章提出了一种多分类器分级蒸馏框架,该框架包括旋转自监督预训练和多分类器蒸馏。旋转自监督预训练通过预测图像旋转,平等地考虑每一张图像,减少模型受到长尾标签的影响。多分类器蒸馏通过三个... 为了提高模型在长尾视觉识别领域的性能,文章提出了一种多分类器分级蒸馏框架,该框架包括旋转自监督预训练和多分类器蒸馏。旋转自监督预训练通过预测图像旋转,平等地考虑每一张图像,减少模型受到长尾标签的影响。多分类器蒸馏通过三个专门优化的分类器将教师模型的知识一一对应蒸馏到学生模型。在开源的长尾图像识别数据集上进行了充分实验,并与现有方法进行了比较。实验结果表明,所提出的方法在长尾图像视觉识别方面取得了一定的提升。 展开更多

关键词 知识蒸馏 长尾分布 图像识别 深度学习模型

下载PDF 职称材料

重尾分布族L、D的一些性质及其应用 被引量：6

4

作者 付桐林 潘欢 《兰州理工大学学报》 CAS 北大核心 2010年第3期162-165,共4页

研究重尾分布族L、D关于独立积和线性组合的相关性质,并给出其在破产理论中的应用.

关键词 重尾分布 长尾分布 受控变化尾 独立积

下载PDF 职称材料

面向矩阵秩函数准确估计的自表示子空间聚类方法

5

作者 刘明明 羊远灿 +1 位作者 杨研博 张海燕 《计算机应用研究》 CSCD 北大核心 2024年第1期72-75,158,共5页

传统子空间聚类方法通常使用矩阵核范数代替矩阵秩函数进行低秩矩阵恢复,然而在目标优化过程中主要关注低秩矩阵大奇异值的影响,容易导致矩阵秩估计不准确的问题。为此,在分析矩阵奇异值长尾分布特点的基础上,提出使用基于截断Schatten-... 传统子空间聚类方法通常使用矩阵核范数代替矩阵秩函数进行低秩矩阵恢复,然而在目标优化过程中主要关注低秩矩阵大奇异值的影响,容易导致矩阵秩估计不准确的问题。为此,在分析矩阵奇异值长尾分布特点的基础上,提出使用基于截断Schatten-p范数的低秩子空间聚类模型。该模型充分考虑小奇异值对低秩矩阵恢复过程的贡献,利用小奇异值信息拟合矩阵奇异值的长尾分布,通过对矩阵秩函数进行准确估计以提升子空间聚类性能。实验结果表明,与现有加权核范数子空间聚类WNNM-LRR和近邻约束子空间聚类BDR算法相比,在Extended Yale B数据集上的聚类准确性分别提升了11%和8%,所提方法能够更好地拟合数据奇异值分布以及生成准确的相似度矩阵。 展开更多

关键词 子空间聚类 长尾分布 小奇异值 截断Schatten-p范数 矩阵核范数

下载PDF 职称材料

太阳耀斑预报深度学习建模中样本不均衡研究

6

作者 周俊 佟继周 +1 位作者 李云龙 方少峰 《空间科学学报》 CAS CSCD 北大核心 2024年第2期241-250,共10页

不同等级耀斑发生的频次存在数量级上的差别,使基于常规卷积神经网络的耀斑预报模型通常难以捕捉M和X类耀斑先兆特征,导致高等级耀斑预报精度低的问题.本文对于这种耀斑预报中的长尾分布问题,通过控制变量法讨论不同深度长尾学习方法对... 不同等级耀斑发生的频次存在数量级上的差别,使基于常规卷积神经网络的耀斑预报模型通常难以捕捉M和X类耀斑先兆特征,导致高等级耀斑预报精度低的问题.本文对于这种耀斑预报中的长尾分布问题,通过控制变量法讨论不同深度长尾学习方法对于耀斑预报精度提升.尝试从训练集优化、损失函数优化、网络权重优化等角度改进模型对于M和X类耀斑的预报性能.在SDO/HMI太阳磁图预报未来24 h耀斑的实验中,相比于常规方法训练的基准模型,改进模型在M和X类耀斑预报的精确率分别有了53.10%和38.50%的提升,同时在召回率上有64%和52%的提升.表明在耀斑预报问题中,数据长尾分布的处理至关重要,验证了深度长尾学习方法的有效性.这种提升尾部类预报精确率的方法不仅可以应用于耀斑预报领域,还可以迁移到其他具有长尾分布现象的空间天气典型事件的预报分析中. 展开更多

关键词 耀斑预报 长尾分布 残差神经网络

下载PDF 职称材料

顾及长尾分布的机载LiDAR点云CNN语义分割 被引量：1

7

作者 陈睿星 吴军 +1 位作者 赵雪梅 徐刚 《仪器仪表学报》 EI CAS CSCD 北大核心 2023年第7期282-295,共14页

针对目前PointNet++系列网络模型倾向于牺牲尾类分割精度以保证全局分割精度这一现象,构建顾及数据长尾分布的机载LiDAR点云语义分割网络,主要涉及两方面内容,聚类最远点采样和空间自注意力机制下的局部特征学习。聚类最远点采样通过类... 针对目前PointNet++系列网络模型倾向于牺牲尾类分割精度以保证全局分割精度这一现象,构建顾及数据长尾分布的机载LiDAR点云语义分割网络,主要涉及两方面内容,聚类最远点采样和空间自注意力机制下的局部特征学习。聚类最远点采样通过类内点云最远点采样、划分区域最远点采样以及基于置信度的均值漂移(Meanshift)聚类组合策略,最大程度保留尾类样本并通过循环赋权方式使每类样本均能被网络充分学习;空间自注意力机制下的局部特征学习为结合不同空间编码方式增强采样点邻域拓扑结构的学习,以利于从稀疏样本数据中完整学习目标空间结构。公开数据集实验表明,本文网络模型整体分割精度和平均F_(1)较PointNet++分别提升6.3%和6.6%,并优于其它6种PointNet++系列网络模型及新公布的10种网络模型,具有良好的泛化性能与应用价值。 展开更多

关键词 点云语义分割 卷积神经网络 长尾分布 自注意力机制 聚类最远点采样

下载PDF 职称材料

基于多级学习的长尾分布下交通多目标检测

8

作者 吴亮 梁振 +1 位作者 张燚鑫 王子磊 《计算机与数字工程》 2023年第3期599-605,共7页

现有检测算法在复杂交通环境下受到长尾分布的影响,存在各类别性能难以平衡而导致精度下降的问题。因此,论文提出基于类别均衡的多级学习算法。首先在分类器上进行改进,采用多级分组分类的方式,实现较为平衡的类别学习过程。然后,引入... 现有检测算法在复杂交通环境下受到长尾分布的影响,存在各类别性能难以平衡而导致精度下降的问题。因此,论文提出基于类别均衡的多级学习算法。首先在分类器上进行改进,采用多级分组分类的方式,实现较为平衡的类别学习过程。然后,引入基于多头注意力机制的特征分组方式,完成不同粒度语义信息的融合和特征提取。最后,为缓解组间的样本不平衡,构造了Logit联合调整方式,对两级类别输出进行调整。实验证明,论文提出的算法能有效缓解交通场景下的类别不平衡,提高了目标检测的准确性和鲁棒性。 展开更多

关键词 多目标检测 长尾分布 注意力机制 类别不平衡

下载PDF 职称材料

结合区域采样和类间损失的人体解析模型

9

作者 李杨 韩屏 《计算机科学》 CSCD 北大核心 2023年第4期103-109,共7页

人体解析是一项细粒度级别的语义分割任务,随着人体解析数据集中标注类别的精细化,人体解析数据集呈长尾分布,导致对相似类别的识别难度不断增大。均衡采样是解决长尾分布问题的有效方法。针对人体解析任务中难以对标注目标进行均衡采... 人体解析是一项细粒度级别的语义分割任务,随着人体解析数据集中标注类别的精细化,人体解析数据集呈长尾分布,导致对相似类别的识别难度不断增大。均衡采样是解决长尾分布问题的有效方法。针对人体解析任务中难以对标注目标进行均衡采样和模型对相似类别的误判率增加等问题,文中提出了一种结合区域采样和类间损失的人体解析模型,该模型包含语义分割网络、区域均衡采样模块(Regionally Balanced Sampling Module,RBSM)和类间损失模块(Inter-class Loss Module,ILM)3个部分。首先将待解析图片送入语义分割网络得到初步预测结果,RBSM对初步的预测结果和真实标签进行采样,对采样后的预测结果和真实标签计算主损失;同时提取出语义分割网络的最后一层特征热图与真实标签,并将其送入ILM计算类间损失,让模型同时优化主损失和类间损失,最终得到精度更高的模型。在MHPv2.0数据集上的实验结果表明,该模型在不更改原有语义分割网络结构的基础上将mIoU评测指标提高了1.3%以上,有效缓解了长尾分布和类间的相似性给人体解析带来的影响。 展开更多

关键词 区域采样 类间损失 长尾分布 人体解析 语义分割

下载PDF 职称材料

面向长尾分布问题的猪只上方体况研究

10

作者 贾增业 陈春雨 《应用科技》 CAS 2023年第3期71-77,共7页

针对猪只养殖的无人化、智能化问题,本文对传统猪只体况评分方法做出改进,提出一种通过上方进行猪只体况评分的方法,并使用线性插值法作为新的体况评分方式。以Resnet-50网络为基础,引入卷积核注意力机制模块增强对不同体况猪只的特征... 针对猪只养殖的无人化、智能化问题,本文对传统猪只体况评分方法做出改进,提出一种通过上方进行猪只体况评分的方法,并使用线性插值法作为新的体况评分方式。以Resnet-50网络为基础,引入卷积核注意力机制模块增强对不同体况猪只的特征提取。加入标签平滑算法以及特征平滑分布算法以解决猪只上方体况中存在的长尾分布问题。此外,使用猪场采集的数据制作猪只上方体况数据集,实验结果表明,改进后网络在测试中可达到85.5%的准确率,较原网络提升了3.5%;平均绝对误差和均方误差分别为42.7%和28.5%,较原网络分别降低12.7%和18.7%。通过实验验证猪只上方体况研究的可行性以及所使用方法在提升模型处理长尾分布问题上的有效性。 展开更多

关键词 猪只上方体况 长尾分布 Resnet-50网络 注意力机制 核密度估计 特征平滑 深度学习 计算机视觉

下载PDF 职称材料

充电桩的“二八定律”及其启示

11

作者 郭景涛 张卿 张涛 《天津科技》 2023年第2期70-72,76,共4页

给出了天津市4个充电桩数据采集平台的统计数据。数据表明充电桩电量分布具有长尾特征和整体与局部自相似的幂律特征。据此得出了尾部少数充电桩极其重要、头部充电桩几乎无人问津的结论,并提出了计量资源分配应抓尾放头、利用头部试错... 给出了天津市4个充电桩数据采集平台的统计数据。数据表明充电桩电量分布具有长尾特征和整体与局部自相似的幂律特征。据此得出了尾部少数充电桩极其重要、头部充电桩几乎无人问津的结论,并提出了计量资源分配应抓尾放头、利用头部试错成本低的优势、鼓励多元化小范围技术尝试和模式创新的建议。 展开更多

关键词 充电桩 计量 检定 幂律分布 长尾分布

下载PDF 职称材料

面向长尾图像的个性化专家识别算法

12

作者 吴磊 韩华 +1 位作者 黄丽 A.A.M.Muzahid 《电光与控制》 CSCD 北大核心 2023年第11期62-66,共5页

在图像识别的实际应用中,不考虑人为平衡的因素,其训练数据往往遵循长尾类分布。针对基于深度学习的长尾图像识别算法识别效果不佳,中、尾部类别识别准确率不理想的问题,提出了一种个性化专家识别算法(PMRA)。首先,在残差网络的基础上... 在图像识别的实际应用中,不考虑人为平衡的因素,其训练数据往往遵循长尾类分布。针对基于深度学习的长尾图像识别算法识别效果不佳,中、尾部类别识别准确率不理想的问题,提出了一种个性化专家识别算法(PMRA)。首先,在残差网络的基础上集成多个分支构建多专家网络;接着,通过为不同专家分配个性化训练数据构建个性化学习模块以提高中、尾部类别的识别准确率,通过专家信息融合反馈构建个性化信息增强模块处理中、尾部类别信息不足问题;在融合多个模块的专家网络中,通过两阶段的学习来提高长尾图像的整体识别准确率;最后,在CIFAR-10-LT,CIFAR-100-LT,ImageNet-LT,iNaturalist2018基准数据集上的实验结果表明,该算法在多个数据集上的识别准确率相比其他算法均有较大提升。 展开更多

关键词 图像识别 深度学习 长尾分布 集成学习 个性化学习

下载PDF 职称材料

长尾分布图像识别:途径与进展

13

作者 魏秀参 《中国基础科学》 2023年第5期48-55,共8页

长尾分布图像识别是视觉感知学习的基础研究问题,因其在现实任务中具有通用性受到了学术界和产业界的长期高度关注。为克服长尾分布带来的类别不平衡和数据稀疏性等挑战,诸多学习范式被提出并取得了显著成效。聚焦长尾分布图像识别,系... 长尾分布图像识别是视觉感知学习的基础研究问题,因其在现实任务中具有通用性受到了学术界和产业界的长期高度关注。为克服长尾分布带来的类别不平衡和数据稀疏性等挑战,诸多学习范式被提出并取得了显著成效。聚焦长尾分布图像识别,系统阐述其研究现状及存在的挑战,并针对测试分布未知下的长尾分布图像识别、适配长尾分布的评测指标、长尾分布回归任务、大模型范式下的长尾分布图像识别等方面的未来发展趋势进行展望。 展开更多

关键词 长尾分布 图像识别 不平衡学习

原文传递

基于混合类别均衡损失的车型精细识别

14

作者 李熙莹 全峰玮 叶芝桧 《计算机工程与应用》 CSCD 北大核心 2023年第17期187-194,共8页

为了应对车型精细识别中数据分布不均衡导致训练中头部类别过拟合,而尾部类别被忽略的问题,提出了一种基于混合类别均衡损失的车型精细识别数据增强方法。结合Mixup数据增强方法和类别均衡损失,提出混合类别均衡交叉熵损失函数;通过均... 为了应对车型精细识别中数据分布不均衡导致训练中头部类别过拟合,而尾部类别被忽略的问题,提出了一种基于混合类别均衡损失的车型精细识别数据增强方法。结合Mixup数据增强方法和类别均衡损失,提出混合类别均衡交叉熵损失函数;通过均衡子集微调的训练策略,进一步提高了长尾分布数据的识别效果。实验结果表明,算法在Stanford Cars、CompCars、SYSU Cars数据集上的识别准确率分别比Baseline提高了1.07、0.17和1.58个百分点,有效地缓解了因车型数据不均衡带来的问题,进一步提高了车型精细识别的识别效果。其中SYSU Cars为自建数据集,由66137张车辆正脸图片构成,包含102种品牌,691种车型以及不同的光照条件(即将在OpenITS上公开)。 展开更多

关键词 车型精细识别 细粒度识别 混合类别均衡损失 长尾分布

下载PDF 职称材料

长尾市场中平台的最优规模和竞争策略 被引量：3

15

作者 张翼飞 陈宏民 《系统管理学报》 CSSCI CSCD 北大核心 2020年第3期425-433,共9页

在平台上交易量为长尾分布的背景下,从平台双方交易量的相互影响出发,建立了一般化数学模型对平台的最优规模和双平台的竞争性均衡进行了分析,解释了现实中平台型企业的有限规模和多平台共存的市场特征,并探讨了推荐系统在电子商务产业... 在平台上交易量为长尾分布的背景下,从平台双方交易量的相互影响出发,建立了一般化数学模型对平台的最优规模和双平台的竞争性均衡进行了分析,解释了现实中平台型企业的有限规模和多平台共存的市场特征,并探讨了推荐系统在电子商务产业中的作用。用户异质性是垄断平台存在有限的最优规模的必要条件。当平台上的卖方销量服从长尾分布时,两个相互竞争的平台之间会存在唯一的市场均衡。推荐系统可以通过重新分配交易量来提高平台的利润和规模。 展开更多

关键词 双边市场 平台 互联网经济 长尾分布

下载PDF 职称材料

长尾分布下的PET-CT肺癌图像的深度学习网络检测与定位探索 被引量：1

16

作者 梁智欣 邓戈龙 +6 位作者 魏夏平 梁凤好 惠贤娟 梁怡君 李谦 黄小伟 罗荣城 《中国医学物理学杂志》 CSCD 2022年第12期1473-1484,共12页

目的:提出一种用于PET/CT图像在长尾分布下的肺癌检测方法,以提高PET/CT图像中的肺癌诊断效能。方法:以YOLOv5作为骨干网络(Backbone),通过将Backbone与自适应类损失函数(ACSLoss)相结合来构建一个基于自适应类损失函数的YOLO模型(ACS-Y... 目的:提出一种用于PET/CT图像在长尾分布下的肺癌检测方法,以提高PET/CT图像中的肺癌诊断效能。方法:以YOLOv5作为骨干网络(Backbone),通过将Backbone与自适应类损失函数(ACSLoss)相结合来构建一个基于自适应类损失函数的YOLO模型(ACS-YOLO),以此解决PET/CT肺癌图像真实数据集中的长尾分布问题并提高PET/CT图像中的肺癌诊断效能。结果:在Lung-PET/CT-Dx公开数据集上与现存的YOLOv5变体相比,本文提出的ACS-YOLO取得了最好的检测性能,Precision、Recall、mAP@0.5和mAP@0.5:0.95指标最好的值分别为0.9607、0.9489、0.9706和0.5583。与其他YOLOv5变体相比,ACS-YOLO的检测性能提升约1%~5%,而尾部类别检测性能提升约5%~11%。结论:提出的ACS-YOLO可有效地提高长尾分布下PET/CT图像中的肺癌检测效能,这表明本文提出的方法能够作为现实PET/CT肺癌诊断的辅助工具。 展开更多

关键词 肺癌 PET/CT 长尾分布 深度学习 目标检测

下载PDF 职称材料

长尾分布的一些新的充分条件与必要条件 被引量：1

17

作者 程林鑫 唐芸瑞 陈维 《伊犁师范学院学报（自然科学版）》 2021年第2期1-4,共4页

受到Eugene Seneta研究单调慢变函数的有关结果的思想方法的启发,得到长尾分布的一些新的充分条件与必要条件.

关键词 长尾分布 尾函数 逆函数 渐近性

下载PDF 职称材料

长拖尾K分布杂波下雷达目标散射中心参数的稳健估计 被引量：1

18

作者 石志广 周剑雄 +1 位作者 赵宏钟 付强 《电子与信息学报》 EI CSCD 北大核心 2007年第12期2848-2852,共5页

实际条件下,在对基于衰减指数(DE)和模型的雷达目标散射中心参数估计和特征提取时,其噪声背景往往是非高斯的,分布密度函数表现出长拖尾性质。利用基于高斯假设条件下的估计方法进行参数估计时,往往不能得到较好的结果。针对这种情况,... 实际条件下,在对基于衰减指数(DE)和模型的雷达目标散射中心参数估计和特征提取时,其噪声背景往往是非高斯的,分布密度函数表现出长拖尾性质。利用基于高斯假设条件下的估计方法进行参数估计时,往往不能得到较好的结果。针对这种情况,该文利用M估计方法来实现对长拖尾杂波下DE模型参数的稳健估计。首先分析了基于PRONY模型的M估计实现方法存在的不足,其次提出了两种较为有效的DE模型散射中心参数M估计的实现方法,并对这两种方法进行了分析和比较。仿真实验结果表明,在一类长拖尾K分布杂波条件下,与ESPRIT方法以及扩展PRONY估计方法相比,该文所提的两种方法均能得到较好的估计结果。 展开更多

关键词 雷达 长拖尾分布 衰减指数模型 M估计 K分布杂波

下载PDF 职称材料

面向数据长尾分布的道路目标检测算法研究

19

作者 王志红 王煜晟 《武汉理工大学学报》 CAS 2022年第10期102-108,共7页

道路目标检测是自动驾驶环境感知的重要组成部分。现实场景中数据往往是遵循长尾分布的,数据的长尾分布会导致分类器过度拟合样本数量多的类别,使得算法对于样本数量少的类别检测效果较差。为了缓解这一问题提出了SFL(seesaw focal los... 道路目标检测是自动驾驶环境感知的重要组成部分。现实场景中数据往往是遵循长尾分布的,数据的长尾分布会导致分类器过度拟合样本数量多的类别,使得算法对于样本数量少的类别检测效果较差。为了缓解这一问题提出了SFL(seesaw focal loss),使用互补的缓解因子与补偿因子动态地平衡每个类别的正样本和负样本梯度。缓解因子减少对尾部类别的惩罚,补偿因子增加了对错误分类的惩罚,以避免尾部类别的误检。基于SFL和EfficientDet提出了SEfficientDet系列目标检测算法。通过在BDD100K数据集上的实验表明,SEfficientDet可以显著提升尾部类别的识别效果。与EfficientDet相比,SEfficientDet在同等参数量下mAP提高4.8%,训练速度提高2.3倍。在同等推理时间下mAP提高5.3%,训练速度提升1.8倍。 展开更多

关键词 目标检测 长尾分布 seesaw focal loss EfficientDet

原文传递

附加偏见预测器辅助的均衡化场景图生成

20

作者 王文彬 王瑞平 陈熙霖 《中国科学：信息科学》 CSCD 北大核心 2022年第11期2075-2092,共18页

场景图是以场景中的物体为结点、以物体之间的关系为边构成的图结构,在视觉与语言交互理解和推理相关任务中具有广泛的应用前景.近年来,场景图自动生成逐渐受到关注,但生成结果中对于关系的描述受到长尾分布带来的偏见的影响,偏向于样... 场景图是以场景中的物体为结点、以物体之间的关系为边构成的图结构,在视觉与语言交互理解和推理相关任务中具有广泛的应用前景.近年来,场景图自动生成逐渐受到关注,但生成结果中对于关系的描述受到长尾分布带来的偏见的影响,偏向于样本量较大的头部关系.然而头部关系往往过于空泛,描述不够准确,容易造成误解.由于这种关系价值不高,生成的场景图近似于退化为场景中物体信息的堆叠,不利于其他应用在图结构上进行结构化推理.为了使场景图生成器在这种不均衡的数据条件下,能够更均衡地学习,给出更加多样化的特别是尾部的更准确的关系,本文提出一种附加偏见预测器(additional biased predictor,ABP)辅助的均衡化学习方法.该方法利用一条有偏见的关系预测分支,令场景图生成器抑制自身对头部关系的偏好,并更加注重尾部关系的学习.场景图生成器需要为指定的一对物体预测关系,这是一种实例级的关系预测,与之相比,有偏分支以更简洁的方式预测出图像中的关系信息,即不指定任何一对物体,直接预测出图像中存在的关系,这是一种区域级的关系预测.为此,本文利用已有的实例级的关系标注,设计算法自动构造区域级的关系标注,以此来训练该有偏分支,使其具有区域级关系预测的能力.在不同场景图生成器上应用ABP方法,并在多个公开数据集(Visual Genome,VRD和OpenImages等)上进行实验,结果表明,ABP方法具有通用性,应用ABP方法训练得到的场景图生成器能够预测出更加多样化的、更准确的关系,进而生成更有价值、更实用的场景图. 展开更多

关键词 场景图生成 长尾分布 附加偏见预测器 均衡化学习 区域级关系

原文传递