期刊文献+
共找到6篇文章
< 1 >
每页显示 20 50 100
基于跨模态引导和对齐的多模态预训练方法
1
作者 才华 易亚希 +2 位作者 付强 冉越 孙俊喜 《电子学报》 EI CAS CSCD 北大核心 2024年第10期3368-3381,共14页
现有的视觉语言多模态预训练方法仅在图像和文本的全局语义上进行特征对齐,对模态间细粒度特征交互的探索不足.针对这一问题,本文提出了一种基于跨模态引导和对齐的多模态预训练方法.该方法在模态特征提取阶段,采用基于视觉序列压缩的... 现有的视觉语言多模态预训练方法仅在图像和文本的全局语义上进行特征对齐,对模态间细粒度特征交互的探索不足.针对这一问题,本文提出了一种基于跨模态引导和对齐的多模态预训练方法.该方法在模态特征提取阶段,采用基于视觉序列压缩的双流特征提取网络,在视觉编码器中联合图像和文本信息逐层引导视觉序列压缩,缓解与文本无关的冗余视觉信息对模态间细粒度交互的干扰;在模态特征对齐阶段,对图像和文本特征进行细粒度关系推理,实现视觉标记与文本标记的局部特征对齐,增强对模态间细粒度对齐关系的理解.实验结果表明,本文方法能够更好地对齐视觉文本的细粒度特征,在图文检索任务中,微调后的图像检索和文本检索的平均召回率分别达到了86.4%和94.88%,且零样本图文检索的整体指标相较于经典图文检索算法CLIP(Contrastive Language-Image Pre-training)提升了5.36%,在视觉问答等分类任务中,准确率也优于目前主流多模态预训练方法. 展开更多
关键词 多模态预训练 跨模态引导 视觉序列压缩 双流特征提取 细粒度关系推理 局部特征对齐
下载PDF
基于局部语义特征不变性的跨域行人重识别 被引量:6
2
作者 张晓伟 吕明强 李慧 《北京航空航天大学学报》 EI CAS CSCD 北大核心 2020年第9期1682-1690,共9页
行人重识别是刑侦案件中重要的侦查手段,而跨域是行人重识别的主要挑战之一,也是制约其实际应用的瓶颈问题。在带标签的源域和无标签的目标域学习跨域行人局部语义不变性特征模型。首先,在源域上通过只含有行人标识无部件标签的监督学... 行人重识别是刑侦案件中重要的侦查手段,而跨域是行人重识别的主要挑战之一,也是制约其实际应用的瓶颈问题。在带标签的源域和无标签的目标域学习跨域行人局部语义不变性特征模型。首先,在源域上通过只含有行人标识无部件标签的监督学习方式学习行人的各部件特征,并在源域和目标域上采用无监督学习方式对齐行人部件。然后,基于对齐后的行人全局与局部特征,引入特征模板池存储对齐后的目标域全局和局部特征,并设计了跨域不变性损失函数进行特征不变性约束,提高行人重识别的跨域适应能力。最后,在Market-1501、DukeMTMC-reID和MSMT17数据集之间开展了跨域行人重识别验证实验,实验结果表明,所提方法在跨域行人重识别上取得了显著的性能提升。 展开更多
关键词 行人重识别 全局特征 局部特征 语义对齐 特征模板池 跨域不变性
下载PDF
基于ORB检测的特征匹配优化算法 被引量:6
3
作者 杨溪远 陈斌 《计算机应用》 CSCD 北大核心 2019年第S02期81-84,共4页
针对需要具有旋转不变性且具有实时性的任务场景,传统的局部特征提取算法SIFT与SURF不能满足实时性要求的现状,提出了一种基于ORB特征检测子的优化特征点匹配算法。首先针对在原始ORB特征匹配算法中出现的错误匹配问题,利用特征点的位... 针对需要具有旋转不变性且具有实时性的任务场景,传统的局部特征提取算法SIFT与SURF不能满足实时性要求的现状,提出了一种基于ORB特征检测子的优化特征点匹配算法。首先针对在原始ORB特征匹配算法中出现的错误匹配问题,利用特征点的位置信息结合聚类算法提高匹配过程的速度与正确率,再通过均值漂移算法进一步提取出错误匹配点对。将所提方法应用于生产线产品外观缺陷检测设备,经过实际实验验证,该算法在ORB特征匹配中正确率提高至95%,能够满足实时使用的需要。 展开更多
关键词 ORB特征 特征点匹配 均值漂移 局部特征 图像对准
下载PDF
基于信息熵度量的局部线性嵌入算法 被引量:5
4
作者 刘均 宫子栋 吴力 《吉林大学学报(理学版)》 CAS 北大核心 2022年第1期143-149,共7页
针对局部线性嵌入算法使用欧氏距离计算非对齐样本相似性时,受数据位置差影响较大,导致度量精度较低,影响算法特征提取精度的问题,提出一种基于信息熵度量的局部线性嵌入算法.首先利用信息熵统计样本特征间的混乱程度,提高划分局部邻域... 针对局部线性嵌入算法使用欧氏距离计算非对齐样本相似性时,受数据位置差影响较大,导致度量精度较低,影响算法特征提取精度的问题,提出一种基于信息熵度量的局部线性嵌入算法.首先利用信息熵统计样本特征间的混乱程度,提高划分局部邻域的准确性;然后建立局部重构模型,挖掘出流形的本质结构;最后利用局部结构构建低维重构模型,以获得样本的显著特征.通过在轴承数据集上的实验证明了该算法在特征提取方面的有效性. 展开更多
关键词 局部线性嵌入 特征提取 信息熵 数据对齐
下载PDF
移动机器人检测识别技术的研究 被引量:1
5
作者 汤辰 万衡 王凯凯 《电气自动化》 2015年第6期99-101,共3页
在计算机视觉领域中,对于物体检测识别等技术的广泛应用而受到了大量学者的研究与关注。其中SIFT算法作为一项关键技术依然存在配准实时性较低与耗时问题,针对此问题,采用了局部特征配准的方法,特征点检测的区域缩小了,从而减少了两张... 在计算机视觉领域中,对于物体检测识别等技术的广泛应用而受到了大量学者的研究与关注。其中SIFT算法作为一项关键技术依然存在配准实时性较低与耗时问题,针对此问题,采用了局部特征配准的方法,特征点检测的区域缩小了,从而减少了两张图像配准的特征点数目,最终提升了SIFT算法的运行效率。并成功地应用于实验室的服务机器人的平台中,准确性和有效性得到了验证。 展开更多
关键词 机器视觉 SIFT算法 局部特征配准 服务机器人 级联分类器
下载PDF
Feature Extraction of Kernel Regress Reconstruction for Fault Diagnosis Based on Self-organizing Manifold Learning 被引量:3
6
作者 CHEN Xiaoguang LIANG Lin +1 位作者 XU Guanghua LIU Dan 《Chinese Journal of Mechanical Engineering》 SCIE EI CAS CSCD 2013年第5期1041-1049,共9页
The feature space extracted from vibration signals with various faults is often nonlinear and of high dimension.Currently,nonlinear dimensionality reduction methods are available for extracting low-dimensional embeddi... The feature space extracted from vibration signals with various faults is often nonlinear and of high dimension.Currently,nonlinear dimensionality reduction methods are available for extracting low-dimensional embeddings,such as manifold learning.However,these methods are all based on manual intervention,which have some shortages in stability,and suppressing the disturbance noise.To extract features automatically,a manifold learning method with self-organization mapping is introduced for the first time.Under the non-uniform sample distribution reconstructed by the phase space,the expectation maximization(EM) iteration algorithm is used to divide the local neighborhoods adaptively without manual intervention.After that,the local tangent space alignment(LTSA) algorithm is adopted to compress the high-dimensional phase space into a more truthful low-dimensional representation.Finally,the signal is reconstructed by the kernel regression.Several typical states include the Lorenz system,engine fault with piston pin defect,and bearing fault with outer-race defect are analyzed.Compared with the LTSA and continuous wavelet transform,the results show that the background noise can be fully restrained and the entire periodic repetition of impact components is well separated and identified.A new way to automatically and precisely extract the impulsive components from mechanical signals is proposed. 展开更多
关键词 feature extraction manifold learning self-organize mapping kernel regression local tangent space alignment
下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部