雷达/红外复合导引头信息融合技术研究 被引量：8

1

作者 艾薇 刘峥 《航空兵器》 2007年第4期30-33,40,共5页

多模复合寻的制导技术已成为精确制导武器的发展方向,采用雷达/红外双模制导模式,可有效提高制导系统的精度。多传感器数据融合技术是双(多)模寻的制导的关键技术之一。对雷达/红外复合导引头数据融合研究现状进行了讨论,包括目标跟踪... 多模复合寻的制导技术已成为精确制导武器的发展方向,采用雷达/红外双模制导模式,可有效提高制导系统的精度。多传感器数据融合技术是双(多)模寻的制导的关键技术之一。对雷达/红外复合导引头数据融合研究现状进行了讨论,包括目标跟踪融合的关联和估计、数据对准、航迹关联、航迹融合、目标识别;并讨论了这些算法的基本原理、相关技术及方法、存在的问题和研究方向。 展开更多

关键词 复合导引头 雷达制导 红外制导 信息融合 融合方法

下载PDF 职称材料

路面缺陷智能检测系统与方法综述 被引量：2

2

作者 易钰程 王靖智 +4 位作者 朱路 李霄 熊奎 叶盛涛 陈嘉豪 《华东交通大学学报》 2023年第5期19-31,共13页

从路面缺陷检测系统组成和特点出发,首先简要回顾了路面缺陷检测系统与传统路面图像处理方法的发展过程。在此基础上,探讨了国内外典型路面缺陷检测系统的现状,包含重型道路状况智能检测系统、轻量化路面质量检测系统,并对检测系统的性... 从路面缺陷检测系统组成和特点出发,首先简要回顾了路面缺陷检测系统与传统路面图像处理方法的发展过程。在此基础上,探讨了国内外典型路面缺陷检测系统的现状,包含重型道路状况智能检测系统、轻量化路面质量检测系统,并对检测系统的性能及部分参数进行了描述。然后,详细介绍了基于机器学习、深度学习理论的路面缺陷智能化检测方法的演变历程,重点分析了基于深度学习技术的路面缺陷智能化检测方法国内外的研究进展,主要包含基于区域卷积神经网络、单次多框检测器、YOLO目标检测、Transformer检测模型等路面缺陷智能检测方法。最后,从多模信息融合、双轻量化设备、稳健智能化算法等方面对路面缺陷智能化检测系统的发展趋势和应用前景进行了展望。 展开更多

关键词 路面缺陷检测系统 人工智能 深度学习 轻量化系统 多模信息融合

下载PDF 职称材料

多模态信息处理前沿综述:应用、融合和预训练 被引量：18

3

作者 吴友政 李浩然 +1 位作者 姚霆 何晓冬 《中文信息学报》 CSCD 北大核心 2022年第5期1-20,共20页

随着视觉、听觉、语言等单模态人工智能技术的突破,让计算机拥有更接近人类理解多模态信息的能力受到研究者们的广泛关注。另一方面,随着图文社交、短视频、视频会议、直播和虚拟数字人等应用的涌现,对多模态信息处理技术提出了更高要求... 随着视觉、听觉、语言等单模态人工智能技术的突破,让计算机拥有更接近人类理解多模态信息的能力受到研究者们的广泛关注。另一方面,随着图文社交、短视频、视频会议、直播和虚拟数字人等应用的涌现,对多模态信息处理技术提出了更高要求,同时也给多模态研究提供了海量的数据和丰富的应用场景。该文首先介绍了近期自然语言处理领域关注度较高的多模态应用,并从单模态的特征表示、多模态的特征融合阶段、融合模型的网络结构、未对齐模态和模态缺失下的多模态融合等角度综述了主流的多模态融合方法,同时也综合分析了视觉-语言跨模态预训练模型的最新进展。 展开更多

关键词 多模态信息处理 多模态融合 多模态预训练 自然语言处理

下载PDF 职称材料

基于电力数据及信息融合的电力客户行为分析 被引量：14

4

作者 乔克 颜红 江熙 《供用电》 2020年第6期27-32,共6页

随着售电市场的进一步开放,立足当前电力改革形势,进一步挖掘用户价值,提升供电服务质量已经成为电网企业转型的必要手段。提出利用电力业务数据以及多模态双向交互信息融合、大数据分析等信息技术,抽取出存在于电力营销数据、客户语言... 随着售电市场的进一步开放,立足当前电力改革形势,进一步挖掘用户价值,提升供电服务质量已经成为电网企业转型的必要手段。提出利用电力业务数据以及多模态双向交互信息融合、大数据分析等信息技术,抽取出存在于电力营销数据、客户语言、情绪等信息中的相关特征,实现对电力营业厅客户用电行为、用电习惯的分析,提供针对性、差异化的服务方案,满足客户需求,让电力客户感受更舒适、更优质的服务体验,提高营业厅的服务质量、服务效率。 展开更多

关键词 电力数据 双向交互 客户行为 多模态信息融合 大数据技术

下载PDF 职称材料

一种多模态信息融合的视频检索模型 被引量：7

5

作者 张静 俞辉 《计算机应用》 CSCD 北大核心 2008年第1期199-201,213,共4页

针对包含复杂语义信息的视频检索的需要,提出了一种基于关系代数的多模态信息融合视频检索模型,该模型充分利用视频包含的文本、图像、高层语义概念等多模态特征,构造了对应于多个视频特征的查询模块,并创新地使用关系代数表达式对查询... 针对包含复杂语义信息的视频检索的需要,提出了一种基于关系代数的多模态信息融合视频检索模型,该模型充分利用视频包含的文本、图像、高层语义概念等多模态特征,构造了对应于多个视频特征的查询模块,并创新地使用关系代数表达式对查询得到的多模态信息进行融合。实验表明,该模型能够充分发挥多模型视频检索及基于关系代数表达式的融合策略在复杂语义视频检索中的优势,得到较好的查询结果。 展开更多

关键词 TRECVID 视频检索 多模态信息融合 关系代数表达式

下载PDF 职称材料

在线健康社区医生多模态信息融合对患者决策行为影响研究 被引量：8

6

作者 陈东华 张润彤 《现代情报》 CSSCI 2022年第8期37-49,共13页

[目的/意义]在线健康社区医生文本帖子、语音文章、视频文章、头像等多模态信息对患者用户决策行为的影响机制仍然需要进一步研究。[方法/过程]本文以好大夫在线网站的医生与患者数据为基础,融合平台中医生语音、视频、头像等多模态信... [目的/意义]在线健康社区医生文本帖子、语音文章、视频文章、头像等多模态信息对患者用户决策行为的影响机制仍然需要进一步研究。[方法/过程]本文以好大夫在线网站的医生与患者数据为基础,融合平台中医生语音、视频、头像等多模态信息进行研究,探讨多模态数据驱动下医生与患者在线平台交互的机制。[结果/结论]医生发布的各类多模态信息对其态度、服务和治疗水平的评价具有正向影响,提升患者对医生的好感和付费意愿,也拉近了医生与患者之间的关系。 展开更多

关键词 在线健康社区 多模态信息融合 患者行为 决策支持

下载PDF 职称材料

多模态情感识别综述 被引量：9

7

作者 贾俊佳 蒋惠萍 张廷 《中央民族大学学报（自然科学版）》 2020年第1期54-58,共5页

情感是一种多元的讯息表述,而情感识别又是人机交互,感情交互中中十分极其重要的问题[1]。根据情感的差异来源,本文从脑电和表情两种模态入手,概述了脑电和表情的特征提取方法,着重说明了多模态融合技术和方法,并且列举了现阶段常见的... 情感是一种多元的讯息表述,而情感识别又是人机交互,感情交互中中十分极其重要的问题[1]。根据情感的差异来源,本文从脑电和表情两种模态入手,概述了脑电和表情的特征提取方法,着重说明了多模态融合技术和方法,并且列举了现阶段常见的公开多模态数据库。最后总结了仍然存在的问题和今后的研究方向。 展开更多

关键词 情感识别 脑电 表情 多模态信息融合 综述

下载PDF 职称材料

多模态信息融合技术在科技服务平台中的应用研究 被引量：3

8

作者 唐轶 《技术与市场》 2023年第6期12-15,共4页

多模态信息处理技术是综合利用自然语言处理、语义分析、统计分析等技术方法对多模态信息资源进行多层次和多维度检测、关联、估计、组合、分析的信息处理过程,可对信息对象的结构和内涵进行优化,为某一领域的问题求解提供更有效的信息... 多模态信息处理技术是综合利用自然语言处理、语义分析、统计分析等技术方法对多模态信息资源进行多层次和多维度检测、关联、估计、组合、分析的信息处理过程,可对信息对象的结构和内涵进行优化,为某一领域的问题求解提供更有效的信息资源,为信息用户提供“一站式”的信息服务。针对科技领域同样存在着科技资源来源渠道多、信息格式不同、汇聚和融合难度大等问题,提出多模态信息融合实现的技术路线和解决方案,研发了多模态科技信息融合服务平台,为各类用户提供“一站式”精准的科技服务。 展开更多

关键词 多模态 信息融合 科技服务平台 技术路线

下载PDF 职称材料

基于多模态双向信息增强的RGBT跟踪网络

9

作者 赵伟 刘磊 +2 位作者 王鲲鹏 涂铮铮 罗斌 《北京航空航天大学学报》 EI CAS CSCD 北大核心 2024年第2期596-605,共10页

可见光-热红外(RGBT)目标跟踪旨在挖掘可见光和热红外数据的互补优势,实现鲁棒的目标跟踪。目前主流方法通常引入模态权重来实现多模态信息融合,但简单地为各个模态分配权重无法充分挖掘可见光和热红外模态的互补优势。基于此,提出了一... 可见光-热红外(RGBT)目标跟踪旨在挖掘可见光和热红外数据的互补优势,实现鲁棒的目标跟踪。目前主流方法通常引入模态权重来实现多模态信息融合,但简单地为各个模态分配权重无法充分挖掘可见光和热红外模态的互补优势。基于此,提出了一种多模态双向信息增强的RGBT跟踪网络(MBIENet)。设计了一种特征聚合模块,用于聚合模态共享特征和模态特定特征以建模目标外观信息;提出了一种新的多模态双向调制融合模块,可有效融合模态互补信息,减少冗余特征和无用特征对跟踪器的影响;提出了一个轻量化的通道空间注意力模块,可自适应调整不同环境下不同模态的贡献。在GTOT、RGBT234和LasHeR数据集上的实验结果表明:所提跟踪算法的准确率和成功率优于当前主流的跟踪算法。 展开更多

关键词 可见光-热红外 目标跟踪 深度学习 多模态信息融合 多模态信息交互

下载PDF 职称材料

基于模态类别的多模态信息处理与融合综述

10

作者 黄文栋 王怡凡 《计算机与现代化》 2024年第7期47-62,共16页

随着人工智能和深度学习技术的不断发展,多模态信息处理与融合领域的相关研究受到了研究者们的广泛关注。本文总结多模态信息处理的发展历史和里程碑式的工作,以及多模态融合策略和模型。根据模态类别的不同,分类整理多模态信息处理与... 随着人工智能和深度学习技术的不断发展,多模态信息处理与融合领域的相关研究受到了研究者们的广泛关注。本文总结多模态信息处理的发展历史和里程碑式的工作,以及多模态融合策略和模型。根据模态类别的不同,分类整理多模态信息处理与融合的主流数据集。以模态类型作为分类标准,本文系统地梳理多模态信息处理与融合的研究进展,强调不同模态之间的区别,并将多模态信息处理与融合分为:视听处理与融合、声文处理与融合、视觉-文本处理与融合和视觉-音频-文本处理与融合4种类别,对不同输入模态的处理融合方法与模型进行详细的研究。最后针对多模态处理与融合领域的发展进行总结与展望。 展开更多

关键词 多模态处理 多模态信息处理 多模态融合 深度学习

下载PDF 职称材料

基于文本语义驱动的遥感影像要素提取

11

作者 董思俊 孟小亮 《航天返回与遥感》 CSCD 北大核心 2024年第3期82-91,共10页

随着遥感技术的快速发展,高精度的遥感影像要素提取在地理信息科学、城市规划和环境监测等领域变得尤为重要。然而,传统基于图像的遥感影像要素提取方法在面对复杂和多变的地表特征时,往往精度有限,难以适应多样化的应用需求。为了解决... 随着遥感技术的快速发展,高精度的遥感影像要素提取在地理信息科学、城市规划和环境监测等领域变得尤为重要。然而,传统基于图像的遥感影像要素提取方法在面对复杂和多变的地表特征时,往往精度有限,难以适应多样化的应用需求。为了解决这一问题,文章提出了一种新型的基于图像和文本的多模态遥感影像语义分割框架(MMRSSEG)。该框架通过综合运用视觉和文本信息,利用深度学习技术,实现对遥感影像的高精度解析。经过在遥感影像建筑物数据集上进行的一系列实验,实验结果表明:与传统的图像分割方法相比,MMRSSEG能显著提高像素级遥感影像要素提取的准确性。在建筑物识别任务中,该方法比传统的单模态算法取得了更好的效果。实验结果充分证明了结合多模态的文本信息在遥感影像分割中的有效性和应用前景。 展开更多

关键词 遥感影像 建筑物提取 多模态信息结合 深度学习 遥感大模型

下载PDF 职称材料

基于多模态信息融合的物流仓库安全消防智能预警系统 被引量：1

12

作者 应小伟 《今日消防》 2023年第10期98-100,共3页

常规的物流仓库安全消防智能预警系统主要使用Z-Stack协议栈调用预警指令,易受任务轮询作用影响,导致系统部分功能异常,因此需要基于多模态信息融合设计一种全新的物流仓库安全消防智能预警系统。硬件部分设计了CC2530节点收发芯片、TA... 常规的物流仓库安全消防智能预警系统主要使用Z-Stack协议栈调用预警指令,易受任务轮询作用影响,导致系统部分功能异常,因此需要基于多模态信息融合设计一种全新的物流仓库安全消防智能预警系统。硬件部分设计了CC2530节点收发芯片、TAD烟雾传感器以及DHT11温湿度传感器。软件部分利用多模态信息融合设计了智能预警多目标检测算法,设计了消防智能预警功能模块,从而实现了物流仓库安全消防智能预警。系统测试结果表明,设计的基于多模态信息融合的物流仓库安全消防智能预警系统的性能良好,测试功能均正常,具有可靠性,有一定的应用价值,能为降低物流仓库消防风险做出一定的贡献。 展开更多

关键词 多模态信息融合 物流仓库 安全 消防 智能预警系统

下载PDF 职称材料

基于双融合框架的多模态3D目标检测算法 被引量：1

13

作者 葛同澳 李辉 +2 位作者 郭颖 王俊印 周迪 《电子学报》 EI CAS CSCD 北大核心 2023年第11期3100-3110,共11页

相机和激光雷达多模态融合的3D目标检测可以综合利用两种传感器的优点,提高目标检测的准确度和鲁棒性.然而,由于环境复杂性以及多模态数据间固有的差异性,3D目标检测仍面临着诸多挑战.本文提出了双融合框架的多模态3D目标检测算法.设计... 相机和激光雷达多模态融合的3D目标检测可以综合利用两种传感器的优点,提高目标检测的准确度和鲁棒性.然而,由于环境复杂性以及多模态数据间固有的差异性,3D目标检测仍面临着诸多挑战.本文提出了双融合框架的多模态3D目标检测算法.设计体素级和网格级的双融合框架,有效缓解融合时不同模态数据之间的语义差异;提出ABFF(Adaptive Bird-eye-view Features Fusion)模块,增强算法对小目标特征感知能力;通过体素级全局融合信息指导网格级局部融合,提出基于Transformer的多模态网格特征编码器,充分提取3D检测场景中更丰富的上下文信息,并提升算法运行效率.在KITTI标准数据集上的实验结果表明,提出的3D目标检测算法平均检测精度达78.79%,具有更好的3D目标检测性能. 展开更多

关键词 深度学习 三维目标检测 激光雷达 相机 多模态信息融合

下载PDF 职称材料

网络舆情监测现状与发展

14

作者 任会峰 《智慧工厂》 2023年第4期42-44,共3页

随着社会复杂性和多样性日渐增强,科学技术不断创新,舆论环境产生新变化,甚至影响到社会安全。针对网络舆情的新形式、新特点,总结舆情监测技术方法和系统建设现状,分析网络舆情监测系统的功能优势、技术不足和存在的难题,并给出多模态... 随着社会复杂性和多样性日渐增强,科学技术不断创新,舆论环境产生新变化,甚至影响到社会安全。针对网络舆情的新形式、新特点,总结舆情监测技术方法和系统建设现状,分析网络舆情监测系统的功能优势、技术不足和存在的难题,并给出多模态信息融合的舆情监测建议,以期为网络舆情监测新模式提供参考。 展开更多

关键词 网络奥情 奥情监测 多模态 信息融合 ChatGPT

下载PDF 职称材料

无菌条件非接触式多通道自然交互手术环境 被引量：4

15

作者 陶建华 杨明浩 +10 位作者 王志良 班晓娟 解仑 汪云海 曾琼 王飞 王红迁 刘斌 韩志帅 潘航 陈文拯 《软件学报》 EI CSCD 北大核心 2019年第10期2986-3004,共19页

无菌和非接触环境是医疗手术室的基本要求,这使得计算机操作室和手术室需要在物理上隔离.同时,因为手术进行中,主治医生如果需要查看病灶图像,通常授意护士或者手术助理到计算机操作室操作病灶图像,由于手术室和计算机操作室间的隔离,... 无菌和非接触环境是医疗手术室的基本要求,这使得计算机操作室和手术室需要在物理上隔离.同时,因为手术进行中,主治医生如果需要查看病灶图像,通常授意护士或者手术助理到计算机操作室操作病灶图像,由于手术室和计算机操作室间的隔离,以及主治医生和助理间可能存在的意图理解不准确,容易导致护士或者手术助理在手术室和计算机操作室往返多次,这增加了患者手术时间延长、失血增多、脏器暴露时间长等风险,尽量减少手术中定位到病灶图像的时间对于医生和病人都很重要.针对上述需求,借助遮挡环境下的深度图像人体骨架提取、手势跟踪与理解、手术室环境远场语音识别,多模态信息处理与融合技术,构建无菌条件下的非接触式多通道自然交互手术环境.该环境使得主治医生在手术中可通过语音命令、手势及上述交互方式相结合的方式快速定位到需要观察的病灶成像.在接近真实环境的实验环境中,建立的无菌条件的非接触式多通道自然交互手术环境在保证精度的情况下,可显著缩短病灶图像定位时间.无菌环境智能交互医疗手术室为未来下一代高效的手术提供了技术与方法验证. 展开更多

关键词 手术室 多模态信息融合 意图理解

下载PDF 职称材料

基于多模态信息融合的水环境质量监测研究

16

作者 罗奕珊 《环境与发展》 2023年第5期67-72,共6页

常规的水环境质量监测方法往往通过单一信息进行水环境质量监测,无法全面地反映真实情况,对于某些复杂问题的监测不够准确和完整。因此,设计了基于多模态信息融合的水环境质量监测方法。首先,部署水环境质量监测节点,将每个监测节点与... 常规的水环境质量监测方法往往通过单一信息进行水环境质量监测,无法全面地反映真实情况,对于某些复杂问题的监测不够准确和完整。因此,设计了基于多模态信息融合的水环境质量监测方法。首先,部署水环境质量监测节点,将每个监测节点与感知圆形相对应,并减小节点之间的重复覆盖范围。然后基于多模态信息融合标度水环境质量特征,将监测节点采集到的数据进行分析,确定水环境的纵向连通性、稳定性、水质污染、富营养化等状况,从而评定水环境质量,同时对其进行多模态预测,实现对监测区域有效的管控。实验结果表明,该监测方法的精准度更高,能够应用于实际生活中。 展开更多

关键词 多模态信息融合 水环境质量 监测方法

下载PDF 职称材料

基于多模态信息融合的深度伪造检测

17

作者 王栋 李达 +2 位作者 杨珂 郭庆雷 王合建 《电力信息与通信技术》 2023年第8期29-35,共7页

深度伪造技术的快速发展和应用给国家和社会安全、个人信息数据、企业安全等造成了潜在威胁。从电网企业的实际业务场景出发,针对现有深度伪造检测方法的泛化能力不足问题,文章提出一种基于多模态信息融合的深度伪造检测方法,为保护电... 深度伪造技术的快速发展和应用给国家和社会安全、个人信息数据、企业安全等造成了潜在威胁。从电网企业的实际业务场景出发,针对现有深度伪造检测方法的泛化能力不足问题,文章提出一种基于多模态信息融合的深度伪造检测方法,为保护电网企业合法权益提供支撑。提出的方法在基准人脸伪造数据集FaceForensics++(FF++)进行验证评估,结果表明该方法在人脸伪造检测方面性能优良、鲁棒性好,同时多模态信息融合使得模型泛化性得到了很好的提升。 展开更多

关键词 多模态信息融合 VisionTransformer模型 深度伪造

下载PDF 职称材料

脑电与功能近红外光谱技术在脑机接口中的应用 被引量：2

18

作者 高宇航 司娟宁 +1 位作者 何江弘 李梦 《北京生物医学工程》 2022年第3期318-325,共8页

脑-机接口(brain-computer interface,BCI)技术是一种多学科交叉融合的新型人机交互方式,通过解码大脑的活动信息来控制外部设备,从而实现人脑与外界的信息交互,在神经科学、康复医疗、人工智能等领域应用广泛。近年来随着科技进步,多尺... 脑-机接口(brain-computer interface,BCI)技术是一种多学科交叉融合的新型人机交互方式,通过解码大脑的活动信息来控制外部设备,从而实现人脑与外界的信息交互,在神经科学、康复医疗、人工智能等领域应用广泛。近年来随着科技进步,多尺度(宏观、介观、微观)脑成像技术不断涌现,如脑电图(electroencephalogram,EEG)、功能磁共振成像(functional magnetic resonance imaging,fMRI)、功能近红外光谱(functional near-infrared spectroscopy,fNIRS),极大地推动了BCI的发展。本文综述了EEG、fNIRS及EEG-fNIRS多模态融合技术在BCI中的应用现状,归纳各技术的研究成果,探讨其局限性和改进方式,并对未来BCI的发展做了展望。 展开更多

关键词 脑-机接口 人机交互 脑电 功能近红外光谱 多模态信息融合

下载PDF 职称材料

面向复杂力交互任务的操作技能传递与控制研究 被引量：1

19

作者 赵杰 武睿 +2 位作者 张赫 朱延河 臧希喆 《机械工程学报》 EI CAS CSCD 北大核心 2022年第18期116-132,共17页

如何让机器人拥有像人一样强大的感知能力并执行复杂操作,尤其是带有力交互的复杂操作是机器人学界一直探索的问题。这个问题的解决,能够帮助机器人实现从“设备”向“助手”的转化。而面向复杂力交互任务的操作技能传递与控制作为当前... 如何让机器人拥有像人一样强大的感知能力并执行复杂操作,尤其是带有力交互的复杂操作是机器人学界一直探索的问题。这个问题的解决,能够帮助机器人实现从“设备”向“助手”的转化。而面向复杂力交互任务的操作技能传递与控制作为当前人-机技能传递领域研究的前沿方向之一,其研究核心是实现对熟练操作者力交互操作过程中的多模态技能数据进行示教学习,并通过设计合理的技能模型,结合先进的控制理论以及机器人感知能力,实现机器人自主执行复杂力交互任务的目的,从而让机器人真正的可以协助甚至代替人类执行生活中常见的复杂任务。总结该领域较为重要的三个问题:(1)多模态信息融合的示教方式;(2)针对力交互任务的技能学习;(3)基于机器人柔顺控制的技能控制与基于机器人感知的智能技能切换;并对该领域的研究现状展开分析和讨论。 展开更多

关键词 技能传递 变阻抗控制 多模态信息融合 力交互

原文传递

基于多模态信息融合的铁路异物侵限预警系统设计 被引量：1

20

作者 王祥雪 王全 《电子技术（上海）》 2022年第12期344-345,共2页

阐述一种基于多模态信息融合的铁路异物侵限预警系统设计,融合应用计算机视觉技术和毫米波雷达信号分析技术,优化铁路轨道线检测算法,提出融合视频与雷达的轨道异物检测方案。

关键词 视觉技术 多模态信息融合 异物检测

原文传递