多模态学习分析:理解与评价真实学习的新路向 被引量：41

1

作者 汪维富 毛美娟 《电化教育研究》 CSSCI 北大核心 2021年第2期25-32,共8页

随着物联网、可穿戴传感设备、人工智能的快速发展,多种模态数据的连续抓取与融合分析成为可能,促成了多模态学习分析研究的诞生,并成为学习分析领域的一个重要新兴分支。多模态学习分析关注真实的学习情境与本真的学习交流方式,“返璞... 随着物联网、可穿戴传感设备、人工智能的快速发展,多种模态数据的连续抓取与融合分析成为可能,促成了多模态学习分析研究的诞生,并成为学习分析领域的一个重要新兴分支。多模态学习分析关注真实的学习情境与本真的学习交流方式,“返璞归真”地聚焦更普遍的物理学习情境,克服了主流学习分析过度关注数字化学习环境的局限。研究主要采用文献归纳法,阐述了多模态学习分析的发展动因、概念理解,重点从身体、生理视角概述了多模态的数据类型,并对多模态学习分析的过程模型进行了详细描述。研究认为,未来要充分借助人工智能处理多模态数据,借鉴认知带理论融合不同模态数据的意义,借力学习理论来理解真实的多模态学习交互过程,以进一步完善基于多模态数据的学习评价方法。 展开更多

关键词 多模态学习分析 物理学习环境 可穿戴设备 生理数据 数据融合 学习评价 认知带

下载PDF 职称材料

全景透视多模态学习分析的数据整合方法 被引量：37

2

作者 穆肃 崔萌 黄晓地 《现代远程教育研究》 CSSCI 北大核心 2021年第1期26-37,48,共13页

多模态学习分析被认为是学习分析研究的新生长点,其中,多模态数据如何整合是推进学习分析研究的难点。利用系统文献综述及元分析方法,有助于为研究和实践领域提供全景式的关于多模态数据整合的方法与策略指导。通过对国内外363篇相关文... 多模态学习分析被认为是学习分析研究的新生长点,其中,多模态数据如何整合是推进学习分析研究的难点。利用系统文献综述及元分析方法,有助于为研究和实践领域提供全景式的关于多模态数据整合的方法与策略指导。通过对国内外363篇相关文献的系统分析发现:(1)多模态学习分析中的数据类型主要包含数字空间数据、物理空间数据、生理体征数据、心理测量数据和环境场景数据等5类。在技术支持的教与学环境中,高频、精细、微观的多模态学习数据变得可得、易得、准确。(2)多模态学习分析中的学习指标主要有行为、注意、认知、元认知、情感、协作、交互、投入、学习绩效和技能等。随着技术的发展和人们对学习过程的深刻洞察,学习指标也会变得更加精细化。(3)数据与指标之间展现出"一对一""一对多"和"多对一"三种对应关系。把握数据与指标之间的复杂关系是数据整合的前提,测量学习指标时既要考虑最适合的数据,也要考虑其他模态数据的补充。(4)多模态学习分析中的数据整合方式主要有"多对一""多对多"和"三角互证"三种,旨在提高测量的准确性、信息的全面性和整合的科学性。总之,多模态数据整合具有数据的多模态、指标的多维度和方法的多样性等三维特性。将多模态数据时间线对齐是实现数据整合的关键环节,综合考虑三维特性提高分析结果的准确性是多模态数据整合未来研究的方向。 展开更多

关键词 多模态学习分析 数据类型 学习指标 数据整合 系统文献综述

下载PDF 职称材料

多模态数据融合:破解智能教育关键问题的核心驱动力 被引量：35

3

作者 王一岩 郑永和 《现代远程教育研究》 CSSCI 北大核心 2022年第2期93-102,共10页

多模态数据融合旨在利用不同模态数据之间的信息互补机制提升数据分析的准确性,实现对学习主体和学习情境的精准刻画,进而还原教学过程全貌,挖掘深层次的教育规律,其已逐渐成为智能教育领域重要的技术方法和研究思想。智能教育领域常见... 多模态数据融合旨在利用不同模态数据之间的信息互补机制提升数据分析的准确性,实现对学习主体和学习情境的精准刻画,进而还原教学过程全貌,挖掘深层次的教育规律,其已逐渐成为智能教育领域重要的技术方法和研究思想。智能教育领域常见的多模态数据类型包括外在行为表征数据、内在神经生理信息数据、人机交互数据以及学习情境感知数据。多模态数据的融合策略主要包括数据级融合、特征级融合和决策级融合,在数据分析的不同阶段选取恰当的融合策略,可以提升数据分析的准确性。在智能教育领域,多模态数据融合主要应用在人机交互分析、学习者情绪识别、学习投入分析、学业表现预测、学习情境感知五个方面。充分发挥多模态数据在学习过程感知和建模中的核心作用,可以实现对学习过程的有效还原和对学习规律的科学解释。多模态数据融合充分体现了基于数据密集型科学的教育科学研究范式变革,未来应着力于面向多元学习主体和学习情境的全时空多维度数据采集、基于多模态数据融合的学习者认知发展规律研究、基于多模态数据感知与融合的智能教育产品研发以及多模态数据采集的技术伦理问题等四个方面,构建智能时代教育科学研究的新样态。 展开更多

关键词 多模态数据融合 智能教育 情绪识别 学习投入 情境感知 人机交互

下载PDF 职称材料

多模态学习分析研究综述 被引量：18

4

作者 牟智佳 符雅茹 《现代教育技术》 CSSCI 2021年第6期23-31,共9页

多模态学习分析为复杂环境下的学习测量与评价提供了新的视角。文章以涵盖多模态学习分析各类学术组织和学术论文的数据库为分析源,采用多种分析方法,对多模态学习分析的研究共同体、研究主题、研究领域、演进情况、研究热点等进行了分... 多模态学习分析为复杂环境下的学习测量与评价提供了新的视角。文章以涵盖多模态学习分析各类学术组织和学术论文的数据库为分析源,采用多种分析方法,对多模态学习分析的研究共同体、研究主题、研究领域、演进情况、研究热点等进行了分析,研究结果显示:多模态学习分析研究已初步形成多个学术群体,但各群体呈零散分布状态;学生编程建模、卷积与对称深层神经网络、传感器数据采集、人类行为识别、协作建构与自动评价等为主要研究主题;多模态感知与情绪分析、多模态数据融合与挖掘、多模态表征与对象识别是多模态学习分析的三大研究领域;演进情况为从知识模型与框架设计发展到多模态特征提取与情感分析、再发展到多模态表征学习与深度学习;研究热点包括多模态学习数据采集与系统设计、多模态学习认知与行为分析、多模态学习分析方法与工具开发。 展开更多

关键词 多模态学习分析 多模态数据 人工智能 数据融合

下载PDF 职称材料

基于注意力神经网络的多模态情感分析 被引量：16

5

作者 林敏鸿 蒙祖强 《计算机科学》 CSCD 北大核心 2020年第S02期508-514,548,共8页

近年来,越来越多的人热衷于在社交媒体上同时用图片和文本等媒体形式表达自己的感受与看法,使得以图片和文本为主要内容的多模态数据不断增长。相比单模态数据,多模态数据包含的信息更丰富,更能揭示用户的真实情感。对这些海量多模态数... 近年来,越来越多的人热衷于在社交媒体上同时用图片和文本等媒体形式表达自己的感受与看法,使得以图片和文本为主要内容的多模态数据不断增长。相比单模态数据,多模态数据包含的信息更丰富,更能揭示用户的真实情感。对这些海量多模态数据的情感进行分析有助于更好地理解人们的态度和观点,具有广泛的应用场景。为了解决多模态情感分类任务中的信息冗余的问题,在张量融合方案的基础上,提出了一种基于注意力神经网络的多模态情感分析方法。该方法构造了基于注意力神经网络的文本特征提取模型和图像特征提取模型,突出了图像情感信息关键区域和包含情感信息的单词,使得各单模态特征表达更简练精确。将各模态的张量积作为多模态数据的联合特征表达,采用主成分分析法剔除联合特征的冗余信息,进而使用支持向量机获取多模态数据的情感类别。在两个真实的Twitter图文数据集上对所提模型进行了评估,实验结果表明,与其他情感分类模型相比,该方法在分类准确率、召回率、F1指标和准确率上都有较大的提升。 展开更多

关键词 社交媒体 多模态数据 情感分析 注意力机制 张量融合

下载PDF 职称材料

人工智能技术在中医诊断领域应用述评 被引量：13

6

作者 王俊文 叶壮志 《世界科学技术-中医药现代化》 CSCD 北大核心 2022年第2期810-814,共5页

本研究从技术落地应用的角度出发,描述和评论目前中医诊断领域常用的AI技术的应用历史、现状及与中医诊断需求之间切合程度等问题,包括专家系统用于智能辨证、图像诊断和望诊、自然语言处理和问诊、传感器和智能硬件用于闻诊、切诊等;... 本研究从技术落地应用的角度出发,描述和评论目前中医诊断领域常用的AI技术的应用历史、现状及与中医诊断需求之间切合程度等问题,包括专家系统用于智能辨证、图像诊断和望诊、自然语言处理和问诊、传感器和智能硬件用于闻诊、切诊等;分析和预测和描绘未来AI相关新技术在中医诊断领域应用的趋势,包括多模态信息融合的中医智能化思路、物联网拓展诊断信息边界、区块链+联邦学习破解隐私安全需求与数据协作共享矛盾,以及通用中医思维知识图谱助力智能装备辅助诊断。 展开更多

关键词 专家系统 图像诊断 自然语言处理 传感器和智能硬件 多模态信息融合

下载PDF 职称材料

多模态协作学习分析理论模型、实践逻辑和教育价值 被引量：8

7

作者 丁继红 《远程教育杂志》 北大核心 2023年第2期95-104,共10页

涉及多主体、多因素、多场景的大规模多群组协作学习,正成为混合式学习的主流方式。深入挖掘协作学习中个体与群体的行为互动等外显性特征,与认知情感等内隐性指标的作用关系和演化机理,是实现“规模教育中的个性化培养”的关键。为此,... 涉及多主体、多因素、多场景的大规模多群组协作学习,正成为混合式学习的主流方式。深入挖掘协作学习中个体与群体的行为互动等外显性特征,与认知情感等内隐性指标的作用关系和演化机理,是实现“规模教育中的个性化培养”的关键。为此,遵循“理论、数据、分析、干预”的学习分析逻辑,构建了涵盖“行为-交互-认知-情感”的个体-群体双螺旋群体协作学习分析理论模型,随后,提出多模态数据采集、表征和跨域融合方法,并以分类和聚类为例展示了多模态关联分析方法和流程,介绍了分析结果可视化方法和画像技术,提出数据智慧支持的教育规律挖掘和干预机制,以期为智能教育服务和精准学习干预提供科学依据。 展开更多

关键词 多模态学习分析 数字画像 协作学习分析 数据融合 学习过程

下载PDF 职称材料

动态场景中的改进混合高斯背景模型 被引量：10

8

作者 何亮明 覃荣华 +1 位作者 巩思亮 王营冠 《计算机工程》 CAS CSCD 2012年第8期10-12,15,共4页

提出一种应用于运动目标检测的改进混合高斯背景模型。在背景模型更新过程中,通过调整阈值,降低单模态背景的误检率。在运动目标检测时,融合统计差分法和时域差分法,降低多模态背景像素的误检率。实验结果表明,改进模型能有效解决由复... 提出一种应用于运动目标检测的改进混合高斯背景模型。在背景模型更新过程中,通过调整阈值,降低单模态背景的误检率。在运动目标检测时,融合统计差分法和时域差分法,降低多模态背景像素的误检率。实验结果表明,改进模型能有效解决由复杂动态背景引起的误检问题,具有较好的检测性能。 展开更多

关键词 目标检测 混合高斯背景模型 多模态背景 参数估计 数据融合

下载PDF 职称材料

基于多模态数据的学习投入评估方法分析 被引量：6

9

作者 张利钊 杜旭 +2 位作者 李浩 谢艺乾 唐野野 《电化教育研究》 CSSCI 北大核心 2022年第10期72-78,共7页

学习投入是学生学习表现的关键影响因素,学习投入的自动识别是被广泛研究的问题。随着信息与传感技术的发展,在真实课堂中采集学生的多模态数据成为可能,如何利用多模态数据提升学习投入识别的准确率是值得研究的问题。文章分析基于外... 学习投入是学生学习表现的关键影响因素,学习投入的自动识别是被广泛研究的问题。随着信息与传感技术的发展,在真实课堂中采集学生的多模态数据成为可能,如何利用多模态数据提升学习投入识别的准确率是值得研究的问题。文章分析基于外显或内隐信息的单模态模型和基于早期、晚期、混合融合方法的多模态模型,探究:(1)多模态数据相比于单模态数据在识别学习投入状态上的优势;(2)多模态数据融合方法对学习投入状态评估的影响。结果表明:结合外显与内隐信息可以更准确地识别学习投入状态;基于早期或混合融合方式的多模态模型在学习投入状态识别任务上有更佳的表现;融合方式对于最终结果准确性非常重要,不当的融合方式可能引入噪声,降低模型表现。 展开更多

关键词 学习投入 多模态数据 EEG 身体姿态 多模态数据融合

下载PDF 职称材料

多模态特征融合的网络安全态势评估 被引量：7

10

作者 李康 《电子科技》 2020年第12期28-31,共4页

针对网络安全监测设备信息来源单一以及预警质量较低等问题,文中提出了融合多种数据来源的网络安全态势评估方法。通过引入Endsley模型和Agent理论,构建了网络安全态势的NSSA框架。利用径向基神经网络的思想,通过消除多余噪声与无关信... 针对网络安全监测设备信息来源单一以及预警质量较低等问题,文中提出了融合多种数据来源的网络安全态势评估方法。通过引入Endsley模型和Agent理论,构建了网络安全态势的NSSA框架。利用径向基神经网络的思想,通过消除多余噪声与无关信号实现多源异构数据的融合,从而提出具有多模态特征融合的网络安全态势评估方法。MATLAB仿真结果表明,与传统的BP神经网络相比,文中提出的网络安全态势评估方法具有更好的学习能力和泛化能力。 展开更多

关键词 网络安全 安全态势 Endsley模型 AGENT理论 径向基神经网络 NSSA框架 多模态特征 数据融合

下载PDF 职称材料

基于超分辨率重建和多模态数据融合的玉米表型性状监测 被引量：7

11

作者 车荧璞 王庆 +2 位作者 李世林 李保国 马韫韬 《农业工程学报》 EI CAS CSCD 北大核心 2021年第20期169-178,共10页

无人机遥感技术已逐渐成为获取作物表型参数的重要工具,如何在不降低测量精度的同时提高空间分辨率和测量通量受到表型研究人员的重视。该研究以玉米为研究对象,获取5个生育期无人机图像序列,结合小波变换与双三次插值对数码影像进行超... 无人机遥感技术已逐渐成为获取作物表型参数的重要工具,如何在不降低测量精度的同时提高空间分辨率和测量通量受到表型研究人员的重视。该研究以玉米为研究对象,获取5个生育期无人机图像序列,结合小波变换与双三次插值对数码影像进行超分辨率重建,提取原始影像和重建影像的冠层结构、光谱等参数。基于单一参数和多模态数据构建地上生物量估算模型。结果表明:重建影像质量较高、失真较小,其峰值信噪比为21.5,结构相似性为0.81。航高60 m的重建影像地面采样距离与30 m的原始影像相近,但每分钟可多获取0.2 hm^(2) 地块的图像。多模态数据融合在一定程度上克服冠层饱和问题,相对于单一参数获得更高的生物量估测精度,拟合的决定系数为0.83,单一参数拟合的决定系数为0.095~0.750。在采用更高飞行高度条件下,结合超分辨率重建和多模态数据融合估算生物量的精度没有降低、反而略有提高,满足更高测量通量的需求,为解码基因型与表型关联的策略提供依据。 展开更多

关键词 无人机 遥感 地上生物量 玉米 超分辨率重建 多模态数据融合

下载PDF 职称材料

基于多模态数据融合的飞行员生理心理训练管理系统构建 被引量：1

12

作者 李永刚 战春霞 姜国瑞 《科技创新与应用》 2024年第2期138-141,147,共5页

该文针对飞行员生理心理信息如何充分应用于提高飞行训练绩效,结合飞行职业特点,从结构模块、数据融合、效用分析3个方面对飞行员生理心理信息平台进行介绍。飞行员生理心理信息管理系统基于大数据分析融合技术,对不同类型的生理心理数... 该文针对飞行员生理心理信息如何充分应用于提高飞行训练绩效,结合飞行职业特点,从结构模块、数据融合、效用分析3个方面对飞行员生理心理信息平台进行介绍。飞行员生理心理信息管理系统基于大数据分析融合技术,对不同类型的生理心理数据进行无效/重复数据清洗、数据降噪等处理,形成有效的数据,迭代优化各数据模型,层层追溯和挖掘,构建“用数据说话、用数据决策、用数据管理、用数据创新”飞行员生理心理训练管理系统,有助于快速掌握飞行人员训练情况,智能形成个性化训练方案,为提高飞行员的体能训练效益提供参考。 展开更多

关键词 多模态数据融合 飞行员 生理心理训练 管理系统 训练方案

下载PDF 职称材料

多模态语义通信研究综述 被引量：2

13

作者 秦志金 赵菼菼 +1 位作者 李凡 陶晓明 《通信学报》 EI CSCD 北大核心 2023年第5期28-41,共14页

随着人工智能与通信的交叉融合,文本、图像、音频、视频等多模态数据处理技术蓬勃发展,模态语义的共享维度被深度挖掘,多模态语义信息的高度抽象、智能简约等特性被充分利用,为语义通信带来了全新的思路和手段。首先,介绍了语义通信的... 随着人工智能与通信的交叉融合,文本、图像、音频、视频等多模态数据处理技术蓬勃发展,模态语义的共享维度被深度挖掘,多模态语义信息的高度抽象、智能简约等特性被充分利用,为语义通信带来了全新的思路和手段。首先,介绍了语义通信的基础理论和分类,分别针对文本、图像、音频、视频综述了单模态语义通信的研究现状;然后,综述了多模态语义通信的研究现状,介绍了多模态数据融合技术和安全语义通信的研究;最后,总结了多模态语义通信面临的挑战。 展开更多

关键词 语义通信 多模态数据融合 多模态语义通信

下载PDF 职称材料

数据视角下铁路智慧物流园区融合方案——以大保当园区为例

14

作者 芦苇 《铁道建筑技术》 2024年第1期38-42,55,共6页

鉴于大保当物流园基本集中在黑货物流,多式联运装载载体不规范,还不能实现多种联运方式有效衔接。通过梳理大保当物流园现状,分析该园区业务与周边矿区的配给关系,结合园区规划和功能定位对大保当智慧物流园方案规划研究,让数据驱动业... 鉴于大保当物流园基本集中在黑货物流,多式联运装载载体不规范,还不能实现多种联运方式有效衔接。通过梳理大保当物流园现状,分析该园区业务与周边矿区的配给关系,结合园区规划和功能定位对大保当智慧物流园方案规划研究,让数据驱动业务构建公铁智慧物流园区实现数据融合、业务互通,也是未来物流园区车联网的重要特性。建设智慧物联一体化云平台,旨在通过盘活多式联运枢纽,凭借铁路资源优势实现两种以上运输方式和物流方式的无缝衔接带动新发展格局。而升级智慧园区将面临特种车辆安全作业、车载通信资源管理等挑战性的问题,需要快速建立园区特种车辆之间信任关系,基于此提出面向下一代车联网(V2X)通信,建立通感一体化数字模型并对所选参数进行调整,降低频带资源加以验证,为智慧园区安全作业提供了一种可行方案。 展开更多

关键词 智慧物流园 智能化 多式联运 数据融合 车联网

下载PDF 职称材料

科技情报中的多源数据融合方法研究综述

15

作者 李芊芷 朱相丽 李伟伟 《情报杂志》 北大核心 2024年第9期157-165,共9页

[研究目的]多源数据融合可通过交叉引证降低信息不一致和语义模糊等不确定因素,面对大数据和人工智能的普及导致的海量多源异构数据急剧增加,如何对其进行有效融合成为了科技情报领域研究的重难点之一。[研究方法]首先根据现有定义对多... [研究目的]多源数据融合可通过交叉引证降低信息不一致和语义模糊等不确定因素,面对大数据和人工智能的普及导致的海量多源异构数据急剧增加,如何对其进行有效融合成为了科技情报领域研究的重难点之一。[研究方法]首先根据现有定义对多源数据的概念特征进行阐释;其次按照对文本中数据融合的深入程度,对多源数据融合方法进行系统梳理;最后分析了多源数据融合在不同科技情报场景中的应用和发挥的作用。[研究结论]从概念来看,多源数据融合具有内源性和外源性两种指向。从融合方法来看,现有常用方法主要包括三种:数据源的融合、结构关系融合以及语义融合,融合方法在实现从物理融合向化学融合转变的同时也在科技发展趋势研判、学术评价、需求探测等场景下得到广泛应用。未来研究需要通过实践操作细化异构加权的可行方法,以应用为导向加强对于融合方法的总结和归纳,探索形成可供复用的模型框架。 展开更多

关键词 科技情报 多源数据 多模态数据 数据融合 语义融合 融合方法

下载PDF 职称材料

无人机多模态融合的城市目标检测算法

16

作者 王建园 陈小彤 +3 位作者 张越 孙俊格 石东浩 陈金宝 《空天防御》 2024年第1期32-39,共8页

城市低空运用小型无人机检测车辆等城市目标正逐渐成为主流手段。针对目前存在的实际场景中可见光探测易受光照影响、无法夜间工作和红外探测目标边缘模糊,导致单模检测网络检测精度低的问题,提出了一种基于图像融合和深度学习网络的无... 城市低空运用小型无人机检测车辆等城市目标正逐渐成为主流手段。针对目前存在的实际场景中可见光探测易受光照影响、无法夜间工作和红外探测目标边缘模糊,导致单模检测网络检测精度低的问题,提出了一种基于图像融合和深度学习网络的无人机多模态融合的城市目标检测算法:首先,基于DUT-VTUAV可见光-红外配准数据集和TIF图像融合算法,构建多模态融合数据集;其次,对比了现有YOLO(You Only Look Once)检测系列网络的检测精度、速度及参数量等性能参数,选择出最适合无人机端移动部署的轻量化网络YOLO v5n;最后,综合运用图像融合算法和目标检测模型,形成多模态融合检测算法。在车辆数据集上进行的对比实验表明:相对单模检测,所提出的算法的检测精度得到有效提升,mAP高达99.6%,且该算法可在0.3 s内完成一组可见光-红外图像的融合检测,具有较高的实时性。 展开更多

关键词 目标检测 YOLO检测 多模态融合 数据融合 TIF算法

下载PDF 职称材料

多分支双任务的多模态遥感影像道路提取方法

17

作者 林雨准 金飞 +3 位作者 王淑香 左溪冰 戴林鑫杰 黄子恒 《地球信息科学学报》 EI CSCD 北大核心 2024年第6期1547-1561,共15页

光学影像和SAR影像具有丰富的互补属性,有效的融合策略可为地物解译提供夯实的信息基础。道路作为条状地物,其拓扑结构、分布规律和应用场景往往会对解译效果带来挑战。基于此,本文提出一种多分支双任务的多模态遥感影像道路提取方法。... 光学影像和SAR影像具有丰富的互补属性,有效的融合策略可为地物解译提供夯实的信息基础。道路作为条状地物,其拓扑结构、分布规律和应用场景往往会对解译效果带来挑战。基于此,本文提出一种多分支双任务的多模态遥感影像道路提取方法。首先,构建结构相同但参数独立的编码—解码网络分别对光学和SAR影像进行特征提取,并利用道路表面分割标签监督训练;其次,引入SAR影像的编码层特征进行道路边缘检测,并将其中间特征输入至SAR影像的解码层特征,从而优化道路与背景的切割效果;最后,利用设计的通道—条状空间注意力(Channel Attention-Strip Spatial Attention,CA-SSA)充分融合光学影像和SAR影像的浅层和深层特征,从而预测最终的道路提取结果。为验证本文方法的有效性,利用Dongying数据集进行实验,在定量精度评价指标中,本文方法的IoU相比单模态对比方法至少提升1.04%,相比多模态对比方法至少提升1.95%;在定性效果分析中,本文方法在道路交叉口以及低等级道路等重难点区域具有明显优势。此外,在光学影像受云雾影响时,本文方法的道路提取效果最佳。 展开更多

关键词 光学影像 SAR影像 道路提取 多模态 数据融合 卷积神经网络 智能解译

原文传递

多模态数据融合技术及其在眼科领域的应用研究进展

18

作者 陈铭海 白芳 陶海 《眼科新进展》 CAS 北大核心 2024年第3期248-252,共5页

多模态数据融合技术(MDF)是人工智能领域中的一种数据处理技术,是指利用计算机对多模态数据,如图片、文字、音频与视频等进行综合处理的技术。与传统单模态数据处理相比,MDF对描述对象的分析有更高的准确性与可靠性。近年来,该技术在眼... 多模态数据融合技术(MDF)是人工智能领域中的一种数据处理技术,是指利用计算机对多模态数据,如图片、文字、音频与视频等进行综合处理的技术。与传统单模态数据处理相比,MDF对描述对象的分析有更高的准确性与可靠性。近年来,该技术在眼科领域的应用研究取得了较大进展,研究表明该技术能提高人工智能辅助诊断的准确性。本文综述了MDF的原理与优势、发展简况、架构与主要技术难点、MDF在眼科临床的应用现况以及目前存在的尚待解决的问题。 展开更多

关键词 人工智能 多模态数据融合技术 眼科学 研究进展 文献综述

下载PDF 职称材料

基于多模态数据融合的电厂风机叶片故障检测方法研究

19

作者 张家玉 《自动化应用》 2024年第13期199-201,204,共4页

常规的电厂风机叶片故障检测方法以检测数据不平衡问题检测为主,部分微弱的故障数据未被整合在数据集中,影响了最终故障检测的准确性,因此,设计了基于多模态数据融合的电厂风机叶片故障检测方法。提取电厂风机叶片声信号异常特征,随机... 常规的电厂风机叶片故障检测方法以检测数据不平衡问题检测为主,部分微弱的故障数据未被整合在数据集中,影响了最终故障检测的准确性,因此,设计了基于多模态数据融合的电厂风机叶片故障检测方法。提取电厂风机叶片声信号异常特征,随机截取风机叶片的异常声信号,确保故障检测的准确性。基于多模态数据融合构建风机叶片故障检测模型,分析运行状态下的叶片模态,以满足叶片故障检测的准确性需求。设定电厂风机叶片故障随机共振参数,将叶片频率范围、噪声强度、随机共振时间常数等方面考虑在内,以实现最佳的故障检测效果。采用对比实验,验证了该方法的故障检测准确性更高,能够应用于实际生活。 展开更多

关键词 多模态数据融合 电厂 风机 叶片故障 检测方法

下载PDF 职称材料

多模态技术在生产模式下线路电压质量监测的应用研究

20

作者 洪海生 张宇 +3 位作者 赵志轩 李佳 陈盛开 刘辉 《建筑经济》 2024年第S01期643-646,共4页

在不影响正常工作与生活的生产模式下,为有效地对施工现场、生活场所等线路电压质量开展实时的监测,本文基于多模态技术,构建一种在生产模式下,输电线路电压质量监测模型。该模型通过电压、温湿度、摄像头等多种传感器采集多种模态数据... 在不影响正常工作与生活的生产模式下,为有效地对施工现场、生活场所等线路电压质量开展实时的监测,本文基于多模态技术,构建一种在生产模式下,输电线路电压质量监测模型。该模型通过电压、温湿度、摄像头等多种传感器采集多种模态数据,借助多模态技术对这些信息进行实时高效地融合、分析与挖掘,有效地解决当前监测系统存在的监测手段单一、数据源简单以及效果不理想等问题,提升线路电压质量监测智能化水平,减少电压质量不佳对于人民日常生活工作的影响。 展开更多

关键词 生产模式 电压质量检测 多模态技术 数据融合

下载PDF 职称材料