期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到8篇文章
< 1 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
一种多模态隐喻数据集的构建和验证方法 被引量：1
1
作者 夏冰 杨瑞楠 +4 位作者 董玉 楚世豪 唐崇俊 葛云翔 尹家斌 《集成技术》 2024年第5期64-73,共10页
隐喻的目的是启发理解、说服他人。目前,隐喻呈现文本、图像、视频等多模态融合的趋势,因此,识别多模态信息中蕴含的隐喻语义对互联网内容安全具有研究价值。由于缺乏多模态隐喻数据集,难以建立研究模型,因此,当前学者更关注基于文本的... 隐喻的目的是启发理解、说服他人。目前,隐喻呈现文本、图像、视频等多模态融合的趋势,因此,识别多模态信息中蕴含的隐喻语义对互联网内容安全具有研究价值。由于缺乏多模态隐喻数据集,难以建立研究模型,因此,当前学者更关注基于文本的隐喻检测。针对这一不足,作者首先从图像-文本、隐喻出现、情感表达和作者意图等角度构建新型多模态隐喻数据集;其次,对数据集的标注者进行Kappa分数计算;最后,借助预训练模型和注意力机制融合图像属性特征、图像实体对象特征和文本特征,构建多模态隐喻检测模型,验证多模态数据集的质量和价值。实验结果表明:具有情感和意图表达的隐喻数据集可提升隐喻模型检测效果,多模态信息间相互关系有助于隐喻的理解。 展开更多
关键词 内容安全 多模态隐喻检测 外部知识 多模态数据集 注意力机制
下载PDF
面向6G的跨模态信号重建技术 被引量：3
2
作者 李昂 陈建新 +1 位作者 魏昕 周亮 《通信学报》 EI CSCD 北大核心 2022年第6期28-40,共13页
6G时代下,为了兼顾多媒体用户音频、视频、触觉的沉浸式体验需求与低时延、高可靠、大容量的通信质量,提出一种跨模态信号重建架构和由视频信号重建触觉信号的深度学习模型。首先,通过控制机器人触摸各种材质,构建了包含音频、视频、触... 6G时代下,为了兼顾多媒体用户音频、视频、触觉的沉浸式体验需求与低时延、高可靠、大容量的通信质量,提出一种跨模态信号重建架构和由视频信号重建触觉信号的深度学习模型。首先,通过控制机器人触摸各种材质,构建了包含音频、视频、触觉信号的数据集VisTouch,为后续各种跨模态问题的研究奠定基础;其次,通过利用多模态信号间的语义关联性,设计一种普适的、稳健的端到端跨模态信号重建框架;再次,以通过视频信号重建触觉信号为例,构建视频辅助的触觉重建模型,包括基于3D CNN的视频特征提取网络,基于全卷积网络的GAN生成网络与基于CNN的GAN辨别网络;最后,通过实验结果验证跨模态信号重建框架的可靠性以及触觉重建模型的准确性。 展开更多
关键词 6G 跨模态信号重建 多模态数据集 3D卷积神经网络 生成对抗网络
下载PDF
基于卷积神经网络的Leap Motion运动数据优化网络 被引量：2
3
作者 张欣天 谢文军 +1 位作者 李书杰 刘晓平 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2021年第3期439-447,共9页
为提高Leap Motion设备的采集精准度,解决自遮挡、采样频率不稳定等设备固有问题,首先,设计了使用Leap Motion和动作捕捉设备的手部多模态同步运动采集方案,采集了日常动作数据集;其次,提出了基于卷积神经网络(convolutional neural net... 为提高Leap Motion设备的采集精准度,解决自遮挡、采样频率不稳定等设备固有问题,首先,设计了使用Leap Motion和动作捕捉设备的手部多模态同步运动采集方案,采集了日常动作数据集;其次,提出了基于卷积神经网络(convolutional neural network,CNN)的Leap Motion手部运动数据优化方法,使用日常动作数据集训练Leap Motion数据到动作捕捉数据的映射网络;最后,提出手指平面约束,确保网络输出数据保持稳定的手部骨骼结构.通过15名志愿者采集了6类动作共967550帧的同步运动数据集,进行了手指平面约束有效性、动作一致性实验,并与双向循环自编码器(bidirectional recurrent autoencoder,BRA)、双向编解码器(encoder-bidirectional-decoder,EBD)方法进行了精度对比.结果表明,文中方法支持使用Leap Motion获取固定采样频率且近似动捕设备精度的手部运动数据,效果较BRA和EBD更加稳定平滑.将文中方法应用于康复游戏中,明显减少了交互动作识别的错误次数. 展开更多
关键词 运动数据优化 Leap Motion 卷积神经网络 多模态数据集 自遮挡
下载PDF
多模态藏语情感分类的研究 被引量：1
4
作者 拉桑吉 安见才让 《计算机时代》 2022年第10期98-102,共5页
在藏文自然语言处理领域内,目前情感分类的研究只有单一的文本和图像模态,采用方法也是传统的机器学习分类算法。然而评论数据一般是多模态的。本文选用基于神经网络的藏文情感分类(FCNNMSCTT)、情感表情图像分类(CNNMEITSA)、融合(FUSI... 在藏文自然语言处理领域内,目前情感分类的研究只有单一的文本和图像模态,采用方法也是传统的机器学习分类算法。然而评论数据一般是多模态的。本文选用基于神经网络的藏文情感分类(FCNNMSCTT)、情感表情图像分类(CNNMEITSA)、融合(FUSIONMODEL)三种模型对多模态藏语情感分类数据进行情感分类。最终实验结果是,FCNNMSCTT准确率达到了56%,CNNMEITSA准确率达到了88.75%。Fusion model准确率达到了96.98%。 展开更多
关键词 藏文情感分类 表情图像情感分类 神经网络模型 多模态数据集
下载PDF
多模态检索在医学领域的研究综述
5
作者 丁国辉 张琦 +4 位作者 房士超 李青 孙小宇 张路霞 孔桂兰 《计算机工程与应用》 CSCD 北大核心 2023年第1期26-36,共11页
随着计算机与大数据技术在医学领域中的迅速应用以及医疗信息存储标准的逐渐完善,医学数据呈爆炸式增长。医学数据由于其自身特点而呈现出多模态形式,且这些多模态数据往往同时出现、互相补充,因此实现多模态数据间的相互检索具有重要... 随着计算机与大数据技术在医学领域中的迅速应用以及医疗信息存储标准的逐渐完善,医学数据呈爆炸式增长。医学数据由于其自身特点而呈现出多模态形式,且这些多模态数据往往同时出现、互相补充,因此实现多模态数据间的相互检索具有重要的临床价值。回顾了近年来多模态检索在医学领域的实现方法,将其归纳为基于文本、基于内容以及基于融合信息的多模态检索,基于内容的多模态检索可进一步划分为基于传统特征的检索和基于深度特征的检索。针对多模态检索算法的性能,介绍了准确率、召回率以及平均精度均值等常用的评价指标。分析了当前医学领域多模态检索所面临的挑战,并对未来医学领域多模态检索的研究发展进行了展望。 展开更多
关键词 多模态检索 检索方法 医学多模态数据集 性能评价
下载PDF
基于多核支持向量机的多模态过程故障检测 被引量：1
6
作者 李元 李榕 《化工自动化及仪表》 CAS 2022年第3期286-293,共8页
针对具有多模态、非线性特征的复杂分布数据的工业过程,提出一种基于局部相对概率密度(LRPD)的多核支持向量机(MKSVM)故障检测方法LRPD-MKSVM。首先,计算训练样本的局部概率密度矩阵并进行标准化处理,来消除数据的多模态特性;其次,运用... 针对具有多模态、非线性特征的复杂分布数据的工业过程,提出一种基于局部相对概率密度(LRPD)的多核支持向量机(MKSVM)故障检测方法LRPD-MKSVM。首先,计算训练样本的局部概率密度矩阵并进行标准化处理,来消除数据的多模态特性;其次,运用标准化后的概率密度矩阵训练多核SVM模型,获得判别分类函数;之后,将测试数据的概率密度矩阵作为多核SVM模型的输入,对其进行分类;最后,将该方法应用于TE多模态工业过程,分别与基于单核的高斯核函数SVM(RBFSVM)、多项式核函数SVM(POLYSVM)分类方法对比分析,结果表明:基于多核SVM方法的分类正确率明显优于单核SVM方法。 展开更多
关键词 故障检测 复杂工业过程 非线性 多核支持向量机 TE多模态数据集
下载PDF
层级性公共服务设施空间可达性研究——以北京市综合性医疗设施为例 被引量：112
7
作者 钟少颖 杨鑫 陈锐 《地理研究》 CSSCI CSCD 北大核心 2016年第4期731-744,共14页
分层诊疗制度有利于充分利用已有的医疗资源,是医疗卫生体制改革的重要内容。但是目前关于医疗设施可达性的研究普遍存在两个问题:没有考虑医疗机构的层级性;没有考察城市的多模态道路设施对医疗机构空间可达性的影响。通过构建两阶段... 分层诊疗制度有利于充分利用已有的医疗资源,是医疗卫生体制改革的重要内容。但是目前关于医疗设施可达性的研究普遍存在两个问题:没有考虑医疗机构的层级性;没有考察城市的多模态道路设施对医疗机构空间可达性的影响。通过构建两阶段的两步移动搜寻法,同时利用多模态网络数据集的网络分析法,研究在不同转诊率条件下北京城六区医疗设施的空间可达性。研究发现:1医疗设施的总体空间可达性随转诊率的提高呈现倒U型走势;60%左右的转诊率情况下医疗设施总体空间可达性最高。2在60%的转诊率条件下,考虑地下交通时的医疗设施总体空间可达性比不考虑地下交通时提高约9.81%,街道医疗设施空间可达性方差下降8.58%。这说明地铁建设不仅可以提升医疗设施总体的空间可达性,还可以降低街道之间空间可达性的不均衡性。3医疗资源"倒金字塔"型分布是制约分层就诊体系建立的关键,建立分层就诊体系需要同时调整医疗资源在不同等级医院之间的分布。 展开更多
关键词 多模态网络数据集 二阶段两步移动搜寻法 层级性公共服务设施 空间可达性
原文传递
面向医学图像融合的多尺度特征频域分解滤波
8
作者 刘慧 朱积成 +3 位作者 王欣雨 盛玉瑞 张彩明 聂礼强 《软件学报》 EI CSCD 北大核心 2024年第12期5687-5709,共23页
多模态医学图像融合技术可以实现不同模态数据反映的组织结构与病变信息的融合,为后续医疗诊断、手术导航等临床应用提供更为全面和准确的医学图像分析.针对现有融合方法中存在的部分光谱退化、黏连病变侵袭区域边缘和细节缺失和色彩还... 多模态医学图像融合技术可以实现不同模态数据反映的组织结构与病变信息的融合,为后续医疗诊断、手术导航等临床应用提供更为全面和准确的医学图像分析.针对现有融合方法中存在的部分光谱退化、黏连病变侵袭区域边缘和细节缺失和色彩还原不足等问题,提出一种在多尺度特征频域分解滤波域内实现图像多特征增强和色彩保留的多模态医学图像融合方法.该方法将源图像分解为平滑、纹理、轮廓和边缘这4个特征层,分别利用特定融合规则并通过图像重构产生融合结果.特别地,鉴于平滑层所含潜在特征信息,提出视觉显著性分解策略,多尺度多维度地挖掘平滑层图像能量、部分纤维纹理等特征,提升源图像信息利用率;在纹理层中,提出纹理增强算子,通过空间结构和信息度量提取细节及其层次信息,解决现有融合方法中对黏连病变区域侵袭状态难以区分等问题.此外,针对缺乏公开腹部数据集的问题,配准403组腹部图像可供公开访问和下载.在Atlas公开数据集和腹部数据集上与6种基准方法对比及消融实验结果表明,所提方法相较于最先进的方法在融合图像与源图像相似度提升22.92%,边缘保持度提升35.79%,空间频率提升28.79%,对比度提升32.92%,并在视觉和计算效率方面有较好的效果,明显优于其他方法. 展开更多
关键词 医学图像融合 多尺度特征频域分解滤波 视觉显著性分解策略 纹理增强算子 多模态腹部数据集
下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 下一页 到第 页
使用帮助 返回顶部