-
题名深度多模态表示学习的研究综述
被引量：5
- 1
-
-
作者
潘梦竹
李千目
邱天
-
机构
南京理工大学计算机科学与工程学院
-
出处
《计算机工程与应用》
CSCD
北大核心
2023年第2期48-64,共17页
-
文摘
尽管深度学习因为强大的非线性表示能力已广泛应用于许多领域,多源异构模态数据间结构和语义上的鸿沟严重阻碍了后续深度学习模型的应用。虽然已经有许多学者提出了大量的表示学习方法以探索不同模态间的相关性和互补性,并提高深度学习预测和泛化性能。然而,多模态表示学习研究还处于初级阶段,依然存在许多科学问题尚需解决。迄今为止,多模态表示学习仍缺乏统一的认知,多模态表示学习研究的体系结构和评价指标尚不完全明确。根据不同模态的特征结构、语义信息和表示能力,从表示融合和表示对齐两个角度研究和分析了深度多模态表示学习的进展,并对现有研究工作进行了系统的总结和科学的分类。同时,解析了代表性框架和模型的基本结构、应用场景和关键问题,分析了深度多模态表示学习的理论基础和最新发展,并且指出了多模态表示学习研究当前面临的挑战和今后的发展趋势,以进一步推动深度多模态表示学习的发展和应用。
-
关键词
多模态表示
深度学习
多模态融合
多模态对齐
-
Keywords
multimodal representation
deep learning
multimodal fusion
multimodal alignment
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
-
