-
题名多模态信息引导的三维数字人运动生成综述
- 1
-
-
作者
赵宝全
付一愉
苏卓
王若梅
吕辰雷
罗笑南
-
机构
中山大学人工智能学院
中山大学计算机学院
深圳大学计算机与软件学院
桂林电子科技大学计算机与信息安全学院
-
出处
《中国图象图形学报》
CSCD
北大核心
2024年第9期2541-2565,共25页
-
基金
国家重点研发计划资助(2022YFF0903103)
广东省自然科学基金项目(2023A1515011639)
中央高校基本科研业务费专项资金资助(23xkjc019,24qnpy145)。
-
文摘
基于多模态信息的三维数字人运动生成技术旨在通过文本、音频、图像和视频等数据实现特定输入条件下的人体运动生成。这项技术在电影、动画、游戏制作和元宇宙等领域具有重要的应用价值和广泛的经济社会效益,是近年来计算机图形学和计算机视觉等领域研究的热点问题之一。然而,基于多模态信息的三维数字人运动生成面临着诸多挑战,包括跨模态信息的表征和融合困难、高质量数据集缺乏、生成的运动质量较差(如抖动、穿模和脚部滑动等)以及生成效率低等问题。虽然近年来研究者们提出了各式各样的解决方案来应对上述挑战,但如何根据不同模态数据的特点实现高效、高质量的三维数字人运动生成仍然是一个开放性问题。本文以数字人运动生成所采用的模型架构为分类标准,将现有的主流方法分为基于生成对抗网络(generative adversarial network,GAN)的方法、基于自编码器(autoencoder,AE)的方法、基于变分自编码器(variational autoencoder,VAE)的方法以及基于扩散模型的方法,总结并形成了一种数字人运动生成通用框架。本文还介绍了该领域常见的参数化人体模型、数据集以及评估指标。对于一些具有代表性的工作,本文在一些常用数据集上进行了对比实验,评估这些方法的性能表现。最后综合现有的数据集、算法和代表性研究,总结了该领域的问题和挑战,探讨了完善数据集、优化运动质量和多样性、融合跨模态信息和提高生成效率等潜在的研究方向。
-
关键词
三维数字人
运动生成
多模态信息
参数化人体模型
生成对抗网络(gan)
自编码器(AE)
变分自编码器(VAE)
扩散模型
-
Keywords
3D avatar
motion generation
multimodal information
parametric human model
generative adversarial net⁃work(gan)
autoencoder(AE)
variational autoencoder(VAE)
diffusion model
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于GAN和MS-ResNet的房颤自动检测模型
- 2
-
-
作者
秦静
韩悦
王立永
季长清
刘璐
汪祖民
-
机构
大连大学软件工程学院
大连大学信息工程学院
大连大学物理科学与技术学院
大连大学附属中山医院
-
出处
《应用科学学报》
CAS
CSCD
北大核心
2024年第1期15-26,共12页
-
基金
国家自然科学基金青年科学基金(No.62002038)资助。
-
文摘
房颤是一种常见的心律失常疾病,针对现有研究工作大多依赖于单尺度信号段而忽略了不同尺度下潜在的互补信息和数据不平衡问题导致诊断性能下降的问题,提出了一种新颖的基于生成对抗网络(generative adversarial network, GAN)和多尺度残差网络(multiscale residual net, MS-ResNet)的房颤自动检测模型,该网络使用GAN合成具有高形态相似性的单导联心电数据来解决数据的隐私和不平衡问题。同时,设计了MS-ResNet特征提取策略,从不同尺度提取不同大小信号段的特征,从而有效地捕捉P波消失和RR间期不规则特征。该模型联合这两种策略不仅为房颤自动检测生成高质量心电图(electrocardiogram,ECG)数据,还可以利用多尺度网格提取不同波之间的时序特征。在PhysioNet Challenge2017公开ECG数据集上以及平衡后的数据集上评估了MS-ResNet的性能,并将其与现有的房颤分类模型进行了比较。实验结果表明,MS-ResNet在平衡后的数据集上平均F1值和精确率分别达到0.914 1和91.56%,与不平衡数据集相比,F1提高了4.5%,精确率提高了3.5%。
-
关键词
心电图
房颤
生成对抗网络
多尺度
自动检测
-
Keywords
electrocardiogram(ECG)
atrialfibrillation(AF)
generative adversarial net-work(gan)
multi-scale
automatic detection
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
-
