-
题名新闻类短视频关键帧摘要模型的研究与实现
- 1
-
-
作者
崔晓丹
刘达维
刘逸凡
赵志滨
任酉贵
闫永明
-
机构
东北大学计算机科学与工程学院
辽宁省自然资源事务服务中心
沈阳帝信人工智能产业研究院有限公司
-
出处
《计算机工程》
CAS
CSCD
北大核心
2023年第8期182-189,共8页
-
文摘
根据传播学的“声画关系”理论,新闻类短视频通过音频直接有效地传达视频内容,属于典型的“主声说”视频。现有视频摘要技术忽略了声画关系对视频内容表现的影响,导致其在特定类型短视频摘要任务中效果不稳定。针对新闻类短视频“主声”的特点,提出基于多模态特征语义相似性的新闻类短视频关键帧摘要模型。与传统融合模型不同,该模型在提取多模态特征的基础上,构建公共语义空间,通过最小化对比损失函数对图像-文本对进行联合训练,实现音频文本摘要与视频帧之间语义相似性的跨模态度量,在摘要生成任务中重点关注与音频中语义信息描述一致的图像内容,利用音频中的语义信息筛选相关关键帧,得到更准确的短视频摘要。采集450条CCTV新闻短视频和385条Bilibili自媒体新闻短视频组成实验数据集,使用F1值衡量不同模型的性能,实验结果表明,该模型在2个数据集上F1值分别达到62.8%和51.2%,相较于MSVA模型分别提升了2.1和0.8个百分点,在新闻类短视频关键帧摘要任务中具有更好的性能。
-
关键词
声画关系
主声说
多模态特征
语义相似性
关键帧摘要
-
Keywords
sound and picture relationship
voice-dominated theory
multimodal feature
semantic similarity
key frame summarization
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名以声驭景:从年度奥斯卡影片看声音对画面的反作用
- 2
-
-
作者
张晋辉
-
机构
西安文理学院艺术学院
-
出处
《西安文理学院学报（社会科学版）》
2016年第4期1-6,共6页
-
文摘
画面和声音是电影必不可少的两种表现手段,但是,重画面轻声音的认识偏差在电影创作和艺术评价上依旧存在。习惯认识中视觉为主画面为辅的认识偏差,在现代电影中一定程度有所纠正和改观。以奥斯卡奖来看,声音表现是影片艺术水平的重要衡量指标。声音不仅是艺术审美实现的手段,也是剧情推动的有力方式,在有些片段中甚至成为主要的表现方式。以2015年奥斯卡提名影片的声音作为对象,通过具体片段的声音读解,试图印证声音设计中的一种规律性转变:声音逐步恢复应有的地位,不仅服务于电影艺术,而且反作用于画面。
-
关键词
奥斯卡
电影声音
声音功能
声画关系
-
Keywords
Oscar
film sound
function of sound
sound-picture relationship
-
分类号
J93
[艺术—电影电视艺术]
-
