智能视频监控系统关键技术及算法研究 被引量：11

1

作者 李小斌 吴宏岐 +1 位作者 袁战军 王瑾 《控制工程》 CSCD 北大核心 2016年第S1期18-22,共5页

提出了一种基于PC机的智能视频监控系统设计方案。将基于直流力矩电动机的三环伺服系统应用于云台控制,有效解决了对高速运动目标的精确实时跟踪问题。系统采用声源定位技术辅助实现对监控目标的快速定位,利用相邻三帧差分法实现了运动... 提出了一种基于PC机的智能视频监控系统设计方案。将基于直流力矩电动机的三环伺服系统应用于云台控制,有效解决了对高速运动目标的精确实时跟踪问题。系统采用声源定位技术辅助实现对监控目标的快速定位,利用相邻三帧差分法实现了运动目标的提取,并且给出了运动目标的形心计算方法。系统根据运动目标的位置信息,实时控制云台摄像头姿态,使被监控目标始终处于监控画面中央。在MATLAB环境下,对系统各模块进行仿真,结果表明,系统能够实现对高速运动目标的精确跟踪。 展开更多

关键词 音视频融合 云台 声源定位 伺服系统 视频监控

下载PDF 职称材料

改进AVSlowFast音视频融合模型对哺乳期母猪关键行为的识别

2

作者 李泊 陈天明 朱佳颖 《农业工程学报》 EI CAS CSCD 北大核心 2024年第7期182-190,共9页

哺乳期母猪的自动行为监测对于保障母猪健康并及时发现异常状态具有重要意义。为了在识别母猪行为中整合视觉和听觉信号蕴含的信息,该研究提出了一种基于音视频特征多模态融合的哺乳期母猪关键行为识别方法。首先,引入三分支结构的AVSlo... 哺乳期母猪的自动行为监测对于保障母猪健康并及时发现异常状态具有重要意义。为了在识别母猪行为中整合视觉和听觉信号蕴含的信息,该研究提出了一种基于音视频特征多模态融合的哺乳期母猪关键行为识别方法。首先,引入三分支结构的AVSlowFast模型作为基础网络,通过视频慢通道、视频快通道、音频通道有效挖掘在视觉和听觉2种模态下的相关行为特征,并基于多层次侧向连接深入融合视听觉模态信息。在此基础上,该研究在特征融合后期引入高斯上下文变换器通道注意力模块,在不新增模型参数的条件下进一步优化高维多模态三维特征的融合效果,提高行为识别的准确率。该研究以哺乳期母猪为对象,采集实际养殖环境中的音频与视频数据进行试验,试验结果表明基于改进AVSlowFast音视频融合模型识别进食、哺乳、睡眠、拱栏、饮水、日常活动6种关键行为的平均精确率与召回率分别为94.3%和94.6%。与基于SlowFast的单模态行为识别方法相比,该研究提出的方法对6种行为识别的平均F1分数上显著提升了12.7个百分点,为实现畜禽多模态行为监测提供了一种有效思路。 展开更多

关键词 行为识别 母猪 行为监测 音视频融合 多模态 通道注意力机制 AVSlowFast

下载PDF 职称材料

AR智能眼镜在高速公路机电运维信息交互调度管理系统中的应用 被引量：2

3

作者 张照 张紫昱 《铁路计算机应用》 2023年第12期57-61,共5页

为提升高速公路机电设备运营维护(简称:运维)的效率,利用增强现实(AR,Augmented Reality)、音视频融合及波导镜片等技术,设计可用于高速公路机电设备运维信息交互调度管理系统(简称:机电运维系统)的AR智能眼镜,实现了设备参数可视化、... 为提升高速公路机电设备运营维护(简称:运维)的效率,利用增强现实(AR,Augmented Reality)、音视频融合及波导镜片等技术,设计可用于高速公路机电设备运维信息交互调度管理系统(简称:机电运维系统)的AR智能眼镜,实现了设备参数可视化、远程协作和维护过程中的AR展示等功能。该设备在京津塘(北京—天津—塘沽)G2高速公路的机电运维系统上进行了应用测试,测试结果表明,AR智能眼镜的使用可有效提升机电设备维护的作业效率和质量。 展开更多

关键词 波导镜片 增强现实技术 机电设备 音视频融合 高速公路

下载PDF 职称材料

PA和PIS融合后的音视频统一信息服务系统 被引量：1

4

作者 徐恺 《城市轨道交通研究》 北大核心 2023年第S01期158-161,共4页

根据上海轨道交通网络化发展需求,将模拟架构的PA(广播)系统和PIS(乘客信息系统)更新为数字构架的音视频统一信息服务系统。介绍了融合后的音视频系统的结构、技术特点和应用情况。该系统实现了语音播报及图文信息发布的深度融合,方便... 根据上海轨道交通网络化发展需求,将模拟架构的PA(广播)系统和PIS(乘客信息系统)更新为数字构架的音视频统一信息服务系统。介绍了融合后的音视频系统的结构、技术特点和应用情况。该系统实现了语音播报及图文信息发布的深度融合,方便运营管控的同时提升了运营服务质量,降低系统维护难度的同时提升了维护效率。目前的上海轨道交通既有线路中,1号线是唯一完成音视频融合改造的线路,将传统意义上完全独立的PA和PIS进行融合,在实现并优化系统固有功能的前提下,实现了信息播报内容统一、信息播报操作统一和联动功能统一。 展开更多

关键词 城市轨道交通 广播系统 乘客信息系统 音视频融合

下载PDF 职称材料

基于音视频融合的应急指挥系统设计与应用

5

作者 刘阳 郭禹宏 《吉林交通科技》 2023年第2期33-36,共4页

为解决视频会议系统无法有效支撑内网省、市、县的日常行政会议要求及无法满足应急指挥调度的需求问题,结合新一代技术发展,提出了基于音视频融合技术的应急指挥系统开发设计原则、架构设计及应用案例,证明了音视频融合技术的有效性和... 为解决视频会议系统无法有效支撑内网省、市、县的日常行政会议要求及无法满足应急指挥调度的需求问题,结合新一代技术发展,提出了基于音视频融合技术的应急指挥系统开发设计原则、架构设计及应用案例,证明了音视频融合技术的有效性和适用性。 展开更多

关键词 应急指挥系统 设计 应用 音视频融合

下载PDF 职称材料

基于音视频特征融合的婴幼儿哭泣检测方法研究

6

作者 刘朋 周娴玮 +1 位作者 龚启旭 余松森 《计算机与数字工程》 2023年第7期1534-1539,共6页

目前婴儿哭泣检测领域单模态方法的识别精度难以提升,而婴幼儿相关的视频数据日益增加,在此背景下论文提出一种音视频融合的双模态方法检测婴儿哭泣,来达到进一步提高婴儿哭泣识别率目的。论文首先制作复杂环境下婴儿哭泣和非哭泣二分... 目前婴儿哭泣检测领域单模态方法的识别精度难以提升,而婴幼儿相关的视频数据日益增加,在此背景下论文提出一种音视频融合的双模态方法检测婴儿哭泣,来达到进一步提高婴儿哭泣识别率目的。论文首先制作复杂环境下婴儿哭泣和非哭泣二分类的音视频数据集,并基于该数据集设计7种对比实验与CNN-3DCNN+LSTM音视频融合网络进行比较。实验表明该融合方法 F1-score分数达到了93.2%,相比较单模态最优分数高5.3%、多模态网络基准线高4.3%。证明了音视频融合方法在婴儿哭泣识别领域可行性。 展开更多

关键词 婴幼儿哭泣 音视频融合 深度学习 多模态网络

下载PDF 职称材料

面向电力机房监控的音视频融合检测方法研究 被引量：4

7

作者 袁慧 张大伟 +1 位作者 张珂 湛永松 《计算机工程》 CAS CSCD 北大核心 2016年第12期272-277,共6页

为实现电力机房重点区域指示灯安全事件的监控,提出一种音视频融合检测方法。采用监控区域彩色图像非线性变换和最大类间方差法自动阈值分割技术进行指示灯定位,将局部区域统计直方图作为视频特征向量。采用连续多帧梅尔频率倒谱系数建... 为实现电力机房重点区域指示灯安全事件的监控,提出一种音视频融合检测方法。采用监控区域彩色图像非线性变换和最大类间方差法自动阈值分割技术进行指示灯定位,将局部区域统计直方图作为视频特征向量。采用连续多帧梅尔频率倒谱系数建立监控区域的音频特征向量。利用主成分分析对连续多帧的音视频融合特征向量进行降维处理,并借助支持向量机对不同安全事件进行分类检测。实验结果表明,与单独采用音频或者视频进行安全事件检测的方法相比,该方法具有较高的检测率和较低的误检率。 展开更多

关键词 电力机房 彩色图像非线性变换 最大类间方差法 梅尔频率倒谱系数 音视频融合 安全监控

下载PDF 职称材料

京秦高速公路视频监控前端智能准入系统浅析 被引量：3

8

作者 李宝敏 《中国交通信息化》 2018年第1期111-112,115,共3页

信息安全对于计算机网络来说越来越重要,当前最普遍的解决方案是通过内网部署网络防火墙、入侵检测、网络版杀毒软件等手段预防网络安全事件发生。但是大多数的网络系统却忽略了前端接入层的安全准入控制防护,尤其是在高速公路行业,全... 信息安全对于计算机网络来说越来越重要,当前最普遍的解决方案是通过内网部署网络防火墙、入侵检测、网络版杀毒软件等手段预防网络安全事件发生。但是大多数的网络系统却忽略了前端接入层的安全准入控制防护,尤其是在高速公路行业,全程监控、收费广场等设备接入交换机几乎直接暴露在24小时无人看护的场所,没有任何防护措施,前端接入终端即可直接接入视频监控网络,给整个网络造成安全威胁。为此,本文探析了高速公路视频监控前端安全准入系统的可行性和必要性。 展开更多

关键词 高速公路 视频监控系统 全交换 集中监控 音视频融合

下载PDF 职称材料

基于音视频信息融合的目标检测与跟踪算法 被引量：2

9

作者 黄战华 陈智林 +2 位作者 张晗笑 曹雨生 申苜弘 《应用光学》 CAS CSCD 北大核心 2021年第5期867-876,共10页

针对单一视觉跟踪算法易受遮挡影响的缺陷,提出一种基于音视频信息融合的目标检测与跟踪算法。整个算法框架包括视频检测与跟踪、声源定位、音视频信息融合跟踪3个模块。视频检测与跟踪模块采用YOLOv5m算法作为视觉检测的框架,使用无迹... 针对单一视觉跟踪算法易受遮挡影响的缺陷,提出一种基于音视频信息融合的目标检测与跟踪算法。整个算法框架包括视频检测与跟踪、声源定位、音视频信息融合跟踪3个模块。视频检测与跟踪模块采用YOLOv5m算法作为视觉检测的框架,使用无迹卡尔曼滤波和匈牙利算法实现多目标的跟踪与匹配;声源定位模块采用十字型麦克风阵列获取音频信息,结合各麦克风接收信号的时延计算声源方位;音视频信息融合跟踪模块构建音视频似然函数和音视频重要性采样函数,采用重要性粒子滤波作为音视频融合跟踪的算法,实现对目标的跟踪。在室内复杂环境下对算法性能进行测试,结果表明该算法跟踪准确率达到90.68%,相较于单一模态算法具有更好的性能。 展开更多

关键词 目标跟踪算法 音视频融合 目标检测 声源定位

下载PDF 职称材料

基于发音特征的音视频融合语音识别模型 被引量：2

10

作者 吴鹏 蒋冬梅 +2 位作者 王风娜 Hichem SAHLI Werner VERHELST 《计算机工程》 CAS CSCD 北大核心 2011年第22期268-269,272,共3页

构建一种基于发音特征的音视频双流动态贝叶斯网络(DBN)语音识别模型(AF_AV_DBN),定义节点的条件概率关系,使发音特征状态的变化可以异步。在音视频语音数据库上的语音识别实验表明,通过调整发音特征之间的异步约束,AF_AV_DBN模型能得... 构建一种基于发音特征的音视频双流动态贝叶斯网络(DBN)语音识别模型(AF_AV_DBN),定义节点的条件概率关系,使发音特征状态的变化可以异步。在音视频语音数据库上的语音识别实验表明,通过调整发音特征之间的异步约束,AF_AV_DBN模型能得到比基于状态的同步和异步DBN模型以及音频单流模型更高的识别率,对噪声也具有较好的鲁棒性。 展开更多

关键词 动态贝叶斯网络 发音特征 音视频融合 语音识别 异步

下载PDF 职称材料

基于VoLTE网络的视频炫铃 被引量：1

11

作者 陈翠娥 《中国高新科技》 2021年第16期112-113,共2页

文章论述了基于VoLTE网络的视频炫铃业务的功能、网络结构、系统接口以及VoLTE音频放音迁转至音视频融合放音平台的实施方案,可供相关研究参考。

关键词 VoLTE网络 视频炫铃业务 音视频融合

下载PDF 职称材料

面向电力机房监控的音视频融合检测方法研究 被引量：1

12

作者 袁慧 《电力信息与通信技术》 2016年第2期92-97,共6页

文章提出了一种基于音视频融合的电力机房重点区域指示灯安全事件监控方法。视频特征方面,通过改进的最大类间方差法(Otsu)来自动定位机房指示灯位置,并将局部区域统计直方图作为视频特征向量;音频特征方面,利用短时能量、短时过零率和... 文章提出了一种基于音视频融合的电力机房重点区域指示灯安全事件监控方法。视频特征方面,通过改进的最大类间方差法(Otsu)来自动定位机房指示灯位置,并将局部区域统计直方图作为视频特征向量;音频特征方面,利用短时能量、短时过零率和梅尔频率倒谱系数,建立监控区域的声音特征向量。融合阶段,把来自音频和视频的连续多帧特征向量进行主成分分析(Principal Components Analysis,PCA)降维处理,然后借助支持向量机针对不同安全事件进行分类。实验表明,本方法比传统的采用音频或者视频进行安全事件检测能取得更好的检测率,同时也能确保较低的虚警率。 展开更多

关键词 电力机房 最大类间方差法(Otsu) 梅尔频率倒谱系数 音视频融合 SVM

下载PDF 职称材料

一种支持多平台的图表短视频快速制作系统的设计与实现

13

作者 张荣波 《广播与电视技术》 2022年第7期59-63,共5页

应媒体深度融合发展及新闻资讯短视频大生产的需要,本文介绍了一种基于Web架构开发的轻量级图表短视频快速制作系统,该系统基于Web图表插件、相关开源软件和通用性组件进行开发,将多种来源数据经智能图表生成模块加载模板后快速转化成... 应媒体深度融合发展及新闻资讯短视频大生产的需要,本文介绍了一种基于Web架构开发的轻量级图表短视频快速制作系统,该系统基于Web图表插件、相关开源软件和通用性组件进行开发,将多种来源数据经智能图表生成模块加载模板后快速转化成图表短视频,并由音视频融合系统合成素材后完成成品视频智能化编辑、制作及发布。该系统经云化部署后向有关专业媒体机构提供制作服务,有效地提升了图表类新闻资讯音视频的制作效率,降低了制作成本。 展开更多

关键词 图表类短视频 智能图表生成 音视频融合 快速制作

下载PDF 职称材料

5G赋能传媒:促智能音视频融合发展 被引量：1

14

作者 常湘萍 无 《中国报业》 2020年第17期44-45,共2页

近日,新媒体蓝皮书《中国新媒体发展报告No.11(2020)》(以下简称蓝皮书)发布。其分报告《2019年中国网民新闻阅读习惯变化的量化研究》基于3万人的问卷调查得出结论,新媒体已经成为我国公众获取新闻信息的主要渠道。通过量化数据分析可... 近日,新媒体蓝皮书《中国新媒体发展报告No.11(2020)》(以下简称蓝皮书)发布。其分报告《2019年中国网民新闻阅读习惯变化的量化研究》基于3万人的问卷调查得出结论,新媒体已经成为我国公众获取新闻信息的主要渠道。通过量化数据分析可以看出,我国网民在接收新闻信息时,倾向于通过移动端从微信、微博、抖音等新媒体渠道获取信息,电视、纸媒等传统媒体在信息传播方面占有率大幅下降。 展开更多

关键词 新媒体发展 信息传播 传统媒体 音视频融合 微信 纸媒 移动端 微博

原文传递

基于音视频融合移动机器人目标识别与定位方法研究 被引量：1

15

作者 张新红 汤永清 郑丽英 《中国新通信》 2018年第24期27-28,共2页

人们生活水平不断提升,对于生活质量的要求也越来越高,此种背景下,人们想要设计出更加智能化和人性化的机器人,为自己提供服务,这就出现了基于音视频融合的移动机器人,该类机器人的核心部分就是让机器人目标识别与定位方法。本文就一核... 人们生活水平不断提升,对于生活质量的要求也越来越高,此种背景下,人们想要设计出更加智能化和人性化的机器人,为自己提供服务,这就出现了基于音视频融合的移动机器人,该类机器人的核心部分就是让机器人目标识别与定位方法。本文就一核心内容做简要分析,首先分析了音视频融合机器人的设计,其次谈了谈移动机器人中音频信息与视频信息的获取,最后探讨了音视频融合的移动机器人中目标定位与识别系统的设计与实现。 展开更多

关键词 音视频融合 移动机器人 目标识别 定位方法

下载PDF 职称材料

基于Hi3515C的车载驾驶音视频监控系统设计

16

作者 王灵芝 李伟滨 《闽南师范大学学报（自然科学版）》 2016年第2期31-36,共6页

本文介绍了一种基于海思媒体处理器的车载驾驶音视频监控系统设计方案.该系统以Hi3515C为核心,结合视频编解码芯片NVP1914,设计了多路音视频采集、OSD水印、音视频融合、存储、回放等功能模块.该系统基于Qt开发了人机交互界面,支持PAL/N... 本文介绍了一种基于海思媒体处理器的车载驾驶音视频监控系统设计方案.该系统以Hi3515C为核心,结合视频编解码芯片NVP1914,设计了多路音视频采集、OSD水印、音视频融合、存储、回放等功能模块.该系统基于Qt开发了人机交互界面,支持PAL/NTSC两种视频格式输入、合成或分屏切换显示、分辨率D1或CIF可选,并以MP4文件格式保存数据.实验表明系统安全可靠、扩展性强. 展开更多

关键词 驾驶监控 Hi3515C 音视频采集 音视频融合

下载PDF 职称材料

基于匹配层融合的识别算法研究与实现

17

作者 李傲梅 胡正豪 周川川 《电子技术应用》 2020年第7期57-59,共3页

提出一种基于音视频匹配层自适应加权融合的身份识别方法。在不同程度的噪声情况下,图像与声音的识别率会随噪声的增强而降低,凭借单个生物模态的识别,难以达到很好的预测结果;而且两种模态融合时的权值不同,融合系统的稳定性效果也不... 提出一种基于音视频匹配层自适应加权融合的身份识别方法。在不同程度的噪声情况下,图像与声音的识别率会随噪声的增强而降低,凭借单个生物模态的识别,难以达到很好的预测结果;而且两种模态融合时的权值不同,融合系统的稳定性效果也不同。采用双模态的自适应加权融合不仅可以有效地弥补不同生物模态识别之间的优缺点,而且可以自适应选择最优的权值进行决策。实验表明,该方法的理论推测成立,比单模态的身份识别具有更高的识别率与鲁棒性。 展开更多

关键词 音视频融合 匹配层 自适应加权 身份识别 鲁棒性

下载PDF 职称材料

基于VPX架构音视频融合设备设计与实现

18

作者 李鹏 梁瑞头 薛丙龙 《科学技术创新》 2021年第36期150-152,共3页

本文介绍了一种基于VPX架构的音视频融合设备的实现方法。设备采用"集成框架+功能模块"的形式,整机设计符合VITA65规范。设备接收SDI、IP等传输的音视频信号,使用海思系列芯片和FPGA芯片实现H.264编解码压缩、图像缩放、拼接... 本文介绍了一种基于VPX架构的音视频融合设备的实现方法。设备采用"集成框架+功能模块"的形式,整机设计符合VITA65规范。设备接收SDI、IP等传输的音视频信号,使用海思系列芯片和FPGA芯片实现H.264编解码压缩、图像缩放、拼接、预览、存储等功能。设备采用配置管理软件可新建、编辑、保存多种配置方案。通过实物验证,本设备系统集成度高、工作稳定可靠。 展开更多

关键词 音视频融合 Hi3531a Hi3536 XC7K325T

下载PDF 职称材料

南宁电视台综合指挥调度平台概述

19

作者 周敬章 《视听》 2018年第11期246-247,共2页

本文对南宁电视台综合指挥调度平台的具体实现进行了阐述,并对系统的功能及架构特点进行了详细的介绍。此系统通过将语音融合协同调度、视频融合协同调度、语音视频指挥、移动单兵、新闻资源融合协同调度等多种关键业务功能整合在一个... 本文对南宁电视台综合指挥调度平台的具体实现进行了阐述,并对系统的功能及架构特点进行了详细的介绍。此系统通过将语音融合协同调度、视频融合协同调度、语音视频指挥、移动单兵、新闻资源融合协同调度等多种关键业务功能整合在一个平台上,真正实现了音视频业务的实时交互,满足用户扁平化可视化协同工作需求。 展开更多

关键词 信息汇聚 指挥调度 语音视频融合 协同调度

下载PDF 职称材料

基于视音互补语义清晰化的隐私视频动作识别方法

20

作者 李泽超 付孝德 +2 位作者 潘礼勇 严锐 唐金辉 《电子学报》 EI CAS CSCD 北大核心 2024年第7期2170-2182,共13页

视频隐私保护是当前社会面临的重要挑战之一,对视频进行模糊处理是保护人们隐私权益的重要手段.由于模糊视频天然缺失视觉模态的信息,主流的视频动作识别算法无法取得令人满意的效果.模糊视频作为多模态介质不仅仅只有视觉模态信息,同时... 视频隐私保护是当前社会面临的重要挑战之一,对视频进行模糊处理是保护人们隐私权益的重要手段.由于模糊视频天然缺失视觉模态的信息,主流的视频动作识别算法无法取得令人满意的效果.模糊视频作为多模态介质不仅仅只有视觉模态信息,同时,也含有丰富的音频模态信息,从人类的认知角度而言,音频也是获取信息的重要来源.本文提出一种基于多模态融合的隐私视频动作识别方法,在保证不侵犯使用者隐私的前提下进行人类动作行为识别.具体来说,使用音频-视觉特征融合模块将音频模态特征图融入到视觉模态中,充分融合音视频模态的深层语义信息.除此之外,模型还引入清晰视频帧图像作为标签,在模型训练阶段监督动作识别网络的参数更新,为隐私视频动作识别网络提供清晰的语义信息.在多组隐私行为数据集上,通过大量消融和对比实验验证了所提方法的有效性. 展开更多

关键词 音视频特征融合 语义清晰化 隐私保护

下载PDF 职称材料