轻量级网络在人脸表情识别上的新进展 被引量：1

1

作者 蒋斌 崔晓梅 +2 位作者 江宏彬 丁汉清 袁俊岭 《计算机应用研究》 CSCD 北大核心 2024年第3期663-670,共8页

作为人工智能领域的热门研究方向,人脸表情识别(facial expression recognition,FER)是让计算机获取人类感情最直接最有效的方式,在人机交互、智慧医疗、疲劳驾驶等研发课题中占据关键的技术地位。为了满足高识别率的应用需求,FER深度... 作为人工智能领域的热门研究方向,人脸表情识别(facial expression recognition,FER)是让计算机获取人类感情最直接最有效的方式,在人机交互、智慧医疗、疲劳驾驶等研发课题中占据关键的技术地位。为了满足高识别率的应用需求,FER深度学习网络结构愈发复杂,占用了大量的计算资源和存储空间,严重影响了算法实时性的要求。围绕如何在有效提升模型运算速度的同时,保障模型的精度这一问题展开综述。首先,介绍了利用轻量级网络实现表情识别的重要数据集;其次,对用于人脸表情识别的经典轻量级网络模型进行了分析;再次,阐述了主要的网络轻量化方法的原理、特点及适用场景;最后,总结了轻量级网络在人脸表情识别研究中存在的问题和挑战,对未来的研究方向进行展望。 展开更多

关键词 人脸表情识别 轻量化网络 网络轻量化 深度学习

下载PDF 职称材料

基于典型几何形状精确回归的机场跑道检测方法 被引量：7

2

作者 梁杰 任君 +2 位作者 李磊 齐航 周红丽 《兵工学报》 EI CAS CSCD 北大核心 2020年第10期2045-2054,共10页

在遥感探测领域,实现复杂环境条件下机场跑道类地物目标和轮廓的精确检测具有重要意义。以YOLOv3为代表的主流深度学习算法在目标检测领域取得了显著的成绩,但该方法只能以矩形框给出目标的粗略位置,检测结果具有一定的背景区域且无法... 在遥感探测领域,实现复杂环境条件下机场跑道类地物目标和轮廓的精确检测具有重要意义。以YOLOv3为代表的主流深度学习算法在目标检测领域取得了显著的成绩,但该方法只能以矩形框给出目标的粗略位置,检测结果具有一定的背景区域且无法准确得到角点位置。针对以上问题,提出一种基于典型几何形状精确回归的机场跑道检测方法。综合利用典型四边形角点回归策略、四边形锚框机制、四边形的非极大值抑制模块以及目标几何拓扑关系,通过网络的轻量化设计和模型压缩,实现对目标在仿射畸变下成像特征的学习,能够快速预测目标的角点坐标,并以目标的四边形轮廓给出其位置。仿真实验结果表明,该算法具备机场跑道目标类型区分和轮廓提取的功能,有效地解决了实际应用中的目标精确定位难题;在不损失精度基础上网络经压缩后较压缩前的检测速度提高了1倍,大幅提升了自动目标检测的准确性和高效性。 展开更多

关键词 机场跑道目标检测 深度学习 典型几何形状 精确角点回归 网络轻量化

下载PDF 职称材料

基于通道剪枝的轻量化空气质量检测方法

3

作者 崔雅博 窦小楠 +1 位作者 王昆 刘丽娜 《仪表技术与传感器》 CSCD 北大核心 2024年第4期90-94,121,共6页

针对传统空气质量检测系统结构复杂、部署困难以及成本较高的问题,利用图卷积网络对大气图像特征进行分析,提出了一种基于通道剪枝的轻量化空气质量检测算法。首先以ResNet50为基础网络训练一个PM 2.5指数检测网络,实现了空气质量初步... 针对传统空气质量检测系统结构复杂、部署困难以及成本较高的问题,利用图卷积网络对大气图像特征进行分析,提出了一种基于通道剪枝的轻量化空气质量检测算法。首先以ResNet50为基础网络训练一个PM 2.5指数检测网络,实现了空气质量初步的自动化检测。然后对网络模型中的所有卷积核通道和相关的参数传递进行图节点核权重边建模,以图表示形式输入GCN,并输出针对每个卷积核节点的剪枝重要性判别预测。最后根据GCN结果进行通道剪枝,使用原始数据集对剪枝后模型的参数进行微调,在保持网络检测精准度的情况下,实现网络模型的轻量化。通过对比实验和消融实验验证了提出的检测方法具有较高的检测精度,平均检测误差仅有5.31%,RMSE提升了0.52,R-square仅降低了0.018,解决了网络模型的参数量和计算量过大的问题,网络参数量从4.12×10^(7)降低至2.01×10^(7),FPS从16.78帧/s提升至30.9帧/s,为在便携式终端上实现空气质量检测任务提供了有力的技术支持。 展开更多

关键词 空气质量检测 大气图像 通道剪枝 卷积核通道 图卷积网络 网络轻量化

下载PDF 职称材料

基于张量空谱卷积长短时记忆网络的遥感图像分类模型

4

作者 胡文帅 李伟 +2 位作者 李恒超 张蒙蒙 陶然 《指挥与控制学报》 CSCD 北大核心 2024年第4期458-468,共11页

基于遥感图像的地物要素分类与提取是实现数字化战场建设、智能化战场感知的关键支撑技术之一。实际应用平台运算资源有限、样本匮乏导致训练不充分等制约深度神经网络的遥感图像地物分类效果。基于张量链式分解和权重共享,设计空谱卷... 基于遥感图像的地物要素分类与提取是实现数字化战场建设、智能化战场感知的关键支撑技术之一。实际应用平台运算资源有限、样本匮乏导致训练不充分等制约深度神经网络的遥感图像地物分类效果。基于张量链式分解和权重共享,设计空谱卷积长短时记忆单元的两种张量扩展结构,提出轻量级张量空谱卷积长短时记忆网络用于遥感图像分类。在两个公开高光谱遥感图像数据集进行实验,该算法仅需0.34MB存储空间,较同类方法实现更优分类性能。 展开更多

关键词 遥感图像 网络轻量化 卷积长短时记忆网络 张量分解 精细分类

下载PDF 职称材料

基于改进YOLOX-tiny算法的交警手势识别

5

作者 方吴逸 陈章进 唐英杰 《电子测量技术》 北大核心 2024年第8期100-109,共10页

为了在城市中实现无人驾驶,需要能够高效检测交警的现场指挥手势。针对现有手势识别算法识别精度低、检测速度慢、难以应对复杂道路环境等问题,提出一种改进的YOLOX-tiny交警手势识别算法。首先,使用改进后的GhostNet网络替换原主干网络... 为了在城市中实现无人驾驶,需要能够高效检测交警的现场指挥手势。针对现有手势识别算法识别精度低、检测速度慢、难以应对复杂道路环境等问题,提出一种改进的YOLOX-tiny交警手势识别算法。首先,使用改进后的GhostNet网络替换原主干网络,并且插入坐标注意力机制,全面提取输入图像特征,提高了网络的检测精度,同时提升了对中小型目标的检测效果;其次,改进解耦头部分,设计了SCDE Head结构,在减少计算量的同时过滤冗余信息,使得解耦头更有效率,并且解耦头融合了多尺度的特征,提升了目标检测准确率;最后,将SIoU应用到定位损失中,加快网络收敛的速度,提升回归精度。在自制的交警指挥手势数据集上进行测试,实验结果表明,与YOLOX-tiny模型对比,改进后算法参数量减少了27.97%,模型计算量减少了33.31%,且平均检测精度提高了2.31%,检测速度提升了45%,更适合汽车无人驾驶以及硬件部署方面的实际需求。 展开更多

关键词 交警手势识别 YOLOX-tiny 网络轻量化 GhostNet 注意力机制

下载PDF 职称材料

面向智能变胞车的改进YOLOv5楼梯目标识别算法

6

作者 刘俊 张成 阮小栋 《合肥工业大学学报（自然科学版）》 CAS 北大核心 2024年第7期879-886,899,共9页

针对智能变胞车在室内楼梯环境下自主攀爬过程中的楼梯识别问题,文章提出一种基于改进YOLOv5的楼梯识别算法。为满足算法模型的实时性要求,利用轻量级网络EfficientNetV2替换YOLOv5算法的主干网络;使用GSConv模块和VoV-GSCSP模块替换原... 针对智能变胞车在室内楼梯环境下自主攀爬过程中的楼梯识别问题,文章提出一种基于改进YOLOv5的楼梯识别算法。为满足算法模型的实时性要求,利用轻量级网络EfficientNetV2替换YOLOv5算法的主干网络;使用GSConv模块和VoV-GSCSP模块替换原颈部网络中的Conv模块和CSP模块,在增强目标特征响应的基础上进一步减少计算成本;为弥补算法模型简化带来的精度损失,在颈部网络上添加坐标注意力机制,通过强化目标关注以提升在复杂场景下的目标识别效果;最后将改进的算法模型应用于嵌入式平台进行实验检测。实验结果表明:改进后的算法模型平均检测精度为91.99%,模型大小仅为3.1 MB,相较于其他目标检测算法具有明显的优越性。文章所提算法能够有效地对楼梯进行实时、准确的检测识别,为后续变胞车自主越障奠定了一定的理论基础。 展开更多

关键词 智能变胞车 楼梯目标检测 YOLOv5算法 网络轻量化 注意力机制

下载PDF 职称材料

面向煤矿安全监测边缘计算的YOLOv5s剪枝方法

7

作者 陈志文 陈嫒靓霏 +3 位作者 唐晓丹 柯浩彬 蒋朝辉 肖菲 《工矿自动化》 CSCD 北大核心 2024年第7期89-97,共9页

目前,边缘计算与机器视觉相结合具有较好的煤矿安全监测应用前景,但边缘端存储空间和计算资源有限,高精度的复杂视觉模型难以部署。针对上述问题,提出了一种面向煤矿安全监测边缘端的基于间接和直接重要性评价空间融合(IDESF)的YOLOv5s... 目前,边缘计算与机器视觉相结合具有较好的煤矿安全监测应用前景,但边缘端存储空间和计算资源有限,高精度的复杂视觉模型难以部署。针对上述问题,提出了一种面向煤矿安全监测边缘端的基于间接和直接重要性评价空间融合(IDESF)的YOLOv5s剪枝方法,实现对YOLOv5s网络的轻量化。首先对YOLOv5s网络中各模块的卷积层进行结构分析,确定自由剪枝层和条件剪枝层,为后续分配剪枝率及计算卷积核剪枝数奠定基础。其次,根据基于卷积核权重幅值和层相对计算复杂度的卷积核权重重要性得分为可剪枝层分配剪枝率,有效降低剪枝后网络的计算复杂度。然后,基于卷积核直接重要性评价准则,将卷积层的间接输出重要性以缩放因子的形式引入直接重要性空间中,更新卷积核位置分布,构建包含卷积核输出信息和幅值信息的融合重要性评价空间,提高卷积核重要性评价的全面性。最后,借鉴topk投票的思想对中值滤波筛选冗余卷积核的流程进行优化,并用有向图的邻接矩阵中节点的入度来量化卷积核的冗余程度,提高了冗余卷积核筛选过程的可解释性和通用性。实验结果表明:①从平衡模型精度和轻量化程度的角度出发,剪枝率为50%的YOLOV5s_IDESF是最优的轻量级YOLOv5s。在VOC数据集上,YOLOv5s_IDESF的mAP@.5和mAP@0.5∶0.95均达到最高,分别为0.72和0.44,参数量降至最低2.65×10^(6),计算量降低至1.16×10^(9),综合复杂度也降至最低,图像处理帧率达到31.15帧/s。②在煤矿数据集上,YOLOv5s_IDESF的mAP@.5和mAP@0.5∶0.95均达到最高,分别为0.94和0.52,参数量降至最低3.12×10^(6),计算量降低至1.24×10^(9),综合复杂度也降至最低,图像处理帧率达到31.55帧/s。 展开更多

关键词 智慧矿山 煤矿安全监测边缘计算 卷积核剪枝 网络轻量化 直接重要性评价准则 间接重要性评价准则 剪枝率 YOLOv5s

下载PDF 职称材料

基于YOLOv5的车辆目标检测算法轻量化改进

8

作者 梁奕延 陈昕 +1 位作者 郑明祥 陈佳雯 《汽车与新动力》 2024年第2期8-14,共7页

针对传统路端车辆目标检测算法参数多、检测速度较慢等问题,提出了基于YOLOv5的车辆目标检测算法轻量化改进。首先,选用轻量化EfficientnetV2卷积神经网络对原骨干网络进行重构,同时在网络中引入GAM注意力机制;其次,为平衡CIoU损失和Io... 针对传统路端车辆目标检测算法参数多、检测速度较慢等问题,提出了基于YOLOv5的车辆目标检测算法轻量化改进。首先,选用轻量化EfficientnetV2卷积神经网络对原骨干网络进行重构,同时在网络中引入GAM注意力机制;其次,为平衡CIoU损失和IoU损失在损失函数中的权重,引入α-CIoU损失代替原有的CIoU损失;最后,使用soft-NMS算法替换原有的NMS非极大值抑制算法。结果表明:相比原算法,改进后算法的精度提升了2.51%,检测速度提升了8.6%,模型大小降低了31.7%;改进后的模型在提升检测速度的同时,还提高了路端车辆目标的检测性能。 展开更多

关键词 车辆目标检测 深度学习 YOLOv5算法 网络轻量化

下载PDF 职称材料

基于卷积神经网络的轻量型裂缝分割方法

9

作者 税宇航 张华 +2 位作者 陈波 熊劲松 符美琦 《水力发电学报》 CSCD 北大核心 2023年第8期110-120,共11页

针对通用分割模型作用在坝面混凝土表观裂缝时出现网络深度不断增加,导致模型参数过大,有效裂缝特征丢失,提出一种基于卷积神经网络的轻量型裂缝分割方法,以减小网络内存占用和特征丢失问题。网络采用编码-解码结构,利用深度可分离卷积... 针对通用分割模型作用在坝面混凝土表观裂缝时出现网络深度不断增加,导致模型参数过大,有效裂缝特征丢失,提出一种基于卷积神经网络的轻量型裂缝分割方法,以减小网络内存占用和特征丢失问题。网络采用编码-解码结构,利用深度可分离卷积和轻量特征提取模块构建级联编码器,解码器则融合编码器第二阶段的跨尺度信息,重构特征提取中丢失的像素级几何信息,以提高网络分割精度。试验结果表明:网络在自制坝面混凝土裂缝数据集上训练得到的模型大小为10.8 MB,相较于U-Net减小了90.8%,验证集测试下交并比为73.30%,像素精准率为85.36%,数据结果验证了网络在坝面裂缝分割方面的可行性,为提高坝面检测效率及坝面结构后期维护提供有力支撑。 展开更多

关键词 深度学习 卷积神经网络 裂缝分割 网络轻量化 深度可分离卷积

下载PDF 职称材料

基于优化ResNet的输电线路航拍图像分类方法 被引量：4

10

作者 李弘宸 杨忠 +3 位作者 姜遇红 韩家明 赖尚祥 张秋雁 《应用科技》 CAS 2021年第2期64-68,共5页

图像分类算法常被搭载在无人机系统中,以剔除无人机巡线过程中采集到的大量无用数据。针对这一问题,本文在分析了无用图像及有用图像特征的基础上,提出了一种基于卷积神经网络的输电线路智能图像筛选方法。收集无人机巡检捕捉到的航拍图... 图像分类算法常被搭载在无人机系统中,以剔除无人机巡线过程中采集到的大量无用数据。针对这一问题,本文在分析了无用图像及有用图像特征的基础上,提出了一种基于卷积神经网络的输电线路智能图像筛选方法。收集无人机巡检捕捉到的航拍图像,并以此为基础建立了一个输电线路航拍数据集,基于ResNet优化并利用航拍图像数据集训练该网络,经过多次迭代训练保留最优权重,通过加载最优权重的神经网络对测试样本进行分类,精确度达到99.00%。 展开更多

关键词 无人机巡线 输电线路 深度学习 图像分类 卷积神经网络 ResNet 分组卷积 网络轻量化

下载PDF 职称材料

基于多分支上下文融合的空对地目标检测算法

11

作者 何明 朱梓涵 +2 位作者 翟绪龙 翟政 郝程鹏 《现代防御技术》 北大核心 2023年第3期91-98,共8页

无人机的智能应用是当下研究的热点,为实现高效实时的无人机对地目标检测,提出了一种应用于边缘设备的轻量级空对地目标检测算法MBCF-YOLO。引入深度可分离卷积,优化原有的骨干网络。在颈部网络中添加嵌入循环注意力机制的小目标检测分... 无人机的智能应用是当下研究的热点,为实现高效实时的无人机对地目标检测,提出了一种应用于边缘设备的轻量级空对地目标检测算法MBCF-YOLO。引入深度可分离卷积,优化原有的骨干网络。在颈部网络中添加嵌入循环注意力机制的小目标检测分支,提高对小微目标的检测精度和特征融合的能力。将焦点损失函数与损失秩挖掘结合,改进原有的损失函数,以改善空对地数据集的数据失衡问题。对该算法模型进行了多组对照实验以及实机应用,结果表明,与当前其他算法相比,MBCF-YOLO算法在VisDrone2021数据集上的准确性和延迟之间实现了更好的平衡。 展开更多

关键词 空对地目标检测 网络轻量化 循环注意力机制 小目标检测 特征融合

下载PDF 职称材料

一种嵌入式轻量化卷积神经网络计算加速方法

12

作者 谢媛媛 刘一睿 +2 位作者 陈迟晓 康晓洋 张立华 《小型微型计算机系统》 CSCD 北大核心 2023年第7期1345-1351,共7页

针对传统ARM处理器算力低、不适用于实时性需求比较高的应用场景的问题,本文提出了一种基于ARM处理器的单指令多数据(Single Instruction Multiple Data,SIMD)指令集的轻量化卷积神经网络计算加速方法,并将该方法用于处理脑电信号(Elect... 针对传统ARM处理器算力低、不适用于实时性需求比较高的应用场景的问题,本文提出了一种基于ARM处理器的单指令多数据(Single Instruction Multiple Data,SIMD)指令集的轻量化卷积神经网络计算加速方法,并将该方法用于处理脑电信号(Electroencephalogram,EEG)来进行手术过程中麻醉深度监测.通过可学习步长量化的方法得到轻量化卷积神经网络,减少浮点数的运算量,极大地提高了网络速度.采用基于ARM处理器SIMD指令集的卷积加速器,各卷积层分别可加速几十倍、几百倍,甚至一万多倍.在Ultra 96-V2开发板上用ARM处理器实现整个网络的运算,在昆士兰大学生命体征公开数据集上的测试结果表明,仅需39.64ms就可以处理时间跨度为1s的EEG单通道信号,速度提高到原来的10.5倍,且功耗仅为0.1J,在提升速度的同时基本保持网络预测的准确率,能够很好地预测出麻醉深度. 展开更多

关键词 网络轻量化 可学习步长量化 单指令多数据 数据流架构 脑电信号

下载PDF 职称材料

高效移动端煤矸识别方法

13

作者 张勇 郭永存 +2 位作者 陈伟 王爽 程刚 《中国粉体技术》 CAS CSCD 2023年第1期61-70,共10页

针对传统轻量型卷积神经网络模型复杂度高,移动端识别速度慢,小样本数据集上训练、识别效果差的等问题,提出一种高效的改进后的移动端煤矸识别方法;分析卷积神经网络模型轻量化的方法,并从注意力机制、激活函数和分类头3个方面对MobileN... 针对传统轻量型卷积神经网络模型复杂度高,移动端识别速度慢,小样本数据集上训练、识别效果差的等问题,提出一种高效的改进后的移动端煤矸识别方法;分析卷积神经网络模型轻量化的方法,并从注意力机制、激活函数和分类头3个方面对MobileNetv3网络进行改进,通过模型量化压缩网络在移动端部署模型,分析改进网络量化前、后的空间存储容量,浮点运算次数,推理时间和识别准确率;在移动端煤矸识别实验装置中训练、部署和测试模型的识别效果。结果表明:改进后网络经过20次的训练后模型即收敛,收敛速度较快,训练和验证准确率均大于99%;改进后模型经量化压缩后模型存储容量较小,仅为原网络的24.64%,模型复杂度大幅度下降;移动端推理时间仅为77 ms,识别准确率达到99.7%;利用实验装置实时采集的煤和矸石图像的识别效果较好,识别方法可靠。 展开更多

关键词 煤矸识别 网络轻量化 模型压缩 注意力机制 小样本数据集 移动端

下载PDF 职称材料

基于嵌入式平台的航拍目标智能识别 被引量：2

14

作者 田祥瑞 贾茚钧 +2 位作者 罗欣 尹婕 徐鹏 《计算机测量与控制》 2022年第11期153-160,共8页

基于多旋翼无人机实现目标识别具有成本低、灵活性高的优点,能够对近地低空目标进行高强度监测,在国防军事领域和民用领域具有巨大的应用前景;但无人机机载计算机常使用功耗小、重量轻、可靠性高的嵌入式设备,该类设备算力有限,难以实... 基于多旋翼无人机实现目标识别具有成本低、灵活性高的优点,能够对近地低空目标进行高强度监测,在国防军事领域和民用领域具有巨大的应用前景;但无人机机载计算机常使用功耗小、重量轻、可靠性高的嵌入式设备,该类设备算力有限,难以实时运行现有深度学习目标识别算法,因此研究深度学习航拍小目标识别技术在嵌入式设备中实时运行有重要意义;基于YOLOv4设计了适用于无人机俯视小目标的轻量化网络,并基于BN层γ系数对网络进行剪枝,采用了TensorRT对算法进行硬件加速;同时,制作了小型军用目标数据集,基于该数据集,在机载嵌入式运算平台上对原始YOLOv4算法和改进的算法分别进行了测试,改进算法与原YOLOv4相比,准确率提升了2.3%,速度提升了3.3倍。 展开更多

关键词 目标识别 YOLOv4 深度学习 无人机 网络轻量化

下载PDF 职称材料

空中加油场景下的目标联合检测跟踪算法 被引量：1

15

作者 张怡 孙永荣 +2 位作者 赵科东 李华 曾庆化 《计算机应用》 CSCD 北大核心 2022年第9期2893-2899,共7页

针对自主空中加油对接阶段的目标跟踪问题,提出一种空中加油场景下的目标联合检测跟踪算法。该算法采用检测跟踪一体化的CenterTrack网络实现对锥套的追踪,而针对计算量较大、训练耗时过长的问题,分别从模型设计与网络优化两方面改善该... 针对自主空中加油对接阶段的目标跟踪问题,提出一种空中加油场景下的目标联合检测跟踪算法。该算法采用检测跟踪一体化的CenterTrack网络实现对锥套的追踪,而针对计算量较大、训练耗时过长的问题,分别从模型设计与网络优化两方面改善该网络。首先,在跟踪器中引入膨胀卷积组,以在不改变感受野大小的前提下使得网络轻量化;同时,将输出部分的卷积层替换为深度可分离卷积层,从而减少网络的参数量与计算量;然后,对网络进行进一步的优化,即将随机梯度下降(SGD)法与Adam算法相结合,使网络更快收敛至稳定状态;最后,利用真实的空中加油场景视频与地面模拟视频制作相应格式的数据集,并将其用于实验验证。分别在自制的锥套数据集和MOT17公共数据集上进行了训练与测试,证实了提出算法的有效性。相较于原CenterTrack网络,改进的网络Tiny-CenterTrack减少了约48.6%的训练时长,并在实时性方面提升了8.8%。实验结果表明,改进后的网络在不损失网络性能的前提下可有效节省计算资源并在一定程度上提升实时性。 展开更多

关键词 空中加油 检测跟踪一体化 网络轻量化 膨胀卷积 深度可分离卷积 网络优化

下载PDF 职称材料

深度估计网络的可学习步长轻量化研究 被引量：1

16

作者 胡坤 陈迟晓 +1 位作者 李伟 甘中学 《小型微型计算机系统》 CSCD 北大核心 2022年第1期50-55,共6页

目前大量被提出的关于单目视觉深度估计网络研究中其网络结构庞大臃肿,在实际部署中会存在占用大、延迟高的问题.针对以上问题,本文提出了基于可学习步长的量化策略的轻量化深度估计网络.该网络采取特征金字塔(FPN)的网络结构对图片不... 目前大量被提出的关于单目视觉深度估计网络研究中其网络结构庞大臃肿,在实际部署中会存在占用大、延迟高的问题.针对以上问题,本文提出了基于可学习步长的量化策略的轻量化深度估计网络.该网络采取特征金字塔(FPN)的网络结构对图片不同尺度的特征信息进行提取.并结合内存优化,对网络的特征提取部分采用深度可分离卷积,使得网络相对于ResNet参数总量下降1/3.同时文中对特征解码器进行设计,网络计算中跳跃连接传递的参数量对比ResNet下降了68.61%.本文的轻量化深度估计网络参数位宽由32比特降至3比特.实验结果表明,轻量化后的深度估计网络的网络参数大小下降90.59%,在KITTI数据集上绝对相对误差为16.0%,最终轻量化的网络大小从34.12MB下降到了3.21MB. 展开更多

关键词 网络轻量化 可学习步长量化 深度估计 深度可分离卷积

下载PDF 职称材料

基于改进SqueezeNet模型的多品种茶树叶片分类方法 被引量：6

17

作者 孙道宗 丁郑 +3 位作者 刘锦源 刘欢 谢家兴 王卫星 《农业机械学报》 EI CAS CSCD 北大核心 2023年第2期223-230,248,共9页

为实现茶树叶片种类的准确、无损、快速分类,以复杂背景下6个品种的茶树叶片图像作为研究对象,通过卷积神经网络实现茶树叶片品种分类。选择经典轻量级卷积神经网络SqueezeNet,通过在Fire模块中增加批归一化处理,实现网络参数不显著增... 为实现茶树叶片种类的准确、无损、快速分类,以复杂背景下6个品种的茶树叶片图像作为研究对象,通过卷积神经网络实现茶树叶片品种分类。选择经典轻量级卷积神经网络SqueezeNet,通过在Fire模块中增加批归一化处理,实现网络参数不显著增加的前提下大幅提升网络对多品种茶树叶片分类的准确率;通过将Fire模块中的3×3标准卷积核替换为深度可分离卷积,进一步缩小网络模型,降低网络对硬件资源的要求;通过在每个Fire模块中引入注意力机制,增强网络对重要特征信息的提取能力,提升模型分类性能。试验结果表明,原始SqueezeNet模型对多品种茶树叶片分类准确率为82.8%,增加批归一化处理后模型在测试集的准确率达到86.0%,参数量只有7.31×10^(5),相对于改进前参数量仅增加0.8%,运算量与改进前基本相同;将Fire模块中的3×3标准卷积核替换成深度可分离卷积后的模型在测试集的准确率为86.8%,准确率提高0.8个百分点,参数量下降至2.46×10^(5),模型参数量减小66.3%,运算量下降60.4%;引入注意力机制后的模型测试集分类准确率达到90.5%,提升3.7个百分点,而参数量仅增加1.23×10^(5),运算量仅增加2×10^(6)。进一步将改进后的模型与经典模型AlexNet、ResNet18以及轻量级网络MobilenetV3_Small、ShuffleNetv2对比,结果表明对多品种茶树叶片的分类中,改进模型的综合表现最优。 展开更多

关键词 茶树叶片分类 SqueezeNet 卷积神经网络轻量化 注意力机制 深度可分离卷积

下载PDF 职称材料

深度神经网络架构轻量化方法综述

18

作者 林冲 范加利 +2 位作者 闫文君 陈姮 杨颖 《中国电子科学研究院学报》 2024年第2期179-193,共15页

当前,深度神经网络作为学术界和工业界最受关注的研究方向之一,倍受广大科研人员青睐,但是存在架构很复杂、参数量巨大、计算成本、存储成本过高的缺点。因此,如何在保证神经网络性能可接受的情况下对其去冗余、实现轻量化设计成为热点... 当前,深度神经网络作为学术界和工业界最受关注的研究方向之一,倍受广大科研人员青睐,但是存在架构很复杂、参数量巨大、计算成本、存储成本过高的缺点。因此,如何在保证神经网络性能可接受的情况下对其去冗余、实现轻量化设计成为热点问题。当前,各种轻量化方法如雨后春笋般涌现,为给希望利用轻量化神经网络解决具体问题的研究人员建立对网络轻量化方法的整体认识、快速选择合适的解决方案,文中对具有代表性的架构轻量化方法进行介绍:剪枝、架构搜索、知识蒸馏以及轻量化卷积核设计,并从不同角度对比分析各种方法优劣,最后在宏观层面展望神经网络轻量化的未来发展方向。 展开更多

关键词 深度神经网络 深度神经网络轻量化 神经网络架构轻量化 轻量化网络

下载PDF 职称材料

能耗优化的神经网络轻量化方法研究进展 被引量：3

19

作者 郭朝鹏 王馨昕 +1 位作者 仲昭晋 宋杰 《计算机学报》 EI CAS CSCD 北大核心 2023年第1期85-102,共18页

近年来,神经网络在语音识别、计算机视觉、自然语言处理等领域都取得了良好的进展.大量的神经网络被部署于诸如手机、摄像头等依赖电池或太阳能供电的小型设备.但神经网络参数量大计算复杂,需占用大量计算资源并消耗电能,从而限制了其... 近年来,神经网络在语音识别、计算机视觉、自然语言处理等领域都取得了良好的进展.大量的神经网络被部署于诸如手机、摄像头等依赖电池或太阳能供电的小型设备.但神经网络参数量大计算复杂,需占用大量计算资源并消耗电能,从而限制了其在资源受限平台上的应用.学术界和工业界逐渐关注于神经网络的高能耗问题.神经网络轻量化方法可以有效地减少参数数量、降低参数精度或优化计算过程从而降低神经网络能耗.本文从能耗优化的角度梳理了神经网络能耗估算方法和神经网络轻量化方法的基本思路,综述了近年来该领域主要研究成果,并提出了能耗估算和能耗优化的神经网络轻量化方法存在的挑战及进一步研究的方向.其中神经网络能耗估算方法包括测量法、分析法和估算法.能耗优化的神经网络轻量化方法包括剪枝、量化、张量分解和知识蒸馏.对于进一步研究方向我们认为,首先需要建立可自适应网络类型的能耗模型;然后需要考虑平衡精度和能耗的轻量化方法.其次需要实现硬件平台可泛化的轻量化方法;最后开发搜索空间可约束的轻量化方法. 展开更多

关键词 神经网络 能耗估计 能耗优化 神经网络轻量化

下载PDF 职称材料

深度神经网络参数轻量化方法综述

20

作者 林冲 闫文君 +2 位作者 纪纲 于斌 王莹 《中国电子科学研究院学报》 2024年第4期350-363,379,共15页

近年来,深度神经网络在各种具有挑战性的任务上取得了巨大的成功,不断刷新人们对人工智能的认识。但是,深度神经网络模型的参数量巨大、计算成本、存储成本过高,难以部署到资源受限的边缘计算设备中。因此,人们开始从网络的架构和参数... 近年来,深度神经网络在各种具有挑战性的任务上取得了巨大的成功,不断刷新人们对人工智能的认识。但是,深度神经网络模型的参数量巨大、计算成本、存储成本过高,难以部署到资源受限的边缘计算设备中。因此,人们开始从网络的架构和参数量两个角度尝试对网络进行轻量化设计,同时保证神经网络性能可接受。本文从网络参数轻量化的角度出发,首先简要回顾深度神经网络发展历史和工作原理;其次,介绍当前主流的3类参数轻量化方法:参数量化、张量分解以及参数共享;然后,从思想描述、适用层级、训练方式等维度对比分析方法优劣;最后,对神经网络轻量化的未来发展方向进行展望。 展开更多

关键词 深度神经网络 人工智能 边缘计算设备 神经网络参数轻量化

下载PDF 职称材料