期刊导航
期刊开放获取
cqvip
退出
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1,903
篇文章
<
1
2
…
96
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式:
文摘
详细
列表
相关度排序
被引量排序
时效性排序
深度学习研究进展
被引量:
292
1
作者
刘建伟
刘媛
罗雄麟
《计算机应用研究》
CSCD
北大核心
2014年第7期1921-1930,1942,共11页
鉴于深度学习的重要性,综述了深度学习的研究进展。首先概述了深度学习具有的优点,由此说明了引入深度学习的必要性;然后描述了三种典型的深度学习模型,包括卷积神经网络模型、深度信任网络模型和堆栈自编码网络模型,并对近几年深度学...
鉴于深度学习的重要性,综述了深度学习的研究进展。首先概述了深度学习具有的优点,由此说明了引入深度学习的必要性;然后描述了三种典型的深度学习模型,包括卷积神经网络模型、深度信任网络模型和堆栈自编码网络模型,并对近几年深度学习在初始化方法、网络层数和激活函数的选择、模型结构、学习算法和实际应用这四个方面的研究新进展进行了综述;最后探讨了深度学习在理论分析、数据表示与模型、特征提取、训练与优化求解和研究拓展这五个方面中有待进一步研究解决的问题。
展开更多
关键词
深度学习
神经网络
模型
表示
堆栈
预训练
下载PDF
职称材料
文本情感分析方法研究综述
被引量:
116
2
作者
王婷
杨文忠
《计算机工程与应用》
CSCD
北大核心
2021年第12期11-24,共14页
文本情感分析是自然语言处理领域的一个重要分支,广泛应用于舆情分析和内容推荐等方面,是近年来的研究热点。根据使用的不同方法,将其划分为基于情感词典的情感分析方法、基于传统机器学习的情感分析方法、基于深度学习的情感分析方法...
文本情感分析是自然语言处理领域的一个重要分支,广泛应用于舆情分析和内容推荐等方面,是近年来的研究热点。根据使用的不同方法,将其划分为基于情感词典的情感分析方法、基于传统机器学习的情感分析方法、基于深度学习的情感分析方法。通过对这三种方法进行对比,分析其研究成果,并对不同方法的优缺点进行归纳总结,介绍相关数据集和评价指标及应用场景,对情感分析子任务进行简单概括,发现将来的情感分析问题的研究趋势及应用领域,并为研究者在相关领域方面提供一定的帮助和指导。
展开更多
关键词
情感分析
情感词典
机器学习
深度学习
注意力机制
预训练
下载PDF
职称材料
面向自然语言处理的预训练技术研究综述
被引量:
110
3
作者
李舟军
范宇
吴贤杰
《计算机科学》
CSCD
北大核心
2020年第3期162-173,共12页
近年来,随着深度学习的快速发展,面向自然语言处理领域的预训练技术获得了长足的进步。早期的自然语言处理领域长期使用Word2Vec等词向量方法对文本进行编码,这些词向量方法也可看作静态的预训练技术。然而,这种上下文无关的文本表示给...
近年来,随着深度学习的快速发展,面向自然语言处理领域的预训练技术获得了长足的进步。早期的自然语言处理领域长期使用Word2Vec等词向量方法对文本进行编码,这些词向量方法也可看作静态的预训练技术。然而,这种上下文无关的文本表示给其后的自然语言处理任务带来的提升非常有限,并且无法解决一词多义问题。ELMo提出了一种上下文相关的文本表示方法,可有效处理多义词问题。其后,GPT和BERT等预训练语言模型相继被提出,其中BERT模型在多个典型下游任务上有了显著的效果提升,极大地推动了自然语言处理领域的技术发展,自此便进入了动态预训练技术的时代。此后,基于BERT的改进模型、XLNet等大量预训练语言模型不断涌现,预训练技术已成为自然语言处理领域不可或缺的主流技术。文中首先概述预训练技术及其发展历史,并详细介绍自然语言处理领域的经典预训练技术,包括早期的静态预训练技术和经典的动态预训练技术;然后简要梳理一系列新式的有启发意义的预训练技术,包括基于BERT的改进模型和XLNet;在此基础上,分析目前预训练技术研究所面临的问题;最后对预训练技术的未来发展趋势进行展望。
展开更多
关键词
自然语言处理
预训练
词向量
语言模型
下载PDF
职称材料
自然语言处理预训练模型的研究综述
被引量:
49
4
作者
余同瑞
金冉
+2 位作者
韩晓臻
李家辉
郁婷
《计算机工程与应用》
CSCD
北大核心
2020年第23期12-22,共11页
近年来,深度学习技术被广泛应用于各个领域,基于深度学习的预处理模型将自然语言处理带入一个新时代。预训练模型的目标是如何使预训练好的模型处于良好的初始状态,在下游任务中达到更好的性能表现。对预训练技术及其发展历史进行介绍,...
近年来,深度学习技术被广泛应用于各个领域,基于深度学习的预处理模型将自然语言处理带入一个新时代。预训练模型的目标是如何使预训练好的模型处于良好的初始状态,在下游任务中达到更好的性能表现。对预训练技术及其发展历史进行介绍,并按照模型特点划分为基于概率统计的传统模型和基于深度学习的新式模型进行综述;简要分析传统预训练模型的特点及局限性,重点介绍基于深度学习的预训练模型,并针对它们在下游任务的表现进行对比评估;梳理出具有启发意义的新式预训练模型,简述这些模型的改进机制以及在下游任务中取得的性能提升;总结目前预训练的模型所面临的问题,并对后续发展趋势进行展望。
展开更多
关键词
深度学习
自然语言处理
预处理
词向量
语言模型
下载PDF
职称材料
基于深度学习的语言模型研究进展
被引量:
48
5
作者
王乃钰
叶育鑫
+3 位作者
刘露
凤丽洲
包铁
彭涛
《软件学报》
EI
CSCD
北大核心
2021年第4期1082-1115,共34页
语言模型旨在对语言的内隐知识进行表示,作为自然语言处理的基本问题,一直广受关注.基于深度学习的语言模型是目前自然语言处理领域的研究热点,通过预训练-微调技术展现了内在强大的表示能力,并能够大幅提升下游任务性能.围绕语言模型...
语言模型旨在对语言的内隐知识进行表示,作为自然语言处理的基本问题,一直广受关注.基于深度学习的语言模型是目前自然语言处理领域的研究热点,通过预训练-微调技术展现了内在强大的表示能力,并能够大幅提升下游任务性能.围绕语言模型基本原理和不同应用方向,以神经概率语言模型与预训练语言模型作为深度学习与自然语言处理结合的切入点,从语言模型的基本概念和理论出发,介绍了神经概率与预训练模型的应用情况和当前面临的挑战,对现有神经概率、预训练语言模型及方法进行了对比和分析.同时又从新型训练任务和改进网络结构两方面对预训练语言模型训练方法进行了详细阐述,并对目前预训练模型在规模压缩、知识融合、多模态和跨语言等研究方向进行了概述和评价.最后总结了语言模型在当前自然语言处理应用中的瓶颈,对未来可能的研究重点做出展望.
展开更多
关键词
语言模型
预训练
深度学习
自然语言处理
神经语言模型
下载PDF
职称材料
基于语言模型的预训练技术研究综述
被引量:
47
6
作者
岳增营
叶霞
刘睿珩
《中文信息学报》
CSCD
北大核心
2021年第9期15-29,共15页
预训练技术当前在自然语言处理领域占有举足轻重的位置。尤其近两年提出的ELMo、GTP、BERT、XLNet、T5、GTP-3等预训练模型的成功,进一步将预训练技术推向了研究高潮。该文从语言模型、特征抽取器、上下文表征、词表征四个方面对现存的...
预训练技术当前在自然语言处理领域占有举足轻重的位置。尤其近两年提出的ELMo、GTP、BERT、XLNet、T5、GTP-3等预训练模型的成功,进一步将预训练技术推向了研究高潮。该文从语言模型、特征抽取器、上下文表征、词表征四个方面对现存的主要预训练技术进行了分析和分类,并分析了当前自然语言处理中的预训练技术面临的主要问题和发展趋势。
展开更多
关键词
自然语言处理
预训练
语言模型
下载PDF
职称材料
BERT模型的主要优化改进方法研究综述
被引量:
37
7
作者
刘欢
张智雄
王宇飞
《数据分析与知识发现》
CSSCI
CSCD
北大核心
2021年第1期3-15,共13页
【目的】对谷歌发布的BERT语言表示模型的主要优化改进方法进行梳理,为后续基于BERT的相关研究开发提供借鉴。【文献范围】自BERT发布以来,到目前与BERT模型优化改进相关的41篇主要文献及相关模型。【方法】根据模型优化改进的技术路线...
【目的】对谷歌发布的BERT语言表示模型的主要优化改进方法进行梳理,为后续基于BERT的相关研究开发提供借鉴。【文献范围】自BERT发布以来,到目前与BERT模型优化改进相关的41篇主要文献及相关模型。【方法】根据模型优化改进的技术路线,从改进预训练目标、融合外部知识库、改进Transformer结构和预训练模型压缩4个方面,分别阐述优化改进的方式及产生的效果。【结果】预训练目标优化和Transformer结构改进最早受到研究者关注,并且成为BERT模型优化改进的主要方式,随后预训练模型压缩及外部知识库的融合也成为新的发展方向。【局限】BERT模型相关研究发展迅速,可能未覆盖一些相关研究工作。【结论】研究者可重点关注预训练目标优化和Transformer结构改进方面的研究,同时考虑根据不同应用场景选择模型优化方向。
展开更多
关键词
BERT模型
预训练
知识融合
模型压缩
原文传递
基于深度学习的人体动作识别综述
被引量:
34
8
作者
钱慧芳
易剑平
付云虎
《计算机科学与探索》
CSCD
北大核心
2021年第3期438-455,共18页
人体动作识别是视频理解领域的重要课题之一,在视频监控、人机交互、运动分析、视频信息检索等方面有着广泛的应用。根据骨干网络的特点,从2D卷积神经网络、3D卷积神经网络、时空分解网络三个角度介绍了动作识别领域的最新研究成果,并...
人体动作识别是视频理解领域的重要课题之一,在视频监控、人机交互、运动分析、视频信息检索等方面有着广泛的应用。根据骨干网络的特点,从2D卷积神经网络、3D卷积神经网络、时空分解网络三个角度介绍了动作识别领域的最新研究成果,并对三类方法的优缺点进行了定性的分析和比较。然后,从场景相关和时间相关两方面,全面归纳了常用的动作视频数据集,并着重探讨了不同数据集的特点及用法。随后,介绍了动作识别任务中常见的预训练策略,并着重分析了预训练技术对动作识别模型性能的影响。最后,从最新的研究动态出发,从细粒度动作识别、更精简的模型、小样本学习、无监督学习、自适应网络和视频超分辨动作识别六个角度一致探讨了动作识别未来发展的方向。
展开更多
关键词
人体动作识别
2D卷积神经网络(2D
CNN)
3D卷积神经网络(3D
CNN)
时空分解网络
预训练
下载PDF
职称材料
卷积神经网络在验证码识别上的应用与研究
被引量:
27
9
作者
刘欢
邵蔚元
郭跃飞
《计算机工程与应用》
CSCD
北大核心
2016年第18期1-7,共7页
针对日前在互联网中被广泛使用的验证码,提出将卷积神经网络引入到验证码识别之中。通过设计新的卷积网络拓扑结构,针对可分割成语验证码提出基于k-means聚类的字符分割方法,以及仿真验证码图片自生成训练集,通过预训练过程使得卷积训...
针对日前在互联网中被广泛使用的验证码,提出将卷积神经网络引入到验证码识别之中。通过设计新的卷积网络拓扑结构,针对可分割成语验证码提出基于k-means聚类的字符分割方法,以及仿真验证码图片自生成训练集,通过预训练过程使得卷积训练网络具有良好初值,加速收敛并提高模型泛化能力;针对不可分割验证码,省去字符分割操作直接将验证码整体作为卷积模型输入,引入仿射变换、水漫填充等预处理和SVM算法二分类,或者结合多标记学习方法设计卷积拓扑等。最终实验研究证实卷积神经网络对于可分割及不可分割验证码的平均识别准确率均收敛于99%左右。
展开更多
关键词
卷积神经网络
验证码
模式识别
预训练
二值化
下载PDF
职称材料
面向配电网故障处置的知识图谱研究与应用
被引量:
26
10
作者
叶欣智
尚磊
+3 位作者
董旭柱
刘承锡
田野
方华亮
《电网技术》
EI
CSCD
北大核心
2022年第10期3739-3748,共10页
知识图谱将配电网现有大量半结构化/非结构化文本数据关联,提高配电网故障处置效率,但配电网多源异构文本数据难以用于深度学习模型训练且电力领域文本数据的标注成本较高。该文采用预训练方法构建深度学习模型对故障处置数据进行命名...
知识图谱将配电网现有大量半结构化/非结构化文本数据关联,提高配电网故障处置效率,但配电网多源异构文本数据难以用于深度学习模型训练且电力领域文本数据的标注成本较高。该文采用预训练方法构建深度学习模型对故障处置数据进行命名实体识别,利用知识图谱技术对数据进行知识存储和应用,辅助调控人员进行故障处置决策。首先,以配网设备台账数据、故障处置数据、调度规程数据及配网缺陷库数据为对象,提出配电网故障处置知识图谱的构建框架和方法;然后,针对配电网可用于深度学习训练的数据量不足的问题,采用预训练方法构建了实体识别模型,实现了配电网领域非结构化知识的抽取;接着,设计实验证明了该文所构建模型的有效性,模型的F1值达到86.3%,准确率达到95.16%;最后,利用Neo4j图数据库对知识图谱进行高度可视化管理,并给出配电网故障处置知识图谱的应用流程,有效提高配电网调控人员故障处置决策效率和处置效果。
展开更多
关键词
配电网
深度学习
故障处置
知识图谱
知识抽取
预训练
下载PDF
职称材料
护理实习生实习前规范化培训的方法及体会
被引量:
24
11
作者
徐敏
占小春
李惠
《护理管理杂志》
2009年第4期32-32,34,共2页
目的探讨护理实习生实习前规范化培训的方法。方法选择护理学院306名护理大专实习生,于实习前对其进行规范化培训2周,并进行考核。结果护生综合理论考核及操作技能考核成绩显著高于培训前(P<0.01)。结论实习前规范化培训可提高护理...
目的探讨护理实习生实习前规范化培训的方法。方法选择护理学院306名护理大专实习生,于实习前对其进行规范化培训2周,并进行考核。结果护生综合理论考核及操作技能考核成绩显著高于培训前(P<0.01)。结论实习前规范化培训可提高护理实习生的综合能力。
展开更多
关键词
护理实习生
实习前
规范化培训
下载PDF
职称材料
基于BERT-RCNN模型的微博谣言早期检测研究
被引量:
20
12
作者
李悦晨
钱玲飞
马静
《情报理论与实践》
CSSCI
北大核心
2021年第7期173-177,151,共6页
[目的/意义]为了解决传统谣言检测算法在实际应用中存在滞后性的问题,尝试在不使用评论和转发数据的基础上实现微博谣言早期检测。[方法/过程]针对传统谣言检测模型需要大量特征以及难以实现及时检测的问题,使用BERT模型对微博原文进行...
[目的/意义]为了解决传统谣言检测算法在实际应用中存在滞后性的问题,尝试在不使用评论和转发数据的基础上实现微博谣言早期检测。[方法/过程]针对传统谣言检测模型需要大量特征以及难以实现及时检测的问题,使用BERT模型对微博原文进行向量表示,然后将获取的语义特征输入到RCNN模型中进行谣言检测。[结果/结论]基于微博谣言数据集进行对比实验,实验结果显示基于BERT-RCNN的微博谣言早期检测模型的准确率为95.16%,F1指标为95.14%;该模型与其他主流的谣言检测模型相比,能在较短时间内完成对谣言的检测,证明了方法的有效性。[局限]文章提出的检测模型针对微博文本进行检测,BERT模型需要依赖谷歌发布的预训练模型。
展开更多
关键词
微博
谣言检测
BERT模型
预训练
深度学习
原文传递
基于灰度关联分析法的卷积神经网络算法优化
被引量:
19
13
作者
刘梦雅
毛剑琳
《电子科技》
2018年第6期84-88,95,共6页
针对传统卷积神经网络卷积核初始值以及隐藏特征图个数比较难确定的情况,提出了一种基于非监督预训练和灰度关联分析的卷积神经网络优化算法。通过稀疏自动编码器对输入图像进行无监督预训练,得到一组能够较好得反映原始输入图像特性的...
针对传统卷积神经网络卷积核初始值以及隐藏特征图个数比较难确定的情况,提出了一种基于非监督预训练和灰度关联分析的卷积神经网络优化算法。通过稀疏自动编码器对输入图像进行无监督预训练,得到一组能够较好得反映原始输入图像特性的滤波器初值集合;引入灰度关联分析法计算出特征图与对应的输出结果之间的关联度,设定阈值,去除关联性较小的特征图数据,使得系统可以自动选择对识别结果影响较大的隐藏特征图,从而对网络结构进行优化,提高系统的识别精度。仿真实验利用全球手写数字MNIST数据集进行训练和测试,实验结果表明,一次迭代情况下,相对于传统的卷积神经网络,优化后的算法识别率提高了约3%,验证了算法的有效性。
展开更多
关键词
卷积神经网络
稀疏自动编码器
预训练
灰度关联分析法
手写数字识别
下载PDF
职称材料
语言大模型的演进与启示
被引量:
16
14
作者
陶建华
聂帅
车飞虎
《中国科学基金》
CSSCI
CSCD
北大核心
2023年第5期767-775,共9页
2022年11月,OpenAI推出对话人工智能大模型ChatGPT,展现了令人惊艳的自然语言理解和生成能力,并具备了跨学科、多场景、多用途的通用性,在很多任务上的性能达到了人类专家的水平,引起了产业界和学术界的广泛关注。以ChatGPT为代表的大...
2022年11月,OpenAI推出对话人工智能大模型ChatGPT,展现了令人惊艳的自然语言理解和生成能力,并具备了跨学科、多场景、多用途的通用性,在很多任务上的性能达到了人类专家的水平,引起了产业界和学术界的广泛关注。以ChatGPT为代表的大模型技术实现了人工智能技术从“量变”到“质变”的跨越,有望发展成为人工智能关键基础设施赋能百业,加速推进国民经济的高质量发展。本文首先回顾了大模型技术的演进历程,从技术、应用、生态等多个角度阐述大模型技术引发的新一轮人工智能变革,并指出大模型技术可能带来的风险和挑战,最后给出了我国大模型发展的一些启示与展望。
展开更多
关键词
ChatGPT
大模型
预训练
指令微调
原文传递
北京市学前孤独症儿童家长培训需求调查
被引量:
16
15
作者
谷长芬
刘洋
《中国康复理论与实践》
CSCD
北大核心
2016年第3期265-269,共5页
目的了解北京市0~6岁孤独症儿童家长培训需求的现状及其影响因素。方法 2013年3~6月,采用问卷调查法对154名学龄前孤独症儿童家长进行问卷调查。结果北京市0~6岁孤独症儿童家长在各维度都呈现出高培训需求,其中对专业指导与专业合作需...
目的了解北京市0~6岁孤独症儿童家长培训需求的现状及其影响因素。方法 2013年3~6月,采用问卷调查法对154名学龄前孤独症儿童家长进行问卷调查。结果北京市0~6岁孤独症儿童家长在各维度都呈现出高培训需求,其中对专业指导与专业合作需求显著高于其他教育培训需求。家长的文化程度和儿童性别对家长培训的内容有显著影响。结论学前孤独症儿童家长培训需求迫切,尤其是在专业指导与专业合作方面的需求强烈。
展开更多
关键词
孤独症
儿童
学龄前
家长
培训
需求
家庭支持
下载PDF
职称材料
对跳远运动员赛前心理训练的研究
被引量:
14
16
作者
王方春
《安徽师范大学学报(自然科学版)》
CAS
2004年第2期228-230,共3页
本文根据赛前心理准备对赛时成绩的影响,着重研究跳远运动员赛前心理训练的方法、赛时良好心理状态的形成、心理应激类型.指出好的赛前心理训练设计有助于跳远运动员水平的提高.
关键词
跳远运动员
赛前心理训练
心理状态
心理应激类型
心理调整训练
心理品质训练
下载PDF
职称材料
大型语言模型:原理、实现与发展
被引量:
10
17
作者
舒文韬
李睿潇
+2 位作者
孙天祥
黄萱菁
邱锡鹏
《计算机研究与发展》
EI
CSCD
北大核心
2024年第2期351-361,共11页
近年来,大型语言模型的出现和发展对自然语言处理和人工智能领域产生了变革性影响.随着不断增大模型参数量和训练数据量,语言模型的文本建模困惑度以可预测的形式降低,在各类自然语言处理任务上的表现也持续提升.因此,增加语言模型的参...
近年来,大型语言模型的出现和发展对自然语言处理和人工智能领域产生了变革性影响.随着不断增大模型参数量和训练数据量,语言模型的文本建模困惑度以可预测的形式降低,在各类自然语言处理任务上的表现也持续提升.因此,增加语言模型的参数和数据规模成为提升系统智能水平富有前景的途径.首先回顾了大型语言模型的基本定义,从模型表现和算力需求的角度给出了“大型”语言模型的界定标准.其次,从数据、算法、模型3个维度梳理了大型语言模型的发展历程及规律,展示了不同阶段各个维度的规模化如何推动语言模型的发展.接着,考察了大型语言模型所表现出的涌现能力,介绍了思维链、情景学习和指令遵循等关键涌现能力的相关研究和应用现状.最后,展望了大型语言模型的未来发展和技术挑战.
展开更多
关键词
自然语言处理
神经网络
大型语言模型
预训练
对齐
下载PDF
职称材料
论高校学生干部管理的有效性
被引量:
13
18
作者
汤继承
《孝感学院学报》
2003年第4期94-96,共3页
高校学生干部是新时期高校学生思想政治工作中的一支重要力量,对促进高校教育事业的发展和精神文明建设起着十分重要的作用。如何保证学生干部管理的有效性,是推动高校学生工作不断向前迈进的重要课题。文章从学生干部的培养、使用和管...
高校学生干部是新时期高校学生思想政治工作中的一支重要力量,对促进高校教育事业的发展和精神文明建设起着十分重要的作用。如何保证学生干部管理的有效性,是推动高校学生工作不断向前迈进的重要课题。文章从学生干部的培养、使用和管理三个方面,阐述高校学生干部管理的有效性。
展开更多
关键词
高校
学生干部管理
有效性
思想政治工作
精神文明建设
干部培养
干部使用
学生工作
下载PDF
职称材料
视觉语言多模态预训练综述
被引量:
11
19
作者
张浩宇
王天保
+3 位作者
李孟择
赵洲
浦世亮
吴飞
《中国图象图形学报》
CSCD
北大核心
2022年第9期2652-2682,共31页
在多模态机器学习领域,为特定任务而制作的人工标注数据昂贵,且不同任务难以进行迁移,从而需要大量重新训练,导致训练多个任务时效率低下、资源浪费。预训练模型通过以自监督为代表的方式进行大规模数据训练,对数据集中不同模态的信息...
在多模态机器学习领域,为特定任务而制作的人工标注数据昂贵,且不同任务难以进行迁移,从而需要大量重新训练,导致训练多个任务时效率低下、资源浪费。预训练模型通过以自监督为代表的方式进行大规模数据训练,对数据集中不同模态的信息进行提取和融合,以学习其中蕴涵的通用知识表征,从而服务于广泛的相关下游视觉语言多模态任务,这一方法逐渐成为人工智能各领域的主流方法。依靠互联网所获取的大规模图文对与视频数据,以及以自监督学习为代表的预训练方法的进步,视觉语言多模态预训练模型在很大程度上打破了不同视觉语言任务之间的壁垒,提升了多个任务训练的效率并促进了具体任务的性能表现。本文总结视觉语言多模态预训练领域的进展,首先对常见的预训练数据集和预训练方法进行汇总,然后对目前最新方法以及经典方法进行系统概述,按输入来源分为图像—文本预训练模型和视频—文本多模态模型两大类,阐述了各方法之间的共性和差异,并将各模型在具体下游任务上的实验情况进行汇总。最后,总结了视觉语言预训练面临的挑战和未来发展趋势。
展开更多
关键词
多模态机器学习
视觉语言多模态
预训练
自监督学习
图像文本预训练
视频文本预训练
原文传递
上海男子蹦床队大赛前训练控制研究
被引量:
12
20
作者
高希彬
王秋灵
《北京体育大学学报》
CSSCI
北大核心
2006年第2期284-286,共3页
通过对上海男子蹦床队备战2004年全国蹦床锦标赛赛前训练过程的研究,以训练控制内容为切入点,研究蹦床高水平运动员大赛前目标、训练计划、训练课实施、训练负荷等内容的控制方法。
关键词
蹦床
赛前
训练控制
原文传递
题名
深度学习研究进展
被引量:
292
1
作者
刘建伟
刘媛
罗雄麟
机构
中国石油大学自动化研究所
出处
《计算机应用研究》
CSCD
北大核心
2014年第7期1921-1930,1942,共11页
基金
国家"973"计划资助项目(2012CB720500)
国家自然科学基金资助项目(21006127)
中国石油大学(北京)基础学科研究基金资助项目(JCXK-2011-07)
文摘
鉴于深度学习的重要性,综述了深度学习的研究进展。首先概述了深度学习具有的优点,由此说明了引入深度学习的必要性;然后描述了三种典型的深度学习模型,包括卷积神经网络模型、深度信任网络模型和堆栈自编码网络模型,并对近几年深度学习在初始化方法、网络层数和激活函数的选择、模型结构、学习算法和实际应用这四个方面的研究新进展进行了综述;最后探讨了深度学习在理论分析、数据表示与模型、特征提取、训练与优化求解和研究拓展这五个方面中有待进一步研究解决的问题。
关键词
深度学习
神经网络
模型
表示
堆栈
预训练
Keywords
deep
learning
neural
network
model
re
pre
sentation
stacking
pre
-
training
分类号
TP181 [自动化与计算机技术—控制理论与控制工程]
下载PDF
职称材料
题名
文本情感分析方法研究综述
被引量:
116
2
作者
王婷
杨文忠
机构
新疆大学软件学院软件工程技术重点实验室
新疆大学信息科学与工程学院
出处
《计算机工程与应用》
CSCD
北大核心
2021年第12期11-24,共14页
基金
国家重点研发计划(2017YFB0504203)。
文摘
文本情感分析是自然语言处理领域的一个重要分支,广泛应用于舆情分析和内容推荐等方面,是近年来的研究热点。根据使用的不同方法,将其划分为基于情感词典的情感分析方法、基于传统机器学习的情感分析方法、基于深度学习的情感分析方法。通过对这三种方法进行对比,分析其研究成果,并对不同方法的优缺点进行归纳总结,介绍相关数据集和评价指标及应用场景,对情感分析子任务进行简单概括,发现将来的情感分析问题的研究趋势及应用领域,并为研究者在相关领域方面提供一定的帮助和指导。
关键词
情感分析
情感词典
机器学习
深度学习
注意力机制
预训练
Keywords
sentiment
analysis
emotional
dictionary
machine
learning
deep
learning
attention
mechanism
pre
-
training
分类号
TP391.1 [自动化与计算机技术—计算机应用技术]
下载PDF
职称材料
题名
面向自然语言处理的预训练技术研究综述
被引量:
110
3
作者
李舟军
范宇
吴贤杰
机构
北京航空航天大学计算机学院
出处
《计算机科学》
CSCD
北大核心
2020年第3期162-173,共12页
基金
国家自然科学基金(U1636211,61672081)
软件开发环境国家重点实验室课题(SKLSDE-2019ZX-17)
北京成像理论与技术高精尖创新中心课题(BAICIT-2016001)~~
文摘
近年来,随着深度学习的快速发展,面向自然语言处理领域的预训练技术获得了长足的进步。早期的自然语言处理领域长期使用Word2Vec等词向量方法对文本进行编码,这些词向量方法也可看作静态的预训练技术。然而,这种上下文无关的文本表示给其后的自然语言处理任务带来的提升非常有限,并且无法解决一词多义问题。ELMo提出了一种上下文相关的文本表示方法,可有效处理多义词问题。其后,GPT和BERT等预训练语言模型相继被提出,其中BERT模型在多个典型下游任务上有了显著的效果提升,极大地推动了自然语言处理领域的技术发展,自此便进入了动态预训练技术的时代。此后,基于BERT的改进模型、XLNet等大量预训练语言模型不断涌现,预训练技术已成为自然语言处理领域不可或缺的主流技术。文中首先概述预训练技术及其发展历史,并详细介绍自然语言处理领域的经典预训练技术,包括早期的静态预训练技术和经典的动态预训练技术;然后简要梳理一系列新式的有启发意义的预训练技术,包括基于BERT的改进模型和XLNet;在此基础上,分析目前预训练技术研究所面临的问题;最后对预训练技术的未来发展趋势进行展望。
关键词
自然语言处理
预训练
词向量
语言模型
Keywords
Natural
language
processing
pre
-
training
Word
embedding
Language
model
分类号
TP391 [自动化与计算机技术—计算机应用技术]
下载PDF
职称材料
题名
自然语言处理预训练模型的研究综述
被引量:
49
4
作者
余同瑞
金冉
韩晓臻
李家辉
郁婷
机构
浙江万里学院大数据与软件工程学院
浙江大学计算机科学与技术学院
出处
《计算机工程与应用》
CSCD
北大核心
2020年第23期12-22,共11页
基金
国家自然科学基金(No.61472348,No.61672455)
教育部人文社科项目(No.17YJCZH076)
+3 种基金
浙江省基础公益研究计划项目(No.LGF18F020001)
浙江省教育厅一般科研项目(No.Y201942839,No.Y202045430)
宁波市自然科学基金(No.2018A610156,No.2018A610164)
国家级大学生创新创业训练计划项目(No.201910876027)。
文摘
近年来,深度学习技术被广泛应用于各个领域,基于深度学习的预处理模型将自然语言处理带入一个新时代。预训练模型的目标是如何使预训练好的模型处于良好的初始状态,在下游任务中达到更好的性能表现。对预训练技术及其发展历史进行介绍,并按照模型特点划分为基于概率统计的传统模型和基于深度学习的新式模型进行综述;简要分析传统预训练模型的特点及局限性,重点介绍基于深度学习的预训练模型,并针对它们在下游任务的表现进行对比评估;梳理出具有启发意义的新式预训练模型,简述这些模型的改进机制以及在下游任务中取得的性能提升;总结目前预训练的模型所面临的问题,并对后续发展趋势进行展望。
关键词
深度学习
自然语言处理
预处理
词向量
语言模型
Keywords
deep
learning
natural
language
processing
pre
-
training
word
embedding
language
model
分类号
TP391 [自动化与计算机技术—计算机应用技术]
下载PDF
职称材料
题名
基于深度学习的语言模型研究进展
被引量:
48
5
作者
王乃钰
叶育鑫
刘露
凤丽洲
包铁
彭涛
机构
吉林大学计算机科学与技术学院
吉林大学软件学院
符号计算与知识工程教育部重点实验室(吉林大学)
Department of Computer Science
出处
《软件学报》
EI
CSCD
北大核心
2021年第4期1082-1115,共34页
基金
国家自然科学基金(61872163,61806084)
吉林省教育厅项目(JJKH20190160KJ)。
文摘
语言模型旨在对语言的内隐知识进行表示,作为自然语言处理的基本问题,一直广受关注.基于深度学习的语言模型是目前自然语言处理领域的研究热点,通过预训练-微调技术展现了内在强大的表示能力,并能够大幅提升下游任务性能.围绕语言模型基本原理和不同应用方向,以神经概率语言模型与预训练语言模型作为深度学习与自然语言处理结合的切入点,从语言模型的基本概念和理论出发,介绍了神经概率与预训练模型的应用情况和当前面临的挑战,对现有神经概率、预训练语言模型及方法进行了对比和分析.同时又从新型训练任务和改进网络结构两方面对预训练语言模型训练方法进行了详细阐述,并对目前预训练模型在规模压缩、知识融合、多模态和跨语言等研究方向进行了概述和评价.最后总结了语言模型在当前自然语言处理应用中的瓶颈,对未来可能的研究重点做出展望.
关键词
语言模型
预训练
深度学习
自然语言处理
神经语言模型
Keywords
language
model
pre
-
training
deep
learning
natural
language
processing
neural
language
model
分类号
TP391 [自动化与计算机技术—计算机应用技术]
下载PDF
职称材料
题名
基于语言模型的预训练技术研究综述
被引量:
47
6
作者
岳增营
叶霞
刘睿珩
机构
火箭军工程大学作战保障学院
出处
《中文信息学报》
CSCD
北大核心
2021年第9期15-29,共15页
基金
国家自然科学基金青年基金(62006240)。
文摘
预训练技术当前在自然语言处理领域占有举足轻重的位置。尤其近两年提出的ELMo、GTP、BERT、XLNet、T5、GTP-3等预训练模型的成功,进一步将预训练技术推向了研究高潮。该文从语言模型、特征抽取器、上下文表征、词表征四个方面对现存的主要预训练技术进行了分析和分类,并分析了当前自然语言处理中的预训练技术面临的主要问题和发展趋势。
关键词
自然语言处理
预训练
语言模型
Keywords
natural
language
processing
pre
-
training
language
model
分类号
TP391.1 [自动化与计算机技术—计算机应用技术]
下载PDF
职称材料
题名
BERT模型的主要优化改进方法研究综述
被引量:
37
7
作者
刘欢
张智雄
王宇飞
机构
中国科学院文献情报中心
中国科学院大学经济与管理学院图书情报与档案管理系
科技大数据湖北省重点实验室
中国科学院武汉文献情报中心
出处
《数据分析与知识发现》
CSSCI
CSCD
北大核心
2021年第1期3-15,共13页
基金
中国科学院文献情报能力建设专项课题(项目编号:E0290906)的研究成果之一。
文摘
【目的】对谷歌发布的BERT语言表示模型的主要优化改进方法进行梳理,为后续基于BERT的相关研究开发提供借鉴。【文献范围】自BERT发布以来,到目前与BERT模型优化改进相关的41篇主要文献及相关模型。【方法】根据模型优化改进的技术路线,从改进预训练目标、融合外部知识库、改进Transformer结构和预训练模型压缩4个方面,分别阐述优化改进的方式及产生的效果。【结果】预训练目标优化和Transformer结构改进最早受到研究者关注,并且成为BERT模型优化改进的主要方式,随后预训练模型压缩及外部知识库的融合也成为新的发展方向。【局限】BERT模型相关研究发展迅速,可能未覆盖一些相关研究工作。【结论】研究者可重点关注预训练目标优化和Transformer结构改进方面的研究,同时考虑根据不同应用场景选择模型优化方向。
关键词
BERT模型
预训练
知识融合
模型压缩
Keywords
BERT
pre
-
training
Knowledge
Integration
Model
Com
pre
ssion
分类号
TP391 [自动化与计算机技术—计算机应用技术]
原文传递
题名
基于深度学习的人体动作识别综述
被引量:
34
8
作者
钱慧芳
易剑平
付云虎
机构
西安工程大学电子信息学院
出处
《计算机科学与探索》
CSCD
北大核心
2021年第3期438-455,共18页
基金
陕西省科技厅计划项目(2019GY-036)。
文摘
人体动作识别是视频理解领域的重要课题之一,在视频监控、人机交互、运动分析、视频信息检索等方面有着广泛的应用。根据骨干网络的特点,从2D卷积神经网络、3D卷积神经网络、时空分解网络三个角度介绍了动作识别领域的最新研究成果,并对三类方法的优缺点进行了定性的分析和比较。然后,从场景相关和时间相关两方面,全面归纳了常用的动作视频数据集,并着重探讨了不同数据集的特点及用法。随后,介绍了动作识别任务中常见的预训练策略,并着重分析了预训练技术对动作识别模型性能的影响。最后,从最新的研究动态出发,从细粒度动作识别、更精简的模型、小样本学习、无监督学习、自适应网络和视频超分辨动作识别六个角度一致探讨了动作识别未来发展的方向。
关键词
人体动作识别
2D卷积神经网络(2D
CNN)
3D卷积神经网络(3D
CNN)
时空分解网络
预训练
Keywords
human
action
recognition
2D
convolutional
neural
network(2D
CNN)
3D
convolutional
neural
network(3D
CNN)
spatiotemporal
decomposition
network
pre
-
training
分类号
TP391.4 [自动化与计算机技术—计算机应用技术]
下载PDF
职称材料
题名
卷积神经网络在验证码识别上的应用与研究
被引量:
27
9
作者
刘欢
邵蔚元
郭跃飞
机构
复旦大学计算机科学技术学院
上海市智能信息处理重点实验室(复旦大学)
出处
《计算机工程与应用》
CSCD
北大核心
2016年第18期1-7,共7页
基金
上海市科委科技创新行动计划(No.14511106900)
文摘
针对日前在互联网中被广泛使用的验证码,提出将卷积神经网络引入到验证码识别之中。通过设计新的卷积网络拓扑结构,针对可分割成语验证码提出基于k-means聚类的字符分割方法,以及仿真验证码图片自生成训练集,通过预训练过程使得卷积训练网络具有良好初值,加速收敛并提高模型泛化能力;针对不可分割验证码,省去字符分割操作直接将验证码整体作为卷积模型输入,引入仿射变换、水漫填充等预处理和SVM算法二分类,或者结合多标记学习方法设计卷积拓扑等。最终实验研究证实卷积神经网络对于可分割及不可分割验证码的平均识别准确率均收敛于99%左右。
关键词
卷积神经网络
验证码
模式识别
预训练
二值化
Keywords
convolutional
neural
networks
captcha
pattern
recognition
pre
-
training
binarization
分类号
TP39 [自动化与计算机技术—计算机应用技术]
下载PDF
职称材料
题名
面向配电网故障处置的知识图谱研究与应用
被引量:
26
10
作者
叶欣智
尚磊
董旭柱
刘承锡
田野
方华亮
机构
武汉大学电气与自动化学院
国网辽宁省电力有限公司电力科学研究院
出处
《电网技术》
EI
CSCD
北大核心
2022年第10期3739-3748,共10页
基金
国家电网有限公司总部管理科技项目(5400-202128154A-0-0-00,基于多源物联信息融合的供电可靠性业务提升技术研究与应用)。
文摘
知识图谱将配电网现有大量半结构化/非结构化文本数据关联,提高配电网故障处置效率,但配电网多源异构文本数据难以用于深度学习模型训练且电力领域文本数据的标注成本较高。该文采用预训练方法构建深度学习模型对故障处置数据进行命名实体识别,利用知识图谱技术对数据进行知识存储和应用,辅助调控人员进行故障处置决策。首先,以配网设备台账数据、故障处置数据、调度规程数据及配网缺陷库数据为对象,提出配电网故障处置知识图谱的构建框架和方法;然后,针对配电网可用于深度学习训练的数据量不足的问题,采用预训练方法构建了实体识别模型,实现了配电网领域非结构化知识的抽取;接着,设计实验证明了该文所构建模型的有效性,模型的F1值达到86.3%,准确率达到95.16%;最后,利用Neo4j图数据库对知识图谱进行高度可视化管理,并给出配电网故障处置知识图谱的应用流程,有效提高配电网调控人员故障处置决策效率和处置效果。
关键词
配电网
深度学习
故障处置
知识图谱
知识抽取
预训练
Keywords
distribution
network
deep
learning
fault
handling
knowledge
graph
knowledge
extraction
pre
-
training
分类号
TM721 [电气工程—电力系统及自动化]
下载PDF
职称材料
题名
护理实习生实习前规范化培训的方法及体会
被引量:
24
11
作者
徐敏
占小春
李惠
机构
新疆医科大学第二附属医院护理部
出处
《护理管理杂志》
2009年第4期32-32,34,共2页
文摘
目的探讨护理实习生实习前规范化培训的方法。方法选择护理学院306名护理大专实习生,于实习前对其进行规范化培训2周,并进行考核。结果护生综合理论考核及操作技能考核成绩显著高于培训前(P<0.01)。结论实习前规范化培训可提高护理实习生的综合能力。
关键词
护理实习生
实习前
规范化培训
Keywords
student
nurse
pre
-
internship
standardized
training
分类号
R47 [医药卫生—护理学]
下载PDF
职称材料
题名
基于BERT-RCNN模型的微博谣言早期检测研究
被引量:
20
12
作者
李悦晨
钱玲飞
马静
机构
南京航空航天大学经济与管理学院
出处
《情报理论与实践》
CSSCI
北大核心
2021年第7期173-177,151,共6页
基金
国家社会科学基金项目“大数据环境下学术成果真实价值与影响的实时预测及长期评价研究”(项目编号:19BTQ062)
研究生开放基金项目“基于BERT模型的短文本分类方法与应用研究”(项目编号:kfjj20200907)的成果。
文摘
[目的/意义]为了解决传统谣言检测算法在实际应用中存在滞后性的问题,尝试在不使用评论和转发数据的基础上实现微博谣言早期检测。[方法/过程]针对传统谣言检测模型需要大量特征以及难以实现及时检测的问题,使用BERT模型对微博原文进行向量表示,然后将获取的语义特征输入到RCNN模型中进行谣言检测。[结果/结论]基于微博谣言数据集进行对比实验,实验结果显示基于BERT-RCNN的微博谣言早期检测模型的准确率为95.16%,F1指标为95.14%;该模型与其他主流的谣言检测模型相比,能在较短时间内完成对谣言的检测,证明了方法的有效性。[局限]文章提出的检测模型针对微博文本进行检测,BERT模型需要依赖谷歌发布的预训练模型。
关键词
微博
谣言检测
BERT模型
预训练
深度学习
Keywords
micro
blog
rumor
detection
BERT
model
pre
-
training
deep
learning
分类号
TP391.1 [自动化与计算机技术—计算机应用技术]
G206 [自动化与计算机技术—计算机科学与技术]
原文传递
题名
基于灰度关联分析法的卷积神经网络算法优化
被引量:
19
13
作者
刘梦雅
毛剑琳
机构
昆明理工大学信息工程与自动化学院
出处
《电子科技》
2018年第6期84-88,95,共6页
基金
国家自然科学基金(61163051)
云南省教育厅科学研究基金(2015Y071)
文摘
针对传统卷积神经网络卷积核初始值以及隐藏特征图个数比较难确定的情况,提出了一种基于非监督预训练和灰度关联分析的卷积神经网络优化算法。通过稀疏自动编码器对输入图像进行无监督预训练,得到一组能够较好得反映原始输入图像特性的滤波器初值集合;引入灰度关联分析法计算出特征图与对应的输出结果之间的关联度,设定阈值,去除关联性较小的特征图数据,使得系统可以自动选择对识别结果影响较大的隐藏特征图,从而对网络结构进行优化,提高系统的识别精度。仿真实验利用全球手写数字MNIST数据集进行训练和测试,实验结果表明,一次迭代情况下,相对于传统的卷积神经网络,优化后的算法识别率提高了约3%,验证了算法的有效性。
关键词
卷积神经网络
稀疏自动编码器
预训练
灰度关联分析法
手写数字识别
Keywords
Convolutional
Neural
Network(CNN)
autoencoder
pre
-
training
grey
relational
analysis
handwritten
numeral
recognition
分类号
TP389.1 [自动化与计算机技术—计算机系统结构]
下载PDF
职称材料
题名
语言大模型的演进与启示
被引量:
16
14
作者
陶建华
聂帅
车飞虎
机构
清华大学自动化系
启元实验室
出处
《中国科学基金》
CSSCI
CSCD
北大核心
2023年第5期767-775,共9页
文摘
2022年11月,OpenAI推出对话人工智能大模型ChatGPT,展现了令人惊艳的自然语言理解和生成能力,并具备了跨学科、多场景、多用途的通用性,在很多任务上的性能达到了人类专家的水平,引起了产业界和学术界的广泛关注。以ChatGPT为代表的大模型技术实现了人工智能技术从“量变”到“质变”的跨越,有望发展成为人工智能关键基础设施赋能百业,加速推进国民经济的高质量发展。本文首先回顾了大模型技术的演进历程,从技术、应用、生态等多个角度阐述大模型技术引发的新一轮人工智能变革,并指出大模型技术可能带来的风险和挑战,最后给出了我国大模型发展的一些启示与展望。
关键词
ChatGPT
大模型
预训练
指令微调
Keywords
ChatGPT
large
models
pre
-
training
instruction
fine-tuning
分类号
TP18 [自动化与计算机技术—控制理论与控制工程]
TP391.1 [自动化与计算机技术—控制科学与工程]
原文传递
题名
北京市学前孤独症儿童家长培训需求调查
被引量:
16
15
作者
谷长芬
刘洋
机构
北京市残疾人康复服务指导中心
出处
《中国康复理论与实践》
CSCD
北大核心
2016年第3期265-269,共5页
文摘
目的了解北京市0~6岁孤独症儿童家长培训需求的现状及其影响因素。方法 2013年3~6月,采用问卷调查法对154名学龄前孤独症儿童家长进行问卷调查。结果北京市0~6岁孤独症儿童家长在各维度都呈现出高培训需求,其中对专业指导与专业合作需求显著高于其他教育培训需求。家长的文化程度和儿童性别对家长培训的内容有显著影响。结论学前孤独症儿童家长培训需求迫切,尤其是在专业指导与专业合作方面的需求强烈。
关键词
孤独症
儿童
学龄前
家长
培训
需求
家庭支持
Keywords
autism
children
pre
-school
parents
training
need
family
support
分类号
R749.93 [医药卫生—神经病学与精神病学]
下载PDF
职称材料
题名
对跳远运动员赛前心理训练的研究
被引量:
14
16
作者
王方春
机构
安徽师范大学体育学院
出处
《安徽师范大学学报(自然科学版)》
CAS
2004年第2期228-230,共3页
文摘
本文根据赛前心理准备对赛时成绩的影响,着重研究跳远运动员赛前心理训练的方法、赛时良好心理状态的形成、心理应激类型.指出好的赛前心理训练设计有助于跳远运动员水平的提高.
关键词
跳远运动员
赛前心理训练
心理状态
心理应激类型
心理调整训练
心理品质训练
Keywords
Long
jump
pre
-competition,psychological
training
分类号
G823.3 [文化科学—体育训练]
G804.86 [文化科学—体育学]
下载PDF
职称材料
题名
大型语言模型:原理、实现与发展
被引量:
10
17
作者
舒文韬
李睿潇
孙天祥
黄萱菁
邱锡鹏
机构
复旦大学计算机科学技术学院
出处
《计算机研究与发展》
EI
CSCD
北大核心
2024年第2期351-361,共11页
文摘
近年来,大型语言模型的出现和发展对自然语言处理和人工智能领域产生了变革性影响.随着不断增大模型参数量和训练数据量,语言模型的文本建模困惑度以可预测的形式降低,在各类自然语言处理任务上的表现也持续提升.因此,增加语言模型的参数和数据规模成为提升系统智能水平富有前景的途径.首先回顾了大型语言模型的基本定义,从模型表现和算力需求的角度给出了“大型”语言模型的界定标准.其次,从数据、算法、模型3个维度梳理了大型语言模型的发展历程及规律,展示了不同阶段各个维度的规模化如何推动语言模型的发展.接着,考察了大型语言模型所表现出的涌现能力,介绍了思维链、情景学习和指令遵循等关键涌现能力的相关研究和应用现状.最后,展望了大型语言模型的未来发展和技术挑战.
关键词
自然语言处理
神经网络
大型语言模型
预训练
对齐
Keywords
natural
language
processing
neural
networks
large
language
models
pre
-
training
alignment
分类号
TP391.1 [自动化与计算机技术—计算机应用技术]
下载PDF
职称材料
题名
论高校学生干部管理的有效性
被引量:
13
18
作者
汤继承
机构
孝感学院办公室
出处
《孝感学院学报》
2003年第4期94-96,共3页
文摘
高校学生干部是新时期高校学生思想政治工作中的一支重要力量,对促进高校教育事业的发展和精神文明建设起着十分重要的作用。如何保证学生干部管理的有效性,是推动高校学生工作不断向前迈进的重要课题。文章从学生干部的培养、使用和管理三个方面,阐述高校学生干部管理的有效性。
关键词
高校
学生干部管理
有效性
思想政治工作
精神文明建设
干部培养
干部使用
学生工作
Keywords
university
student
leader
pre
-
training
supervision
effectiveness
分类号
G647 [文化科学—高等教育学]
G645.5 [文化科学—教育学]
下载PDF
职称材料
题名
视觉语言多模态预训练综述
被引量:
11
19
作者
张浩宇
王天保
李孟择
赵洲
浦世亮
吴飞
机构
浙江大学计算机与科学技术学院
杭州海康威视数字技术股份有限公司
出处
《中国图象图形学报》
CSCD
北大核心
2022年第9期2652-2682,共31页
基金
国家重点研发计划资助(2020YFC0832500)
浙江省科技计划项目(2022C01044)。
文摘
在多模态机器学习领域,为特定任务而制作的人工标注数据昂贵,且不同任务难以进行迁移,从而需要大量重新训练,导致训练多个任务时效率低下、资源浪费。预训练模型通过以自监督为代表的方式进行大规模数据训练,对数据集中不同模态的信息进行提取和融合,以学习其中蕴涵的通用知识表征,从而服务于广泛的相关下游视觉语言多模态任务,这一方法逐渐成为人工智能各领域的主流方法。依靠互联网所获取的大规模图文对与视频数据,以及以自监督学习为代表的预训练方法的进步,视觉语言多模态预训练模型在很大程度上打破了不同视觉语言任务之间的壁垒,提升了多个任务训练的效率并促进了具体任务的性能表现。本文总结视觉语言多模态预训练领域的进展,首先对常见的预训练数据集和预训练方法进行汇总,然后对目前最新方法以及经典方法进行系统概述,按输入来源分为图像—文本预训练模型和视频—文本多模态模型两大类,阐述了各方法之间的共性和差异,并将各模型在具体下游任务上的实验情况进行汇总。最后,总结了视觉语言预训练面临的挑战和未来发展趋势。
关键词
多模态机器学习
视觉语言多模态
预训练
自监督学习
图像文本预训练
视频文本预训练
Keywords
multimodal
machine
learning
visual
language
multimodality
pre
-
training
self-supervised
learning
image-text
pre
-
training
video-text
pre
-
training
分类号
TP37 [自动化与计算机技术—计算机系统结构]
原文传递
题名
上海男子蹦床队大赛前训练控制研究
被引量:
12
20
作者
高希彬
王秋灵
机构
山东理工大学体育学院
华东师范大学体育与健康学院
出处
《北京体育大学学报》
CSSCI
北大核心
2006年第2期284-286,共3页
文摘
通过对上海男子蹦床队备战2004年全国蹦床锦标赛赛前训练过程的研究,以训练控制内容为切入点,研究蹦床高水平运动员大赛前目标、训练计划、训练课实施、训练负荷等内容的控制方法。
关键词
蹦床
赛前
训练控制
Keywords
trampoline
pre
-competition
training
control
分类号
G838 [文化科学—体育训练]
原文传递
题名
作者
出处
发文年
被引量
操作
1
深度学习研究进展
刘建伟
刘媛
罗雄麟
《计算机应用研究》
CSCD
北大核心
2014
292
下载PDF
职称材料
2
文本情感分析方法研究综述
王婷
杨文忠
《计算机工程与应用》
CSCD
北大核心
2021
116
下载PDF
职称材料
3
面向自然语言处理的预训练技术研究综述
李舟军
范宇
吴贤杰
《计算机科学》
CSCD
北大核心
2020
110
下载PDF
职称材料
4
自然语言处理预训练模型的研究综述
余同瑞
金冉
韩晓臻
李家辉
郁婷
《计算机工程与应用》
CSCD
北大核心
2020
49
下载PDF
职称材料
5
基于深度学习的语言模型研究进展
王乃钰
叶育鑫
刘露
凤丽洲
包铁
彭涛
《软件学报》
EI
CSCD
北大核心
2021
48
下载PDF
职称材料
6
基于语言模型的预训练技术研究综述
岳增营
叶霞
刘睿珩
《中文信息学报》
CSCD
北大核心
2021
47
下载PDF
职称材料
7
BERT模型的主要优化改进方法研究综述
刘欢
张智雄
王宇飞
《数据分析与知识发现》
CSSCI
CSCD
北大核心
2021
37
原文传递
8
基于深度学习的人体动作识别综述
钱慧芳
易剑平
付云虎
《计算机科学与探索》
CSCD
北大核心
2021
34
下载PDF
职称材料
9
卷积神经网络在验证码识别上的应用与研究
刘欢
邵蔚元
郭跃飞
《计算机工程与应用》
CSCD
北大核心
2016
27
下载PDF
职称材料
10
面向配电网故障处置的知识图谱研究与应用
叶欣智
尚磊
董旭柱
刘承锡
田野
方华亮
《电网技术》
EI
CSCD
北大核心
2022
26
下载PDF
职称材料
11
护理实习生实习前规范化培训的方法及体会
徐敏
占小春
李惠
《护理管理杂志》
2009
24
下载PDF
职称材料
12
基于BERT-RCNN模型的微博谣言早期检测研究
李悦晨
钱玲飞
马静
《情报理论与实践》
CSSCI
北大核心
2021
20
原文传递
13
基于灰度关联分析法的卷积神经网络算法优化
刘梦雅
毛剑琳
《电子科技》
2018
19
下载PDF
职称材料
14
语言大模型的演进与启示
陶建华
聂帅
车飞虎
《中国科学基金》
CSSCI
CSCD
北大核心
2023
16
原文传递
15
北京市学前孤独症儿童家长培训需求调查
谷长芬
刘洋
《中国康复理论与实践》
CSCD
北大核心
2016
16
下载PDF
职称材料
16
对跳远运动员赛前心理训练的研究
王方春
《安徽师范大学学报(自然科学版)》
CAS
2004
14
下载PDF
职称材料
17
大型语言模型:原理、实现与发展
舒文韬
李睿潇
孙天祥
黄萱菁
邱锡鹏
《计算机研究与发展》
EI
CSCD
北大核心
2024
10
下载PDF
职称材料
18
论高校学生干部管理的有效性
汤继承
《孝感学院学报》
2003
13
下载PDF
职称材料
19
视觉语言多模态预训练综述
张浩宇
王天保
李孟择
赵洲
浦世亮
吴飞
《中国图象图形学报》
CSCD
北大核心
2022
11
原文传递
20
上海男子蹦床队大赛前训练控制研究
高希彬
王秋灵
《北京体育大学学报》
CSSCI
北大核心
2006
12
原文传递
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
2
…
96
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部