基于深度学习的聚类综述 被引量：11

1

作者 董永峰 邓亚晗 +1 位作者 董瑶 王雅琮 《计算机应用》 CSCD 北大核心 2022年第4期1021-1028,共8页

聚类是一种寻找数据之间内在结构的技术,是许多数据驱动应用领域的一个基本问题,而聚类性能在很大程度上取决于数据表示的质量。近年来,深度学习因其强大的特征提取能力被广泛地应用于聚类任务,以学习更好的特征表示,显著提高了聚类性... 聚类是一种寻找数据之间内在结构的技术,是许多数据驱动应用领域的一个基本问题,而聚类性能在很大程度上取决于数据表示的质量。近年来,深度学习因其强大的特征提取能力被广泛地应用于聚类任务,以学习更好的特征表示,显著提高了聚类性能。首先,介绍了传统的聚类任务;然后,根据网络结构介绍了基于深度学习的聚类及代表性方法,指出了当前存在的问题,并介绍了基于深度学习的聚类在不同领域的应用;最后,对基于深度学习的聚类发展进行了总结与展望。 展开更多

关键词 聚类 深度学习 图聚类 特征表示 网络结构

下载PDF 职称材料

基于联邦增量学习的工业物联网数据共享方法 被引量：10

2

作者 刘晶 董志红 +2 位作者 张喆语 孙志刚 季海鹏 《计算机应用》 CSCD 北大核心 2022年第4期1235-1243,共9页

针对工业物联网(IIOT)新增数据量大、工厂子端数据量不均衡的问题,提出了一种基于联邦增量学习的IIOT数据共享方法(FIL-IIOT)。首先,将行业联合模型下发到工厂子端作为本地初始模型;然后,提出联邦优选子端算法来动态调整参与子集;最后,... 针对工业物联网(IIOT)新增数据量大、工厂子端数据量不均衡的问题,提出了一种基于联邦增量学习的IIOT数据共享方法(FIL-IIOT)。首先,将行业联合模型下发到工厂子端作为本地初始模型;然后,提出联邦优选子端算法来动态调整参与子集;最后,通过联邦增量学习算法计算出工厂子端的增量加权,从而使新增状态数据与原行业联合模型快速融合。实验结果表明,在美国凯斯西储大学(CWRU)轴承故障数据集上,所提FIL-IIOT使轴承故障诊断精度达到93.15%,比联邦均值(FedAvg)算法和无增量公式的FIL-IIOT(FIL-IIOT-NI)方法分别提高了6.18个百分点和2.59个百分点,满足了基于工业增量数据的行业联合模型持续优化的需求。 展开更多

关键词 工业物联网(IIOT) 联邦学习 增量学习 数据不均衡 优选子端

下载PDF 职称材料

基于改进一维卷积和双向长短期记忆神经网络的故障诊断方法 被引量：9

3

作者 董永峰 孙跃华 +2 位作者 高立超 韩鹏 季海鹏 《计算机应用》 CSCD 北大核心 2022年第4期1207-1215,共9页

针对工业领域中故障诊断数据存在时序性和夹杂强噪声的特点导致的收敛速度慢以及诊断精度低的问题,提出了一种基于改进一维卷积和双向长短期记忆(1DCNN-BiLSTM)神经网络融合的故障诊断方法。该方法包括故障振动信号的预处理、特征的自... 针对工业领域中故障诊断数据存在时序性和夹杂强噪声的特点导致的收敛速度慢以及诊断精度低的问题,提出了一种基于改进一维卷积和双向长短期记忆(1DCNN-BiLSTM)神经网络融合的故障诊断方法。该方法包括故障振动信号的预处理、特征的自动提取以及振动信号的分类。首先,采用自适应白噪声的完整经验模态分解(CEEMDAN)技术对原始振动信号进行预处理;其次,构建1DCNN-BiLSTM双通道模型,将处理后信号输入双向长短期记忆(BiLSTM)神经网络模型和一维卷积神经网络(1DCNN)模型两个通道,从而对信号的时序相关性特征、局部空间的非相关性特征和弱周期性规律进行充分提取;然后,针对信号夹杂强噪声的问题,对压缩与激励网络(SENet)模块进行改进并将其作用于两个不同的通道;最后,输入全连接层将双通道提取的特征进行融合并借助Softmax分类器实现对设备故障的精确识别。使用凯斯西储大学轴承数据集进行实验,结果表明改进后的SENet模块同时作用于1DCNN通道和stacked BiLSTM通道,1DCNN-BiLSTM双通道模型在保证快速收敛的情况下有最高诊断精度96.87%,优于传统单通道模型,有效提高了机械设备故障诊断效率。 展开更多

关键词 注意力机制 一维卷积神经网络 双向长短期记忆神经网络 双通道 故障诊断

下载PDF 职称材料

在线学习资源推荐综述 被引量：3

4

作者 董永峰 王雅琮 +1 位作者 董瑶 邓亚晗 《计算机应用》 CSCD 北大核心 2023年第6期1655-1663,共9页

近年来越来越多的学校广泛使用网络在线授课,然而互联网中海量的学习资源令学习者难以抉择。因此,研究在线学习资源推荐并为学习者进行个性化推荐非常重要,这可以帮助学习者快速获取其所需的优质学习资源。针对在线学习资源推荐的研究现... 近年来越来越多的学校广泛使用网络在线授课,然而互联网中海量的学习资源令学习者难以抉择。因此,研究在线学习资源推荐并为学习者进行个性化推荐非常重要,这可以帮助学习者快速获取其所需的优质学习资源。针对在线学习资源推荐的研究现状,从以下5个方面进行分析总结。首先,总结了目前国内外在线教育平台在学习资源推荐方面的工作;其次,分析和探讨了以知识点习题、学习路径、学习视频和学习课程为学习资源推荐目标的4种算法;接着,分别从学习者和学习资源的角度出发,以具体的算法为例,详述了常用的基于学习者画像、基于学习者行为和基于学习资源本体的3种学习资源推荐算法;此外,总结了公开的在线学习资源数据集;最后,分析了学习资源推荐系统目前存在的问题和未来的发展方向。 展开更多

关键词 在线学习 在线教育平台 个性化推荐 学习资源推荐 智慧教育

下载PDF 职称材料

融合先验知识和字形特征的中文命名实体识别

5

作者 董永峰 白佳明 +1 位作者 王利琴 王旭 《计算机应用》 CSCD 北大核心 2024年第3期702-708,共7页

针对命名实体识别(NER)任务中相关模型通常仅对字符及相关词汇进行建模,未充分利用汉字特有的字形结构信息和实体类型信息的问题,提出一种融合先验知识和字形特征的命名实体识别模型。首先,采用结合高斯注意力机制的Transformer对输入... 针对命名实体识别(NER)任务中相关模型通常仅对字符及相关词汇进行建模,未充分利用汉字特有的字形结构信息和实体类型信息的问题,提出一种融合先验知识和字形特征的命名实体识别模型。首先,采用结合高斯注意力机制的Transformer对输入序列进行编码,并从中文维基百科中获取实体类型的中文释义,采用双向门控循环单元(BiGRU)编码实体类型信息作为先验知识,利用注意力机制将它与字符表示进行组合;其次,采用双向长短时记忆(BiLSTM)网络编码输入序列的远距离依赖关系,通过字形编码表获得繁体的仓颉码和简体的现代五笔码,采用卷积神经网络(CNN)提取字形特征表示,并根据不同权重组合繁体与简体字形特征,利用门控机制将它与经过BiLSTM编码后的字符表示进行组合;最后,使用条件随机场(CRF)解码,得到命名实体标注序列。在偏口语化的数据集Weibo、小型数据集Boson和大型数据集PeopleDaily上的实验结果表明,与基线模型MECT(Multi-metadata Embedding based Cross-Transformer)相比,所提模型的F1值别提高了2.47、1.20和0.98个百分点,验证了模型的有效性。 展开更多

关键词 命名实体识别 注意力机制 卷积神经网络 双向长短时记忆 条件随机场

下载PDF 职称材料

不完整多视图聚类综述

6

作者 董瑶 付怡雪 +2 位作者 董永峰 史进 陈晨 《计算机应用》 CSCD 北大核心 2024年第6期1673-1682,共10页

多视图聚类是近年来图数据挖掘领域的研究热点。由于数据采集技术的限制或人为因素等原因常导致视图或样本缺失问题。降低多视图的不完整性对聚类效果的影响是多视图聚类目前面临的重大挑战。因此,综合研究不完整多视图聚类(IMC)近年的... 多视图聚类是近年来图数据挖掘领域的研究热点。由于数据采集技术的限制或人为因素等原因常导致视图或样本缺失问题。降低多视图的不完整性对聚类效果的影响是多视图聚类目前面临的重大挑战。因此,综合研究不完整多视图聚类(IMC)近年的发展具有重要的理论意义和实践价值。首先,归纳分析不完整多视图数据缺失类型;其次,详细比较基于多核学习(MKL)、矩阵分解(MF)学习、深度学习和图学习这4类IMC方法,分析代表性方法的技术特点和区别;再次,从数据集类型、视图和类别数量、应用领域等角度总结22个公开不完整多视图数据集;继次,总结评价指标,并系统分析现有不完整多视图聚类方法在同构和异构数据集上的性能表现;最后,归纳分析不完整多视图聚类目前存在的问题、未来的发展方向和现有应用领域。 展开更多

关键词 不完整性 多视图聚类 图数据挖掘 缺失视图 多视图学习

下载PDF 职称材料

基于平衡损失和多级注意力的溯因推理方法

7

作者 李林昊 王澳 +3 位作者 孙树国 吕欢 徐铭 王振 《闽南师范大学学报（自然科学版）》 2024年第1期27-39,共13页

针对溯因自然语言推理任务(aNLI)中存在的问题,即正确假设之间存在一定独立性,且对推理的贡献存在不一致性,设计一种“平衡正样本softmax聚焦损失”,调整正确假设概率影响程度,并平衡样本损失权重.此外,在aNLI中,正样本与负样本之间的... 针对溯因自然语言推理任务(aNLI)中存在的问题,即正确假设之间存在一定独立性,且对推理的贡献存在不一致性,设计一种“平衡正样本softmax聚焦损失”,调整正确假设概率影响程度,并平衡样本损失权重.此外,在aNLI中,正样本与负样本之间的关联性往往体现在特定的短语上,这些短语对判断样本的合理性至关重要.因此设计多级注意力模型,通过多层次的注意力机制逐步细化,从而实现对短语级特征的深层次关注.这个新模型被命名为平衡损失多级注意力MAT-Ball模型.结果表明,MAT-Ball模型在Roberta-large预训练模型上取得了最高的性能,与公开可获得代码的方法相比,ACC和AUC结果分别增加了约1%和0.5%.同时,研究比较了在低资源和损失收敛性方面的性能,证明了所提出的方法的效率和鲁棒性. 展开更多

关键词 自然语言推理 溯因推理 预训练模型 注意力机制

下载PDF 职称材料

基于可靠性低秩因子分解和泛化差异性差分的运动目标检测

8

作者 汪鹏 张大蔚 +1 位作者 陆正军 李林昊 《计算机应用》 CSCD 北大核心 2023年第2期514-520,共7页

运动目标检测旨在分离视频的背景与前景,然而常用的低秩因子分解法往往难以综合地处理动态背景和间歇性运动的问题。考虑到背景减除后的偏态噪声分布具有潜在的背景修正作用,提出一种基于可靠性低秩因子分解和泛化差异性差分的运动目标... 运动目标检测旨在分离视频的背景与前景,然而常用的低秩因子分解法往往难以综合地处理动态背景和间歇性运动的问题。考虑到背景减除后的偏态噪声分布具有潜在的背景修正作用,提出一种基于可靠性低秩因子分解和泛化差异性差分的运动目标检测模型。首先,利用时间维度像素分布的峰值位置以及偏态分布性质选取一个不含离群像素的子序列,并计算该子序列的中值以形成静态背景;其次,利用非对称拉普拉斯分布对静态背景减除后的噪声建模,并把基于空间平滑的建模结果作为可靠性权重参与到低秩因子分解中,以此建模综合背景(含有动态背景);最后,依次利用时间和空间连续约束提取前景。其中,针对时间连续性,提出了泛化差异性差分约束,从而通过相邻视频帧的差异信息抑制前景边缘的扩增。实验结果表明,与PCP、DECOLOR、LSD、TVRPCA、E-LSD、GSTO六种模型相比,所提模型的F-measure值最高。由此可知,所提模型在动态背景、间歇性运动等复杂场景中能有效提高前景的检测精度。 展开更多

关键词 非对称噪声建模 低秩因子分解 中值背景建模 运动目标检测

下载PDF 职称材料

基于注意力平衡列表的溯因推理模型

9

作者 徐铭 李林昊 +1 位作者 齐巧玲 王利琴 《计算机应用》 CSCD 北大核心 2023年第2期349-355,共7页

溯因推理是自然语言推理(NLI)中的重要任务,旨在通过给定的起始观测事件和最终观测事件,推断出二者之间合理的过程事件(假设)。早期的研究从每条训练样本中独立训练推理模型;而最近,主流的研究考虑了相似训练样本间的语义关联性,并以训... 溯因推理是自然语言推理(NLI)中的重要任务,旨在通过给定的起始观测事件和最终观测事件,推断出二者之间合理的过程事件(假设)。早期的研究从每条训练样本中独立训练推理模型;而最近,主流的研究考虑了相似训练样本间的语义关联性,并以训练集中假设出现的频次拟合其合理程度,从而更精准地刻画假设在不同环境中的合理性。在此基础上,在刻画假设的合理性的同时,加入了合理假设与不合理假设的差异性和相对性约束,从而达到了假设的合理性和不合理性的双向刻画目的,并通过多对多的训练方式实现了整体相对性建模;此外,考虑到事件表达过程中单词重要性的差异,构造了对样本不同单词的关注模块,最终形成了基于注意力平衡列表的溯因推理模型。实验结果表明,与L2R2模型相比,所提模型在溯因推理主流数据集叙事文本中的溯因推理(ART)上的准确率和AUC分别提高了约0.46和1.36个百分点,证明了所提模型的有效性。 展开更多

关键词 自然语言处理 溯因推理 预训练模型 BERT 注意力机制

下载PDF 职称材料

融合多跳关系路径信息的关系推理方法 被引量：2

10

作者 董永峰 刘超 +1 位作者 王利琴 李英双 《计算机应用》 CSCD 北大核心 2021年第10期2799-2805,共7页

针对目前知识图谱(KG)中存在大量关系的缺失,以及在进行关系推理时没有充分考虑两实体间多跳路径中隐含信息的问题,提出了一种融合多跳关系路径信息的关系推理方法。首先,对于给定的候选关系和两个实体,利用卷积运算将连接两个实体的多... 针对目前知识图谱(KG)中存在大量关系的缺失,以及在进行关系推理时没有充分考虑两实体间多跳路径中隐含信息的问题,提出了一种融合多跳关系路径信息的关系推理方法。首先,对于给定的候选关系和两个实体,利用卷积运算将连接两个实体的多跳关系路径编码到低维空间里并提取信息;其次,利用双向长短时记忆(BiLSTM)网络建模以生成关系路径表示向量,并利用注意力机制将其与候选关系表示向量进行组合;最后,采用多步推理方式找到匹配程度最高的关系作为推理结果并判断其精确率。与目前常用的路径排序算法(PRA)、神经网络模型Path-RNN以及强化学习模型MINERVA相比,在使用大型知识图谱数据集NELL995进行实验时,所提算法的平均精确率均值(MAP)分别提高了1.96、8.6和1.6个百分点;在使用小型知识图谱数据集Kinship进行实验时,所提方法的MAP比PRA、MINERVA分别提高了21.3、13和12.1个百分点。实验结果表明,所提算法能更加准确地推理出实体间的关系链接。 展开更多

关键词 知识图谱 关系推理 双向长短时记忆网络 注意力机制 卷积神经网络

下载PDF 职称材料

基于作者偏好的学术投稿刊物推荐算法

11

作者 董永峰 屈向前 +1 位作者 李林昊 董瑶 《计算机应用》 CSCD 北大核心 2022年第1期50-56,共7页

针对投稿刊物推荐算法总是单独考虑文本主题或者作者历史发刊记录,导致投稿刊物推荐结果准确率低的问题,提出了一种基于作者偏好的学术刊物投稿推荐算法。该算法不仅协调使用了文本主题和作者历史发刊记录,还挖掘了投稿刊物的学术焦点... 针对投稿刊物推荐算法总是单独考虑文本主题或者作者历史发刊记录,导致投稿刊物推荐结果准确率低的问题,提出了一种基于作者偏好的学术刊物投稿推荐算法。该算法不仅协调使用了文本主题和作者历史发刊记录,还挖掘了投稿刊物的学术焦点与时间的潜在联系。首先,使用潜在狄利克雷(LDA)主题模型对文章标题进行主题提取;其次,建立主题-刊物和时间-刊物的模型图,并采用大规模信息网络嵌入(LINE)模型学习异构图节点的嵌入;最后,融合作者的主题偏好和历史发刊记录来计算刊物的综合得分,并据此对投稿作者进行投稿刊物推荐。在两个公开数据集DBLP和PubMed上的实验结果表明,相比奇异值分解(SVD)、DeepWalk、非负矩阵分解(NMF)等6个算法,所提出的算法在不同推荐的投稿刊物列表长度的情况下的召回率均为最优,并且在需要从论文和知识库中获取更少信息的同时,保持了较高的准确性,能有效提高投稿刊物推荐算法的鲁棒性。 展开更多

关键词 学术刊物 二部图 投稿推荐 图嵌入 作者偏好

下载PDF 职称材料