基于长短时记忆网络的水质预测模型研究 被引量：32

1

作者 秦文虎 陈溪莹 《安全与环境学报》 CAS CSCD 北大核心 2020年第1期328-334,共7页

在当前水质数据急剧增加的背景下,为了挖掘水质时间序列中的更多信息,提升水质预测的精度,构建了基于缺失值填补算法和长短时记忆网络(LSTM)相结合的水质预测模型。通过缺失值填补算法进行水质数据的缺失值处理,利用LSTM网络分别构建不... 在当前水质数据急剧增加的背景下,为了挖掘水质时间序列中的更多信息,提升水质预测的精度,构建了基于缺失值填补算法和长短时记忆网络(LSTM)相结合的水质预测模型。通过缺失值填补算法进行水质数据的缺失值处理,利用LSTM网络分别构建不同水质参数的预测模型,以太湖水质监测数据为样本,对模型进行检验。结果表明,基于缺失值填补算法-LSTM的水质预测模型适应性强,相较传统SVM、BP神经网络、RNN、LSTM模型预测精度更高,对水环境保护具有重要意义。 展开更多

关键词 环境工程学 水质预测 缺失值填补 LSTM模型

下载PDF 职称材料

基于近邻噪声处理的KNN缺失数据填补算法 被引量：29

2

作者 郝胜轩 宋宏 周晓锋 《计算机仿真》 CSCD 北大核心 2014年第7期264-268,共5页

在优化算法的研究中,针对KNN算法对缺失数据的填补效果会因为原始数据中存在噪声而受到严重影响的问题,根据待填补缺失数据最近邻的近邻关系,提出了一种新的缺失数据填补算法——ENN-KNN(Eliminate Neighbor Noise k-Nearest Neighbor)... 在优化算法的研究中,针对KNN算法对缺失数据的填补效果会因为原始数据中存在噪声而受到严重影响的问题,根据待填补缺失数据最近邻的近邻关系,提出了一种新的缺失数据填补算法——ENN-KNN(Eliminate Neighbor Noise k-Nearest Neighbor)。通过比较待填补缺失数据每个最近邻的真实近邻程度能够有效地识别潜在的噪声最近邻。最后使用所有非噪声最近邻对待填补缺失数据进行填补,从而消除了噪声最近邻对填补结果的影响。通过观察四组UCI数据集的仿真结果,可知ENN-KNN算法的填补准确性总体上要优于KNN算法。 展开更多

关键词 缺失数据填补 近邻 噪声最近邻

下载PDF 职称材料

基于随机森林模型的分类数据缺失值插补 被引量：27

3

作者 孟杰 李春林 《统计与信息论坛》 CSSCI 2014年第9期86-90,共5页

缺失数据是影响调查问卷数据质量的重要因素,对调查问卷中的缺失值进行插补可以显著提高调查数据的质量。调查问卷的数据类型多以分类型数据为主,数据挖掘技术中的分类算法是处理属性分类问题的常用方法,随机森林模型是众多分类算法中... 缺失数据是影响调查问卷数据质量的重要因素,对调查问卷中的缺失值进行插补可以显著提高调查数据的质量。调查问卷的数据类型多以分类型数据为主,数据挖掘技术中的分类算法是处理属性分类问题的常用方法,随机森林模型是众多分类算法中精度较高的方法之一。将随机森林模型引入调查问卷缺失数据的插补研究中,提出了基于随机森林模型的分类数据缺失值插补方法,并根据不同的缺失模式探讨了相应的插补步骤。通过与其它方法的实证模拟比较,表明随机森林插补法得到的插补值准确度更优、可信度更高。 展开更多

关键词 缺失值插补 调查问卷 分类数据 随机森林 数据挖掘

下载PDF 职称材料

多元时间序列缺失数据填补方法 被引量：16

4

作者 李正欣 张凤鸣 +2 位作者 王瑛 陶茜 李超 《系统工程与电子技术》 EI CSCD 北大核心 2018年第1期225-230,共6页

多元时间序列是一种普遍存在的数据类型,受多种干扰因素的作用,序列中难免存在缺失数据,影响后续的分析处理。首先,针对存在缺失数据的序列,搜索与其同类的相似序列,构建训练集;然后,利用最小二乘支持向量机,分别进行多变量填补和单变... 多元时间序列是一种普遍存在的数据类型,受多种干扰因素的作用,序列中难免存在缺失数据,影响后续的分析处理。首先,针对存在缺失数据的序列,搜索与其同类的相似序列,构建训练集;然后,利用最小二乘支持向量机,分别进行多变量填补和单变量填补;第三,根据多变量和单变量填补结果的差异度,提出了一种组合阈值填补方法。最后,对所提方法进行了实验验证,结果表明,它具有较高的填补精度且适用于缺失数据较多的场合。 展开更多

关键词 多元时间序列 缺失数据填补 相似性搜索 最小二乘支持向量机

下载PDF 职称材料

一种基于双聚类的缺失数据填补方法 被引量：12

5

作者 郝胜轩 宋宏 周晓锋 《计算机应用研究》 CSCD 北大核心 2015年第3期674-678,共5页

针对现实数据集的数据缺失问题,提出了一种基于双聚类的缺失数据填补新方法。该算法利用双聚类簇内平均平方残值越小簇内数据相似性越高的这一特性,将缺失数据的填补问题转换为求解特定双聚类簇最小平均平方残值的问题,进而实现了数据... 针对现实数据集的数据缺失问题,提出了一种基于双聚类的缺失数据填补新方法。该算法利用双聚类簇内平均平方残值越小簇内数据相似性越高的这一特性,将缺失数据的填补问题转换为求解特定双聚类簇最小平均平方残值的问题,进而实现了数据集中缺失元素的预测;再利用二次函数求解极小值的思想对包含有缺失数据的特定双聚类簇最小平均平方残值的问题进行求解,并进行了数学上的分析证明。最后进行仿真验证,通过观察UCI数据集的实验结果可知,提出的算法具有较高的填补准确性。 展开更多

关键词 缺失数据填补 双聚类 双聚类数据填补 数据清洗

下载PDF 职称材料

基于深度学习的不完整大数据填充算法 被引量：12

6

作者 卜范玉 陈志奎 张清辰 《微电子学与计算机》 CSCD 北大核心 2014年第12期173-176,共4页

提出一种基于深度学习的不完整大数据填充算法.算法首先以自动编码机为基础建立填充自动编码机.在此基础上,构建深度填充网络模型,分析不完整大数据的深度特征并根据逐层训练思想和反向传播算法计算网络参数.最后利用深度填充网络来还... 提出一种基于深度学习的不完整大数据填充算法.算法首先以自动编码机为基础建立填充自动编码机.在此基础上,构建深度填充网络模型,分析不完整大数据的深度特征并根据逐层训练思想和反向传播算法计算网络参数.最后利用深度填充网络来还原不完整大数据,对缺失值进行填充.实验表明,提出的算法能够有效提高不完整大数据的填充精度. 展开更多

关键词 深度学习 缺失数据填充 自动编码机 大数据

下载PDF 职称材料

缺失值填充:基于信息增益的方法 被引量：8

7

作者 张红霞 《计算机工程与设计》 CSCD 北大核心 2006年第24期4810-4812,共3页

在数据挖掘以及机器学习等领域,都需要涉及一个数据预处理过程,以消除数据中所包含的错误、噪声、不一致数据或缺失值。其中,缺失值的填充是一个非常具有挑战性的任务,因为填充效果的好坏会极大的影响学习算法及挖掘算法的后续处理过程... 在数据挖掘以及机器学习等领域,都需要涉及一个数据预处理过程,以消除数据中所包含的错误、噪声、不一致数据或缺失值。其中,缺失值的填充是一个非常具有挑战性的任务,因为填充效果的好坏会极大的影响学习算法及挖掘算法的后续处理过程。目前已有的一些填充算法,如基于粗糙集的和基于最近邻法的算法等,在一定程度上能够处理缺失值问题。与以上方法不同,提出了一种扩展的基于信息增益的缺失值填充算法,它充分利用数据集中各属性之间隐含的关系对缺失的数据进行填充。大量的实验表明,提出的扩展的基于信息增益的缺失值填充算法是有效的。 展开更多

关键词 机器学习 缺失值填充 信息增益 分类准确率

下载PDF 职称材料

基于距离最大化和缺失数据聚类的填充算法 被引量：9

8

作者 赵星 王逊 黄树成 《电子设计工程》 2018年第1期20-24,28,共6页

通过对基于K-means聚类的缺失值填充算法的改进,文中提出了基于距离最大化和缺失数据聚类的填充算法。首先,针对原填充算法需要提前输入聚类个数这一缺点,设计了改进的K-means聚类算法:使用数据间的最大距离确定聚类中心,自动产生聚类个... 通过对基于K-means聚类的缺失值填充算法的改进,文中提出了基于距离最大化和缺失数据聚类的填充算法。首先,针对原填充算法需要提前输入聚类个数这一缺点,设计了改进的K-means聚类算法:使用数据间的最大距离确定聚类中心,自动产生聚类个数,提高聚类效果;其次,对聚类的距离函数进行改进,采用部分距离度量方式,改进后的算法可以对含有缺失值的记录进行聚类,简化原填充算法步骤。通过对STUDENT ALCOHOL CONSUMPTION数据集的实验,结果证明了该算法能够在提高效率的同时,有效地填充缺失数据。 展开更多

关键词 数据清洗 缺失数据填充 K-means填充算法 距离最大化

下载PDF 职称材料

基于随机森林的公路隧道运营缺失数据插补方法 被引量：10

9

作者 钱超 陈建勋 +1 位作者 罗彦斌 代亮 《交通运输系统工程与信息》 EI CSCD 北大核心 2016年第3期81-87,共7页

对隧道内环境、交通状态等各类运营数据的实时、完整获取并深入挖掘,是提高应急处置能力、实现运营安全预警的基础.提出一种基于随机森林的缺失数据插补方法,根据缺失特征对缺失数据集进行分割;建立随机森林回归模型进行迭代插补并确定... 对隧道内环境、交通状态等各类运营数据的实时、完整获取并深入挖掘,是提高应急处置能力、实现运营安全预警的基础.提出一种基于随机森林的缺失数据插补方法,根据缺失特征对缺失数据集进行分割;建立随机森林回归模型进行迭代插补并确定迭代终止条件;以标准均方根误差最小确定了随机森林中决策树的数量和分裂节点随机抽取变量数的最优组合.对公路隧道运营缺失数据集插补结果表明:本方法插补精度高、鲁棒性好,与KNN、SVD、MICE和PPCA等插补方法相比,标准均方根误差降低25%以上;利用并行运算大幅度提高了插补效率,弥补了插补速度慢的缺陷,保证了插补的有效性和时效性. 展开更多

关键词 公路运输 缺失数据插补 随机森林 公路隧道 运营管理

下载PDF 职称材料

一种基于极限学习机的缺失数据填充方法 被引量：9

10

作者 杨毅 卢诚波 《计算机应用与软件》 CSCD 2016年第10期243-246,共4页

数据处理过程中经常会遇到不完备数据需要填充的问题,寻求简单有效的缺失数据填充方法非常重要。针对该情况,提出一种基于极限学习机ELM(Extreme Learning Machine)的缺失数据填充方法,通过极限学习机网络建模,建立需要填充的缺失属性... 数据处理过程中经常会遇到不完备数据需要填充的问题,寻求简单有效的缺失数据填充方法非常重要。针对该情况,提出一种基于极限学习机ELM(Extreme Learning Machine)的缺失数据填充方法,通过极限学习机网络建模,建立需要填充的缺失属性与其他属性的非线性映射模型。实验结果表明:该方法具有非常好的填充效果。 展开更多

关键词 极限学习机 缺失数据填充 UCI机器学习数据库

下载PDF 职称材料

基于自注意力生成对抗网络的电力设备在线监测缺失数据填补 被引量：4

11

作者 周远翔 林孟龙 +2 位作者 陈健宁 白正 陈明 《高电压技术》 EI CAS CSCD 北大核心 2023年第5期1795-1809,共15页

电力设备的在线监测系统常出现不同程度的数据缺失,而传统的缺失数据填补模型精度较低。因此提出一种基于自注意力生成对抗网络(self-attention generative adversarial networks,SA-GAN)的电力设备在线监测缺失数据填补模型。首先搭建... 电力设备的在线监测系统常出现不同程度的数据缺失,而传统的缺失数据填补模型精度较低。因此提出一种基于自注意力生成对抗网络(self-attention generative adversarial networks,SA-GAN)的电力设备在线监测缺失数据填补模型。首先搭建基于自注意力机制的时间序列填补模型,并对权重融合模块进行改进,然后将时间序列填补模型作为生成器,构造对应的判别器与损失函数,提出了具有自注意力机制的生成对抗网络SA-GAN,对电力设备在线监测数据进行缺失填补。最后通过实际工程中的电力变压器、高压电缆在线监测数据对模型进行训练与测试,验证了模型的有效性。结果表明,通过局部遮掩对110 kV变压器在线监测数据进行自然缺失模拟并通过各类缺失填补模型进行补全时,SA-GAN模型的平均绝对误差(mean absolute error,MAE)最高为0.11,均方根误差(root mean square error,RMSE)最高为0.17,较其他模型分别至少降低19.10%、14.07%,验证了SA-GAN模型的有效性;对9.51%自然缺失率下的220 kV高压电缆在线监测数据进行填补时,SA-GAN模型的MAE为0.58,RMSE为0.84,较其他模型分别至少降低21.71%、14.43%,表明该模型可在电力设备状态异常且部分监测数据缺失的条件下有效恢复缺失数据。此外,经SA-GAN模型填补之后的数据有效提高了高压电缆序列的预测精度,间接验证了SA-GAN模型缺失数据填补的有效性。 展开更多

关键词 自注意力 生成对抗网络 在线监测 缺失数据填补 时序特征

下载PDF 职称材料

基于面板数据模型的拱坝缺失数据填补方法 被引量：1

12

作者 崔欣然 石立 +3 位作者 陆希 顾昊 吴艳 朱明远 《水力发电学报》 CSCD 北大核心 2024年第3期94-107,共14页

混凝土拱坝作为重要的水工建筑物,由于监测设备故障、人为因素等影响,导致其监测数据频繁出现缺失的现象,降低了大坝安全评估与预测的有效性与准确性。传统方法多仅依赖单测点测值进行插补,忽略了测点之间的相关性与异质性。本文提出了... 混凝土拱坝作为重要的水工建筑物,由于监测设备故障、人为因素等影响,导致其监测数据频繁出现缺失的现象,降低了大坝安全评估与预测的有效性与准确性。传统方法多仅依赖单测点测值进行插补,忽略了测点之间的相关性与异质性。本文提出了一种基于面板数据模型的变形缺失数据插补方法。首先,改进传统变形相似性增量速度指标,解决了其分母可能等于零的问题。其次,提出了一种组合加权方法以计算变形相似性综合指标,并采用改进的基于密度聚类方法对变形监测点进行分类。随后,建立了面板模型,以填补不同区域内的缺失数据。本文提出的方法可以更准确地填补混凝土拱坝变形数据的缺失,从而能够有效地解决变形监测数据缺失的问题。 展开更多

关键词 缺失数据填补 变形相似性指标 聚类方法 面板数据模型 混凝土拱坝

下载PDF 职称材料

基于粗糙集理论的不完备数据分析方法的混合信息系统填补算法 被引量：7

13

作者 彭莉 张海清 +3 位作者 李代伟 唐聃 于曦 何磊 《计算机应用》 CSCD 北大核心 2021年第3期677-685,共9页

为了提高基于粗糙集理论的不完备数据分析方法(ROUSTIDA)在实际应用中对包含离散型(如整型、字符串型、枚举型)、连续型(如浮点数表达)、缺失型属性的混合信息系统(HIS)数据的填补能力,提出了一种基于粗糙集理论的混合信息系统缺失值填... 为了提高基于粗糙集理论的不完备数据分析方法(ROUSTIDA)在实际应用中对包含离散型(如整型、字符串型、枚举型)、连续型(如浮点数表达)、缺失型属性的混合信息系统(HIS)数据的填补能力,提出了一种基于粗糙集理论的混合信息系统缺失值填补方法(RSHISMIA)。首先,根据决策属性等价类划分思想并按照决策属性对混合信息系统HIS进行划分,解决了填补后可能出现的决策规则冲突问题;其次,定义混合距离矩阵来合理量化对象间的相似性,从而筛选出具有填补能力的样本并克服ROUSTIDA无法处理连续性属性的缺点;然后,结合近邻思想解决了ROUSTIDA在无差别对象属性值发生冲突情况下无法对相同属性缺失数据进行填补的问题。最后,使用10个UCI标准数据集进行实验,将所提出的方法与ROUSTIDA、K近邻填补(KNNI)算法、随机森林填补(RFI)算法和矩阵分解(MF)等几种经典算法进行了比较。实验结果表明,与ROUSTIDA相比,所提方法在查全率上平均高出81%,在查准率上提升了5%~53%,且其归一化均方根误差(NRMSE)最多减小了0.12。此外,所提方法的分类准确率与ROUSTIDA相比平均提升了7%,且优于KNNI、RFI及MF等填补算法。 展开更多

关键词 基于粗糙集理论的不完备数据分析方法 混合信息系统 缺失值填补 混合距离 最近邻

下载PDF 职称材料

基于双向循环插补网络的分布式光伏集群时序数据耦合增强方法

14

作者 廖若愚 刘友波 +3 位作者 沈晓东 高红均 唐冬来 刘俊勇 《电网技术》 EI CSCD 北大核心 2024年第7期2784-2794,I0042-I0048,共18页

分布式光伏点多面广、局部渗透率高、安装环境复杂多变,真实可靠的量测数据是其性能分析、出力预测、运维调控的基础。然而,传感器故障和通信堵塞等因素会造成量测值缺失,恶化原始数据质量,进而影响配电网运行决策的准确性。传统数据修... 分布式光伏点多面广、局部渗透率高、安装环境复杂多变,真实可靠的量测数据是其性能分析、出力预测、运维调控的基础。然而,传感器故障和通信堵塞等因素会造成量测值缺失,恶化原始数据质量,进而影响配电网运行决策的准确性。传统数据修复方法只考虑单一量测值的分布特征,忽略了多维时序数据的潜在耦合关系,修复精度有限。为此,该文提出一种基于双向多阶段循环插补网络和Seq2SeqAttention的时序数据耦合增强方法,改进了循环插补网络的结构,并引入衰减机制,能利用少量未缺失数据,潜在地挖掘原始数据的整体分布规律,一次性对多个光伏场站完成高质量数据修复。实验结果表明,所提方法在高比例缺失情况下仍有良好的修复性能,可明显增强分布式光伏集群的基础数据质量,提升电网运营商对光伏集群的细粒度感知能力。 展开更多

关键词 缺失数据修复 双向循环插补网络 耦合时序数据 分布式光伏集群

下载PDF 职称材料

基于支持向量机的桥梁健康监测系统残缺数据填补 被引量：7

15

作者 符欲梅 朱芳 昝昕武 《传感技术学报》 CAS CSCD 北大核心 2012年第12期1706-1710,共5页

针对桥梁健康监测系统中采集数据具有小样本、非线性且时序的特点,提出一种基于支持向量机的残缺数据填补方法,在分析数据的自相关性基础上,利用支持向量回归机原理,选择适当维数的样本作为支持向量机的输入向量,据此进行了残缺数据的预... 针对桥梁健康监测系统中采集数据具有小样本、非线性且时序的特点,提出一种基于支持向量机的残缺数据填补方法,在分析数据的自相关性基础上,利用支持向量回归机原理,选择适当维数的样本作为支持向量机的输入向量,据此进行了残缺数据的预测;并与BP神经网络的填补效果相比较,实验结果显示了支持向量机在更小样本情况下填补残缺数据的优势和强泛化能力。 展开更多

关键词 桥梁健康监测系统 缺失数据填补 时间序列 支持向量机

下载PDF 职称材料

基于缺失数据填补的风电齿轮箱状态监测研究 被引量：6

16

作者 徐健 刘长良 +1 位作者 王梓齐 赵陆阳 《仪器仪表学报》 EI CAS CSCD 北大核心 2022年第9期88-97,共10页

风电机组监控和数据采集系统的现场数据普遍存在缺失问题,会对下游状态监测任务产生一定负面影响。为此,提出一种结合注意力机制的掩膜自编码网络,用于填补面板数据样本中的缺失值,增加可用样本数量,提升状态监测结果的准确性与连续性... 风电机组监控和数据采集系统的现场数据普遍存在缺失问题,会对下游状态监测任务产生一定负面影响。为此,提出一种结合注意力机制的掩膜自编码网络,用于填补面板数据样本中的缺失值,增加可用样本数量,提升状态监测结果的准确性与连续性。该方法以降噪自编码网络为整体框架,在编码阶段通过注意力机制对缺失值进行掩膜处理,赋予缺失值更高的权重以强化网络对其关注程度,在解码阶段将缺失值填补后输出完备数据样本。随后,利用长短时记忆网络提取的样本特征对目标变量参数进行预测,依据预测残差实现状态监测。使用某风电齿轮箱运行数据验证,结果表明:提出方法的数据填补偏差相较对比方法至少改善17.2%;与数据填补前相比,数据填补后样本数量显著增加,使状态监测网络对正常数据的预测残差平均下降37.4%,对故障数据的检测率提升6.8%。 展开更多

关键词 缺失数据填补 自编码网络 注意力机制 风电机组 状态监测

下载PDF 职称材料

综合岭回归和SARIMA方法在桥梁健康监测数据分析中的应用 被引量：2

17

作者 谌桢文 常军 《科学技术与工程》 北大核心 2023年第20期8846-8853,共8页

桥梁健康监测系统的实测数据普遍存在缺失问题,为了保证桥梁监测数据的完整性,更好地预测桥梁未来的健康状况,提出了一种具有样本内和样本外预测能力的组合模型。样本外预测可以基于现在数据预测未来的桥梁健康状态,样本内回归用于填补... 桥梁健康监测系统的实测数据普遍存在缺失问题,为了保证桥梁监测数据的完整性,更好地预测桥梁未来的健康状况,提出了一种具有样本内和样本外预测能力的组合模型。样本外预测可以基于现在数据预测未来的桥梁健康状态,样本内回归用于填补传感器数据中的缺失值,确保桥梁监测数据的完整性。由于不同位置处相同类型传感器的相关性较强,首先利用岭回归(ridge regression,RR)解决共线性问题,建立各传感器数据之间的关联,并预测缺失数据。接着引入季节性差分自回归滑动平均(seasonal autoregressive integrated moving average,SARIMA)方法,利用其样本外预测能力并结合岭回归方法预测桥梁未来运行数据。最后,将该方法应用于实桥中,验证了其有效性,为传感器数据填补以及预测桥梁未来状态提供了有效的预测模型。 展开更多

关键词 大数据 缺失数据填补 数据预测 岭回归(RR) 季节性差分自回归滑动平均(SARIMA)

下载PDF 职称材料

面向缺失数据基于SVR-SVDD的冷水机组故障检测方法 被引量：2

18

作者 张正智 周赛 +3 位作者 王占伟 王林 谈莹莹 梁博阳 《建筑科学》 CSCD 北大核心 2023年第2期193-201,共9页

冷水机组是建筑中的主要能耗源,冷水机组故障将导致建筑能耗显著提升。实际现场中,传感器由于发生故障或误操作等,采集数据会存在缺失情况。若当模型输入向量中某些参数缺失,导致无法完成故障检测诊断任务,将严重影响故障检测诊断方法... 冷水机组是建筑中的主要能耗源,冷水机组故障将导致建筑能耗显著提升。实际现场中,传感器由于发生故障或误操作等,采集数据会存在缺失情况。若当模型输入向量中某些参数缺失,导致无法完成故障检测诊断任务,将严重影响故障检测诊断方法的现场实际应用。基于此,面向缺失数据,本文提出1种基于支持向量回归(SVR)和支持向量数据描述(SVDD)融合的冷水机组故障检测方法,通过对缺失数据进行修复,增强数据缺失时的故障检测性能。首先,基于SVR算法对缺失数据进行修复,补全非完整数据集,以此有效保留缺失数据所隐含的信息;然后,使用修复的完整数据集对SVDD模型进行训练,从而显著增强数据缺失下的故障检测性能。使用实验数据验证提出方法的有效性。结果显示:与直接删除缺失数据的方法相比,在单变量和多变量缺失两种情况下,提出方法显著增强了检测性能,最高将检测正确率提高了48%。 展开更多

关键词 冷水机组 缺失数据修复 故障检测 支持向量回归 支持向量数据描述

原文传递

基于极端梯度提升树和深度学习方法估算中国地表NO_(2)浓度 被引量：2

19

作者 王思晨 霍彦峰 +5 位作者 穆溪 江鹏 朱立 荀尚培 何彬方 吴文玉 《环境科学学报》 CAS CSCD 北大核心 2023年第10期298-308,共11页

二氧化氮(NO_(2))是备受关注的重要大气污染物之一,与人体呼吸系统和心血管疾病有紧密关系.卫星遥感是获得大尺度NO_(2)分布情况的有效方法,搭载于Aura卫星上的臭氧监测仪(Ozone Monitoring Instrument,OMI)可以反演全球尺度的对流层NO_... 二氧化氮(NO_(2))是备受关注的重要大气污染物之一,与人体呼吸系统和心血管疾病有紧密关系.卫星遥感是获得大尺度NO_(2)分布情况的有效方法,搭载于Aura卫星上的臭氧监测仪(Ozone Monitoring Instrument,OMI)可以反演全球尺度的对流层NO_(2)柱浓度.然而,由于观测条件(如云覆盖)和传感器物理异常影响,OMI在中国地区存在1/2以上的缺失数据,严重限制了数据的应用价值.本文首先基于深度学习方法重建OMI对流层NO_(2)柱浓度缺失数据,然后结合气象资料和地面信息(如道路密度)等数据,利用梯度提升树模型估算了2018—2020年中国近地面NO_(2)浓度日均值,最后使用机器学习解释性算法评估了OMI数据对近地面NO_(2)估算的适用性和敏感性.结果表明:OMI数据缺失值的重建效果和近地面NO_(2)估算精度良好,OMI缺失数据重建值与原始数据的交叉验证R^(2)为0.81,近地面NO_(2)浓度估算值与中国环境总站监测值交叉验证R^(2)为0.84;气象要素对近地面NO_(2)的敏感性最高,特征重要度为36.7%,OMI对流层NO_(2)柱浓度的特征重要度约为8%. 展开更多

关键词 二氧化氮 臭氧监测仪(OMI) 深度学习 缺失值重建 NO_(2)浓度反演

原文传递

基于改进LSTM的重型柴油车远程监测NO_(x)浓度缺失数据填补 被引量：2

20

作者 邓明星 欧阳含笑 +2 位作者 钱枫 祝能 许小伟 《环境科学学报》 CAS CSCD 北大核心 2023年第11期245-257,共13页

氮氧化物(NO_(x))浓度是重型柴油车远程排放治理研究中的关键指标.车辆实际行驶时,由于NO_(x)传感器控制策略的限制,导致NO_(x)浓度采集数据存在大量缺失,影响了远程监控系统对重型柴油车NO_(x)排放状况的有效评估.鉴于此现象,本文提出... 氮氧化物(NO_(x))浓度是重型柴油车远程排放治理研究中的关键指标.车辆实际行驶时,由于NO_(x)传感器控制策略的限制,导致NO_(x)浓度采集数据存在大量缺失,影响了远程监控系统对重型柴油车NO_(x)排放状况的有效评估.鉴于此现象,本文提出了一种改进的长短时记忆网络数据填补模型(SE-CNN-BiLSTM)对NO_(x)浓度缺失数据进行精确填补.首先,采用皮尔逊相关性和主成分分析确定最优特征子集作为模型输入,使用滑动窗口划分模型训练集、测试集和验证集;其次,引入通道注意力模块(SE-block)优化一维卷积神经网络(1D-CNN),增强填补模型特征提取能力;在此基础上,由双向长短时记忆网络(BiLSTM)学习监测缺失数据的前后变化规律并完成模型训练和填补;最后,通过对比分析试验,验证所提模型对NO_(x)浓度数据填补的有效性和适用性.结果表明,基于SE-CNN-BiLSTM模型的缺失数据填补方法能够有效解决NO_(x)浓度数据缺失问题,从而提高了远程监控系统对NO_(x)排放状况评估的准确性. 展开更多

关键词 重型柴油车 缺失数据填补 注意力机制 卷积神经网络 长短期记忆网络

原文传递