期刊文献+
共找到1,768篇文章
< 1 2 89 >
每页显示 20 50 100
不确定性数据管理技术研究综述 被引量:185
1
作者 周傲英 金澈清 +1 位作者 王国仁 李建中 《计算机学报》 EI CSCD 北大核心 2009年第1期1-16,共16页
随着数据采集和处理技术的进步,人们对数据的不确定性的认识也逐步深入.在诸如经济、军事、物流、金融、电信等领域的具体应用中,数据的不确定性普遍存在.不确定性数据的表现形式多种多样,它们可以以关系型数据、半结构化数据、流数据... 随着数据采集和处理技术的进步,人们对数据的不确定性的认识也逐步深入.在诸如经济、军事、物流、金融、电信等领域的具体应用中,数据的不确定性普遍存在.不确定性数据的表现形式多种多样,它们可以以关系型数据、半结构化数据、流数据或移动对象数据等形式出现.目前,根据应用特点与数据形式差异,研究者已经提出了多种针对不确定数据的数据模型.这些不确定性数据模型的核心思想都源自于可能世界模型.可能世界模型从一个或多个不确定的数据源演化出诸多确定的数据库实例,称为可能世界实例,而且所有实例的概率之和等于1.尽管可以首先分别为各个实例计算查询结果,然后合并中间结果以生成最终查询结果,但由于可能世界实例的数量远大于不确定性数据库的规模,这种方法并不可行.因此,必须运用排序、剪枝等启发式技术设计新型算法,以提高效率.文中介绍了不确定性数据管理技术的概念、特点与挑战,综述了数据模型、数据预处理与集成、存储与索引、查询处理等方面的工作. 展开更多
关键词 不确定性数据 可能世界模型 数据集成 世系 不确定数据流
下载PDF
Android手机访问服务器的一种数据交互方法 被引量:76
2
作者 刘平 《电子设计工程》 2010年第9期96-98,102,共4页
通过对Android手机访问Web服务器的API的分析和实践,提出了一种解决手机终端和Web服务器交互提取各种类型数据的清晰有效的方法,扩展了Android平台在访问Web服务器进行交互时的解析数据能力,给移动商务软件开发人员在开发数据交互实践... 通过对Android手机访问Web服务器的API的分析和实践,提出了一种解决手机终端和Web服务器交互提取各种类型数据的清晰有效的方法,扩展了Android平台在访问Web服务器进行交互时的解析数据能力,给移动商务软件开发人员在开发数据交互实践过程提供了参考。 展开更多
关键词 Android 手机终端 3G 数据流 过滤流 SERVLET SSH架构 POST方法 GET方法 XML 数据库
下载PDF
基于数据流的任意形状聚类算法 被引量:51
3
作者 朱蔚恒 印鉴 谢益煌 《软件学报》 EI CSCD 北大核心 2006年第3期379-387,共9页
详细分析了数据流聚类算法CluStream的不足之处,如对非球形的聚类效果不好、对周期性数据的聚类变化反映不完整等,并针对这些不足之处提出了一种采用空间分割、组合以及按密度聚类的算法ACluStream.实验结果表明,ACluStream在准确度和... 详细分析了数据流聚类算法CluStream的不足之处,如对非球形的聚类效果不好、对周期性数据的聚类变化反映不完整等,并针对这些不足之处提出了一种采用空间分割、组合以及按密度聚类的算法ACluStream.实验结果表明,ACluStream在准确度和速度上都比CluStream有较大的提高. 展开更多
关键词 数据流 聚类 数据挖掘
下载PDF
基于视频的改进帧差法在车流量检测中的应用 被引量:46
4
作者 张玲 陈丽敏 +1 位作者 何伟 郭磊民 《重庆大学学报(自然科学版)》 EI CAS CSCD 北大核心 2004年第5期31-33,73,共4页
如何有效去除背景、消除按车道开固定窗检测车辆的方法中,由于车辆换道或相邻车道的车辆部分覆盖了被检测车道检测窗而引起的误检,是车辆检测系统需要解决的一大难题。针对上述问题提出了一种基于视频的改进的帧差法,在检测带内由车辆... 如何有效去除背景、消除按车道开固定窗检测车辆的方法中,由于车辆换道或相邻车道的车辆部分覆盖了被检测车道检测窗而引起的误检,是车辆检测系统需要解决的一大难题。针对上述问题提出了一种基于视频的改进的帧差法,在检测带内由车辆信息生成数据流,根据数据流的变化进行车辆检测、计数并估计平均车速。从而实现对过往车辆的准确计数,更可靠地收集各车道的车流信息,为智能交通提供实时交通参数。 展开更多
关键词 视频 车流量检测 邻域比较 检测带 动态开窗 数据流
下载PDF
数据挖掘取样方法研究 被引量:54
5
作者 胡文瑜 孙志挥 吴英杰 《计算机研究与发展》 EI CSCD 北大核心 2011年第1期45-54,共10页
取样是一种通用有效的近似技术.在数据挖掘研究中,取样方法可显著减小所处理数据集的规模,使得众多数据挖掘算法得以应用到大规模数据集以及数据流数据上.通过对应用于数据挖掘领域的代表性取样方法的比较研究和分析总结,提出了一个取... 取样是一种通用有效的近似技术.在数据挖掘研究中,取样方法可显著减小所处理数据集的规模,使得众多数据挖掘算法得以应用到大规模数据集以及数据流数据上.通过对应用于数据挖掘领域的代表性取样方法的比较研究和分析总结,提出了一个取样算法分类框架.在指出了均匀取样局限性的基础上阐述了某些应用场景中选用偏倚取样方法的必要性,综述了取样技术在数据挖掘领域的应用研究与应用发展,最后对数据流挖掘取样方法面临的挑战和发展方向进行了展望. 展开更多
关键词 数据挖掘 均匀取样 偏倚取样 数据流 概要数据结构
下载PDF
数据归一化方法综述 被引量:49
6
作者 杨寒雨 赵晓永 王磊 《计算机工程与应用》 CSCD 北大核心 2023年第3期13-22,共10页
当今,人工智能已经广泛应用到各个领域中,并取得了显著的效果。数据归一化是人工智能应用落地中的一个重要环节,它有助于避免神经网络因数据量纲的复杂性对数据进行错误建模。在大数据场景下,相当一部分数据是以流的形式先后到达训练点... 当今,人工智能已经广泛应用到各个领域中,并取得了显著的效果。数据归一化是人工智能应用落地中的一个重要环节,它有助于避免神经网络因数据量纲的复杂性对数据进行错误建模。在大数据场景下,相当一部分数据是以流的形式先后到达训练点,所以在流场景下数据归一化研究是当前亟待解决的关键问题。目前关于归一化研究的综述较多,大多仅仅针对于批数据的归一化研究,而缺乏对流数据的归一化方法的总结,不具参考性。在批数据归一化研究基础之上,系统化整理并详尽分析了流数据归一化的相关文献,凝练提出了基于流数据的归一化分类方法,并将数据归一化方法划分为批数据的归一化方法和流数据的归一化方法。同时,对这些方法的原理、优势和可以解决的主要问题进行了对比分析,在不同场景下对数据归一化的未来研究方向进行了展望。 展开更多
关键词 归一化 数据流 深度学习 数据挖掘
下载PDF
流数据挖掘综述 被引量:36
7
作者 孙玉芬 卢炎生 《计算机科学》 CSCD 北大核心 2007年第1期1-5,11,共6页
作为一种新的数据形态,流数据对数据挖掘提出了诸多挑战。学者们已提出大量处理流数据的挖掘算法。本文对这些算法进行了综述。首先介绍了多个不同的数据流模型,这些模型对算法设计有着不同的要求。然后,总结了流数据挖掘算法的特点,并... 作为一种新的数据形态,流数据对数据挖掘提出了诸多挑战。学者们已提出大量处理流数据的挖掘算法。本文对这些算法进行了综述。首先介绍了多个不同的数据流模型,这些模型对算法设计有着不同的要求。然后,总结了流数据挖掘算法的特点,并给出了算法中常用的技术。最后,分析了各个流数据挖掘任务中的代表性算法。 展开更多
关键词 数据流 数据挖掘 时空复杂度 滑动窗口
下载PDF
分布式流处理技术综述 被引量:50
8
作者 崔星灿 禹晓辉 +1 位作者 刘洋 吕朝阳 《计算机研究与发展》 EI CSCD 北大核心 2015年第2期318-332,共15页
随着计算机和网络技术的迅猛发展以及数据获取手段的不断丰富,在越来越多的领域出现了对海量、高速数据进行实时处理的需求.由于此类需求往往超出传统数据处理技术的能力,分布式流处理模式应运而生.首先回顾分布式流处理技术产生的背景... 随着计算机和网络技术的迅猛发展以及数据获取手段的不断丰富,在越来越多的领域出现了对海量、高速数据进行实时处理的需求.由于此类需求往往超出传统数据处理技术的能力,分布式流处理模式应运而生.首先回顾分布式流处理技术产生的背景以及技术演进过程,然后将其与其他相关大数据处理技术进行对比,以界定分布式流数据处理的外延.进而对分布式流处理所需要考虑的数据模型、系统模型、存储管理、语义保障、负载控制、系统容错等主要问题进行深入分析,指出现有解决方案的优势和不足.随后,介绍S4,Storm,Spark Streaming等几种具有代表性的分布式流处理系统,并对它们进行系统地对比.最后,给出分布式流处理在社交媒体处理等领域的几种典型应用,并探讨分布式流处理领域进一步的研究方向. 展开更多
关键词 大数据 数据流 分布式流处理 实时处理 分布式系统
下载PDF
挖掘数据流任意滑动时间窗口内频繁模式 被引量:45
9
作者 李国徽 陈辉 《软件学报》 EI CSCD 北大核心 2008年第10期2585-2596,共12页
由于数据流的流动性与连续性,数据流所蕴含的知识会随着时间的推移而发生变化.因此,在绝大多数数据流的应用中,用户往往对新产生的流数据所包含的知识要比对历史流数据所包含的知识感兴趣得多.提出了一种挖掘数据流任意大小滑动时间窗... 由于数据流的流动性与连续性,数据流所蕴含的知识会随着时间的推移而发生变化.因此,在绝大多数数据流的应用中,用户往往对新产生的流数据所包含的知识要比对历史流数据所包含的知识感兴趣得多.提出了一种挖掘数据流任意大小滑动时间窗口内频繁模式的方法MSW(mining sliding window).当数据流流过时,该方法使用滑动窗口树SW-tree在单遍扫描流数据的条件下及时捕获数据流上最新的模式信息.同时,该方法还周期性地删除滑动窗口树上过期的及不频繁的模式分支,从而降低滑动窗口树的空间复杂度与维护代价.此外,该方法还应用时间衰减模型逐步降低历史事务模式支持数的权重,并由此来区分最近产生事务与历史事务的模式.大量仿真实验的结果表明,算法MSS具有较高的效率与优良的可扩展性,同时也优于其他同类算法. 展开更多
关键词 数据流 频繁模式挖掘 滑动时间窗口 时间衰减模型
下载PDF
大规模用电数据流的快速聚类和异常检测技术 被引量:51
10
作者 王桂兰 周国亮 +1 位作者 赵洪山 米增强 《电力系统自动化》 EI CSCD 北大核心 2016年第24期27-33,共7页
对近年来在电力系统中出现的大规模数据流进行了探讨,目的是利用流式计算技术提高系统的实时性和安全性。针对大规模用电信息采集中用电数据流的快速聚类和异常检测技术展开研究。结合分布式流式计算平台Spark Streaming,基于用电行为... 对近年来在电力系统中出现的大规模数据流进行了探讨,目的是利用流式计算技术提高系统的实时性和安全性。针对大规模用电信息采集中用电数据流的快速聚类和异常检测技术展开研究。结合分布式流式计算平台Spark Streaming,基于用电行为在纵向时间和横向空间上表现出的聚类特性,即同类用户具有相似用电模式和同一用户历史数据具有相似性,设计并实现了流式DBSCAN聚类算法,以实现对大规模用电数据流的快速异常检测。设计并搭建了支持大规模数据流处理的实验环境,证明了算法的有效性。 展开更多
关键词 数据流 聚类 异常检测 流式计算 用电行为
下载PDF
数据流挖掘算法研究综述 被引量:21
11
作者 蒋盛益 李庆华 李新 《计算机工程与设计》 CSCD 北大核心 2005年第5期1130-1132,1169,共4页
流数据挖掘是数据挖掘的一个新的研究方向,已逐渐成为许多领域的有用工具。在介绍数据流的基本特点以及数据流挖掘的意义的基础上,对现有数据流挖掘算法的主要思想方法进行了总结,并指出了这些方法的局限性。最后对数据流挖掘的发展方... 流数据挖掘是数据挖掘的一个新的研究方向,已逐渐成为许多领域的有用工具。在介绍数据流的基本特点以及数据流挖掘的意义的基础上,对现有数据流挖掘算法的主要思想方法进行了总结,并指出了这些方法的局限性。最后对数据流挖掘的发展方向进行了展望。 展开更多
关键词 数据流 挖掘算法 聚类 分类 频繁模式
下载PDF
大规模配电网负荷数据在线清洗与修复方法研究 被引量:48
12
作者 刁赢龙 盛万兴 +2 位作者 刘科研 何开元 孟晓丽 《电网技术》 EI CSCD 北大核心 2015年第11期3134-3140,共7页
为减少数据缓存成本,提高负荷数据在配电网规划设计、智能分析等领域的可用性,充分有效地对大规模、混杂、不精确的监测或采集负荷数据进行在线清洗,保证每个周期的时序数据得到一致的偏差检测和精确修复,在分析不同类型异常负荷数据产... 为减少数据缓存成本,提高负荷数据在配电网规划设计、智能分析等领域的可用性,充分有效地对大规模、混杂、不精确的监测或采集负荷数据进行在线清洗,保证每个周期的时序数据得到一致的偏差检测和精确修复,在分析不同类型异常负荷数据产生原因和分布特点的基础上,提出一种面向大规模配电网负荷数据的在线清洗与修复方法,包括基于密度的负荷数据流异常辨识方法和基于协同过滤推荐算法的负荷数据修复方法。为突破配电网负荷大数据在线分析性能瓶颈,还在Hadoop平台上给出相应的分布式并行解决方案,通过使用实际配电网运行中的负荷数据进行验证,结果表明所提算法和框架能够有效预处理配电网负荷数据,具有实际应用价值。 展开更多
关键词 数据清洗 流数据 大规模配电网 在线清洗
下载PDF
一种有效的挖掘数据流近似频繁项算法 被引量:33
13
作者 王伟平 李建中 +1 位作者 张冬冬 郭龙江 《软件学报》 EI CSCD 北大核心 2007年第4期884-892,共9页
数据流频繁项是指在数据流中出现频率超出指定阈值的数据项.查找数据流频繁项在网络故障监测、流数据分析以及流数据挖掘等多个领域有着广泛的应用.在数据流模型下,算法只能一遍扫描数据,并且可用的存储空间远远小于数据流的规模,因此,... 数据流频繁项是指在数据流中出现频率超出指定阈值的数据项.查找数据流频繁项在网络故障监测、流数据分析以及流数据挖掘等多个领域有着广泛的应用.在数据流模型下,算法只能一遍扫描数据,并且可用的存储空间远远小于数据流的规模,因此,挖掘出所有准确的数据流频繁项通常是不可能的.提出一种新的挖掘数据流近似频繁项的算法.该算法的空间复杂性为O(ε^(-1)),每个数据项的平均处理时间为O(1),输出结果的频率误差界限为ε(1-s+ε)N,在目前已有的同类算法中均为最优. 展开更多
关键词 数据流 数据挖掘 频繁项 ε-近似
下载PDF
基于负载感知的数据流动态负载均衡策略 被引量:41
14
作者 李梓杨 于炯 +2 位作者 卞琛 王跃飞 鲁亮 《计算机应用》 CSCD 北大核心 2017年第10期2760-2766,2772,共8页
针对大数据流式计算平台中存在节点间负载不均衡、节点性能评估不全面的问题,提出基于负载感知算法的动态负载均衡策略,并将算法应用于Flink数据流计算平台中。首先通过有向无环图的深度优先搜索算法获取节点的计算延迟时间作为评估节... 针对大数据流式计算平台中存在节点间负载不均衡、节点性能评估不全面的问题,提出基于负载感知算法的动态负载均衡策略,并将算法应用于Flink数据流计算平台中。首先通过有向无环图的深度优先搜索算法获取节点的计算延迟时间作为评估节点性能的依据,并制定负载均衡策略;然后基于数据分块管理策略实现流式数据的节点间负载迁移技术,通过反馈实现全局和局部的负载调优;最后通过实验评估时空代价论证算法的可行性,并讨论重要参数对算法执行效果的影响。经实验验证算法通过优化流式计算任务的负载分配提高了任务的执行效率,与采用Flink平台现有的负载均衡策略相比,任务执行时间平均缩短6.51%。 展开更多
关键词 数据流 负载均衡 深度优先搜索 负载感知 APACHE Flink
下载PDF
基于滑动窗口的数据流闭合频繁模式的挖掘 被引量:26
15
作者 刘学军 徐宏炳 +2 位作者 董逸生 钱江波 王永利 《计算机研究与发展》 EI CSCD 北大核心 2006年第10期1738-1743,共6页
频繁闭合模式集惟一确定频繁模式完全集并且数量小得多,然而,如何挖掘滑动窗口中的频繁闭合模式集是一个很大的挑战.根据数据流的特点,提出了一种发现滑动窗口中频繁闭合模式的新方法DSCFI.DSCFI算法将滑动窗口分割为若干个基本窗口,以... 频繁闭合模式集惟一确定频繁模式完全集并且数量小得多,然而,如何挖掘滑动窗口中的频繁闭合模式集是一个很大的挑战.根据数据流的特点,提出了一种发现滑动窗口中频繁闭合模式的新方法DSCFI.DSCFI算法将滑动窗口分割为若干个基本窗口,以基本窗口为更新单位,利用已有的频繁闭合模式挖掘算法计算每个基本窗口的潜在频繁闭合项集,将它们及其子集存储到一种新的数据结构DSCFItree中,DSCFItree能够增量更新,利用DSCFItree可以快速地挖掘滑动窗口中的所有频繁闭合模式.最后,通过实验验证了这种方法的有效性. 展开更多
关键词 数据流 闭合频繁项集 滑动窗口 关联规则 知识发现
下载PDF
数据流中一种快速启发式频繁模式挖掘方法 被引量:14
16
作者 张昕 李晓光 +1 位作者 王大玲 于戈 《软件学报》 EI CSCD 北大核心 2005年第12期2099-2105,共7页
在现有的数据流频繁模式挖掘算法中,批处理方法平均处理时间短,但需要积攒足够的数据,使得其实时性差且查询粒度粗;而启发式方法可以直接处理数据流,但处理速度慢.提出一种改进的字典树结构——IL-TREE(improvedlexicographictree),并... 在现有的数据流频繁模式挖掘算法中,批处理方法平均处理时间短,但需要积攒足够的数据,使得其实时性差且查询粒度粗;而启发式方法可以直接处理数据流,但处理速度慢.提出一种改进的字典树结构——IL-TREE(improvedlexicographictree),并在其基础上提出一种新的启发式算法FPIL-Stream(frequentpatternminingbasedonimprovedlexicographictree),在更新模式和生成新模式的过程中,可以快速定位历史模式.算法结合了倾斜窗口策略,可以详细记录历史信息.该算法在及时处理数据流的前提下,也降低了数据的平均处理时间,并且提供了更细的查询粒度. 展开更多
关键词 数据挖掘 数据流 频繁模式 倾斜窗口
下载PDF
电力大数据全景实时分析关键技术 被引量:37
17
作者 周国亮 吕凛杰 王桂兰 《电信科学》 北大核心 2016年第4期159-168,共10页
针对智能电网建设过程中收集的电力大数据,基于电力系统全景实时数据分析的需求,探讨基于大数据的电力系统安全可靠性分析、实时状态监控及能源全景动态平衡调度等核心问题的解决思路。分析了利用大数据解决安全可靠性、设备全寿命周期... 针对智能电网建设过程中收集的电力大数据,基于电力系统全景实时数据分析的需求,探讨基于大数据的电力系统安全可靠性分析、实时状态监控及能源全景动态平衡调度等核心问题的解决思路。分析了利用大数据解决安全可靠性、设备全寿命周期管理及能源实时平衡调度等问题的挑战及解决思路,基于大规模实时多源细节数据和设备全景数据的计算,有助于提高系统分析的精度和准确度,保证电网安全运行;探讨了内存计算、实时流式大数据处理、大规模并行计算及列存储等技术在电力大数据实时分析中的应用;结合主流开源大数据处理技术,设计了电力大数据分析平台的分层体系架构,为电力系统的高效运行提供保证。 展开更多
关键词 电力大数据 全景实时数据 内存计算 数据流 大规模并行
下载PDF
基于图形处理器的数据流快速聚类 被引量:24
18
作者 曹锋 周傲英 《软件学报》 EI CSCD 北大核心 2007年第2期291-302,共12页
在数据流环境下,聚类算法不仅需要有较高的聚类质量,同时需要有实时处理速度.因而,提出了一类基于图形处理器(graphics processing unit,简称GPU)的快速聚类方法,包括基于K-means的基本聚类方法、基于GPU的数据流聚类以及数据流簇进化... 在数据流环境下,聚类算法不仅需要有较高的聚类质量,同时需要有实时处理速度.因而,提出了一类基于图形处理器(graphics processing unit,简称GPU)的快速聚类方法,包括基于K-means的基本聚类方法、基于GPU的数据流聚类以及数据流簇进化分析方法.这些方法的共同特点是充分利用了GPU强大的处理能力和流水线特性.与以往具有独立框架的数据流聚类算法不同,这些基于GPU的聚类算法具有同一框架和多种聚类分析功能,为数据流聚类分析提供了统一的平台.从分析可知,数据流聚类分析的核心操作实际上就是距离计算和比较.基于这一认识,利用GPU的子素向量处理功能进行距离计算.性能验证实验是在配有Pentium IV3.4G CPU和NVIDIA GeForce 6800 GT显卡的PC上进行的.综合分析和实验结果表明,基于GPU的数据流聚类算法比传统的CPU算法平均快7倍,从而为高速数据流应用提供了良好的支持. 展开更多
关键词 数据流 聚类 图形处理器 进化 窗口
下载PDF
离群点挖掘研究 被引量:27
19
作者 徐翔 刘建伟 罗雄麟 《计算机应用研究》 CSCD 北大核心 2009年第1期34-40,共7页
随着人们对欺诈检测、网络入侵、故障诊断等问题的关注,离群点挖掘研究日益受到重视。在充分调研国内外离群点挖掘研究成果的基础上,介绍了数据库领域离群点挖掘的研究进展,并概要地总结和比较了已有的各种离群点挖掘方法,展望了离群点... 随着人们对欺诈检测、网络入侵、故障诊断等问题的关注,离群点挖掘研究日益受到重视。在充分调研国内外离群点挖掘研究成果的基础上,介绍了数据库领域离群点挖掘的研究进展,并概要地总结和比较了已有的各种离群点挖掘方法,展望了离群点挖掘研究的未来发展方向和面临的挑战。 展开更多
关键词 离群点 数据挖掘 局部离群点 高维数据 数据流
下载PDF
基于多分类器的数据流中的概念漂移挖掘 被引量:28
20
作者 孙岳 毛国君 +1 位作者 刘旭 刘椿年 《自动化学报》 EI CSCD 北大核心 2008年第1期93-97,共5页
数据流中概念漂移的检测是当前数据挖掘领域的重要研究分支,近年来得到了广泛的关注.本文提出了一种称为M_ID4的数据流挖掘算法.它是在大容量数据流挖掘中,通过尽量少的训练样本来实现概念漂移检测的快速方法.利用多分类器综合技术,M-ID... 数据流中概念漂移的检测是当前数据挖掘领域的重要研究分支,近年来得到了广泛的关注.本文提出了一种称为M_ID4的数据流挖掘算法.它是在大容量数据流挖掘中,通过尽量少的训练样本来实现概念漂移检测的快速方法.利用多分类器综合技术,M-ID4实现了数据流中概念漂移的增量式检测和挖掘.实验结果表明,MID4算法在处理数据流的概念漂移上表现出比已有同类算法更高的精确度和适应性. 展开更多
关键词 数据挖掘 数据流 概念漂移
下载PDF
上一页 1 2 89 下一页 到第
使用帮助 返回顶部