期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到625篇文章
< 1 2 … 32 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
一种基于Kafka的可靠的Consumer的设计方案 被引量：37
1
作者 王岩 王纯 《软件》 2016年第1期61-66,共6页
伴随着互联网和移动互联网的发展,各种新兴应用层出不穷,对大数据处理的实时性和高并发能力要求也在不断提高。Apache Kafka,作为一种分布式的消息系统,具有可水平扩展和高吞吐率而被广泛的使用。对于数据业务的基础支撑系统,除了能够... 伴随着互联网和移动互联网的发展,各种新兴应用层出不穷,对大数据处理的实时性和高并发能力要求也在不断提高。Apache Kafka,作为一种分布式的消息系统,具有可水平扩展和高吞吐率而被广泛的使用。对于数据业务的基础支撑系统,除了能够满足高并发度和实时性以外,数据的质量即数据可靠性也是关键的一环。但是,由Kafka原生提供的数据消费者不能够保障数据的可靠性。本文首先简单介绍了Kafka的组成、架构特性等技术背景,然后阐述了原生Consumer的原理和缺陷;最后,基于Kafka提出一个可靠的消费者的设计方案。本方案是基于Kafka的low-level的接口集,解决了Kafka原生Consumer由于将用户消费数据的动作与数据消费位置的记录独立而引起的数据质量问题,保障了数据的可靠性。最后,搭建Kafka集群测试环境,验证了方案的可行性和正确性。 展开更多
关键词 kafka 数据可靠性 zookeeper 实时
下载PDF
分布式消息系统研究综述 被引量：34
2
作者 吴璨 王小宁 +3 位作者 肖海力 曹荣强 赵一宁 迟学斌 《计算机科学》 CSCD 北大核心 2019年第B06期1-5,34,共6页
随着大数据时代的到来,各类软硬件系统的高并发访问、海量数据处理等需求越来越多,系统的高可用、易伸缩、可扩展成为系统研发的首要目标,分布式系统应运而生,提供了满足高性能需求的解决方案。然而,系统分布式地部署在不同的计算机上,... 随着大数据时代的到来,各类软硬件系统的高并发访问、海量数据处理等需求越来越多,系统的高可用、易伸缩、可扩展成为系统研发的首要目标,分布式系统应运而生,提供了满足高性能需求的解决方案。然而,系统分布式地部署在不同的计算机上,使得系统间的消息通信成为重要问题。文章综述了4种流行的开源分布式消息系统,对比分析了RabbitMQ,Kafka,ActiveMQ和RocketMQ的架构及性能,为科研人员和系统开发者选择分布式消息系统提供了参考意见。 展开更多
关键词 分布式消息系统 RabbitMQ kafka ActiveMQ RocketMQ
下载PDF
基于Netty和Kafka的物联网数据接入系统 被引量：30
3
作者 甄凯成 黄河 宋良图 《计算机工程与应用》 CSCD 北大核心 2020年第5期135-140,共6页
当前在物联网应用中,大量采集终端被用于感知环境、定位服务、状态监测等应用,并源源不断地上传数据,在提产助效的同时,给远程服务端数据收集及实时处理带来巨大挑战。利用Netty网络通信库构造高性能的收集端网络通信处理服务并设计出... 当前在物联网应用中,大量采集终端被用于感知环境、定位服务、状态监测等应用,并源源不断地上传数据,在提产助效的同时,给远程服务端数据收集及实时处理带来巨大挑战。利用Netty网络通信库构造高性能的收集端网络通信处理服务并设计出可供采集终端与收集端使用的通信协议,剥离出网络通信业务中耗时操作并将数据推送至流式消息处理系统Kafka中,再由Kafka消费者负责后续数据持久化、实时分析工作。由此实现一个支持高并发、低延迟的数据接入系统。实验结果表明,在万级别连接情况下,该系统能正常工作且保持较快的响应速度。 展开更多
关键词 物联网数据 网络通信 Netty kafka
下载PDF
基于ELK和Spark Streaming的日志分析系统设计与实现 被引量：21
4
作者 李祥池 《电子科学技术》 2015年第6期674-678,共5页
在大数据时代,对数据平台各组件的运行状态实时监控与运行分析具有重要意义,实现该目的需要符合企业自身应用场景的日志处理解决方案。本文基于业界主流的开源日志解决方案ELK Stack,探讨该方案中各组件的主要功能和工作原理,以及其在... 在大数据时代,对数据平台各组件的运行状态实时监控与运行分析具有重要意义,实现该目的需要符合企业自身应用场景的日志处理解决方案。本文基于业界主流的开源日志解决方案ELK Stack,探讨该方案中各组件的主要功能和工作原理,以及其在解析数据库日志中的使用方法,并将该方案与分布式消息队列Kafka整合以保证数据可靠性,与Spark流数据处理框架Spark Streaming整合以实现实时告警。为数据平台的运维监控工作提供参考。 展开更多
关键词 ELK SPARK kafka 日志分析
下载PDF
基于Spark的分布式大数据分析算法研究 被引量：20
5
作者 宋泊东 张立臣 江其洲 《计算机应用与软件》 北大核心 2019年第1期39-44,共6页
随着大数据时代的到来,数据计算的实时性和数据量面临许多挑战。为了满足庞大的数据量和大数据高速处理的要求,研究将Apache作为一种集成的资源管理系统。采用Apache Storm、Apache Spice及SARK RDD处理大型分布式实时数据流,使用Apache... 随着大数据时代的到来,数据计算的实时性和数据量面临许多挑战。为了满足庞大的数据量和大数据高速处理的要求,研究将Apache作为一种集成的资源管理系统。采用Apache Storm、Apache Spice及SARK RDD处理大型分布式实时数据流,使用Apache Kafka作为消息中间件来支持异步消息的通信。设计一种支持并行运算规则的分布式大数据分析处理算法。实验结果表明:该算法可有效降低海量数据的分析速度,且支持系统内各子系统间的异构信息沟通与数据存储,足以满足高频交易市场的短期趋势预测需求。在高频、大数据处理系统中具有较高的应用价值。 展开更多
关键词 APACHE kafka 分布式 SPARK RDD N层 实时数据流
下载PDF
一种优化的Kafka消费者/客户端负载均衡算法 被引量：18
6
作者 王郑合 王锋 +2 位作者 邓辉 柳翠寅 张晓丽 《计算机应用研究》 CSCD 北大核心 2017年第8期2306-2309,共4页
Kafka是一款高吞吐的分布式消息系统,在海量数据处理等多个领域被广泛使用。但现有Kafka消费者/客户端负载均衡算法存在一些不足,在处理海量数据时易产生过高开销甚至出错等问题。提出了一种优化的Kafka消费者/客户端负载均衡算法,负载... Kafka是一款高吞吐的分布式消息系统,在海量数据处理等多个领域被广泛使用。但现有Kafka消费者/客户端负载均衡算法存在一些不足,在处理海量数据时易产生过高开销甚至出错等问题。提出了一种优化的Kafka消费者/客户端负载均衡算法,负载均衡过程完全由作为管理者的消费者控制,其余消费者不必单独进行负载均衡,而且管理者不用重新分配每个消费者消费的分区。系统对所有消费者的运行状况进行监控,出现宕机的消费者后可及时进行负载再均衡。测试结果说明该算法能够减少Kafka消费者/客户端在负载均衡过程中的系统开销,并避免出现错误的负载均衡结果,可以有效地保障分布科学数据处理的正确性。 展开更多
关键词 分布式消息系统 发布订阅模式 kafka 负载均衡 系统开销 可靠性
下载PDF
基于NS3的分布式消息系统Kafka的仿真实现 被引量：18
7
作者 马浩然 《软件》 2015年第1期94-99,共6页
在数据已渗透到我们生活的各个领域的时代,人们对于数据的挖掘和使用愈发频繁。作为以消息为单位进行数据共享的分布式架构,分布式消息系统成为数据处理的核心技术。传统的分布式消息系统大多用于处理数据量小的关键性数据,然而在信息... 在数据已渗透到我们生活的各个领域的时代,人们对于数据的挖掘和使用愈发频繁。作为以消息为单位进行数据共享的分布式架构,分布式消息系统成为数据处理的核心技术。传统的分布式消息系统大多用于处理数据量小的关键性数据,然而在信息剧增的今天,人们对信息的关注领域在不断扩大,挖掘的信息量在不断增多,传统的消息处理架构已不能满足我们对数据的处理需求,一个高吞吐量,可实时消费的高性能分布式消息系统成为必需。Kafka即是一种处理海量数据的分布式消息系统[1]。本文总结了Kafka系统的特征和架构策略,对其进行抽象建模,通过网络仿真工具NS3[2],设计实际系统的场景部署,最后运行仿真系统,得出数据并分析,以帮助我们理解和评估Kafka分布式消息系统。 展开更多
关键词 计算机软件 分布式消息系统 卡夫卡 网络仿真模拟器
下载PDF
基于Kafka的分布式能效管理平台的设计与实现 被引量：15
8
作者 朱幼普 卢军 《计算机与数字工程》 2018年第12期2620-2623,共4页
为了实现能源的信息化管理,从数据传输的实时性和可靠性的角度入手,论文设计了一个基于Kafka分布式消息队列的能效信息管理平台,对电表,水表等计量设备采集的实时数据进行分析处理和展示,实现能源使用的科学化、智能化、精细化。论文充... 为了实现能源的信息化管理,从数据传输的实时性和可靠性的角度入手,论文设计了一个基于Kafka分布式消息队列的能效信息管理平台,对电表,水表等计量设备采集的实时数据进行分析处理和展示,实现能源使用的科学化、智能化、精细化。论文充分利用Kafka在数据传输方面的优势,将Kafka作为消息传递服务器,实现各个微服务之间的通信。实验数据表明,论文设计的基于Kafka的分布式能效管理平台在数据传输方面具有更高的可靠性和数据吞吐量。 展开更多
关键词 分布式 kafka 数据传输 可靠性
下载PDF
基于Flink的工业大数据平台研究与应用 被引量：16
9
作者 赵润发 娄渊胜 +1 位作者 叶枫 石宏 《计算机工程与设计》 北大核心 2022年第3期886-894,共9页
随着工业4.0的到来,互联网与工业结合愈发紧密,但工业大数据规模大、类型杂、质量低的特点导致大量设备数据无效且企业人员无法正确监测到设备信息。针对这一问题,提出一种基于Flink的工业大数据平台。以企业传感器数据为基础,用Flink... 随着工业4.0的到来,互联网与工业结合愈发紧密,但工业大数据规模大、类型杂、质量低的特点导致大量设备数据无效且企业人员无法正确监测到设备信息。针对这一问题,提出一种基于Flink的工业大数据平台。以企业传感器数据为基础,用Flink将不同类型的数据发送至消息管道Kafka中暂存数据,用Flink对Kafka中的数据进行处理,实现工业大数据的查询与预警,与当前典型的两个大数据平台进行比较。实验结果表明,由Flink和Kafka集成的工业大数据平台,能更清晰高效地查询到设备数据且能够更快速地实现对企业设备的预警。 展开更多
关键词 工业4.0 工业大数据 大数据处理平台 弗林克 卡夫卡 查询预警
下载PDF
基于Kafka消息队列的新一代分布式电量采集方法研究 被引量：17
10
作者 金双喜 李永 +3 位作者 吴骅 武文广 李俊臣 张新艳 《智慧电力》 北大核心 2018年第2期77-82,共6页
为支撑国网公司同期线损管理工作的全面开展,完成35 kV及以上电压等级关口全覆盖、全采集,及时向线损管理提供关口计量点电量数据,需要在电量数据采集的完整性及数据传输的可靠性方面进行深入研究。通过引入一种基于Kafka消息队列的分... 为支撑国网公司同期线损管理工作的全面开展,完成35 kV及以上电压等级关口全覆盖、全采集,及时向线损管理提供关口计量点电量数据,需要在电量数据采集的完整性及数据传输的可靠性方面进行深入研究。通过引入一种基于Kafka消息队列的分布式消息处理机制,构建一套具有高吞吐量、高性能并确实可靠的分布式消息系统,采用消息发布/订阅模式,基于副本数据保护方法,运用缓冲队列循环入库算法来确保其电量的可靠传输与数据归集,实现大规模分布式应用中电量传递的高效与稳定,解决从集中式向分布式采集架构过渡的难题,以支持后续海量数据采集应用的扩展性研究。目前,该系统应用良好,运行稳定可靠。 展开更多
关键词 关口电量 数据采集 分布式消息队列 Kaika 缓冲队列循环入库
下载PDF
余华对外国文学的创造性吸收 被引量：8
11
作者 姚岚 《中国比较文学》 CSSCI 2002年第3期41-51,共11页
本文以比较文学的影响研究为理论基础,结合运用跨学科的研究方法,对中国当代作家余华的创作进行了梳理,分析了其前期作品与法国新小说派以及卡夫卡小说之间的内在联系,揭示出他后期创作与海德格尔哲学思想的契合与呼应.
关键词 余华 当代作家 前期作品 新小说派 外国文学 比较文学 后期创作 对外 呼应 跨学科
原文传递
灵魂城堡的侦察和探险——评残雪解读卡夫卡与博尔赫斯 被引量：10
12
作者 胡荣 《中国比较文学》 CSSCI 2002年第2期90-104,共15页
当代中国最富现代主义色彩的作家残雪,对卡夫卡和博尔赫斯两位现代主义大师的作品作出了与众不同的解读.她以直觉为先导,极力破译作品中的种种隐喻和暗示,将其"还原"成艺术家精神探索的独特过程.这种个性化的解读方式既有契... 当代中国最富现代主义色彩的作家残雪,对卡夫卡和博尔赫斯两位现代主义大师的作品作出了与众不同的解读.她以直觉为先导,极力破译作品中的种种隐喻和暗示,将其"还原"成艺术家精神探索的独特过程.这种个性化的解读方式既有契合某些作品结构的一面,也存在单一生硬的缺陷. 展开更多
关键词 残雪 博尔赫斯 卡夫卡 现代主义 精神探索 作品 解读 城堡 大师 探险
原文传递
“变形”的美学——从《变形记》看卡夫卡小说的话语方式 被引量：15
13
作者 胡志明 《山东师范大学学报（人文社会科学版）》 北大核心 2001年第5期58-62,共5页
卡夫卡在创作 (如《变形记》)中运用的是一种变形的话语方式。它常以不可思议的开头 ,把主人公和读者一起“抛入”一个变了形的审美语境 :其叙事时间寓变化于简单、叙事体态采用复合式的双重视角、叙事语式多用虚拟语气和推测性词汇。... 卡夫卡在创作 (如《变形记》)中运用的是一种变形的话语方式。它常以不可思议的开头 ,把主人公和读者一起“抛入”一个变了形的审美语境 :其叙事时间寓变化于简单、叙事体态采用复合式的双重视角、叙事语式多用虚拟语气和推测性词汇。这根源于卡夫卡“变形”的美学 ,包括他对人生的生存境况的“恐惧”体验和“滑动反论” 展开更多
关键词 卡夫卡 <变形记> 话语方式 变形 美学
下载PDF
基于Spark Streaming的实时交通数据处理平台 被引量：13
14
作者 谭亮 周静 《计算机系统应用》 2018年第10期133-139,共7页
交通大数据是解决城市交通问题的最基本条件,是制定宏观城市交通发展战略规划和进行微观道路交通管理与控制的重要保障.针对于智能交通系统中数据产生快、实时性强、数据量大的特点,本文基于Spark Streaming和Apache Kafka的组合构建了... 交通大数据是解决城市交通问题的最基本条件,是制定宏观城市交通发展战略规划和进行微观道路交通管理与控制的重要保障.针对于智能交通系统中数据产生快、实时性强、数据量大的特点,本文基于Spark Streaming和Apache Kafka的组合构建了一个实时交通数据处理平台,用于处理通过双基基站采集的数据,采用时间窗口机制从持续的Kafka分布式消息队列中获取数据,并按照规则将数据分类处理后保存到数据库.本文对平台的系统架构和内部结构进行了详细的介绍,并通过实验验证了系统的实时处理能力,完全可以在大规模高并发的数据流下进行应用. 展开更多
关键词 大数据 流处理系统 双基基站数据 SPARK STREAMING APACHE kafka
下载PDF
卡夫卡《城堡》研究述评 被引量：11
15
作者 曾艳兵 《外国语言文学》 2005年第4期273-278,共6页
《城堡》无疑是卡夫卡最有代表性的作品。自《城堡》问世以来,有关它的著述已数不胜数,其观点见仁见智,其角度五花八门。清理和耙梳这些已有的研究成果无疑是十分必要的,这是我们进一步研究和探索的基础和出发点。《城堡》其实就是卡夫... 《城堡》无疑是卡夫卡最有代表性的作品。自《城堡》问世以来,有关它的著述已数不胜数,其观点见仁见智,其角度五花八门。清理和耙梳这些已有的研究成果无疑是十分必要的,这是我们进一步研究和探索的基础和出发点。《城堡》其实就是卡夫卡讲述的一个有关“城堡”的故事,或者说是他精心设计的一个有关“城堡”的谜语,而谜语的谜底早已失落,或者说它根本就不存在。 展开更多
关键词 卡夫卡 《城堡》 寓意 谜语
原文传递
基于大数据技术的区域煤矿监管数据服务平台设计 被引量：11
16
作者 孟光伟 《工矿自动化》 北大核心 2021年第10期97-102,109,共7页
针对煤矿监管体系中安全风险监测预警系统联网数据多级重复上传、数据不一致现象,各级安全监管机构数据存储计算资源缺乏、关联分析和数据挖掘困难等问题,设计了基于大数据技术的区域煤矿监管数据服务平台。该平台采用Kafka分布式消息队... 针对煤矿监管体系中安全风险监测预警系统联网数据多级重复上传、数据不一致现象,各级安全监管机构数据存储计算资源缺乏、关联分析和数据挖掘困难等问题,设计了基于大数据技术的区域煤矿监管数据服务平台。该平台采用Kafka分布式消息队列,将区域内煤矿监测监控数据生成标准化Kafka数据体,批量上传至云平台Kafka集群;通过发布-订阅模式提供监测监控实时数据消费服务,减轻了网络传输开销,避免了联网数据多级上传和过滤带来的不利影响;采用Spark Structured Streaming计算引擎和Spark SQL进行数据实时计算和历史数据统计分析,通过集成的各类数据分析挖掘算法,为数据挖掘和预测预警提供支持;采用HBase列存储数据库实现海量历史数据的可靠存储,通过与HBase相关联的Hive数据仓库建立各类主题数据模型库,满足数据的多维关联分析需求;通过统一安全权限认证的数据订阅服务为各级监管机构提供所需的煤矿监测监控数据、统计分析数据和数据挖掘结果,将后台数据服务中心与前端监管监察业务系统解耦,通过数据服务为各级监管机构提供数据定制和消费服务,提高了数据利用效率。应用结果表明,平台可满足区域煤矿监测监控数据的存储、分析计算和数据共享需求。 展开更多
关键词 煤矿安全 区域煤矿监管 安全风险监测预警 大数据 kafka 数据分析挖掘 数据订阅服务
下载PDF
卡夫卡的空间意识 被引量：13
17
作者 张德明 《浙江大学学报（人文社会科学版）》 CSSCI 北大核心 2004年第4期137-143,共7页
空间意识构成了卡夫卡小说的典型特征。在卡夫卡小说中,空间不但为主人公的活动提供了背景,其本身也是主人公存在状态的一种象征。从互文角度考察,卡夫卡主要作品中出现了三种不同的叙事空间:封闭的私密空间表现了作家作为流放者和边缘... 空间意识构成了卡夫卡小说的典型特征。在卡夫卡小说中,空间不但为主人公的活动提供了背景,其本身也是主人公存在状态的一种象征。从互文角度考察,卡夫卡主要作品中出现了三种不同的叙事空间:封闭的私密空间表现了作家作为流放者和边缘人的空间焦虑;过渡的空间象征了作为流放者的无定点性;而不可企及和超越的空间则体现了作家在形而上境界的执著追求。卡夫卡的空间意识为当代读者认识20世纪小说叙事的美学特征提供了重要线索。 展开更多
关键词 卡夫卡 空间意识 叙事结构
下载PDF
海量自动气象站分钟数据存储检索系统设计 被引量：10
18
作者 王建荣 季刚 《计算机与现代化》 2017年第9期40-44,共5页
地面自动气象站的时空密度不断增加,产生的观测数据量呈指数级增长,传统的关系型数据库在海量数据存储与检索方面存在能力不足、检索性能下降等问题。鉴于此,本文设计一种自动站分钟数据存储与检索系统。使用Quartz定时采集自动站分钟... 地面自动气象站的时空密度不断增加,产生的观测数据量呈指数级增长,传统的关系型数据库在海量数据存储与检索方面存在能力不足、检索性能下降等问题。鉴于此,本文设计一种自动站分钟数据存储与检索系统。使用Quartz定时采集自动站分钟文件并解码入库;应用HBase分布式数据库建立分钟数据存储模型;针对多要素查询需求,应用Elasticsearch建立辅助索引,实现HBase的二级索引。系统测试结果表明,分钟数据入库平均耗时54.6 s,二级索引完整可靠,数据检索结果返回时效达到毫秒级,能够满足业务应用中对自动站分钟数据存储和检索时效的要求。 展开更多
关键词 自动站分钟数据 kafka HBASE Elasticsearch 协处理器
下载PDF
基于Spark Streaming的实时能耗分项计量系统 被引量：9
19
作者 武志学 《计算机应用》 CSCD 北大核心 2017年第4期928-935,共8页
能耗分项计量能够准确、及时、有效地发现能源使用问题,形成和实现最有效的节能措施。能耗分项计量系统需要对各项能源使用量在不同粒度上进行统计,既有实时性的需求,又需要涉及到聚合、去重、连接等较为复杂的统计需求。由于数据产生... 能耗分项计量能够准确、及时、有效地发现能源使用问题,形成和实现最有效的节能措施。能耗分项计量系统需要对各项能源使用量在不同粒度上进行统计,既有实时性的需求,又需要涉及到聚合、去重、连接等较为复杂的统计需求。由于数据产生快、实时性强、数据量大,所以很难统一采集并入库存储后再作处理,这便导致传统的数据处理架构不能满足需求。为此,提出基于Spark Streaming大数据流式技术构建一个实时能耗分项计量系统,对实时能耗分项计量的系统架构和内部结构进行了详细介绍,并通过实验数据分析了系统的实时数据处理能力。与传统架构不同,实时能耗分项计量系统在数据流动的过程中实时地进行捕捉和处理,一方面把捕捉到的异常信息及时报警到前端,同时把分类分项统计处理的结果保存到数据库,以便进行离线分析和数据挖掘,能有效地解决上述数据处理过程中遇到的问题。 展开更多
关键词 流式计算 能耗分项计量 SPARK STREAMING APACHE kafka 大数据
下载PDF
论卡夫卡创作中的后现代特征 被引量：8
20
作者 曾艳兵 《天津师范大学学报（社会科学版）》 2004年第2期53-60,共8页
卡夫卡生活在一个现代主义风行的时代,但他对现代主义颇有隔膜,他的创作的独特性、难解性迎合了后现代主义文学的某些基本特征。卡夫卡虽然没有将后现代主义的不确定性当做自己的创作原则,但他作品所表现的不确定特征却是非常明显的;正... 卡夫卡生活在一个现代主义风行的时代,但他对现代主义颇有隔膜,他的创作的独特性、难解性迎合了后现代主义文学的某些基本特征。卡夫卡虽然没有将后现代主义的不确定性当做自己的创作原则,但他作品所表现的不确定特征却是非常明显的;正像"延异"是后现代主义的核心概念一样,"延缓"则是卡夫卡创作的基本特征;卡夫卡也像后现代主义者那样,在强调语言存在论意义的同时,意识到了语言的危机,并为此而深感焦虑。 展开更多
关键词 卡夫卡 后现代特征 不确定性 延缓 语言危机
下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 2 … 32 下一页 到第 页
使用帮助 返回顶部