本文针对数据加工目前存在无法对变动的数据进行实时的数据捕捉、变换以及投递到程序进行数据计算,数据的实时计算力比较差,对数据缓冲的效率不高,不能控制数据流速度。在大量数据查询的情况,效率不高,性能不佳等问题。提出用OGG(Oracle...本文针对数据加工目前存在无法对变动的数据进行实时的数据捕捉、变换以及投递到程序进行数据计算,数据的实时计算力比较差,对数据缓冲的效率不高,不能控制数据流速度。在大量数据查询的情况,效率不高,性能不佳等问题。提出用OGG(Oracle Golden Gate)For Big Data整合Spark Streaming以及Kafka实现高可靠、高效、实时、高扩展性的数据加工引擎,实现数据的实时加工到数据集市中。并经过一系列加工、整理和汇总来满足数据处理的需要,并对业务数据通过实时同步加工整合记录数据,按需设计,形成各异依据应用。展开更多
文摘本文针对数据加工目前存在无法对变动的数据进行实时的数据捕捉、变换以及投递到程序进行数据计算,数据的实时计算力比较差,对数据缓冲的效率不高,不能控制数据流速度。在大量数据查询的情况,效率不高,性能不佳等问题。提出用OGG(Oracle Golden Gate)For Big Data整合Spark Streaming以及Kafka实现高可靠、高效、实时、高扩展性的数据加工引擎,实现数据的实时加工到数据集市中。并经过一系列加工、整理和汇总来满足数据处理的需要,并对业务数据通过实时同步加工整合记录数据,按需设计,形成各异依据应用。
