全国服务热线:
0592-5794349
当前位置:首页> 新闻中心

数据流架构由软件开发公司ApacheFlink实现

* 来源: * 作者: * 发表时间: 2019-07-19 19:42:45 * 浏览: 16
由DataArtisans的应用工程总监JamieGrier在软件开发公司ApacheFlink实施的数据流架构上,在OSCON2016会议上发表了关于使用ApacheFlink构建的数据流架构的演讲。它还讨论了数据流应用程序的构建块。与传统的静态数据集不同,数据流体系结构可用于处理随时间连续生成的事件流数据。与传统的集中式“有状态数据库和数据仓库”相比,数据流应用程序可以处理事件流和应用程序本地状态,为历史事件汇总。流数据处理的一些好处包括:减少从信号到决策的过程延迟。统一处理实时和历史数据Timetravel Query ApacheFlink是一个开源的分布式流和批处理数据处理平台。受Google DataFlow模型的启发,Flink受到StreamProcessing API for Java和Scala语言开发的支持。与其他流数据处理框架相比,Flink中没有微批(Microbatching)数据。相反,它一次使用一种消息的流处理技术。 Jamie介绍了状态流处理并演示了Flink应用程序的代码示例,以及使用开源时序数据库和Graphana可视化工具Influxdb进行监控的方法。同时,他还介绍了流处理中窗口化的概念以及处理时间(ProcessingTime)和事件时间(EventTime)的窗口概念。处理时间窗口对流数据的分析有影响,并且可能导致数据处理中的一些错误。在事件时间方法中,窗口来自数据,而不是时钟时间。对于事件时间,可以通过数据嵌入的时间戳处理数据,从而可以获得更准确的结果。在应用程序中使用Flink时,Jamie还引入了错误处理和容错功能。 Flink中的Savepoints功能可在不丢失任何状态的情况下更新程序和Flink群集。如果要传输实时数据,则Savepoints数据快照将非常重要。如果您想了解有关ApacheFlink的更多信息,可以访问他们的网站。此外,FlinkForward2016Conference活动将于9月在柏林举行,提交提案的截止日期为2016年6月30日。