大数据之Flink计算框架
一、Flink介绍Flink官网:https://flink.apache.org/zhApache Flink 是一个流批统一的计算框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。Flink能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算。OLTP实时计算(流式计算)OLAP离线计算(批量计算)Flink运行环境:StandAlone自己单独运行Hadoop-Ya
·
一、Flink介绍
Flink官网:https://flink.apache.org/zh
Apache Flink 是一个流批统一的计算框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。
Flink能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算。
OLTP 实时计算(流式计算)
OLAP 离线计算(批量计算)
Flink运行环境:
StandAlone 自己单独运行
Hadoop-Yarn 通过hadoop-yarn运行
Mesos
为什么要选择Flink
Hadoop-MapReduce - 离线计算,吞吐量很大,但是计算时间就很长。
Spark: 流批统一的计算框架。
Spark与Flink
两者都是流批统一的计算框架
Spark是以小批量的方式来处理流式数据。
Flink是以流式数据的方式来处理批量量数据。
更多推荐
所有评论(0)