大数据

Flink的设计与运行原理

本网页内容节选自林子雨编著《Flink编程基础(Scala版)》(教材官网),版权所有,侵权必究
第3章 Flink的设计与运行原理
近年来,流处理这种应用场景在企业中变得越来越频繁,由此带动了企业数据架构开始由传统数据处理架构、大数据Lambda架构向流处理架构演变。Flink就是一种具有代表性的开源流处理架构,具有十分强大的功能,它实现了Google Dataflow流计算模型,是一种兼具高吞吐、低延迟和高性能的实时流计算框架,并且同时支持批处理和流处理。Flink的主要特性包括:批流一体化、精密的状态管理、事件时间支持以及“精确一次”的状态一致性保障等。Flink不仅可以运行在包括 YARN、Mesos、Kubernetes等在内的多种资源管理框架上,还支持在裸机集群上独立部署。Flink目前已经在全球范围内得到了广泛的应用,大量企业已经开始大规模使用Flink作为企业的分布式大数据处理引擎。
本章首先给出Flink简介,并探讨为什么选择Flink以及Flink的典型应用场景;然后介绍Flink的统一数据处理、技术栈、工作原理、编程模型和应用程序结构;最后介绍Flink中的数据一致性。(节选自林子雨编著《Flink编程基础(Scala版)》)
继续阅读