厦大数据库实验室博客

总结、分享、收获

实验室主页

Scala Shell Zeppelin Hadoop 数据挖掘 sqoop Python kettle Unix 数据可视化 Ubuntu Unix环境高级编程 Storm LaTex Hive Spark Linux Kafka Maven 大数据，Spark MapReduce flink VirturalBox CentOS 机器学习 大数据技术原理与应用 R 林子雨 MongoDB MySQL

Author: 林子雨老师

Kafka和Structured Streaming的组合使用（Spark 3.2.0）

本文节选自林子雨编著《Spark编程基础（Scala版）》（教材官网：http://dblab.xmu.edu.cn/post/spark/）

作者：厦门大学计算机科学与技术系 林子雨 博士/副教授
E-mail: ziyulin@xmu.edu.cn

Structured Streaming是用来进行流计算的组件，可以把Kafka（或Flume）作为数据源，让Kafka（或Flume）产生数据发送给Structured Streaming应用程序，Structured Streaming应用程序再对接收到的数据进行实时处理，从而完成一个典型的流计算过程。这里仅以Kafka为例进行介绍。这里使用的软件版本是：kafka_2.12-2.6.0，Spark3.2.0（Scala版本是2.12.15）。
继续阅读

Kafka和Spark Streaming的组合使用（Spark 3.2.0）

本文节选自林子雨编著《Spark编程基础（Scala版）》（教材官网：http://dblab.xmu.edu.cn/post/spark/）

作者：厦门大学计算机科学与技术系 林子雨 博士/副教授
E-mail: ziyulin@xmu.edu.cn

Spark Streaming是用来进行流计算的组件，可以把Kafka（或Flume）作为数据源，让Kafka（或Flume）产生数据发送给Spark Streaming应用程序，Spark Streaming应用程序再对接收到的数据进行实时处理，从而完成一个典型的流计算过程。这里仅以Kafka为例进行介绍。这里使用的软件版本是：kafka_2.12-2.6.0，Spark3.2.0（Scala版本是2.12.15）。
继续阅读

Flink的设计与运行原理

本网页内容节选自林子雨编著《Flink编程基础（Scala版）》（教材官网），版权所有，侵权必究
第3章 Flink的设计与运行原理
近年来，流处理这种应用场景在企业中变得越来越频繁，由此带动了企业数据架构开始由传统数据处理架构、大数据Lambda架构向流处理架构演变。Flink就是一种具有代表性的开源流处理架构，具有十分强大的功能，它实现了Google Dataflow流计算模型，是一种兼具高吞吐、低延迟和高性能的实时流计算框架，并且同时支持批处理和流处理。Flink的主要特性包括：批流一体化、精密的状态管理、事件时间支持以及“精确一次”的状态一致性保障等。Flink不仅可以运行在包括 YARN、Mesos、Kubernetes等在内的多种资源管理框架上，还支持在裸机集群上独立部署。Flink目前已经在全球范围内得到了广泛的应用，大量企业已经开始大规模使用Flink作为企业的分布式大数据处理引擎。
本章首先给出Flink简介，并探讨为什么选择Flink以及Flink的典型应用场景；然后介绍Flink的统一数据处理、技术栈、工作原理、编程模型和应用程序结构；最后介绍Flink中的数据一致性。（节选自林子雨编著《Flink编程基础（Scala版）》）
继续阅读

林子雨老师 大数据
© 2014 厦大数据库实验室