大数据

Spark2.1.0+入门：把Flume作为DStream数据源(Python版)

版权声明】博客内容由厦门大学数据库实验室拥有版权，未经允许，请勿转载！
返回Spark教程首页
推荐纸质教材：林子雨、郑海山、赖永炫编著《Spark编程基础（Python版）》

Flume是非常流行的日志采集系统，可以作为DStream的高级数据源。本部分将介绍如何让Flume推送消息给Spark Streaming，Spark Streaming收到消息后进行处理。
继续阅读

Spark2.1.0+入门：Apache Kafka作为DStream数据源(Python版)

【版权声明】博客内容由厦门大学数据库实验室拥有版权，未经允许，请勿转载！
返回Spark教程首页
推荐纸质教材：林子雨、郑海山、赖永炫编著《Spark编程基础（Python版）》

Kafka是非常流行的日志采集系统，可以作为DStream的高级数据源。
继续阅读

Spark2.1.0入门：RDD队列流（DStream）(Python版)

在调试Spark Streaming应用程序的时候，我们可以使用streamingContext.queueStream(queueOfRDD)创建基于RDD队列的DStream。
继续阅读

Spark2.1.0+入门：套接字流(DStream)(Python版)

Spark Streaming可以通过Socket端口监听并接收数据，然后进行相应处理。
继续阅读

Spark2.1.0+入门：文件流(DStream)(Python版)

Spark支持从兼容HDFS API的文件系统中读取数据，创建数据流。
继续阅读

Spark入门：DStream操作概述(Python版)

DStream是Spark Streaming的编程模型，DStream的操作包括输入、转换和输出。
继续阅读

Spark入门：Spark Streaming简介(Python版)

Spark Streaming是构建在Spark上的实时计算框架，它扩展了Spark处理大规模流式数据的能力。Spark Streaming可结合批处理和交互查询，适合一些需要对历史数据和实时数据进行结合分析的应用场景。

继续阅读

Spark入门：流计算简介(Python版)

继续阅读

Spark2.1.0入门：连接Hive读写数据（DataFrame）(Python版)

Hive是基于Hadoop的数据仓库（要想了解更多数据仓库Hive的知识以及如何安装Hive，可以参考厦门大学数据库实验室的Hive授课视频、Hive安装指南）。本节内容介绍Spark如何连接Hive并读写数据。

继续阅读

Spark2.1.0入门：通过JDBC连接数据库(DataFrame)(Python版)

这里以关系数据库MySQL为例。首先，请参考厦门大学数据库实验室博客教程（Ubuntu安装MySQL），在Linux系统中安装好MySQL数据库。这里假设你已经成功安装了MySQL数据库。下面我们要新建一个测试Spark程序的数据库，数据库名称是“spark”，表的名称是“student”。
继续阅读