厦大数据库实验室博客

总结、分享、收获

实验室主页

MapReduce Hadoop Maven hama NoSQL 大数据 HDFS CentOS Java d3.js kettle Ubuntu R Kafka Storm Redis LaTex Hive HBase 大数据技术原理与应用 Spark 林子雨 Shell 数据仓库 信息图 图计算 MySQL Scala flink sqoop 机器学习 Python Pregel 数据可视化 MongoDB Zeppelin 大数据，Spark Unix VirturalBox 数据挖掘 Linux 逻辑回归 Unix环境高级编程

Spark入门：DStream输出操作(Python版)

【版权声明】博客内容由厦门大学数据库实验室拥有版权，未经允许，请勿转载！
返回Spark教程首页
推荐纸质教材：林子雨、郑海山、赖永炫编著《Spark编程基础（Python版）》

在Spark应用中，外部系统经常需要使用到Spark DStream处理后的数据，因此，需要采用输出操作把DStream的数据输出到数据库或者文件系统中。
继续阅读

Spark2.1.0+入门：DStream转换操作(Python版)

【版权声明】博客内容由厦门大学数据库实验室拥有版权，未经允许，请勿转载！
返回Spark教程首页
推荐纸质教材：林子雨、郑海山、赖永炫编著《Spark编程基础（Python版）》

DStream转换操作包括无状态转换和有状态转换。
无状态转换：每个批次的处理不依赖于之前批次的数据。
有状态转换：当前批次的处理需要使用之前批次的数据或者中间结果。有状态转换包括基于滑动窗口的转换和追踪状态变化的转换(updateStateByKey)。
继续阅读

Spark2.1.0+入门：把Flume作为DStream数据源(Python版)

版权声明】博客内容由厦门大学数据库实验室拥有版权，未经允许，请勿转载！
返回Spark教程首页
推荐纸质教材：林子雨、郑海山、赖永炫编著《Spark编程基础（Python版）》

Flume是非常流行的日志采集系统，可以作为DStream的高级数据源。本部分将介绍如何让Flume推送消息给Spark Streaming，Spark Streaming收到消息后进行处理。
继续阅读

© 2014 厦大数据库实验室