返回本案例首页
查看前一步骤操作：步骤三：Spark Streaming实时处理数据
《Spark+Kafka构建实时分析Dashboard案例——步骤四：结果展示》
开发团队：厦门大学数据库实验室 联系人：林子雨老师ziyulin@xmu.edu.cn
版权声明：版权归厦门大学数据库实验室所有，请勿用于商业用途；未经授权，其他网站请勿转载
本教程介绍大数据课程实验案例“Spark+Kafka构建实时分析Dashboard”的第四个步骤，结果展示。在本篇博客中，将介绍如何利用Flask-SocketIO向客户端发送消息以及客户端如何利用highcharts.js展示数据。
查看前一步骤操作步骤二：数据处理和Python操作Kafka
《Spark+Kafka构建实时分析Dashboard案例——步骤三：Spark Streaming实时处理数据》
开发团队：厦门大学数据库实验室 联系人：林子雨老师ziyulin@xmu.edu.cn
版权声明：版权归厦门大学数据库实验室所有，请勿用于商业用途；未经授权，其他网站请勿转载
本教程介绍大数据课程实验案例“Spark+Kafka构建实时分析Dashboard”的第三个步骤，Spark Streaming实时处理数据。在本篇博客中，将介绍如何利用Spark Streaming实时接收处理Kafka数据以及将处理后的结果发给的Kafka。
返回本案例首页
查看前一步骤操作步骤一：实验环境准备
《Spark+Kafka构建实时分析Dashboard案例——步骤二：案例介绍》
开发团队：厦门大学数据库实验室 联系人：林子雨老师ziyulin@xmu.edu.cn
版权声明：版权归厦门大学数据库实验室所有，请勿用于商业用途；未经授权，其他网站请勿转载
本教程介绍大数据课程实验案例“Spark+Kafka构建实时分析Dashboard”的第二个步骤，数据处理和Python操作Kafka。在本篇博客中，首先介绍如何预处理数据，以及如何使用Python操作Kafka。
本节内容包括Redis简介、安装Redis和Redis实例演示等，Redis在Window系统安装教程可参考https://dblab.xmu.edu.cn/blog/131/#more-131
点击这里观看厦门大学林子雨老师主讲《大数据技术原理与应用》授课视频
【版权声明】博客内容由厦门大学数据库实验室拥有版权，未经允许，请勿转载！
[返回Spark教程首页]
之前有篇博客介绍了使用Eclipse编写Spark应用程序，采用的是maven工具。今天这篇博客同样是使用Eclipse编写Spark应用程序，但是使用的是sbt工具。下面开始我们的教程。
【版权声明】博客内容由厦门大学数据库实验室拥有版权，未经允许，请勿转载！
[返回Spark教程首页]
Hadoop 2.7分布式集群环境搭建已经分享了如何在本地搭建Hadoop集群；这篇博客分析下如何在Docker上搭建Hadoop集群；首先，我们需要在Ubuntu上安装Docker;
【版权声明】博客内容由厦门大学数据库实验室拥有版权，未经允许，请勿转载！
[返回Spark教程首页]
Structured Streaming目前的支持的数据源有两种，一种是文件，另一种是网络套接字；Spark2.0入门：Structured Streaming操作概述这篇教程已经分析了如何从网络套接字读取并分析数据。因此，这篇文章来分析下，如何从文件流读取数据进行Structured Streaming。
【版权声明】博客内容由厦门大学数据库实验室拥有版权，未经允许，请勿转载！
[返回Spark教程首页]
在Spark1.6版本，DStream是Spark Streaming的编程模型，而Spark2.0将流计算也统一到DataFrame里去了，提出了Structured Streaming编程模型；将数据源映射为类似于关系数据库中的表，然后将经过计算得到的结果映射为另一张表，完全以结构化的方式去操作流式数据，这种编程模型非常有利于处理分析结构化的数据；
