Spark+Kafka构建实时分析Dashboard案例介绍

大数据学习路线图

返回本案例首页
《Spark+Kafka构建实时分析Dashboard案例介绍》

开发团队:厦门大学数据库实验室 联系人:林子雨老师ziyulin@xmu.edu.cn

版权声明:版权归厦门大学数据库实验室所有,请勿用于商业用途;未经授权,其他网站请勿转载

本教程介绍大数据课程实验案例“Spark+Kafka构建实时分析Dashboard”。在本篇博客中,将要介绍本案例的总体架构,包括案例整体的运行流程以及每个过程具体执行内容。

案例概述

本案例利用Spark+Kafka实时分析男女生每秒购物人数,利用Spark Streaming实时处理用户购物日志,然后利用websocket将数据实时推送给浏览器,最后浏览器将接收到的数据实时展现,案例的整体框架图如下:

Spark+Kafka构建实时分析Dashboard案例框架图Spark+Kafka构建实时分析Dashboard案例框架图

下面分析详细分析下上述步骤:
1. 应用程序将购物日志发送给Kafka,topic为”sex”,因为这里只是统计购物男女生人数,所以只需要发送购物日志中性别属性即可。这里采用模拟的方式发送购物日志,即读取购物日志数据,每间隔相同的时间发送给Kafka。
2. 接着利用Spark Streaming从Kafka主题”sex”读取并处理消息。这里按滑动窗口的大小按顺序读取数据,例如可以按每5秒作为窗口大小读取一次数据,然后再处理数据。
3. Spark将处理后的数据发送给Kafka,topic为”result”。
4. 然后利用Flask搭建一个web应用程序,接收Kafka主题为”result”的消息。
5. 利用Flask-SocketIO将数据实时推送给客户端。
6. 客户端浏览器利用js框架socketio实时接收数据,然后利用js可视化库hightlights.js库动态展示。

至此,本案例的整体架构已介绍完毕,下篇文章将开始介绍具体操作细节。

下篇链接为Spark+Kafka构建实时分析Dashboard案例——步骤一:实验环境准备