【版权声明】版权所有，严禁转载，严禁用于商业用途，侵权必究。
作者：厦门大学信息学院2020级研究生 刘官山
指导老师：厦门大学数据库实验室 林子雨 博士/副教授
相关教材：林子雨、陶继平编著《Flink编程基础（Scala版）》（官网）
相关案例：基于Scala语言的Flink数据处理分析案例集锦
本实验用Scala语言编写了Flink程序，对Pokemon数据集进行了数据处理和分析，之后对分析结果使用Echarts编写了可视化HTML页面
继续阅读

Anaconda的下载和使用方法

1.简介

Anaconda有着强大的包管理和环境管理的功能，使用后可以方便的使用和切换不同版本的Pyhon，本文用来介绍其下载安装和使用方法。

继续阅读

【版权声明】版权所有，严禁转载，严禁用于商业用途，侵权必究。
在使用Maven打包Scala程序时，默认是从位于国外的Maven中央仓库下载相关的依赖，造成我们从国内下载依赖时速度很慢。

可以通过修改Maven的配置文件，让Maven到国内的阿里云仓库下载相关依赖，大大提高打包的速度。
继续阅读

返回本案例首页

该版本是原先教程的python版本。

查看前一步骤操作步骤二：数据处理和Python操作Kafka
查看scala版本scala版本：Spark Streaming实时处理数据

《Spark+Kafka构建实时分析Dashboard案例——步骤三：Spark Streaming实时处理数据(python版本)》

开发团队：厦门大学数据库实验室 联系人：林子雨老师ziyulin@xmu.edu.cn

版权声明：版权归厦门大学数据库实验室所有，请勿用于商业用途；未经授权，其他网站请勿转载

本教程介绍大数据课程实验案例“Spark+Kafka构建实时分析Dashboard”的第三个步骤，Spark Streaming实时处理数据。在本篇博客中，将介绍如何利用Spark Streaming实时接收处理Kafka数据以及将处理后的结果发给的Kafka。

继续阅读

继续阅读

先前的文章展示了爬虫分析，并使用pyecharts画图。这篇文章在先前文章的基础上，增加了在线控制模块。总体的做法就是，把爬虫分析功能放在后台，在后台开启一个服务端，接收客户端的命令后，开启爬虫分析，然后将最后的结果展示在客户端。

继续阅读

【版权声明】版权所有，严禁转载，严禁用于商业用途，侵权必究。
作者：厦门大学计算机系2016级研究生 魏亮
指导老师：厦门大学计算机科学系数据库实验室 林子雨 博士/副教授
相关教材：林子雨、郑海山、赖永炫编著《Spark编程基础（Python版）》（访问教材官网）
相关案例：基于Python语言的Spark数据处理分析案例集锦（PySpark）

本篇博客将实现一个系列程序，从厦门小鱼网爬取租房租金信息，然后利用spark的python版本进行简单分析，并利用echarts的python版本展示分析结果，此外还会简单介绍pycharm的工程建立，所以本篇将分为四个部分。
继续阅读

本篇博客将给大家介绍怎么在PyCharm上编写运行WordCount程序。
继续阅读

由于厦大进行校园网维护，本站将在2018年6月2日-4日关闭3天，6月5日起恢复正常访问，给您造成的不便，敬请谅解。