林子雨、郑海山、赖永炫编著《Spark编程基础(Python版)》(教材官网)教材中的代码，在纸质教材中的印刷效果，可能会影响读者对代码的理解，为了方便读者正确理解代码或者直接拷贝代码用于上机实验，这里提供全书配套的所有代码。
继续阅读
林子雨编著《Spark编程基础(Python版)》教材第3章的命令行和代码
林子雨、郑海山、赖永炫编著《Spark编程基础(Python版)》(教材官网)教材中的代码，在纸质教材中的印刷效果，可能会影响读者对代码的理解，为了方便读者正确理解代码或者直接拷贝代码用于上机实验，这里提供全书配套的所有代码。
查看所有章节代码
继续阅读
Hadoop与HBase的最新版本兼容性
Hadoop与HBase的最新版本兼容性
下面表格截图来自官网http://hbase.apache.org/book.html#supported.datatypes
基于 TMDB 数据集的电影数据分析
【版权声明】版权所有，严禁转载，严禁用于商业用途，侵权必究。
本案例由厦门大学计算机系2018级研究生王福泰同学制作，这里对他表示衷心的感谢！
相关教材：林子雨、郑海山、赖永炫编著《Spark编程基础（Python版）》（访问教材官网）
相关案例：基于Python语言的Spark数据处理分析案例集锦（PySpark）
使用IntelliJ IDEA和Python开发WordCount程序
IntelliJ IDEA（简称“IDEA”），是使用Java语言开发的集成开发环境，是被业界公认为最好的Java开发工具之一，尤其在智能代码助手、代码自动提示、重构、J2EE支持、各类版本工具(git、svn、github等)、JUnit、CVS整合、代码分析、创新的GUI设计等方面，具有非常好的特性。
本文将详细讲解IDEA的安装、Python插件的安装以及使用IDEA开发Python程序的方法。
继续阅读
Spark+Kafka构建实时分析Dashboard案例——步骤三：Spark Streaming实时处理数据（python版本）
该版本是原先教程的python版本。
查看前一步骤操作步骤二：数据处理和Python操作Kafka
查看scala版本scala版本：Spark Streaming实时处理数据
《Spark+Kafka构建实时分析Dashboard案例——步骤三：Spark Streaming实时处理数据(python版本)》
开发团队：厦门大学数据库实验室 联系人：林子雨老师ziyulin@xmu.edu.cn
版权声明：版权归厦门大学数据库实验室所有，请勿用于商业用途；未经授权，其他网站请勿转载
本教程介绍大数据课程实验案例“Spark+Kafka构建实时分析Dashboard”的第三个步骤，Spark Streaming实时处理数据。在本篇博客中，将介绍如何利用Spark Streaming实时接收处理Kafka数据以及将处理后的结果发给的Kafka。
Flask网页开发学习指南
交互式Python爬虫分析实例
先前的文章展示了爬虫分析，并使用pyecharts画图。这篇文章在先前文章的基础上，增加了在线控制模块。总体的做法就是，把爬虫分析功能放在后台，在后台开启一个服务端，接收客户端的命令后，开启爬虫分析，然后将最后的结果展示在客户端。
淘宝双11数据分析与预测课程案例—步骤四:利用Spark预测回头客行为（python版）
《淘宝双11数据分析与预测课程案例—步骤四:利用Spark预测回头客行为（python版）》
开发团队：厦门大学数据库实验室 联系人：林子雨老师ziyulin@xmu.edu.cn
版权声明：版权归厦门大学数据库实验室所有，请勿用于商业用途；未经授权，其他网站请勿转载
本教程介绍大数据课程实验案例“淘宝双11数据分析与预测”的第五个步骤，利用Spark预测回头客。在实践本步骤之前，请先完成该实验案例的第一个步骤——本地数据集上传到数据仓库Hive，第二个步骤——Hive数据分析，和第三个步骤——将数据从Hive导入到MySQL，这里假设你已经完成了前面的这四个步骤。
继续阅读
厦门租房信息分析展示（pycharm+python爬虫+pyspark+pyecharts）
【版权声明】版权所有，严禁转载，严禁用于商业用途，侵权必究。
作者：厦门大学计算机系2016级研究生 魏亮
指导老师：厦门大学计算机科学系数据库实验室 林子雨 博士/副教授
相关教材：林子雨、郑海山、赖永炫编著《Spark编程基础（Python版）》（访问教材官网）
相关案例：基于Python语言的Spark数据处理分析案例集锦（PySpark）
本篇博客将实现一个系列程序，从厦门小鱼网爬取租房租金信息，然后利用spark的python版本进行简单分析，并利用echarts的python版本展示分析结果，此外还会简单介绍pycharm的工程建立，所以本篇将分为四个部分。
继续阅读