基于Scala语言的Spark数据处理分析案例集锦

【版权声明】版权所有,严禁转载,严禁用于商业用途,侵权必究。
基于Scala语言的Spark数据处理分析案例集锦
案例制作:厦门大学数据库实验室
指导老师:厦门大学信息学院计算机系数据库实验室 林子雨 博士/副教授 E-mail: ziyulin@xmu.edu.cn
相关教材:林子雨、赖永炫、陶继平编著《Spark编程基础(Scala版)》(访问教材官网

(1)基于泰坦尼克号生还数据的Spark数据处理分析
(2)基于美剧《权力的游戏》剧集数据的Spark数据处理分析
(3)基于Covid-19传播数据的Spark数据处理分析
(4)基于DOTA2 Matches数据集的Spark数据处理分析
(5)基于音乐数据的Spark数据处理与分析
(6)基于咖啡连锁店的Spark数据处理分析
(7)基于Spark的气象监测数据分析
(8)基于Spark的厦门市市民球场处理与分析
(9)基于Spark的Google Play应用商店数据分析
(10)基于Spark的淘宝数据分析
(11)基于Spark的电信客户流失分析
(12)基于Spark的NBA球员数据分析

基于Scala语言的Flink数据处理分析案例集锦

【版权声明】版权所有,严禁转载,严禁用于商业用途,侵权必究。
基于Scala语言的Flink数据处理分析案例集锦
案例制作:厦门大学数据库实验室
指导老师:厦门大学信息学院计算机系数据库实验室 林子雨 博士/副教授 E-mail: ziyulin@xmu.edu.cn
相关教材:林子雨、陶继平编著《Flink编程基础(Scala版)》(访问教材官网
(1)基于Flink的美国县域信息分析
(2)基于Flink的音乐专辑数据分析展示
(3)基于Flink的地震数据处理
(4)基于Flink的奥运会数据分析
(5)基于Flink的对豆瓣电影数据的分析与处理
(6)基于Flink的租房数据处理与分析
(7)基于Flink的CVPR近五年论文数据的分析与处理
(8)基于Flink的气象数据处理与分析
(9)基于Flink的Pokemon数据分析

基于Python语言的Spark数据处理分析案例集锦(PySpark)

【版权声明】版权所有,严禁转载,严禁用于商业用途,侵权必究。
基于Python语言的Spark数据处理分析案例集锦(PySpark)
案例制作:厦门大学数据库实验室
指导老师:厦门大学信息学院计算机系数据库实验室 林子雨 博士/副教授 E-mail: ziyulin@xmu.edu.cn
相关教材:林子雨、郑海山、赖永炫编著《Spark编程基础(Python版)》(访问教材官网
(1)基于YELP数据集的商业数据分析
(2)2020年美国新冠肺炎疫情数据分析
(3)基于零售交易数据的Spark数据处理与分析
(4)基于地震数据的Spark数据处理与分析
(5)基于Spark的地震数据处理与分析
(6)基于信用卡逾期数据的Spark数据处理与分析
(7)基于 TMDB 数据集的电影数据分析
(8)厦门租房信息分析展示
(9)基于Spark的气象数据处理与分析
(10)基于Spark的音乐专辑数据分析展示

大数据软件安装和基础编程实践指南(2020年6月版)

大数据软件安装和基础编程实践指南
作者:厦门大学数据库实验室 林子雨 博士/副教授 E-mail: ziyulin@xmu.edu.cn

(1)在Windows中使用VirtualBox安装Ubuntu虚拟机
(2)Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)
(3)Hadoop集群安装配置教程_Hadoop3.1.3_Ubuntu
(4)HDFS编程实践(Hadoop3.1.3)
(5)HBase2.2.2安装和编程实践指南
(6)MapReduce编程实践(Hadoop3.1.3)
(7)Hive3.1.2安装指南
(8)Spark安装和编程实践(Spark2.4.0)
(9)Flink安装与编程实践(Flink1.9.1)

子雨大数据之Spark入门教程(Python版)

【版权声明】博客内容由厦门大学数据库实验室拥有版权,未经允许,请勿转载!版权所有,侵权必究!
推荐纸质教材:林子雨、郑海山、赖永炫编著《Spark编程基础(Python版)》
本教程改编自林子雨老师编著《Spark入门教程(Scala版)》,本教程中内容均直接复制《Spark入门教程(Scala版)》,然后修改成Python语言版本。
子雨大数据之Spark入门

说明:
(1)开发Spark应用程序时,可以采用Scala、Python、Java和R等语言,首选语言是Scala,因为Spark这个软件本身就是使用Scala语言开发的。如果想学习基于Scala的Spark入门教程,请访问《子雨大数据之Spark入门教程(Scala版)
(2)本教程采用Python语言编写Spark应用程序,在知识安排上,首先学习Python编程,然后再学习Spark应用程序开发。如果读者此前没有学习过Python,建议首先学习厦门大学数据库实验室编写的《Python入门教程

继续阅读

子雨大数据之Spark入门教程(Scala版)

子雨大数据之Spark入门
扫一扫访问本博客
【版权声明】博客内容由厦门大学数据库实验室拥有版权,未经允许,请勿转载!版权所有,侵权必究!

Spark最初诞生于美国加州大学伯克利分校(UC Berkeley)的AMP实验室,是一个可应用于大规模数据处理的快速、通用引擎。2013年,Spark加入Apache孵化器项目后,开始获得迅猛的发展,如今已成为Apache软件基金会最重要的三大分布式计算系统开源项目之一(即Hadoop、Spark、Storm)。Spark最初的设计目标是使数据分析更快——不仅运行速度快,也要能快速、容易地编写程序。为了使程序运行更快,Spark提供了内存计算,减少了迭代计算时的IO开销;而为了使编写程序更为容易,Spark使用简练、优雅的Scala语言编写,基于Scala提供了交互式的编程体验。虽然,Hadoop已成为大数据的事实标准,但其MapReduce分布式计算模型仍存在诸多缺陷,而Spark不仅具备Hadoop MapReduce所具有的优点,且解决了Hadoop MapReduce的缺陷。Spark正以其结构一体化、功能多元化的优势逐渐成为当今大数据领域最热门的大数据计算平台。

继续阅读

[MySQL 8] 授权 GRANT ALL 出现错误 ERROR 1064 (42000) You have an error in your SQL syntax

问题介绍

MySQL8.0以前的版本通过以下代码可以实现授权:

mysql>grant all privileges on test.* to test@'%' identified by '123456';

但是MySQL8.0以后的版本,会出现:
ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax…的错误

继续阅读

林子雨编著《数据采集与预处理》教材在Linux系统中的实验指南

访问林子雨编著《数据采集与预处理》教材官网
《数据采集与预处理》教材中的所有实验是在Windows操作系统中完成的,但是,有些高校教师在使用教材过程中反馈了意见,现在有一些学生使用苹果电脑,不是Windows系统,无法顺利开展实验,因此,建议我们团队开发面向Linux系统的实验指南。为了满足这类需求,特制作本指南。

继续阅读