Author: 林子雨老师

基于Scala语言的Spark数据处理分析案例集锦

【版权声明】版权所有,严禁转载,严禁用于商业用途,侵权必究。
基于Scala语言的Spark数据处理分析案例集锦
案例制作:厦门大学数据库实验室
指导老师:厦门大学信息学院计算机系数据库实验室 林子雨 博士/副教授 E-mail: ziyulin@xmu.edu.cn
相关教材:林子雨、赖永炫、陶继平编著《Spark编程基础(Scala版)》(访问教材官网

(1)基于泰坦尼克号生还数据的Spark数据处理分析
(2)基于美剧《权力的游戏》剧集数据的Spark数据处理分析
(3)基于Covid-19传播数据的Spark数据处理分析
(4)基于DOTA2 Matches数据集的Spark数据处理分析
(5)基于音乐数据的Spark数据处理与分析
(6)基于咖啡连锁店的Spark数据处理分析
(7)基于Spark的气象监测数据分析
(8)基于Spark的厦门市市民球场处理与分析
(9)基于Spark的Google Play应用商店数据分析
(10)基于Spark的淘宝数据分析
(11)基于Spark的电信客户流失分析
(12)基于Spark的NBA球员数据分析

Linux系统中卸载和重装MySQL数据库

有时候MySQL经常会出现一些稀奇古怪的问题,很多情况为了节省时间都是选择重装,附上重装过程。

1.完全卸载

···bash
sudo rm /var/lib/mysql/ -R
sudo rm /etc/mysql/ -R
sudo apt-get autoremove mysql* --purge
sudo apt-get remove apparmor
···

2.安装

sudo apt-get update
sudo apt-get install mysql-server

MySQL:ERROR 1698 (28000): Access denied for user ‘root’@’localhost’

问题描述

出现场景:这个问题一般出现在刚刚安装完MySQL的时候
出现原因:由于使用命令sudo apt-get install mysql安装时,并没有提示输入密码,则密码没有初始化,使用root用户登录自然失败.
具体情况:

mysql -uroot -p
Enter password: 
ERROR 1698 (28000): Access denied for user 'root'@'localhost'

下面是解决问题的方法。
继续阅读

Win10如何获得管理员权限

使用Windows10操作系统的时候,由于普通用户的权限受到一些限制,无法完成一些操作,有时候需要启用管理员用户登录系统。这里介绍如何在Win10系统中启用管理员用户。
继续阅读

在Windows10操作系统中安装MySQL8.0.30数据库

本教程是为林子雨编著《数据采集与预处理》(教材官网)第2.3节MySQL数据库的安装与使用编写的配套教程。之所以撰写本教程,是因为,《数据采集与预处理》教材中提供的MySQL数据库安装方法,在Windows7操作系统中可以顺利执行,但是,在Windows10操作系统中,会遇到安装失败的情况。因此,编写了本教程,可以帮助教材使用者顺利完成在Windows10操作系统中安装MySQL8.0.30数据库。

继续阅读

Kafka和Structured Streaming的组合使用(Spark 3.2.0)

本文节选自林子雨编著《Spark编程基础(Scala版)》(教材官网:http://dblab.xmu.edu.cn/post/spark/

作者:厦门大学计算机科学与技术系 林子雨 博士/副教授
E-mail: ziyulin@xmu.edu.cn

Structured Streaming是用来进行流计算的组件,可以把Kafka(或Flume)作为数据源,让Kafka(或Flume)产生数据发送给Structured Streaming应用程序,Structured Streaming应用程序再对接收到的数据进行实时处理,从而完成一个典型的流计算过程。这里仅以Kafka为例进行介绍。这里使用的软件版本是:kafka_2.12-2.6.0,Spark3.2.0(Scala版本是2.12.15)。
继续阅读

Kafka和Spark Streaming的组合使用(Spark 3.2.0)

本文节选自林子雨编著《Spark编程基础(Scala版)》(教材官网:http://dblab.xmu.edu.cn/post/spark/

作者:厦门大学计算机科学与技术系 林子雨 博士/副教授
E-mail: ziyulin@xmu.edu.cn

Spark Streaming是用来进行流计算的组件,可以把Kafka(或Flume)作为数据源,让Kafka(或Flume)产生数据发送给Spark Streaming应用程序,Spark Streaming应用程序再对接收到的数据进行实时处理,从而完成一个典型的流计算过程。这里仅以Kafka为例进行介绍。这里使用的软件版本是:kafka_2.12-2.6.0,Spark3.2.0(Scala版本是2.12.15)。
继续阅读