基于音乐数据的Spark数据处理与分析

【版权声明】版权所有,严禁转载,严禁用于商业用途,侵权必究。
作者:厦门大学信息学院2021级研究生 陈韶聪
基于Scala语言的Spark数据处理分析案例
案例制作:厦门大学数据库实验室
指导老师:厦门大学信息学院计算机系数据库实验室 林子雨 博士/副教授 E-mail: ziyulin@xmu.edu.cn
相关教材:林子雨,赖永炫,陶继平《Spark编程基础(Scala版)》(访问教材官网)
【查看基于Scala语言的Spark数据分析案例集锦】

继续阅读

Linux系统中卸载和重装MySQL数据库

有时候MySQL经常会出现一些稀奇古怪的问题,很多情况为了节省时间都是选择重装,附上重装过程。

1.完全卸载

···bash
sudo rm /var/lib/mysql/ -R
sudo rm /etc/mysql/ -R
sudo apt-get autoremove mysql* --purge
sudo apt-get remove apparmor
···

2.安装

sudo apt-get update
sudo apt-get install mysql-server

MySQL:ERROR 1698 (28000): Access denied for user ‘root’@’localhost’

问题描述

出现场景:这个问题一般出现在刚刚安装完MySQL的时候
出现原因:由于使用命令sudo apt-get install mysql安装时,并没有提示输入密码,则密码没有初始化,使用root用户登录自然失败.
具体情况:

mysql -uroot -p
Enter password: 
ERROR 1698 (28000): Access denied for user 'root'@'localhost'

下面是解决问题的方法。
继续阅读

Win10如何获得管理员权限

使用Windows10操作系统的时候,由于普通用户的权限受到一些限制,无法完成一些操作,有时候需要启用管理员用户登录系统。这里介绍如何在Win10系统中启用管理员用户。
继续阅读

在Windows10操作系统中安装MySQL8.0.30数据库

本教程是为林子雨编著《数据采集与预处理》(教材官网)第2.3节MySQL数据库的安装与使用编写的配套教程。之所以撰写本教程,是因为,《数据采集与预处理》教材中提供的MySQL数据库安装方法,在Windows7操作系统中可以顺利执行,但是,在Windows10操作系统中,会遇到安装失败的情况。因此,编写了本教程,可以帮助教材使用者顺利完成在Windows10操作系统中安装MySQL8.0.30数据库。

继续阅读

Spark+Kafka构建实时分析Dashboard案例(2022年9月V2.0版)——步骤三:Structured Streaming实时处理数据(python版本)

返回本案例首页

该版本是原先教程的python版本。

查看前一步骤操作步骤二:数据处理和Python操作Kafka
查看scala版本scala版本:Structured Streaming实时处理数据

《Spark+Kafka构建实时分析Dashboard案例——步骤三:Structured Streaming实时处理数据(python版本)》

开发团队:厦门大学数据库实验室 联系人:林子雨老师ziyulin@xmu.edu.cn

版权声明:版权归厦门大学数据库实验室所有,请勿用于商业用途;未经授权,其他网站请勿转载

本教程介绍大数据课程实验案例“Spark+Kafka构建实时分析Dashboard”的第三个步骤,Structured Streaming实时处理数据。在本篇博客中,将介绍如何利用Structed Streaming实时接收处理Kafka数据以及将处理后的结果发给的Kafka。

继续阅读

Spark+Kafka构建实时分析Dashboard案例(2022年9月V2.0版)——步骤四:结果展示

返回本案例首页
查看前一步骤操作:步骤三:Structured Streaming实时处理数据(scala版本)
查看前一步骤操作:步骤三:Structured Streaming实时处理数据(python版本)
《Spark+Kafka构建实时分析Dashboard案例——步骤四:结果展示》

开发团队:厦门大学数据库实验室 联系人:林子雨老师ziyulin@xmu.edu.cn

版权声明:版权归厦门大学数据库实验室所有,请勿用于商业用途;未经授权,其他网站请勿转载

本教程介绍大数据课程实验案例“Spark+Kafka构建实时分析Dashboard”的第四个步骤,结果展示。在本篇博客中,将介绍如何利用Flask-SocketIO向客户端发送消息以及客户端如何利用highcharts.js展示数据。

继续阅读

Spark+Kafka构建实时分析Dashboard案例(2022年9月V2.0版)——步骤三:Structured Streaming实时处理数据(scala版本)

返回本案例首页

查看前一步骤操作步骤二:数据处理和Python操作Kafka
查看python版本python版本:Structured Streaming实时处理数据
《Spark+Kafka构建实时分析Dashboard案例——步骤三:Structured Streaming实时处理数据》

开发团队:厦门大学数据库实验室 联系人:林子雨老师ziyulin@xmu.edu.cn

版权声明:版权归厦门大学数据库实验室所有,请勿用于商业用途;未经授权,其他网站请勿转载

本教程介绍大数据课程实验案例“Spark+Kafka构建实时分析Dashboard”的第三个步骤,Structured Streaming实时处理数据。在本篇博客中,将介绍如何利用Structed Streaming实时接收处理Kafka数据以及将处理后的结果发给的Kafka。

继续阅读

Spark+Kafka构建实时分析Dashboard案例(2022年9月V2.0版)——步骤二:数据处理和Python操作Kafka

返回本案例首页
查看前一步骤操作步骤一:实验环境准备

《Spark+Kafka构建实时分析Dashboard案例——步骤二:数据处理和Python操作Kafka》

开发团队:厦门大学数据库实验室 联系人:林子雨老师ziyulin@xmu.edu.cn

版权声明:版权归厦门大学数据库实验室所有,请勿用于商业用途;未经授权,其他网站请勿转载

本教程介绍大数据课程实验案例“Spark+Kafka构建实时分析Dashboard”的第二个步骤,数据处理和Python操作Kafka。在本篇博客中,首先介绍如何预处理数据,以及如何使用Python操作Kafka。

继续阅读