欢迎参加第7届全国高校大数据与人工智能教学研讨会
【时间】2024年5月24日(注册)-25日(会议)
【地点】厦门亚洲海湾大酒店
点击这里访问报名主页
本站所有重要博客索引（可以快速找到你想要阅读的文章）
本站提供了大量大数据学习博客，但是，经常受到黑客攻击，导致本站禁用了“搜索框”功能，这给本站读者带来了障碍，无法查找一些自己感兴趣的内容。为了方便读者找到自己感兴趣的文章，特地制作了本索引。
基于Scala语言的Spark数据处理分析案例集锦
【版权声明】版权所有，严禁转载，严禁用于商业用途，侵权必究。
基于Scala语言的Spark数据处理分析案例集锦
案例制作：厦门大学数据库实验室
指导老师：厦门大学信息学院计算机系数据库实验室 林子雨 博士/副教授 E-mail: ziyulin@xmu.edu.cn
相关教材：林子雨、赖永炫、陶继平编著《Spark编程基础（Scala版）》（访问教材官网）
(1)基于泰坦尼克号生还数据的Spark数据处理分析
(2)基于美剧《权力的游戏》剧集数据的Spark数据处理分析
(3)基于Covid-19传播数据的Spark数据处理分析
(4)基于DOTA2 Matches数据集的Spark数据处理分析
(5)基于音乐数据的Spark数据处理与分析
(6)基于咖啡连锁店的Spark数据处理分析
(7)基于Spark的气象监测数据分析
(8)基于Spark的厦门市市民球场处理与分析
(9)基于Spark的Google Play应用商店数据分析
(10)基于Spark的淘宝数据分析
(11)基于Spark的电信客户流失分析
(12)基于Spark的NBA球员数据分析
基于Python语言的Spark数据处理分析案例集锦（PySpark）
【版权声明】版权所有，严禁转载，严禁用于商业用途，侵权必究。
基于Python语言的Spark数据处理分析案例集锦（PySpark）
案例制作：厦门大学数据库实验室
指导老师：厦门大学信息学院计算机系数据库实验室 林子雨 博士/副教授 E-mail: ziyulin@xmu.edu.cn
相关教材：林子雨、郑海山、赖永炫编著《Spark编程基础（Python版）》（访问教材官网）
（1）基于YELP数据集的商业数据分析
（2）2020年美国新冠肺炎疫情数据分析
（3）基于零售交易数据的Spark数据处理与分析
（4）基于地震数据的Spark数据处理与分析
（5）基于Spark的地震数据处理与分析
（6）基于信用卡逾期数据的Spark数据处理与分析
（7）基于 TMDB 数据集的电影数据分析
（8）厦门租房信息分析展示
（9）基于Spark的气象数据处理与分析
（10）基于Spark的音乐专辑数据分析展示
（11）基于CO2排放量数据集的数据分析及可视化
（12）Bilibili网站“每周必看”栏目数据分析
（13）基于电影数据的PySpark数据处理与分析
大数据软件安装和基础编程实践指南（2020年6月版）
大数据软件安装和基础编程实践指南
作者：厦门大学数据库实验室 林子雨 博士/副教授 E-mail: ziyulin@xmu.edu.cn
（1）在Windows中使用VirtualBox安装Ubuntu虚拟机
（2）Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)
（3）Hadoop集群安装配置教程_Hadoop3.1.3_Ubuntu
（4）HDFS编程实践（Hadoop3.1.3）
（5）HBase2.2.2安装和编程实践指南
（6）MapReduce编程实践(Hadoop3.1.3)
（7）Hive3.1.2安装指南
（8）Spark安装和编程实践（Spark2.4.0）
（9）Flink安装与编程实践（Flink1.9.1）
子雨大数据之Spark入门教程（Scala版）
【版权声明】博客内容由厦门大学数据库实验室拥有版权，未经允许，请勿转载！版权所有，侵权必究！
Spark最初诞生于美国加州大学伯克利分校（UC Berkeley）的AMP实验室，是一个可应用于大规模数据处理的快速、通用引擎。2013年，Spark加入Apache孵化器项目后，开始获得迅猛的发展，如今已成为Apache软件基金会最重要的三大分布式计算系统开源项目之一（即Hadoop、Spark、Storm）。Spark最初的设计目标是使数据分析更快——不仅运行速度快，也要能快速、容易地编写程序。为了使程序运行更快，Spark提供了内存计算，减少了迭代计算时的IO开销；而为了使编写程序更为容易，Spark使用简练、优雅的Scala语言编写，基于Scala提供了交互式的编程体验。虽然，Hadoop已成为大数据的事实标准，但其MapReduce分布式计算模型仍存在诸多缺陷，而Spark不仅具备Hadoop MapReduce所具有的优点，且解决了Hadoop MapReduce的缺陷。Spark正以其结构一体化、功能多元化的优势逐渐成为当今大数据领域最热门的大数据计算平台。
数据科学与大数据技术专业毕业论文选题
本文来源：西安财经大学数学学院
根据学校关于毕业论文的进度安排，数据科学系全体毕业论文指导老师在2023年11月29日针对2020级数据科学与大数据技术专业的毕业论文选题展开了讨论，以期为学生提供具有实用性和创新性的选题思路。
基于电影数据的PySpark数据处理与分析
【版权声明】版权所有，严禁转载，严禁用于商业用途，侵权必究。
作者：厦门大学信息学院2022级研究生 赖芹
指导老师：厦门大学数据库实验室 林子雨 博士/副教授 ziyulin@xmu.edu.cn
相关教材：林子雨、郑海山、赖永炫编著《Spark编程基础（Python版）》（访问教材官网）
相关案例：基于Python语言的Spark数据处理分析案例集锦（PySpark）
PySpark 读写Hive数据源
作者：厦门大学大数据课程虚拟教研室 林徐
编写爬虫爬取图书网站数据
编写网络爬虫采集百度热搜榜网页
在Ubuntu22.04中安装MongoDB6.0（2024年1月版）
在Ubuntu22.04中安装MySQL8
作者：厦门大学计算机系 林子雨 博士/副教授
MySQL是一个关系数据库管理系统，由瑞典MySQL AB公司开发，目前属于Oracle旗下产品。MySQL最流行的关系数据库管理系统，在Web应用方面，MySQL是最好的RDBMS (Relational Database Management System，关系数据库管理系统) 应用软件之一。
解决MySQL只能通过localhost访问不能通过IP访问的问题
【问题】
（1）远程访问MySQL经常会碰到下面的问题:
Can’t connect to MySQL server on (111 “Connection refused”)
（2）只能使用 localhost或者127.0.0.1来访问MySQL，使用其他IP地址或者主机名被拒绝访问。
Bilibili网站“每周必看”栏目数据分析
【版权声明】版权所有，严禁转载，严禁用于商业用途，侵权必究。
作者：厦门大学信息学院2022级研究生 张金璐
指导老师：厦门大学数据库实验室 林子雨 博士/副教授
相关教材：林子雨、郑海山、赖永炫编著《Spark编程基础（Python版）》（访问教材官网）
相关案例：基于Python语言的Spark数据处理分析案例集锦（PySpark）
基于CO2排放量数据集的数据分析及可视化
【版权声明】版权所有，严禁转载，严禁用于商业用途，侵权必究。
作者：厦门大学人工智能研究院2022级研究生 邢明炜
指导老师：厦门大学数据库实验室 林子雨 博士/副教授
相关教材：林子雨、郑海山、赖永炫编著《Spark编程基础（Python版）》（访问教材官网）
相关案例：基于Python语言的Spark数据处理分析案例集锦（PySpark）