基于Spark的地震数据处理与分析

作者:厦门大学信息学院计算机科学系2019级研究生 胡冰
指导老师:厦门大学数据库实验室 林子雨 博士/副教授
相关教材:林子雨、郑海山、赖永炫编著《Spark编程基础(Python版)》(访问教材官网
相关案例:基于Python语言的Spark数据处理分析案例集锦(PySpark)

本案例针对全球重大地震数据进行分析,采用Python为编程语言,采用Hadoop存储数据,采用Spark对数据进行处理分析,并对结果进行数据可视化。
继续阅读

基于地震数据的Spark数据处理与分析

作者:厦门大学信息学院计算机科学系2019级研究生 周伟敬
指导老师:厦门大学数据库实验室 林子雨 博士/副教授
相关教材:林子雨、郑海山、赖永炫编著《Spark编程基础(Python版)》(访问教材官网
相关案例:基于Python语言的Spark数据处理分析案例集锦(PySpark)

本案例针对全球重大地震数据进行分析,采用Python为编程语言,采用Hadoop存储数据,采用Spark对数据进行处理分析,并对结果进行数据可视化。
继续阅读

基于零售交易数据的Spark数据处理与分析

作者:厦门大学信息学院计算机科学系2019级研究生 何昕
指导老师:厦门大学数据库实验室 林子雨 博士/副教授
相关教材:林子雨、郑海山、赖永炫编著《Spark编程基础(Python版)》(访问教材官网
相关案例:基于Python语言的Spark数据处理分析案例集锦(PySpark)

本案例数据集是来自Kaggle的一个跨国在线零售业务的交易数据,采用Python为编程语言,采用Hadoop存储数据,采用Spark对数据进行处理分析,并使用Echarts做数据可视化。
继续阅读

2020年美国新冠肺炎疫情数据分析

作者:厦门大学信息学院计算机科学系2019级研究生 卢思维
指导老师:厦门大学数据库实验室 林子雨 博士/副教授
相关教材:林子雨、郑海山、赖永炫编著《Spark编程基础(Python版)》(访问教材官网
相关案例:基于Python语言的Spark数据处理分析案例集锦(PySpark)

本案例以2020年美国新冠肺炎疫情数据作为数据集,以Python为编程语言,使用Spark对数据进行分析,并对分析结果进行可视化。
继续阅读

基于YELP数据集的商业数据分析

作者:厦门大学信息学院智能科学系2019级研究生 王颖敏
指导老师:厦门大学数据库实验室 林子雨 博士/副教授
相关教材:林子雨、郑海山、赖永炫编著《Spark编程基础(Python版)》(访问教材官网
相关案例:基于Python语言的Spark数据处理分析案例集锦(PySpark)

本实验采用Python语言,使用大数据处理框架Spark对数据进行处理分析,并对分析结果进行可视化。
继续阅读

大数据软件安装和基础编程实践指南(2020年6月版)

大数据软件安装和基础编程实践指南
作者:厦门大学数据库实验室 林子雨 博士/副教授 E-mail: ziyulin@xmu.edu.cn

(1)在Windows中使用VirtualBox安装Ubuntu虚拟机
(2)Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)
(3)Hadoop集群安装配置教程_Hadoop3.1.3_Ubuntu
(4)HDFS编程实践(Hadoop3.1.3)
(5)HBase2.2.2安装和编程实践指南
(6)MapReduce编程实践(Hadoop3.1.3)
(7)Hive3.1.2安装指南
(8)Spark安装和编程实践(Spark2.4.0)
(9)Flink安装与编程实践(Flink1.9.1)

使用Jupyter Notebook调试PySpark程序

使用Jupyter Notebook调试PySpark程序
厦门大学计算机科学系数据库实验室 林子雨 博士/副教授 ziyulin@xmu.edu.cn
相关教材:林子雨、郑海山、赖永炫编著《Spark编程基础(Python版)》,访问教材官网(http://dblab.xmu.edu.cn/post/spark-python/

一、Jupyter Notebook简介

名称 Jupyter 是由Julia、Python和R三个单词组合而成的。Jupyter Notebook是一种Web应用,它能让用户将说明文本、数学方程、代码和可视化内容全部组合到一个易于共享的文档中,非常方便研究和教学。Jupyter Notebook特别适合做数据处理,其用途可以包括数据清理和探索、可视化、机器学习和大数据分析。

Jupyter notebook 的核心是 Notebook 的服务器。用户通过浏览器连接到该服务器,而 Notebook呈现为Web应用。用户在Web应用中编写的代码通过该服务器发送给内核,内核运行代码,并将结果发送回该服务器。然后,任何输出都会返回到浏览器中。保存 Notebook 时,它将作为 JSON 文件(文件扩展名为 .ipynb)写入到该服务器中。
继续阅读

大数据伦理概念

本文摘自林子雨编著《大数据导论》(访问教材官网

作者:厦门大学计算机科学系 林子雨 博士/副教授 全国高校知名大数据教师

E-mail: ziyulin@xmu.edu.cn

在西方文化中,伦理一词的词源可追溯到希腊文“ethos”,具有风俗、习性、品性等含义。在中国文化中,伦理一词最早出现于《乐纪》:“乐者,通伦理者也。”我国古代思想家们都对伦理学十分重视,“三纲五常”就是基于伦理学产生的。最开始对伦理学的应用主要体现在对于家庭长幼辈分的界定,后又延伸至社会关系的界定。
继续阅读

大数据思维

本文摘自林子雨编著《大数据导论》(访问教材官网

作者:厦门大学计算机科学系 林子雨 博士/副教授 全国高校知名大数据教师

E-mail: ziyulin@xmu.edu.cn

大数据,不仅是一次技术革命,同时也是一次思维革命。从理论上说,相对于人类有限的数据采集和分析能力,自然界和人类社会存在的数据是无限的。以有限对无限,如何才能慧眼识珠,找到我们所需的数据,无疑需要一种思维的指引。因此,就像经典力学和相对论的诞生改变了人们的思维模式一样,大数据也在潜移默化地改变人们的思想。
维克托•迈尔•舍恩伯格在《大数据时代:生活、工作与思维的大变革》一书中明确指出,大数据时代最大的转变就是思维方式的3种转变:全样而非抽样、效率而非精确、相关而非因果。此外,人类研究解决问题的思维方式,正在朝着“以数据为中心”以及“我为人人,人人为我”的方式迈进。

继续阅读