Author: 周伟敬

将Maven源改为国内阿里云仓库

【版权声明】版权所有,严禁转载,严禁用于商业用途,侵权必究。
在使用Maven打包Scala程序时,默认是从位于国外的Maven中央仓库下载相关的依赖,造成我们从国内下载依赖时速度很慢。

可以通过修改Maven的配置文件,让Maven到国内的阿里云仓库下载相关依赖,大大提高打包的速度。
继续阅读

基于地震数据的Spark数据处理与分析

【版权声明】版权所有,严禁转载,严禁用于商业用途,侵权必究。
作者:厦门大学信息学院计算机科学系2019级研究生 周伟敬
指导老师:厦门大学数据库实验室 林子雨 博士/副教授
相关教材:林子雨、郑海山、赖永炫编著《Spark编程基础(Python版)》(访问教材官网
相关案例:基于Python语言的Spark数据处理分析案例集锦(PySpark)

本案例针对全球重大地震数据进行分析,采用Python为编程语言,采用Hadoop存储数据,采用Spark对数据进行处理分析,并对结果进行数据可视化。
继续阅读