【版权声明:本指南为厦门大学林子雨编著的《大数据技术原理与应用》教材配套学习资料,版权所有,转载请注明出处,请勿用于商业用途】
本指南介绍如何在macOS实验环境下进行大数据实验.
macOS和Linux系统的关系
macOS是Unix内核的桌面操作系统,ubuntu是Linux操作系统.在Linux环境下命令行工具,macOS基本也能使用。
大数据相关的软件同样可以运行在macOS操作系统中,安装过程中甚至会比在Linux环境方便许多,而配置却可以直接套用在Mac中。
如果你拥有一台Mac电脑,就不需要在此电脑上安装虚拟机运行ubuntu,可以直接迁移到macOS系统进行实验。
macOS操作系统的所有大数据相关软件统一使用Homebrew工具安装,然后到指定的安装目录下修改配置文件。
学习指南列表
如果决定使用macOS作为学习大数据的操作系统工具,请按照如下实验指南列表进行学习。
- 安装Homebrew工具
macOS 安装Homebrew和常用命令 - 第二章 Hadoop单机-伪分布式教程
macOS 安装Hadoop教程-单机-伪分布式配置 - 第三章 分布式文件系统HDFS 学习指南
macOS 分布式文件系统HDFS 学习指南 - 第四章 Hbase-伪分布式配置
macOS 安装Hbase-伪分布式配置 - 第五章 NoSQL 数据库学习指南
典型的NoSQL数据库通常包含键值数据库,列族数据库,文档数据库。
列族数据库请参考第四章 macOS 安装Hbase-伪分布式配置
在macOS中,键值数据库和文档数据库可以直接通过brew install安装。这里以安装键值数据库redis为例。
安装键值数据库redis:brew install redis
启动redis服务
brew services start redis
运行redis
redis-cli
关闭redis服务
brew services stop redis
-
第六章 云数据库
请参考大数据技术原理与应用 第六章 云数据库 学习指南 - 第七章 MapReduce 学习指南
使用命令行编译打包运行自己的MapReduce程序 Hadoop2.6.0
如果需要使用IDE编写代码,macOS系统更推荐使用Intellij IDEA编写Java代码. - 第八章 流计算
请参考macOS 流计算Storm安装教程 - 第十章 数据可视化
请参考大数据技术原理与应用 第十章 数据可视化 学习指南 - 第十四章 数据仓库Hive
请参考macOS Hive安装配置教程 - 第十六章 Spark学习指南
请参考macOS 安装和配置Spark 学习指南