大数据 macOS实验环境 学习总指南

大数据学习路线图

【版权声明:本指南为厦门大学林子雨编著的《大数据技术原理与应用》教材配套学习资料,版权所有,转载请注明出处,请勿用于商业用途】

本指南介绍如何在macOS实验环境下进行大数据实验.

macOS和Linux系统的关系

macOS是Unix内核的桌面操作系统,ubuntu是Linux操作系统.在Linux环境下命令行工具,macOS基本也能使用。
大数据相关的软件同样可以运行在macOS操作系统中,安装过程中甚至会比在Linux环境方便许多,而配置却可以直接套用在Mac中。
如果你拥有一台Mac电脑,就不需要在此电脑上安装虚拟机运行ubuntu,可以直接迁移到macOS系统进行实验。

macOS操作系统的所有大数据相关软件统一使用Homebrew工具安装,然后到指定的安装目录下修改配置文件。

学习指南列表

如果决定使用macOS作为学习大数据的操作系统工具,请按照如下实验指南列表进行学习。

  1. 安装Homebrew工具
    macOS 安装Homebrew和常用命令
  2. 第二章 Hadoop单机-伪分布式教程
    macOS 安装Hadoop教程-单机-伪分布式配置
  3. 第三章 分布式文件系统HDFS 学习指南
    macOS 分布式文件系统HDFS 学习指南
  4. 第四章 Hbase-伪分布式配置
    macOS 安装Hbase-伪分布式配置
  5. 第五章 NoSQL 数据库学习指南
    典型的NoSQL数据库通常包含键值数据库,列族数据库,文档数据库。
    列族数据库请参考第四章 macOS 安装Hbase-伪分布式配置
    在macOS中,键值数据库和文档数据库可以直接通过brew install安装。这里以安装键值数据库redis为例。
    安装键值数据库redis:

    brew install redis
    

    启动redis服务

    brew services start redis
    

    运行redis

    redis-cli
    

    关闭redis服务

    brew services stop redis
    
  6. 第六章 云数据库
    请参考大数据技术原理与应用 第六章 云数据库 学习指南

  7. 第七章 MapReduce 学习指南
    使用命令行编译打包运行自己的MapReduce程序 Hadoop2.6.0
    如果需要使用IDE编写代码,macOS系统更推荐使用Intellij IDEA编写Java代码.
  8. 第八章 流计算
    请参考macOS 流计算Storm安装教程
  9. 第十章 数据可视化
    请参考大数据技术原理与应用 第十章 数据可视化 学习指南
  10. 第十四章 数据仓库Hive
    请参考macOS Hive安装配置教程
  11. 第十六章 Spark学习指南
    请参考macOS 安装和配置Spark 学习指南