macOS 流计算Storm安装教程

大数据学习路线图

【版权声明:本指南为厦门大学林子雨编著的《大数据技术原理与应用》教材配套学习资料,版权所有,转载请注明出处,请勿用于商业用途】

Storm 是目前使用最为广泛的开源流计算框架,可用于实时日志分析、个性化推荐、实时监控等应用场景中。本指南将介绍 Storm 的安装与基本使用。请务必仔细阅读完厦门大学林子雨编著的《大数据技术原理与应用》第8章节,再结合本指南进行学习。

安装zookeeper

执行如下命令:

brew install zookeeper

运行zookeeper

brew services start zookeeper

安装storm

执行如下命令:

brew install storm

修改storm配置文件

cd /usr/local/Cellar/storm/1.1.0/
vim libexec/conf/storm.yaml

取消storm.zookeeper.servers和nimbus.seeds的注释,修改成如下:

简单配置后就可以启动 Storm 了。执行如下命令启动 nimbus 后台进程:

./bin/storm nimbus

启动 nimbus 后,终端被该进程占用了,不能再继续执行其他命令了。因此我们需要另外开启一个终端,然后执行如下命令启动 supervisor 后台进程:

cd /usr/local/Cellar/storm/1.1.0/
./bin/storm supervisor

同样的,启动 supervisor 后,我们还需要开启另外的终端才能执行其他命令。另外,我们可以使用 jps 命令 检查是否成功启动,若成功启动会显示 nimbus、supervisor、QuorumPeeMain (QuorumPeeMain 是 zookeeper 的后台进程,若显示 config_value 表明 nimbus 或 supervisor 还在启动中),如下图所示。

关闭storm

之前启动的 nimbus 和 supervisor 占用了两个终端窗口,切换到这两个终端窗口,按键盘的 Ctrl+C 可以终止进程,终止后,也就相当于关闭了 Storm。