在ECS实例的Ubuntu系统中安装编译打包工具sbt

2019年1月20日寒假大数据师资培训班

返回《在阿里云中搭建大数据实验环境》首页
提示:本教程是一个系列文章,请务必按照本教程首页中给出的各个步骤列表,按照先后顺序一步步进行操作,本博客假设你已经顺利完成了之前的操作步骤。
在对使用 Scala 编写的Spark程序进行编译打包时,可以使用 sbt 工具进行编译打包,也可以使用Maven工具进行编译打包。本文介绍如何使用 sbt 工具进行编译打包,下一篇博客会介绍如何使用Maven工具进行编译打包。这里会通过一个简单的应用程序 SimpleApp 来演示如何通过 Spark API 编写一个独立应用程序,并且在Shell环境中使用sbt进行编译打包。

安装sbt

sbt是一款Spark用来对scala编写程序进行打包的工具,这里简单介绍sbt的安装过程,感兴趣的读者可以参考官网资料了解更多关于sbt的内容。Spark 中没有自带 sbt,需要在Ubuntu系统中额外安装sbt。
请在自己的笔记本电脑中,访问sbt-launch.jar的下载地址,直接点击下载即可;或者,也可以直接可以点击这里到百度云盘下载sbt安装包sbt-launch.jar

然后,参考之前的FTP使用指南,在笔记本电脑中,使用FTP软件,使用用户名linziyu连接阿里云ECS实例,把sbt-launch.jar这个压缩格式文件上传到远程的阿里云ECS实例的Ubuntu系统中,可以上传到Ubuntu系统的“/home/linziyu/Downloads/”目录下。

根据本教程前面博客介绍的方法,采用用户名linziyu,使用Putty连接ECS中的Ubuntu系统,进入命令行界面,或者也可以使用VNCViewer连接ECS中的Ubuntu系统打开“终端”进入命令行界面。总之,一定要进入命令行界面,这样可以在里面输入Shell命令,来安装sbt。

在命令行界面中,执行如下Shell命令(注意:当前登录用户名是linziyu):
这里选择安装在 /usr/local/sbt 中:

sudo mkdir /usr/local/sbt
sudo chown -R linziyu:linziyu /usr/local/sbt

执行如下命令把sbt-launch.jar拷贝至 /usr/local/sbt 中:

cd ~ #进入linziyu用户的主目录
cd Downloads  #注意区分大小写字母,刚才已经通过FTP软件把安装包sbt-launch.jar上传到该目录下
cp ./sbt-launch.jar /usr/local/sbt  #把sbt-launch.jar文件解压到/usr/local/sbt目录下

接着在 /usr/local/sbt 中创建 sbt 脚本:

cd /usr/local/sbt
vim ./sbt

在脚本文件sbt中添加如下内容:

#!/bin/bash
SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M"
java $SBT_OPTS -jar `dirname $0`/sbt-launch.jar "$@"

保存后,为 ./sbt 脚本增加可执行权限:

chmod u+x ./sbt

最后运行如下命令,检验 sbt 是否可用(请确保电脑处于联网状态,首次运行会处于 “Getting org.scala-sbt sbt 0.13.11 …” 的下载状态,请耐心等待。笔者等待了 7 分钟才出现第一条下载提示):

./sbt sbt-version

只要能得到如下所示的版本信息就没问题:

[SUCCESSFUL ] org.fusesource.jansi#jansi;1.4!jansi.jar (615ms)
:: retrieving :: org.scala-sbt#boot-scala
confs: [default]
5 artifacts copied, 0 already retrieved (24494kB/29ms)
[info] Set current project to sbt (in build file:/usr/local/sbt/)
[info] 0.13.11

编写Scala应用程序

在Ubuntu终端中执行如下命令创建一个文件夹 sparkapp 作为应用程序根目录:

cd ~           # 进入用户主文件夹
mkdir ./sparkapp        # 创建应用程序根目录
cd sparkapp
mkdir -p src/main/scala     # 创建所需的文件夹结构

在 ./sparkapp/src/main/scala 下建立一个名为 SimpleApp.scala 的文件:

cd ~
cd sparkapp
cd src/main/scala
vim SimpleApp.scala

添加代码如下(目前不需要理解代码的具体含义,只需要理解如何编译运行代码就可以):

/* SimpleApp.scala */
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object SimpleApp {
def main(args: Array[String]) {
            val logFile = "file:///usr/local/spark/README.md" // Should be some file on your system
            val conf = new SparkConf().setAppName("Simple Application")
            val sc = new SparkContext(conf)
            val logData = sc.textFile(logFile, 2).cache()
            val numAs = logData.filter(line => line.contains("a")).count()
            val numBs = logData.filter(line => line.contains("b")).count()
            println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
    }
}

该程序计算 /usr/local/spark/README 文件中包含 “a” 的行数 和包含 “b” 的行数。代码第8行的 /usr/local/spark 为 Spark 的安装目录,如果不是该目录请自行修改。不同于 Spark shell,独立应用程序需要通过 val sc = new SparkContext(conf) 初始化 SparkContext,SparkContext 的参数 SparkConf 包含了应用程序的信息。

使用sbt打包Scala程序

该程序依赖 Spark API,因此我们需要通过 sbt 进行编译打包。 请在~/sparkapp 中新建文件 simple.sbt:

cd ~
cd sparkapp
vim simple.sbt

添加内容如下,声明该独立应用程序的信息以及与 Spark 的依赖关系:

name := "Simple Project"
version := "1.0"
scalaVersion := "2.11.8"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.1.0"

文件 simple.sbt 需要指明 Spark 和 Scala 的版本。在上面的配置信息中,scalaVersion用来指定scala的版本,sparkcore用来指定spark的版本,这两个版本信息都可以在之前的启动 Spark shell 的过程中,从屏幕的显示信息中找到。

为保证 sbt 能正常运行,先执行如下命令检查整个应用程序的文件结构:

cd ~/sparkapp
find .

文件结构应如下所示:

linziyu@iZbp11gznj67n38kztu64dZ:~/sparkapp$ find .
.
./simple.sbt
./src
./src/main
./src/main/scala
./src/main/scala/SimpleApp.scala

接着,我们就可以通过如下代码将整个应用程序打包成 JAR(首次运行同样需要下载依赖包 ):

cd ~/sparkapp
/usr/local/sbt/sbt package

对于刚安装好的Spark和sbt而言,第一次运行上面的打包命令时,会需要几分钟的运行时间,因为系统会自动从网络上下载各种文件。后面再次运行上面命令,就会很快,因为不再需要下载相关文件。
打包成功的话,会输出如下内容:

linziyu@iZbp11gznj7n38xkztu64dZ:~/sparkapp$ /usr/local/sbt/sbt package
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=256M; support was removed in 8.0
[info] Set current project to Simple Project (in build file:/home/linziyu/sparkapp/)
[info] Compiling 1 Scala source to /home/linziyu/sparkapp/target/scala-2.11/classes...
[info] Packaging /home/linziyu/sparkapp/target/scala-2.11/simple-project_2.11-1.0.jar ...
[info] Done packaging.
[success] Total time: 5 s, completed Apr 11, 2018 2:17:57 PM

生成的 jar 包的位置为 ~/sparkapp/target/scala-2.11/simple-project_2.11-1.0.jar。

通过 spark-submit 运行程序

最后,我们就可以将生成的 jar 包通过 spark-submit 提交到 Spark 中运行了,命令如下:

cd ~/sparkapp
/usr/local/spark/bin/spark-submit --class "SimpleApp" ~/sparkapp/target/scala-2.11/simple-project_2.11-1.0.jar
#上面命令执行后会输出太多信息,可以不使用上面命令,而使用下面命令查看想要的结果
/usr/local/spark/bin/spark-submit --class "SimpleApp" ~/sparkapp/target/scala-2.11/simple-project_2.11-1.0.jar 2>&1 | grep "Lines with a:"

最终得到的结果如下:

Lines with a: 62, Lines with b: 30

到此,就顺利完成 Spark 应用程序的sbt编译打包运行了。