返回《在阿里云中搭建大数据实验环境》首页
提示：本教程是一个系列文章，请务必按照本教程首页中给出的各个步骤列表，按照先后顺序一步步进行操作，本博客假设你已经顺利完成了之前的操作步骤。
在对使用 Scala 编写的Spark程序进行编译打包时，可以使用 sbt 工具进行编译打包，也可以使用Maven工具进行编译打包。本文介绍如何使用 Maven工具进行编译打包，另一篇博客介绍如何使用sbt工具进行编译打包。这里会通过一个简单的应用程序 SimpleApp 来演示如何通过 Spark API 编写一个独立应用程序，并且在Shell环境中使用Maven进行编译打包。
安装Maven
Ubuntu中没有自带Maven，需要手动安装Maven。可以访问Maven官网下载安装文件，下载地址如下：
http://apache.fayea.com/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.zip
请在自己的笔记本电脑中，访问apache-maven-3.3.9-bin.zip的下载地址，直接点击下载即可；或者，也可以直接可以点击这里到百度云盘下载Maven安装包apache-maven-3.3.9-bin.zip（提取码：gx0b）。
然后，参考之前的FTP使用指南，在笔记本电脑中，使用FTP软件，使用用户名linziyu连接阿里云ECS实例，把apache-maven-3.3.9-bin.zip这个压缩格式文件上传到远程的阿里云ECS实例的Ubuntu系统中，可以上传到Ubuntu系统的“/home/linziyu/Downloads/”目录下。
根据本教程前面博客介绍的方法，采用用户名linziyu，使用Putty连接ECS中的Ubuntu系统，进入命令行界面，或者也可以使用VNCViewer连接ECS中的Ubuntu系统打开“终端”进入命令行界面。总之，一定要进入命令行界面，这样可以在里面输入Shell命令，来安装Maven。
在命令行界面中，执行如下Shell命令（注意：当前登录用户名是linziyu）：
这里选择安装在 /usr/local/maven中：
cd ~
sudo unzip ~/Downloads/apache-maven-3.3.9-bin.zip -d /usr/local
cd /usr/local
sudo mv ./apache-maven-3.3.9 ./maven
sudo chown -R linziyu:linziyu ./maven
编写Scala应用程序
在Ubuntu终端中执行如下命令创建一个文件夹 sparkapp2 作为应用程序根目录：
cd ~ # 进入用户主文件夹
mkdir ./sparkapp2 # 创建应用程序根目录
cd sparkapp2
mkdir -p src/main/scala # 创建所需的文件夹结构
在 ./sparkapp2/src/main/scala 下建立一个名为 SimpleApp.scala 的文件：
cd ~/sparkapp2/src/main/scala
vim SimpleApp.scala
添加代码如下（目前不需要理解代码的具体含义，只需要理解如何编译运行代码就可以）：
/* SimpleApp.scala */
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
object SimpleApp {
def main(args: Array[String]) {
val logFile = "file:///usr/local/spark/README.md" // Should be some file on your system
val conf = new SparkConf().setAppName("Simple Application")
val sc = new SparkContext(conf)
val logData = sc.textFile(logFile, 2).cache()
val numAs = logData.filter(line => line.contains("a")).count()
val numBs = logData.filter(line => line.contains("b")).count()
println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
}
}
该程序计算 /usr/local/spark/README 文件中包含 "a" 的行数 和包含 "b" 的行数。代码第8行的 /usr/local/spark 为 Spark 的安装目录，如果不是该目录请自行修改。不同于 Spark shell，独立应用程序需要通过 val sc = new SparkContext(conf) 初始化 SparkContext，SparkContext 的参数 SparkConf 包含了应用程序的信息。
使用Maven对Scala 程序进行编译打包
使用vim编辑器在“~/sparkapp2”目录中新建文件pom.xml，命令如下：
cd ~
cd sparkapp2
vim pom.xml
然后，在pom.xml文件中添加如下内容，用来声明该独立应用程序的信息以及与Spark的依赖关系：
<project>
<groupId>cn.edu.xmu</groupId>
<artifactId>simple-project</artifactId>
<modelVersion>4.0.0</modelVersion>
<name>Simple Project</name>
<packaging>jar</packaging>
<version>1.0</version>
<repositories>
<repository>
<id>jboss</id>
<name>JBoss Repository</name>
<url>http://repository.jboss.com/maven2/</url>
</repository>
</repositories>
<dependencies>
<dependency> <!-- Spark dependency -->
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.1.0</version>
</dependency>
</dependencies>
<build>
<sourceDirectory>src/main/scala</sourceDirectory>
<plugins>
<plugin>
<groupId>org.scala-tools</groupId>
<artifactId>maven-scala-plugin</artifactId>
<executions>
<execution>
<goals>
<goal>compile</goal>
</goals>
</execution>
</executions>
<configuration>
<scalaVersion>2.11.8</scalaVersion>
<args>
<arg>-target:jvm-1.5</arg>
</args>
</configuration>
</plugin>
</plugins>
</build>
</project>
为了保证Maven能够正常运行，先执行如下命令检查整个应用程序的文件结构：
cd ~/sparkapp2
find .
文件结构应该是类似如下的内容：
.
./pom.xml
./src
./src/main
./src/main/scala
./src/main/scala/SimpleApp.scala
接下来，我们可以通过如下代码将整个应用程序打包成JAR包（注意：计算机需要保持连接网络的状态，而且首次运行打包命令时，Maven会自动下载依赖包，需要消耗几分钟的时间）：
cd ~/sparkapp2 #一定把这个目录设置为当前目录
/usr/local/maven/bin/mvn package
如果屏幕返回如下信息，则说明生成JAR包成功：
[INFO] Building jar: /home/linziyu/sparkapp2/target/simple-project-1.0.jar
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 01:12 min
[INFO] Finished at: 2018-04-11T14:59:39+08:00
[INFO] Final Memory: 27M/369M
[INFO] ------------------------------------------------------------------------
生成的应用程序JAR包的位置为“/home/linziyu/sparkapp2/target/simple-project-1.0.jar”。
通过 spark-submit 运行程序
最后，我们就可以将生成的 jar 包通过 spark-submit 提交到 Spark 中运行了，命令如下：
/usr/local/spark/bin/spark-submit --class "SimpleApp" ~/sparkapp2/target/simple-project-1.0.jar
#上面命令执行后会输出太多信息，可以不使用上面命令，而使用下面命令查看想要的结果
/usr/local/spark/bin/spark-submit --class "SimpleApp" ~/sparkapp2/target/simple-project-1.0.jar 2>&1 | grep "Lines with a:"
最终得到的结果如下：
Lines with a: 62, Lines with b: 30
到此，就顺利完成 Spark 应用程序的Maven编译打包运行了。