在ECS实例的Ubuntu系统中安装编译打包工具Maven

大数据技术原理与应用

返回《在阿里云中搭建大数据实验环境》首页
提示:本教程是一个系列文章,请务必按照本教程首页中给出的各个步骤列表,按照先后顺序一步步进行操作,本博客假设你已经顺利完成了之前的操作步骤。
在对使用 Scala 编写的Spark程序进行编译打包时,可以使用 sbt 工具进行编译打包,也可以使用Maven工具进行编译打包。本文介绍如何使用 Maven工具进行编译打包,另一篇博客介绍如何使用sbt工具进行编译打包。这里会通过一个简单的应用程序 SimpleApp 来演示如何通过 Spark API 编写一个独立应用程序,并且在Shell环境中使用Maven进行编译打包。

安装Maven

Ubuntu中没有自带Maven,需要手动安装Maven。可以访问Maven官网下载安装文件,下载地址如下:

http://apache.fayea.com/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.zip

请在自己的笔记本电脑中,访问apache-maven-3.3.9-bin.zip的下载地址,直接点击下载即可;或者,也可以直接可以点击这里到百度云盘下载Maven安装包apache-maven-3.3.9-bin.zip

然后,参考之前的FTP使用指南,在笔记本电脑中,使用FTP软件,使用用户名linziyu连接阿里云ECS实例,把apache-maven-3.3.9-bin.zip这个压缩格式文件上传到远程的阿里云ECS实例的Ubuntu系统中,可以上传到Ubuntu系统的“/home/linziyu/Downloads/”目录下。

根据本教程前面博客介绍的方法,采用用户名linziyu,使用Putty连接ECS中的Ubuntu系统,进入命令行界面,或者也可以使用VNCViewer连接ECS中的Ubuntu系统打开“终端”进入命令行界面。总之,一定要进入命令行界面,这样可以在里面输入Shell命令,来安装Maven。

在命令行界面中,执行如下Shell命令(注意:当前登录用户名是linziyu):
这里选择安装在 /usr/local/maven中:

cd ~
sudo  unzip  ~/Downloads/apache-maven-3.3.9-bin.zip  -d  /usr/local
cd  /usr/local
sudo  mv  ./apache-maven-3.3.9  ./maven
sudo  chown  -R  linziyu:linziyu  ./maven

编写Scala应用程序

在Ubuntu终端中执行如下命令创建一个文件夹 sparkapp2 作为应用程序根目录:

cd ~           # 进入用户主文件夹
mkdir ./sparkapp2        # 创建应用程序根目录
cd sparkapp2
mkdir -p src/main/scala     # 创建所需的文件夹结构

在 ./sparkapp2/src/main/scala 下建立一个名为 SimpleApp.scala 的文件:

cd ~/sparkapp2/src/main/scala
vim SimpleApp.scala

添加代码如下(目前不需要理解代码的具体含义,只需要理解如何编译运行代码就可以):

/* SimpleApp.scala */
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object SimpleApp {
def main(args: Array[String]) {
            val logFile = "file:///usr/local/spark/README.md" // Should be some file on your system
            val conf = new SparkConf().setAppName("Simple Application")
            val sc = new SparkContext(conf)
            val logData = sc.textFile(logFile, 2).cache()
            val numAs = logData.filter(line => line.contains("a")).count()
            val numBs = logData.filter(line => line.contains("b")).count()
            println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
    }
}

该程序计算 /usr/local/spark/README 文件中包含 “a” 的行数 和包含 “b” 的行数。代码第8行的 /usr/local/spark 为 Spark 的安装目录,如果不是该目录请自行修改。不同于 Spark shell,独立应用程序需要通过 val sc = new SparkContext(conf) 初始化 SparkContext,SparkContext 的参数 SparkConf 包含了应用程序的信息。

使用Maven对Scala 程序进行编译打包

使用vim编辑器在“~/sparkapp2”目录中新建文件pom.xml,命令如下:

cd  ~
cd sparkapp2
vim pom.xml

然后,在pom.xml文件中添加如下内容,用来声明该独立应用程序的信息以及与Spark的依赖关系:

<project>
    <groupId>cn.edu.xmu</groupId>
    <artifactId>simple-project</artifactId>
    <modelVersion>4.0.0</modelVersion>
    <name>Simple Project</name>
    <packaging>jar</packaging>
    <version>1.0</version>
    <repositories>
        <repository>
            <id>jboss</id>
            <name>JBoss Repository</name>
            <url>http://repository.jboss.com/maven2/</url>
        </repository>
    </repositories>
    <dependencies>
        <dependency> <!-- Spark dependency -->
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.1.0</version>
        </dependency>
    </dependencies>

  <build>
    <sourceDirectory>src/main/scala</sourceDirectory>
    <plugins>
      <plugin>
        <groupId>org.scala-tools</groupId>
        <artifactId>maven-scala-plugin</artifactId>
        <executions>
          <execution>
            <goals>
              <goal>compile</goal>
            </goals>
          </execution>
        </executions>
        <configuration>
          <scalaVersion>2.11.8</scalaVersion>
          <args>
            <arg>-target:jvm-1.5</arg>
          </args>
        </configuration>
    </plugin>
    </plugins>
</build>
</project>

为了保证Maven能够正常运行,先执行如下命令检查整个应用程序的文件结构:

cd  ~/sparkapp2
find  .

文件结构应该是类似如下的内容:

.
./pom.xml
./src
./src/main
./src/main/scala
./src/main/scala/SimpleApp.scala

接下来,我们可以通过如下代码将整个应用程序打包成JAR包(注意:计算机需要保持连接网络的状态,而且首次运行打包命令时,Maven会自动下载依赖包,需要消耗几分钟的时间):

cd  ~/sparkapp2    #一定把这个目录设置为当前目录
/usr/local/maven/bin/mvn  package

如果屏幕返回如下信息,则说明生成JAR包成功:

[INFO] Building jar: /home/linziyu/sparkapp2/target/simple-project-1.0.jar
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 01:12 min
[INFO] Finished at: 2018-04-11T14:59:39+08:00
[INFO] Final Memory: 27M/369M
[INFO] ------------------------------------------------------------------------

生成的应用程序JAR包的位置为“/home/linziyu/sparkapp2/target/simple-project-1.0.jar”。

通过 spark-submit 运行程序

最后,我们就可以将生成的 jar 包通过 spark-submit 提交到 Spark 中运行了,命令如下:

/usr/local/spark/bin/spark-submit --class "SimpleApp" ~/sparkapp2/target/simple-project-1.0.jar
#上面命令执行后会输出太多信息,可以不使用上面命令,而使用下面命令查看想要的结果
/usr/local/spark/bin/spark-submit --class "SimpleApp" ~/sparkapp2/target/simple-project-1.0.jar 2>&1 | grep "Lines with a:"

最终得到的结果如下:

Lines with a: 62, Lines with b: 30

到此,就顺利完成 Spark 应用程序的Maven编译打包运行了。