Spark入门:RDD队列流(DStream)

大数据技术原理与应用

【版权声明】博客内容由厦门大学数据库实验室拥有版权,未经允许,请勿转载!
[返回Spark教程首页]

在调试Spark Streaming应用程序的时候,我们可以使用streamingContext.queueStream(queueOfRDD)创建基于RDD队列的DStream。

下面是参考Spark官网的QueueStream程序设计的程序,每隔1秒创建一个RDD,Streaming每隔2秒就对数据进行处理。
请登录Linux系统,打开一个终端,进入Shell命令提示符状态,然后执行下面命令新建代码文件:

cd /usr/local/spark/mycode/streaming/src/main/scala  //这个目录在前面章节操作中已经创建好了
vim TestRDDQueueStream.scala

上面用vim编辑器新建了一个TestRDDQueueStream.scala文件,请在该文件中输入以下代码:

import org.apache.spark.SparkConf
import org.apache.spark.rdd.RDD
import org.apache.spark.streaming.StreamingContext._
import org.apache.spark.streaming.{Seconds, StreamingContext}

object QueueStream {
  def main(args: Array[String]) {
    val sparkConf = new SparkConf().setAppName("TestRDDQueue").setMaster("local[2]")
    val ssc = new StreamingContext(sparkConf, Seconds(20))
    val rddQueue =new scala.collection.mutable.SynchronizedQueue[RDD[Int]]()
    val queueStream = ssc.queueStream(rddQueue)
    val mappedStream = queueStream.map(r => (r % 10, 1))
    val reducedStream = mappedStream.reduceByKey(_ + _)
    reducedStream.print()
    ssc.start()
    for (i <- 1 to 10){
        rddQueue += ssc.sparkContext.makeRDD(1 to 100,2)
        Thread.sleep(1000)
    }
    ssc.stop()
  }
}

然后,我们用sbt进行打包编译。我们可以直接使用前面章节已经创建好的simple.sbt文件,如果你没有学习前面章节,还没有创建simple.sbt文件,请按照下面方法来创建simple.sbt(如果已经存在该文件,这里就不用重复创建):

cd /usr/local/spark/mycode/streaming
vim simple.sbt

上面用vim编辑器新建一个simple.sbt文件,请在该文件中输入以下代码:

name := "Simple Project"
version := "1.0"
scalaVersion := "2.10.5"
libraryDependencies += "org.apache.spark" %% "spark-streaming" % "1.6.2"

保存该文件并退出vim编辑器。然后,运行下面命令使用sbt打包编译:

cd /usr/local/spark/mycode/streaming
 /usr/local/spark/bin/spark-submit --class "QueueStream" /usr/local/spark/mycode/streaming/target/scala-2.10/simple-project_2.10-1.0.jar

执行上面命令以后,程序就开始运行,就可以看到类似下面的结果:

-------------------------------------------                                     
Time: 1479522100000 ms
-------------------------------------------
(4,10)
(0,10)
(6,10)
(8,10)
(2,10)
(1,10)
(3,10)
(7,10)
(9,10)
(5,10)

子雨大数据之Spark入门
扫一扫访问本博客