Spark-Streaming原理

Spark-Streaming原理

文章目录

• SparkStreaming原理
• • 整体流程
  • 数据抽象
• DStream相关操作
• • Transformations
  • Output/Action
  • 总结

SparkStreaming原理

整体流程

• Spark Streaming中，会有一个接收器组件Receiver，作为一个长期运行的task跑在一个Executor上。Receiver接收外部的数据流形成input DStream

• DStream会被按照时间间隔划分成一批一批的RDD，当批处理间隔缩短到秒级时，便可以用于处理实时数据流。时间间隔的大小可以由参数指定，一般设在500毫秒到几秒之间。

• 对DStream进行操作就是对RDD进行操作，计算处理的结果可以传给外部系统。
  Spark Streaming的工作流程像下面的图所示一样，接收到实时数据后，给数据分批次，然后传给Spark Engine（引擎）处理最后生成该批次的结果。
  

数据抽象

Spark Streaming的基础抽象是DStream(Discretized Stream，离散化数据流，连续不断的数据流)，代表持续性的数据流和经过各种Spark算子操作后的结果数据流

可以从以下多个角度深入理解DStream

• 1.DStream本质上就是一系列时间上连续的RDD
  
• 2.对DStream的数据的进行操作也是按照RDD为单位来进行的
  
• 3.容错性
  底层RDD之间存在依赖关系，DStream直接也有依赖关系，RDD具有容错性，那么DStream也具有容错性

如图:每一个椭圆形表示一个RDD
椭圆形中的每个圆形代表一个RDD中的一个Partition分区
每一列的多个RDD表示一个DStream(图中有三列所以有三个DStream)
每一行最后一个RDD则表示每一个Batch Size所产生的中间结果RDD

• 4.准实时性/近实时性
  Spark Streaming将流式计算分解成多个Spark Job，对于每一时间段数据的处理都会经过Spark DAG图分解以及Spark的任务集的调度过程。
  对于目前版本的Spark Streaming而言，其最小的Batch Size的选取在0.5~5秒钟之间
  所以Spark Streaming能够满足流式准实时计算场景，对实时性要求非常高的如高频实时交易场景则不太适合

• 总结
  简单来说DStream就是对RDD的封装，你对DStream进行操作，就是对RDD进行操作
  对于DataFrame/DataSet/DStream来说本质上都可以理解成RDD
  

DStream相关操作

DStream上的操作与RDD的类似，分为以下两种：
Transformations(转换)
Output Operations(输出)/Action

Transformations

常见Transformation—无状态转换：每个批次的处理不依赖于之前批次的数据

Transformation	Meaning
map(func)	对DStream中的各个元素进行func函数操作，然后返回一个新的DStream
flatMap(func)	与map方法类似，只不过各个输入项可以被输出为零个或多个输出项
filter(func)	过滤出所有函数func返回值为true的DStream元素并返回一个新的DStream
union(otherStream)	将源DStream和输入参数为otherDStream的元素合并，并返回一个新的DStream.
reduceByKey(func, [numTasks])	利用func函数对源DStream中的key进行聚合操作，然后返回新的(K，V)对构成的DStream
join(otherStream, [numTasks])	输入为(K,V)、(K,W)类型的DStream，返回一个新的(K，(V，W)类型的DStream
transform(func)	通过RDD-to-RDD函数作用于DStream中的各个RDD，可以是任意的RDD操作，从而返回一个新的RDD

• 特殊的Transformations—有状态转换：当前批次的处理需要使用之前批次的数据或者中间结果。
  有状态转换包括基于追踪状态变化的转换(updateStateByKey)和滑动窗口的转换
  1.UpdateStateByKey(func)
  2.Window Operations 窗口操作

Output/Action

Output Operations可以将DStream的数据输出到外部的数据库或文件系统
当某个Output Operations被调用时，spark streaming程序才会开始真正的计算过程(与RDD的Action类似)

Output Operation	Meaning
print()	打印到控制台
saveAsTextFiles(prefix, [suffix])	保存流的内容为文本文件，文件名为"prefix-TIME_IN_MS[.suffix]".
saveAsObjectFiles(prefix,[suffix])	保存流的内容为SequenceFile，文件名为 “prefix-TIME_IN_MS[.suffix]”.
saveAsHadoopFiles(prefix,[suffix])	保存流的内容为hadoop文件，文件名为"prefix-TIME_IN_MS[.suffix]".
foreachRDD(func)	对Dstream里面的每个RDD执行func

总结

Spark-Streaming原理

文章目录

• SparkStreaming原理
• • 整体流程
  • 数据抽象
• DStream相关操作
• • Transformations
  • Output/Action
  • 总结

SparkStreaming原理

整体流程

• Spark Streaming中，会有一个接收器组件Receiver，作为一个长期运行的task跑在一个Executor上。Receiver接收外部的数据流形成input DStream

• DStream会被按照时间间隔划分成一批一批的RDD，当批处理间隔缩短到秒级时，便可以用于处理实时数据流。时间间隔的大小可以由参数指定，一般设在500毫秒到几秒之间。

• 对DStream进行操作就是对RDD进行操作，计算处理的结果可以传给外部系统。
  Spark Streaming的工作流程像下面的图所示一样，接收到实时数据后，给数据分批次，然后传给Spark Engine（引擎）处理最后生成该批次的结果。
  

数据抽象

Spark Streaming的基础抽象是DStream(Discretized Stream，离散化数据流，连续不断的数据流)，代表持续性的数据流和经过各种Spark算子操作后的结果数据流

可以从以下多个角度深入理解DStream

• 1.DStream本质上就是一系列时间上连续的RDD
  
• 2.对DStream的数据的进行操作也是按照RDD为单位来进行的
  
• 3.容错性
  底层RDD之间存在依赖关系，DStream直接也有依赖关系，RDD具有容错性，那么DStream也具有容错性

如图:每一个椭圆形表示一个RDD
椭圆形中的每个圆形代表一个RDD中的一个Partition分区
每一列的多个RDD表示一个DStream(图中有三列所以有三个DStream)
每一行最后一个RDD则表示每一个Batch Size所产生的中间结果RDD

• 4.准实时性/近实时性
  Spark Streaming将流式计算分解成多个Spark Job，对于每一时间段数据的处理都会经过Spark DAG图分解以及Spark的任务集的调度过程。
  对于目前版本的Spark Streaming而言，其最小的Batch Size的选取在0.5~5秒钟之间
  所以Spark Streaming能够满足流式准实时计算场景，对实时性要求非常高的如高频实时交易场景则不太适合

• 总结
  简单来说DStream就是对RDD的封装，你对DStream进行操作，就是对RDD进行操作
  对于DataFrame/DataSet/DStream来说本质上都可以理解成RDD
  

DStream相关操作

DStream上的操作与RDD的类似，分为以下两种：
Transformations(转换)
Output Operations(输出)/Action

Transformations

常见Transformation—无状态转换：每个批次的处理不依赖于之前批次的数据

Transformation	Meaning
map(func)	对DStream中的各个元素进行func函数操作，然后返回一个新的DStream
flatMap(func)	与map方法类似，只不过各个输入项可以被输出为零个或多个输出项
filter(func)	过滤出所有函数func返回值为true的DStream元素并返回一个新的DStream
union(otherStream)	将源DStream和输入参数为otherDStream的元素合并，并返回一个新的DStream.
reduceByKey(func, [numTasks])	利用func函数对源DStream中的key进行聚合操作，然后返回新的(K，V)对构成的DStream
join(otherStream, [numTasks])	输入为(K,V)、(K,W)类型的DStream，返回一个新的(K，(V，W)类型的DStream
transform(func)	通过RDD-to-RDD函数作用于DStream中的各个RDD，可以是任意的RDD操作，从而返回一个新的RDD

• 特殊的Transformations—有状态转换：当前批次的处理需要使用之前批次的数据或者中间结果。
  有状态转换包括基于追踪状态变化的转换(updateStateByKey)和滑动窗口的转换
  1.UpdateStateByKey(func)
  2.Window Operations 窗口操作

Output/Action

Output Operations可以将DStream的数据输出到外部的数据库或文件系统
当某个Output Operations被调用时，spark streaming程序才会开始真正的计算过程(与RDD的Action类似)

Output Operation	Meaning
print()	打印到控制台
saveAsTextFiles(prefix, [suffix])	保存流的内容为文本文件，文件名为"prefix-TIME_IN_MS[.suffix]".
saveAsObjectFiles(prefix,[suffix])	保存流的内容为SequenceFile，文件名为 “prefix-TIME_IN_MS[.suffix]”.
saveAsHadoopFiles(prefix,[suffix])	保存流的内容为hadoop文件，文件名为"prefix-TIME_IN_MS[.suffix]".
foreachRDD(func)	对Dstream里面的每个RDD执行func

总结