2020-11-12----第四章spark(Scala版)RDD编程--

文章目录

    • 1 RDD编程基础
      • 1 RDD创建
      • 2 RDD操作
      • 3 持久化
      • 4 分区
      • 5 一个综合实例
    • 2 键值对RDD
    • 3 数据读写
    • 4 综合案例

1 RDD编程基础

1 RDD创建

1. 从文件系统中加载数据创建RDD
Spark采用textFile()方法来从文件系统中加载数据创建RDD
该方法把文件的URI作为参数,这个URI可以是:
本地文件系统的地址

// An highlighted block
scala> val lines = sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt")
lines: org.apache.spark.rdd.RDD[String] = file:///usr/local/spark/mycode/rdd/word.txt MapPartitionsRDD[12] at textFile at <console>:27

从文件中加载数据生成RDD

或者是分布式文件系统HDFS的地址

这三种方式完全是等价的
或者是Amazon S3的地址等等
2. 通过并行集合(数组)创建RDD
可以调用SparkContext的parallelize方法,在Driver中一个已经存在的集合(数组)上创建。

2 RDD操作

1. 转换操作
对于RDD而言,每一次转换操作都会产生不同的RDD,供给下一个“转换”使用
转换得到的RDD是惰性求值的,也就是说,整个转换过程只是记录了转换的轨迹,并不会发生真正的计算,只有遇到行动操作时,才会发生真正的计算,开始从血缘关系源头开始,进行物理的转换操作


filter(func)


map(func)
map(func)操作将每个元素传递到函数func中,并将结果返回为一个新的数据集
1.

2.

flatMap(func)


groupByKey()
groupByKey()应用于(K,V)键值对的数据集时,返回一个新的(K, Iterable)形式的数据集

reduceByKey(func)
reduceByKey(func)应用于(K,V)键值对的数据集时,返回一个新的(K, V)形式的数据集,其中的每个值是将每个key传递到函数func中进行聚合后得到的结果

2. 行动操作
行动操作是真正触发计算的地方。Spark程序执行到行动操作时,才会执行真正的计算,从文件中加载数据,完成一次又一次转换操作,最终,完成行动操作得到结果。

3. 惰性机制
所谓的“惰性机制”是指,整个转换过程只是记录了转换的轨迹,并不会发生真正的计算,只有遇到行动操作时,才会触发“从头到尾”的真正的计算
这里给出一段简单的语句来解释Spark的惰性机制

3 持久化

RDD采用惰性求值的机制,每次遇到行动操作,都会从头开始执行计算。每次调用行动操作,都会触发一次从头开始的计算。这对于迭代计算而言,代价是很大的,迭代计算经常需要多次重复使用同一组数据

4 分区

5 一个综合实例

2 键值对RDD

3 数据读写

4 综合案例

2020-11-12----第四章spark(Scala版)RDD编程--

文章目录

    • 1 RDD编程基础
      • 1 RDD创建
      • 2 RDD操作
      • 3 持久化
      • 4 分区
      • 5 一个综合实例
    • 2 键值对RDD
    • 3 数据读写
    • 4 综合案例

1 RDD编程基础

1 RDD创建

1. 从文件系统中加载数据创建RDD
Spark采用textFile()方法来从文件系统中加载数据创建RDD
该方法把文件的URI作为参数,这个URI可以是:
本地文件系统的地址

// An highlighted block
scala> val lines = sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt")
lines: org.apache.spark.rdd.RDD[String] = file:///usr/local/spark/mycode/rdd/word.txt MapPartitionsRDD[12] at textFile at <console>:27

从文件中加载数据生成RDD

或者是分布式文件系统HDFS的地址

这三种方式完全是等价的
或者是Amazon S3的地址等等
2. 通过并行集合(数组)创建RDD
可以调用SparkContext的parallelize方法,在Driver中一个已经存在的集合(数组)上创建。

2 RDD操作

1. 转换操作
对于RDD而言,每一次转换操作都会产生不同的RDD,供给下一个“转换”使用
转换得到的RDD是惰性求值的,也就是说,整个转换过程只是记录了转换的轨迹,并不会发生真正的计算,只有遇到行动操作时,才会发生真正的计算,开始从血缘关系源头开始,进行物理的转换操作


filter(func)


map(func)
map(func)操作将每个元素传递到函数func中,并将结果返回为一个新的数据集
1.

2.

flatMap(func)


groupByKey()
groupByKey()应用于(K,V)键值对的数据集时,返回一个新的(K, Iterable)形式的数据集

reduceByKey(func)
reduceByKey(func)应用于(K,V)键值对的数据集时,返回一个新的(K, V)形式的数据集,其中的每个值是将每个key传递到函数func中进行聚合后得到的结果

2. 行动操作
行动操作是真正触发计算的地方。Spark程序执行到行动操作时,才会执行真正的计算,从文件中加载数据,完成一次又一次转换操作,最终,完成行动操作得到结果。

3. 惰性机制
所谓的“惰性机制”是指,整个转换过程只是记录了转换的轨迹,并不会发生真正的计算,只有遇到行动操作时,才会触发“从头到尾”的真正的计算
这里给出一段简单的语句来解释Spark的惰性机制

3 持久化

RDD采用惰性求值的机制,每次遇到行动操作,都会从头开始执行计算。每次调用行动操作,都会触发一次从头开始的计算。这对于迭代计算而言,代价是很大的,迭代计算经常需要多次重复使用同一组数据

4 分区

5 一个综合实例

2 键值对RDD

3 数据读写

4 综合案例