Spark flatmap算子学习使用详解

flatmap(func):

    1、输入的item能够map到0 或 多个输出，返回值是一个Sequence

示例代码：

   实现rdd中的每个数据，按 空格 拆分，并输出

def my_flatMap():
    data = ['hello spark','hello world','hello world']
    rdd = sc.parallelize(data)
    rdd2 = rdd.flatMap(lambda line:line.split(' ')).collect() 

 print(rdd2)

输出结果：

['hello', 'spark', 'hello', 'world', 'hello', 'world']