This topic created in 3552 days ago, the information mentioned may be changed or developed.
cOnf= SparkConf().setAppName("Simple App").setMaster("local")
sc = SparkContext(cOnf=conf)
file = "./README.md"
“”“
111 aaa bcd
22 qqq www
”“”
dataFile = sc.textFile(file)
test = dataFile.map(lambda s : s)
print test.collect() # [u'111 aaa bcd', u'22 qqq www']
test = dataFile.flatMap(lambda s : s)
print test.collect() # [u'1', u'1', u'1', u' ', u'a', u'a', u'a', u' ', u'b', u'c', u'd', u'2', u'2', u' ', u'q', u'q', u'q', u' ', u'w', u'w', u'w'
map 文档是这样解释的： Return a new distributed dataset formed by passing each element of the source through a function func.
我的理解是对 rdd 的每一个 element 进行 func,最后返回的数量应该是等于 element 的数量的。
flatMap 是这样解释:Similar to map, but each input item can be mapped to 0 or more output items (so func should return a Seq rather than a single item).
这里不懂为什么 flatMap 结果是一个个字母?
sc = SparkContext(cOnf=conf)
file = "./README.md"
“”“
111 aaa bcd
22 qqq www
”“”
dataFile = sc.textFile(file)
test = dataFile.map(lambda s : s)
print test.collect() # [u'111 aaa bcd', u'22 qqq www']
test = dataFile.flatMap(lambda s : s)
print test.collect() # [u'1', u'1', u'1', u' ', u'a', u'a', u'a', u' ', u'b', u'c', u'd', u'2', u'2', u' ', u'q', u'q', u'q', u' ', u'w', u'w', u'w'
map 文档是这样解释的： Return a new distributed dataset formed by passing each element of the source through a function func.
我的理解是对 rdd 的每一个 element 进行 func,最后返回的数量应该是等于 element 的数量的。
flatMap 是这样解释:Similar to map, but each input item can be mapped to 0 or more output items (so func should return a Seq rather than a single item).
这里不懂为什么 flatMap 结果是一个个字母?
 | 1 wayslog Aug 5, 2016 via Android 很简单啊… map 是一对一转成其他的值， flatMap 是有可能一个值转成 |
| 2 wayslog Aug 5, 2016 via Android 接上面，一个值转成了不限数量个值…… |
 | 3 SoloCompany Aug 6, 2016 map 是一阶函数转换，比如 a -> a.name map 之后元素个数不变是 n -> n 变换 flatMap 是二阶函数转换，把树结构摊平，比如 a -> lambda (x -> x.children) 摊平之后的元素是遍历所有叶结点的结果, 可以近似看做 n -> n^2 变换 |
Select Language