编程那点事编程那点事

专注编程入门及提高
探究程序员职业规划之道!

DStream的transformation操作概述

TransformationMeaning
map对传入的每个元素,返回一个新的元素
flatMap对传入的每个元素,返回一个或多个元素
filter对传入的元素返回true或false,返回的false的元素被过滤掉
union将两个DStream进行合并
count返回元素的个数
reduce对所有values进行聚合
countByValue对元素按照值进行分组,对每个组进行计数,最后返回<K, V>的格式
reduceByKey对key对应的values进行聚合
cogroup对两个DStream进行连接操作,一个key连接起来的两个RDD的数据,都会以Iterable<V>的形式,出现在一个Tuple中。
join对两个DStream进行join操作,每个连接起来的pair,作为新DStream的RDD的一个元素
transform对数据进行转换操作
updateStateByKey为每个key维护一份state,并进行更新(这个,我认为,是在普通的实时计算中,最有用的一种操作)
window对滑动窗口数据执行操作(实时计算中最有特色的一种操作)


未经允许不得转载: 技术文章 » 大数据 » DStream的transformation操作概述