博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Flink ADD Multi Source
阅读量:5113 次
发布时间:2019-06-13

本文共 1819 字,大约阅读时间需要 6 分钟。

import java.util.Properties import org.apache.flink.api.common.serialization.SimpleStringSchema import org.apache.flink.streaming.api.scala.{StreamExecutionEnvironment, _} import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer011 object MultiDataStreamExample {
def main(args: Array[String]): Unit = {
//设置环境 val env: StreamExecutionEnvironment = StreamExecutionEnvironment.createLocalEnvironment() //设置数据源 val valueDeserializer: SimpleStringSchema = new SimpleStringSchema; val kafkaProps = new Properties() kafkaProps.setProperty("bootstrap.servers", "node01:9092,node02:9092,node-3:9092") kafkaProps.setProperty("group.id", "test") val helloStream: FlinkKafkaConsumer011[String] = new FlinkKafkaConsumer011[String]("hello", valueDeserializer, kafkaProps) val hello1Stream: FlinkKafkaConsumer011[String] = new FlinkKafkaConsumer011[String]("hello1", valueDeserializer, kafkaProps) val hello2Stream: FlinkKafkaConsumer011[String] = new FlinkKafkaConsumer011[String]("hello2", valueDeserializer, kafkaProps) val s1: DataStream[String] = env.addSource(helloStream) val s2: DataStream[String] = env.addSource(hello1Stream) val s3: DataStream[String] = env.addSource(hello2Stream) val allStream: DataStream[String] = s1.union(s2).union(s3) //计算逻辑 val flatMapDataStream: DataStream[String] = allStream.flatMap(_.split(" ")) val mapDataStream: DataStream[(String, Int)] = flatMapDataStream.map((_, 1)) val keyedStream: KeyedStream[(String, Int), String] = mapDataStream.keyBy(_._1) val reduceDataStream: DataStream[(String, Int)] = keyedStream.reduce((x, y) => {
print(x._2) (x._1, x._2 + y._2) }) //输出结果 reduceDataStream.addSink(x => {
print(x) }) //提交任务 env.execute("word count") } }

转载于:https://www.cnblogs.com/maoxiangyi/p/10911898.html

你可能感兴趣的文章
Java反射机制及其Class类浅析
查看>>
Postman-----如何导入和导出
查看>>
面试题17:合并两个排序的链表
查看>>
Jmeter HTTPS接口测试的证书导入
查看>>
移动设备显示尺寸大全 CSS3媒体查询
查看>>
hihoCoder #1831 : 80 Days-RMQ (ACM/ICPC 2018亚洲区预选赛北京赛站网络赛)
查看>>
图片等比例缩放及图片上下剧中
查看>>
jQuery方法大全
查看>>
WebView加载网页详情
查看>>
【转载】Linux screen 命令详解
查看>>
dd命令 建立两颗一模一样的磁盘
查看>>
常用的jquery触屏手机页面特效代码下载
查看>>
background-clip,background-origin
查看>>
C# 如何创建一个Windows服务
查看>>
集群和分布式区别
查看>>
Android(java)学习笔记153:采用post请求提交数据到服务器(qq登录案例)
查看>>
Java基础知识强化101:Java 中的 String对象真的不可变吗 ?
查看>>
Android 高级UI设计笔记12:ImageSwitcher图片切换器
查看>>
虚拟主机与虚拟目录学习小结
查看>>
hlg1414安装雷达【贪心】
查看>>