
Flink核心是一个流式的数据流执行引擎,其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎,Flink提供了诸多更高抽象层的API以便用户编写分布式任务:
DataSet API, 对静态数据进行批处理操作,将静态数据抽象成分布式的数据集,用户可以方便地使用Flink提供的各种操作符对分布式数据集进行处理,支持Java。
DataStream API,对数据流进行流处理操作,将流式的数据抽象成分布式的数据流,用户可以方便地对分布式数据流进行各种操作,支持Java和Scala。
Table API,对结构化数据进行查询操作,将结构化数据抽象成关系表,并通过类SQL的DSL对关系表进行各种查询操作,支持Java和Scala。
CEP API,对复杂时间处理,提供了自己的处理方式。
最后以风控项目结尾,更加切合实际的巩固知识。
MaoMaoKing 2022-04-22 的评论:
播放列表搞一个,可以吗
范小东 2021-06-27 的评论:
老师,学了Flink,还要不要学习Spark
wangxjzzzz 2021-06-01 的评论:
extractTimestamp这个方法里为什么返回的是currentMaxTimestamp呢,不应该是提取到的时间戳吗
纪来之 2021-01-21 的评论:
后台状态存储可以使用Ignite,是否可以补充一节Flink+ignite的集成课程?
腾云驾雾 2020-03-17 的评论:
1、这个session window的wm的计算应该是max event time - late threshold,session gap = 3秒 ,但在这个视频数据分析时wm是max event time固定减5,这个5不知道怎么来的 2、这个视频分析是wm>=windowEndTime触发, 例子中到了36秒的时候触发,这是wm是31秒,前五个元素输出是没问题,关键是30秒的时候,wm是25秒,前面3个元素是可以输出来的,但没输出来,这让我不懂了,请问老师这是一个什么机制???
卧龙先生 2019-10-14 的评论:
从网易云课堂到Aikfk平台,从毕业到进入大数据行业,aikfk平台课程给我非常大的帮助,作为老用户对kfk老师的回馈,强烈支持发布的新课程。课程越做越好了。