技术标签: flink checkpoint Operator Java+大数据之旅 state
Flink是一个实时的流式计算引擎,与sparkStreaming不同的是底层是流式引擎,并且有用事件窗口和时间窗口两种窗口,可以进行离线和实时计算,有着完美的容错机制,以及数据延迟机制,在支持高吞吐的同时保证低延迟,并提出了时间语义的概念,将数据分为有界流和无界流,且拥有FlinkSQL方便操作与学习成本。
Flink API分层
- 1、Stateful Stream Processing:是Flink最底层的接口,提供了对时间和状态的细粒度控制,虽然灵活度高,但学习成本高,要求编码能力高
- 2、DataStream DataSet API:提供了一些封装好的算子,方便使用计算处理分为两种,流式-DataStream API 和 DataSet API 批处理
- 3、SQL& Table API : 通过构建Table环境,将数据注册成表,直接通过SQL进行编写即可
- 4、扩展库:复杂事件处理CEP,Gelly做图计算的,是一个可扩展的图形处理和分析库。
Flink 组成:数据源+数据转换+数据输出
Data Source + Transformations + Data Sink
Flink程序整体的流程可以由多个数据源或者多个输出Slink,中间会经过多个算子进行数据的过滤,形成一个有向无环图DAG
Spark的算子分为:控制算子,行动算子,转换算子。Flink算子划分如下;
- ① 基本转换算子:map()/filter()/flatmap()
- ② 键控流转换算子:keyby()/滚动聚合算子(sum/min/max/minBy)/reduce(x+x)
- ③ 多流转换算子:union():对多条数据合并输出要求数据类型相同不去重。connect():对两条不同的数据流进行合并
- ④ 分布式算子:Random():将上游数据随机分发给下游。Rescale():将上游数据平分到下游。Rebalance():将上游数据依次分发到下游。Global:将上游数据每一份分发到下游第一个分区。Broadcast():将上游数据所有数据复制发送到下游算子的任务中。
富函数:每个函数处理数据之前都需要进行初始化工作,以及数据处理的事后清理,每个DataStream API提供的所有转换算子都由其富函数版本:
常用函数:RichMapFunction、RichFlatMapFunction、RichFilterFunction
富函数主要提供了额外方法:
- open():即初始化方法,通常用来只需要一次的初始化工作
- close():做最后的清理工作
- getRuntimeContext():提供了函数的一些信息,并行度,子任务等以及分区状态的方法
流程:
由App发送任务给分发器Dispatcher,再由分发器对任务进行分发,提交给JobManager,JobManager负责本次任务,JM向ResourceManager资源管理者申请资源,RM会将每个集群的资源情况获取到,并分配给JM资源,再由JM将任务分发给子节点上的TaskManager进行执行,TM开始完成任务。
TaskSlot:任务槽,即用于完成任务所用的资源,会根据任务的并行度进行申请资源
Parallelism:并行度,分为算子并行度,环境并行度,客户端并行度,系统并行度
Flink的执行图分层:
- StreamGraph:根据用户的Stream API编写的代码生成拓扑结构图
- Job Graph:将多个符合条件的节点chain在一起作为一个节点减少节点之间的IO传输消耗,以及序列化和反序列化、(形成一个操作链)
- ExecutionGraph:即调度层,最核心的地方由Job Graph的基础上生成
- 物理执行图:通过具体的组件算子进行计算。
- 算子级别:setParallelism()方法定义并行度
- 执行环境级别:创建环境后.setParallelism()方法
- 客户端级别:即使用客户端提交任务时指定-p参数来设置并行度
- 系统级别:通过修改flink的parallelism.default文件来设置并行度
首先窗口概念:通过对数据基于时间或者时间的划分,进行计算,便是窗口。
窗口分类:
- 滑动窗口:滑动窗口在规定时间内进行滑动,会出现重复数据计算
- 滚动窗口:滚动窗口通过规定时间划分窗口,不会出现重复数据计算
- 会话窗口:会话窗口不会重叠,没有固定的开始和结束,当窗口一段时间没有接收到数据,则会关闭窗口
- 全局窗口:将所有相同key的数据分配到单个窗口中计算结果
窗口功能分类:
- 时间窗口:即设置窗口一次处理多长时间数据,后者窗口滑动、滚动的时间,
- 事件窗口:即基于事件,一个窗口处理几条事件作为窗口的划分
窗口函数分类:
- 增量函数:增量指在之前的上个窗口结果的基础上进行当前数据的计算
- 全量函数:全量指不仅将当前的数据进行计算还有加上历史数据整体进行计算
- 水位线注意点:单个线程(单数据源)的时候每次获取当前事务中最大的事务时间减去延迟时间来获取水位线,而并发情况下的水位线会获取到最小的水位线向下游广播同步,也是对齐机制。
现实中很难有一个很完美的水位线将所有的延迟数据都进行挽回,水位线不仅要考虑效率,还要考虑将数据丢失概率降低,从整体的性价比来考量,故此Flink提供了一些机制进行弥补:
- 直接将延迟数据丢弃
- 将迟到的数据输出到单独的数据流中,即使用sideOutputLateData(new OutputTag<>())实现测输出
- 根据迟到的事件更新并发处结果
数据流被分为有状态和无状态,Flink中的算子与状态关联,所有Flink的计算是有状态的,算子会在计算时将自己的状态注册到TaskManager中。
状态分类:
算子状态、键控状态
Flink在保存状态时,支持三种存储方式,如下:
- MemoryStateBackend (基于内存存储)
- FsStateBackend (基于文件系统存储)
- RocksDBStateBackend (基于RocksDB数据库存储)
Savepoint:保存点与CheckPoint类似,一个时系统提供的,一个是用户自己定义,一般由用户进行手动的备份和恢复。
at most once : 至多一次,表示一条消息不管后续处理成功与否只会被消费处理一次,那么就存在数据丢失可能。
exactly once : 精确一次,表示一条消息从其消费到后续的处理成功,只会发生一次。
at least once :至少一次,表示一条消息从消费到后续的处理成功,可能会发生多次。
CEP 由一个或者多个规则组成,主要目的就是从有序简单的数据中获取到高阶特征,简单说就是通过数据的表面看数据本质,CEP可以理解为一个数据模型,数据经过CEP模型来获取一定的指标或者数据。(Pattern API )
CEP模式分类:
- 单个模式:单个模式就是只接受一个事件
- 循环模式:可以接受多个事件
- 组合模式:① 严格连续 ② 松散连续 ③ 不确定的松散连续
- 匹配后跳过策略:对于一个给定的模式,防止同一个事件可能会分配到多个成功的匹配上。
Flink1.5版本之前的反压机制
首先由TaskA 发送数据至TaskB,在TaskA的速率远远大于TaskB时,一定会出现反压情况,首先是TaskB的InputChannel会被填满,此时会向LocalBuffer申请空间,当LocalBuffer也填满后,再向NetworkBuffer申请空间,最后NetworkBuffer没空间后,堆积到Socket,Socket堆满会给发送端发送一个状态,此时发送端停止给Socket发送,TaskA这边的Netty发现Socket满了之后会使用Buffer,最后全部全部缓存用尽,TaskA也停止发数据,实现反压。
缺点:
- 过于依赖TCP传输,并且反压延迟过高
1.5版本之后
如图TaskA正常向TaskB发送数据,单每次ResultSubPartition向InputChannel发送消息的时候都会发送一个Backlog size告诉下游准备发送多少数据,下游会告诉上游是否还有足够空间Buffer,当没有足够的空间时则不进行发送。主要降低了反压生效的延迟性,同时Socket不会阻塞。
文章浏览阅读298次。import com.alibaba.fastjson.JSONArray;import com.alibaba.fastjson.JSONObject;import com.auth0.jwk.Jwk;import com.helijia.appuser.modules.user.vo.AppleCredential;import com.helijia.common.api.model.Api..._com.auth0.jwk.jwk
文章浏览阅读4.7k次。原理在叧掌握关于未知分布的部分信息的情况下,符合已知知识的概率分布可能有夗个,但使熵值最大的概率分布最真实地反映了事件的的分布情况,因为熵定义了随机变量的不确定性,弼熵值最大时,随机变量最不确定,最难预测其行为。最大熵模型介绍我们通过一个简单的例子来介绍最大熵概念。假设我们模拟一个翻译专家的决策过程,关于英文单词in到法语单词的翻译。我们的翻译决策模型p给每一个单词或短语分配一..._顺序潜在最大熵强化学习(maxent rl)
文章浏览阅读107次。计算机毕业设计ssm科研成果管理系统p57gs系统+程序+源码+lw+远程部署。springboot基于springboot的影视资讯管理系统。ssm基于SSM高校教师个人主页网站的设计与实现。ssm基于JAVA的求职招聘网站的设计与实现。springboot校园头条新闻管理系统。ssm基于SSM框架的毕业生离校管理系统。ssm预装箱式净水站可视化信息管理系统。ssm基于SSM的网络饮品销售管理系统。
文章浏览阅读1.6w次。不知道大家有没有遇到过与我类似的报错情况,今天发生了此错误后就黏贴复制了报错信息“Caused by: org.xml.sax.SAXParseException; lineNumber: 38; columnNumber: 9; cvc-complex-type.2.3: 元素 'beans' 必须不含字符 [子级], 因为该类型的内容类型为“仅元素”。”然后就是一顿的百度啊, 可一直都没有找到..._saxparseexception; linenumber: 35; columnnumber: 9; cvc-complex-type.2.3:
文章浏览阅读156次。(通讯员 粟坤萍 2018-04-19)4月19日,湖北师范大学计算机科学与技术学院于教育大楼学院会议室1110成功召开大学生创新创业工作会议。参与本次会议的人员有党总支副书记黄海军老师,创新创业学院吴杉老师,计算机科学与技术学院创新创业活动指导老师,15、16、17级各班班主任及学生代表。首先吴杉老师介绍了“互联网+”全国大学生创新创业大赛的相关工作进度,动员各级班主任充分做好“大学生创新创业大..._湖北师范 吴杉
文章浏览阅读1.1w次,点赞69次,收藏76次。安卓逆向技术是一门深奥且充满挑战的领域。通过本文的介绍,我们了解了安卓逆向的基本概念、常用工具、进阶技术以及实战案例分析。然而,逆向工程的世界仍然在不断发展和变化,新的技术和方法不断涌现。展望未来,随着安卓系统的不断更新和加固,逆向工程将面临更大的挑战。同时,随着人工智能和机器学习技术的发展,我们也许能够看到更智能、更高效的逆向工具和方法的出现。由于篇幅限制,本文仅对安卓逆向技术进行了介绍和案例分析。
文章浏览阅读1.1k次。制作饼图还需要下载pyecharts库,Echarts 是一个由百度开源的数据可视化,凭借着良好的交互性,精巧的图表设计,得到了众多开发者的认可。随着学习python的热潮不断增加,Python数据可视化也不停的被使用,那我今天就介绍一下Python数据可视化中的饼图。在我们的生活和学习中,编程是一项非常有用的技能,能够丰富我们的视野,为各行各业的领域提供了新的角度。环形饼图的制作并不难,主要是在于数据的打包和分组这里会有点问题,属性的标签可以去 这个网站进行修改。图中的zip压缩函数,并分组打包。_数据可视化绘制饼图或圆环图
文章浏览阅读325次。1 Spring MVC注解类型Controller和RequestMapping注释类型是SpringMVC API最重要的两个注释类型。基于注解的控制器的几个优点:一个控制器类可以控制几个动作,而一个实现了Controller接口的控制器只能处理一个动作。这就允许将相关操作写在一个控制器类内,从而减少应用类的数量基于注解的控制器的请求映射不需要存储在配置文件中,而是使用RequestM..._jsp/servlet到controller到基于注解的控制器
文章浏览阅读260次,点赞3次,收藏4次。相位裕量可以从增益图中的交越频率处读取(参见图2)。使用的开关频率、选择的外部元件(例如电感和输出电容),以及各自的工作条件(例如输入电压、输出电压和负载电流)都会产生巨大影响。图2所示为波特图中控制环路的增益曲线,其中提供了两条重要信息。对于图2所示的控制环路,这个所谓的交越频率出现在约80 kHz处。通过使用波特图,您可以查看控制环路的速度,特别是其调节稳定性。图2. 显示控制环路增益的波特图(约80 kHz时,达到0 dB交越点)。图3. 控制环路的相位曲线,相位裕量为60°。
文章浏览阅读1.8k次。Error: `_obstack@GLIBC_2.2.5’ can’t be versioned to common symbol '_obstack_compat’原因:https://www.lordaro.co.uk/posts/2018-08-26-compiling-glibc.htmlThis was another issue relating to the newer binutils install. Turns out that all was needed was to initi_`_obstack@glibc_2.2.5' can't be versioned to common symbol '_obstack_compat
文章浏览阅读3k次。基于javaweb+mysql的电影院售票购票电影票管理系统(前台、后台)运行环境Java≥8、MySQL≥5.7开发工具eclipse/idea/myeclipse/sts等均可配置运行适用课程设计,大作业,毕业设计,项目练习,学习演示等功能说明前台用户:查看电影列表、查看排版、选座购票、查看个人信息后台管理员:管理电影排版,活动,会员,退票,影院,统计等前台:后台:技术框架_电影售票系统javaweb
文章浏览阅读95次。分分钟拯救监控知识体系本文出自:http://liangweilinux.blog.51cto.com0 监控目标我们先来了解什么是监控,监控的重要性以及监控的目标,当然每个人所在的行业不同、公司不同、业务不同、岗位不同、对监控的理解也不同,但是我们需要注意,监控是需要站在公司的业务角度去考虑,而不是针对某个监控技术的使用。监控目标1.对系统不间断实时监控:实际上是对系统不间..._不属于监控目标范畴的是 实时反馈系统当前状态