flink - 程序员宅基地

Flink CDC 2.2 正式发布，新增四种数据源，支持动态加表，提供增量快照框架

前言Flink CDC (CDC Connectors for Apache Flink®)[1]是 Apache Flink® 的一组 Source 连接器，支持从 MySQL，MariaDB, RDS MySQL，Aurora MySQL，PolarDB MySQL，PostgreSQL，Oracle，MongoDB，SqlServer，Ocean...

Flink入门及实战V1.6.1-2018最新

标签： flink

Flink入门及实战最新内容分享，包含Flink基本原理及应用场景、Flink vs storm vs sparkStreaming、Flink入门案例-wordCount、Flink集群安装部署standalone+yarn、Flink-HA高可用、Flink scala shell代码调试

flink错误本-错误记录

标签： flink hadoop big data

1，flink集群启动失败。原因：从node1分发到其他节点，在node1上建立了到flink的软连接，使用软连接来操作。分发到其他服务器后，并没有建立软连接。导致集群启动失败，甚至影响了虚拟机的运行，导致虚拟机假死。 ...

【Flink】Flink读取数据的四种方式

标签： flink 大数据 big data

Flink读取数据的四种方式准备工作从集合中读取从文件中读取从Kafka中读取自定义读取方式准备工作 Flink默认运行时是没有日志的，若想要出现日志，需要在pom文件添加 <dependency> <groupId>org....

基于flink的风电数据实时采集项目总结

标签： kafka flink flume Grafana Opentsdb

本文档讲述了集群的搭建步骤，flume的安装及配置，kafka集群配置，flink集群配置、hbase的安装、opentsdb数据库的安装以及各个组件的连接运行可视化

Flink安装及部署

标签： flink linux 大数据

（1）下载flink：flink-1.13.1-bin-scala_2.11.tgzhttps://flink.apache.org/downloads.html（2）上传flink到linux本地模式安装 | Apache Flinkconf/master conf/workers flink-conf.yaml Stream测试案例: Batch...

Flink入门教程

标签： Flink DataStream DataSet

根据Flink官网翻译的中文教程，同时自带了入门Demo教程

图文解说Flink的应用场景和功能

标签： flink 大数据

一 Flink是什么 Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见的集群环境中运行，并能以内存速度和任意规模进行计算。二为什么要选择Flink ...

使用最新版flink tidb cdc 同步数据到StarRocks

标签： flink hadoop 数据仓库

Flink CDC 2.2 版本新增了 OceanBase CE，PolarDB-X，SqlServer，TiDB 四种数据源接入。其中新增 OceanBase CDC，SqlServer CDC，TiDB CDC 三个连接器，而 PolarDB-X 的支持则是通过对 MySQL CDC 连接器进行兼容适配...

Flink入门系列--和Springboot框架结合(1.14.3版本)

标签： flink java 大数据

本文 Flink 版本为 1.14.3。本文主要讲解如何将 Flink 和 Springboot 两大框架融合在一起，可以对接 SpringCloud 生态系统，比如分布式配置中心、服务注册和发现、负载均衡等；可以通过 Restful 接口的形式提交...

flink入门2-flink连接mysql完成读写操作

标签： mysql flink 数据库

本文将会实现flink连接MySQL，废话不多说，上代码。本文章中的数据库表名为token，只有两个字段code和state 2、读取数据源 3、更新和写入数据 4、启动类 5、source、sink介绍 sourcesink

大数据（9h）FlinkSQL之Lookup Join

标签：大数据 java

ttl FOR SYSTEM_TIME AS OF Processing Time Temporal Join lookup join lookup cache Flink查询缓存 lookup.cache.max-rows lookup.cache.ttl

flink所有支持的catalog详解

标签： flink flink sql

flink所有支持的catalog详解

数据湖（六）：Hudi与Flink整合

标签： flink java 大数据

Hudi0.8.0版本与Flink1.12.x之上版本兼容，目前经过测试，Hudi0.8.0版本开始支持Flink，通过Flink写数据到Hudi时，必须开启checkpoint，至少有5次checkpoint后才能看到对应hudi中的数据。但是应该是有一些问题，...

Flink学习13：Flink外接kafka数据源

标签： kafka 分布式 flink

borker即是kafka集群的每台机器Topic是一类数据的集合。

FlinkKafkaProducer默认和自定义分区策略

标签： java big data flink

值得一提的是，FlinkKafkaProducer（这里版本13.0.2，更早期的版本如1.10.0中是带版本号的FlinkKafkaProducer10等），和Kafka（这里版本kafka_2.11 1.1.1）的api中的KafkaProducer写入分区策略并不相同。即Flink写...

flink实战--flink on yarn

标签： flink on yarn flink 中的slot flink 提交任务的指令

Flink on yarn 配置如果我们打算把flink任务提交到yarn上，那么只需要一台flink客户机即可，但是需要有如下的配置第一步：设置HADOOP_CONF_DIR环境变量 export HADOOP_CONF_DIR=/usr/local/service/hadoop/etc...

[Flink] Flink On Yarn（yarn-session.sh）启动错误

标签： flink java hadoop

在Flink上启动 yarn-session.sh时出现 The number of requested virtual cores for application master 1 exceeds the maximum number of virtual cores 0 available in the Yarn Cluster.错误

Flink1.13.2三种方式安装部署

标签： big data flink

有位Flink初学者问我有没有Flink的安装教程，看到这后，土哥二话不说直接安排上。以下教程全部使用 Flink1.13.2版本，在普通用户下面部署： 1、Standalone部署版本要求：版本节点部署方式 flink-1.13.2...

【Flink 实战系列】Flink 使用 ParameterTool 动态加载外部配置文件

标签： flink kafka java

直接在代码里面写死。把配置信息维护在一个类里面，所有用到的地方直接引用即可。把配置信息放在项目 resource 下面的一个配置文件中，然后从这个配置文件中加载配置。把配置文件放在外部，启动任务的时候传入一个...

shell脚本， flink job挂掉自动从上一个checkpoint重启

标签： flink bash 大数据

Flink job中使用MapState缓存数据，保存在Rocksdb里，当Flink job 挂掉后，从最近成功的checkpoint恢复重启，不丢失缓存数据。

Flink 命令行参数介绍

标签： flink 大数据 java

Flink 命令行参数介绍Job Lifecycle Management ｜ Job 生命周期管理Flink Run Command | flink run 命令参数选项Flink Run Command | 通用的参数选项Flink Run Command | yarn-cluster modeSubmitting a Job | 提交...

Flink 火焰图

标签： flink 大数据

Flink 作业动态参数里增加配置：“rest.flamegraph.enabled”: “true” 并重启作业。当前该功能没有默认开启，因为这个功能使用时对性能有少量损耗，特别是对于并行度比较大的作业。第五步在 Flink WebUI JM/TM 的...

【Flink】JobInitializationException: Could not start the JobMaster

标签： flink java

ResourceManagerException: Could not start the ResourceManager akka.tcp: org.apache.flink.runtime.resourcemanager.exceptions.ResourceManagerException: Could not start the ResourceManager akka.tcp: