技术标签： etl spring
在实际应用中，在批处理中用得较多的是场景是数据同步。在做数据集成工作中，常常需要从源位置把数据同步到目标位置，以便于进行后续的逻辑操作。在做这种批处理工具时，在网上查资料，发现用得比较多的是kettle及阿里的datax，对于这两款工具，各有各的优缺点。
kettle
kettle是一款可以可视化编程的开源ETL工具，把数据处理简化为Job和Transform，在Transform中，提供了各种数据读、写、转换、处理的工具。开发者仅需要以工具界面中拖拽相应的工具，进行步骤连接即可完成一个ETL工作，不同的工具及步骤结合起来可以形成相对复杂的作业流程，以完成ETL工作。它的优点就在于可视化编程，非常容易上手，对于不熟悉编程的人员来说，是一个福利。个人感觉针对简单(即逻辑判断和操作不多的)的ETL工作，是比较推荐用它。但缺点也有，一是易学难精，它提供的操作非常多，要把它们都熟悉而且做到相互结合来完成任务，是有一定难度的。二是对于一些复杂的的逻辑判断及操作，kettle虽然可以做，但操作起来就很复杂。三是不方便调试，尽管它内置有调试功能，但由于在转换中，操作都是并行的，单步调试比较难实现。四是内存消耗，本身kettle界面跑起来已经是比较耗内存的，而作业中数据量大的时候，内存消耗更大。
datax
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS等各种异构数据源之间高效的数据同步功能。DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。
DataX从架构上而言也是设计得很简洁的，它作为数据搬运工，支持任意数据类型的同步工作，跟Spring Batch有异曲同工之妙，DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中。 Reader：Reader为数据采集模块，负责采集数据源的数据，将数据发送给Framework。 Writer： Writer为数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。 Framework：Framework用于连接reader和writer，作为两者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。
DataX本身也提供比较丰富的Reader和Writer，按它的文档，以它作为工具进行数据同步，还是比较简单的。而且有阿里的背书，可放心使用。不过缺点一是不常维护更新，github上最近的更新是去年(2018)；二是二次开发有难度，我尝试跑源码，想做二次开发，虽然最终跑起来，但也费了不少力气。三是虽然架构清晰，但使用规则操作起来不是很灵活，基本是通过json配置文件，按规则进行配置，想自定义规则是不行的。
总体感受
相对而言，统合考虑易用性、可扩展性，灵活性，可编程性，Spring Batch会比较适合有点编程基础(特别是使用Spring及SpringBoot框架)的开发人员，针对业务编程，可自由发挥。
文章浏览阅读451次。dev/mem: 物理内存的全镜像。可以用来访问物理内存。/dev/kmem: kernel看到的虚拟内存的全镜像。可以用来访问kernel的内容。调试嵌入式Linux内核时，可能需要查看某个内核变量的值。/dev/kmem正好提供了访问内核虚拟内存的途径。现在的内核大都默认禁用了/dev/kmem，打开的方法是在 make menuconfig中选中 device drivers --> ..._dev/mem 源码实现
文章浏览阅读7.1k次，点赞2次，收藏19次。vxe-table，一个小众但功能齐全并支持excel操作的vue表格组件_vxe-table
文章浏览阅读62次。参考：http://www.ruanyifeng.com/blog/2016/01/babel.htmlBabelBabel是一个广泛使用的转码器，可以将ES6代码转为ES5代码，从而在现有环境执行// 转码前input.map(item => item + 1);// 转码后input.map(function (item) { return item..._让开发环境支持bable
文章浏览阅读2.8k次，点赞6次，收藏29次。摘要：FPGA视频处理FIFO的典型应用，视频输入FIFO的作用，视频输出FIFO的作用，视频数据跨时钟域FIFO，视频缩放FIFO的作用_fpga 频分复用 视频
文章浏览阅读575次。【代码】R语言：设置工作路径为当前文件存储路径。_r语言设置工作目录到目标文件夹
文章浏览阅读452次。格式：background: linear-gradient(direction, color-stop1, color-stop2, ...);<linear-gradient> = linear-gradient([ [ <angle> | to <side-or-corner>] ,]? &l..._background线性渐变
文章浏览阅读1k次，点赞26次，收藏8次。第十三届蓝桥杯青少年组python编程省赛真题一、题目要求（注：input（）输入函数的括号中不允许添加任何信息）1、编程实现给定一个正整数N，输出正整数N中各数位最大的那个数字。例如:N=132，则输出3。2、输入输出输入描述：只有一行，输入一个正整数N输出描述：只有一行，输出正整数N中各数位最大的那个数字输入样例：
文章浏览阅读2.2k次。一个网络协议主要由以下三个要素组成：1.语法数据与控制信息的结构或格式，包括数据的组织方式、编码方式、信号电平的表示方式等。2.语义即需要发出何种控制信息，完成何种动作，以及做出何种应答，以实现数据交换的协调和差错处理。3.时序即事件实现顺序的详细说明，以实现速率匹配和排序。不完整理解：语法表示长什么样，语义表示能干什么，时序表示排序。转载于:https://blog.51cto.com/98..._网络协议三要素csdn
文章浏览阅读153次。主要的思想，将所有的系统都可以看作两部分，真正的数据log系统和各种各样的query engine所有的一致性由log系统来保证，其他各种query engine不需要考虑一致性，安全性，只需要不停的从log系统来同步数据，如果数据丢失或crash可以从log系统replay来恢复可以看出kafka系统在linkedin中的重要地位，不光是d..._the log: what every software engineer should know about real-time data's uni
文章浏览阅读746次。伟大是熬出来的 目录 前言 引言 时间熬成伟大：领导者要像狼一样坚忍 第一章 内圣外王——领导者的心态修炼 1. 天纵英才的自信心 2. 上天揽月的企图心 3. 誓不回头的决心 4. 宠辱不惊的平常心 5. 换位思考的同理心 6. 激情四射的热心 第二章 日清日高——领导者的高效能修炼 7. 积极主动，想到做到 8. 合理掌控自己的时间和生命 9. 制定目标，马..._当狼拖着受伤的右腿逃生时,右腿会成为前进的阻碍,它会毫不犹豫撕咬断自己的腿, 以
文章浏览阅读285次。在当今的大数据时代，人们对高速度和高带宽的需求越来越大，迫切希望有一种新型产品来作为高性能计算和数据中心的主要传输媒质，所以有源光缆（AOC）在这种环境下诞生了。有源光缆究竟是什么呢？应用在哪些领域，有什么优势呢？易天将为您解答！有源光缆（Active Optical Cables，简称AOC）是两端装有光收发器件的光纤线缆，主要构成部件分为光路和电路两部分。作为一种高性能计..._aoc 光缆
文章浏览阅读2.2k次。在“桌面”上按快捷键“Ctrl+R”，调出“运行”窗口。接着，在“打开”后的输入框中输入“Gpedit.msc”。并按“确定”按钮。如下图 找到“用户配置”下的“Windows设置”下的“Internet Explorer 维护”的“连接”，双击选择“自动浏览器配置”。如下图 选择“自动启动配置”，并在下面的“自动代理URL”中填写相应的PAC文件地址。如下..._設置proxy腳本