Kafka-初识_kafa pmq-程序员宅基地
简介
kafka是一个分布式的发布订阅消息系统（或者说是一个分布式流平台），可以实时处理大数据。我们可以把kafka比作水管，水管中可以承载水流，那么kafka可以承载数据流。kafka可以构建实时的流数据管道，来处理大量的数据流。
消息系统
kafka是一个优秀的消息系统，支持持久化，更关注吞吐量，显式的分布式。
- 消息系统是什么？
消息系统负责将数据从一个应用程序传递到另一个应用程序。 - 消息系统类型？
点对点：消息生产者生产消息发送到queue中，然后消息消费者从queue中取出并且消费消息。消息被消费以后，queue中不再有存储，所以消息消费者不可能消费到已经被消费的消息。
发布/订阅：消息生产者将消息发布到topic中，同时有多个消息消费者消费该消息。和点对点方式不同，发布到topic的消息会被所有订阅者消费。 - 消息系统的作用？
异步处理
如果一个系统进行一项操作，而这项操作非常耗时，那么引入这么一个消息系统，我们将这个操作扔到消息系统中，那么请求可以立即返回，由一个消费者去获取消息并这行操作，这样大大提升了响应效率。
解耦
可以作为异构系统之间共享数据的桥梁，消息发送方只需要关心发送数据，不需要关心谁来消费。
冗余
将消息持久化，避免丢失，如果消费者没有上线，那么数据也可以保存在消息系统中。
顺序保证
某些场景下需要保证数据的顺序性，那么消息队列在时间的维度上就是根据时间进行排序，保证了一定的顺序性。 - 应用场景
日志处理
流量削峰
应用解耦
数据集成 - 其他消息系统
RabbitMQ：支持的协议多，非常重量级消息队列，对路由(Routing)，负载均衡(Load balance)或者数据持久化都有很好的支持。
ZeroMQ：号称最快的消息队列系统，尤其针对大吞吐量的需求场景，擅长的高级/复杂的队列，但是技术也复杂，并且只提供非持久性的队列。
ActiveMQ：Apache下的一个子项，类似ZeroMQ，能够以代理人和点对点的技术实现队列 。
Redis：是一个key-Value的NOSql数据库，但也支持MQ功能，数据量较小，性能优于RabbitMQ，数据超过10K就慢的无法忍受。
kafka的特点
吞吐量：kafka的主要设计约束是吞吐量而不是功能。同时为发布和订阅提供高吞吐量。
持久化：kafka将消息持久化到磁盘，因此可用于批量消费，例如 ETL，以及实时应用程序。通过将数据持久化到硬盘以及复制分区防止数据丢失。
分布式：kafka是个分布式系统，易于向外扩展。所有的 producer、broker 和 consumer 都会有多个，均为分布式的，无需停机即可扩展机器。
无状态：消息被处理的状态是在 consumer 端维护，而不是由 server 端维护。当失败时能自动平衡。这样也减轻了消息系统维护消息偏移的压力。
实时和离线：支持实时和离线的场景，可以用离线和实时系统提供数据。
kafka的架构模型
上图是kafka的基础架构模型。
kafka组成
Broker：kafa集群由一个或多个服务器实例构成，那么这些服务器实例则称为Broker，消息在Broker中通Log追加的方式进行持久化存储，并进行分区。
Topic：主题，每个消息都有对应的主题，相当于一种分类。
Partition：分区，每个主题的消息可以有多个分区，分区可以分布在一个或多个broker中，消息会通过负载均衡机制分散到不同的分区中。
Producer：生成者，一个生产者可以向一个主题发布消息。
Consumer：消费者，消费者可以从经纪人那里订阅一个或多个主题，并通过从经纪人那里提取数据来消费订阅的消息
Consumer Group：消费者组，一个消息只能被一个消费者组中的一个消费者消费。在一个消费者组中，一个消费者会对应一个分区，多出来的消费者将不会受到消息。
Replicas of partition：分区备份，kafka为了提高系统的高可用，可以设置为分区做备份。
Broker无状态机制
Broker不保存订阅者的状态，由订阅者自己保存这样可以减轻服务器的压力。
无状态会导致消息的删除成为问题，broker不知道哪些消息时被消费过的，哪写没有被消费过。kafka采用基于时间的SLA(服务水平保证)，消息保存一定时间（默认为7天）后会被删除。
消息订阅者可以rewind back到任意位置重新进行消费，当订阅者故障时，可以选择最小的offset(id)进行重新读取消费消息。
分区目的
kafka基于文件存储。分区可以分布在多个broker上，通过分区,可以将数据日志分散到多个broker上,来避免文件大小达到单机磁盘的上限。
一个主题可以有多个分区，消息可以分布在不同的分区上。一个消费者组的多个消费者可以同时向不同的分区拉取消息，大大地提高了效率。
智能推荐
揭开均线系统的神秘面纱_揭开极限编程的神秘面纱，重新探讨“ XP蒸馏”，第2部分...-程序员宅基地
文章浏览阅读496次。存档日期：2019年5月15日 | 首次发布：2002年9月10日 在本月的Demystifying Extreme Programming中 ，Roy Miller解释了成为XP团队的程序员意味着什么，以及六个程序员的实践如何特别适合这种情况。 虽然所有19种XP实践都很重要，但程序员实践对于团队开发软件至关重要 。 此内容不再被更新或维护。 全文以PDF格式“按原样”提供。 随着技..._解开均线系统的神秘面纱
centos7.5开启ssh服务-程序员宅基地
文章浏览阅读5k次，点赞2次，收藏15次。1，查看是否已安装openssh-server；指令：rpm -qa | grep ssh2，如果未安装，请先安装openssh-serveryum install openssh-server3，编辑ssh参数：vim /etc/ssh/sshd_config修改端口号允许root登录设置需要密码登录修改好后输入“：wqa”保存退出4，开启ss..._centos7.5开启ssh
【2020-11-02】分享一个爬虫小工具，提高你的工作效率_trillworks-程序员宅基地
文章浏览阅读1.2k次，点赞4次，收藏7次。文章目录前言二、地址https://curl.trillworks.com/三、用法3.1这里以有道翻译为例，右键链接>copy>copy as curl(bash)3.2 黏贴到上面的网站，右侧方框会自动填充requests请求总结前言我们在编写爬虫代码的时候，都需要去请求链接，有事还需要一连串的参数，这时候我们是不可能一个一个手打上去的，这次就分享一个快速解析请求的小工具二、地址https://curl.trillworks.com/三、用法3.1这里以有道翻译为例，右键._trillworks
C++——多项式拟合_c++ 多项式拟合-程序员宅基地
文章浏览阅读1.5w次，点赞16次，收藏88次。 C++——多项式拟合目标：利用C++对txt或者xml中的数据，进行高阶或低阶多项式拟合 为方便以后查找，代码以及详细资料已打包，并上传至云盘（链接：https://pan.baidu.com/s/1bvUBIoxv7Avxeq_Cz6xOZQ 密码：u9qe）打包的内容如下： ..._c++ 多项式拟合
农产品：菜鸟、京东、顺丰们争夺冷链物流的新战场？-程序员宅基地
文章浏览阅读204次。互联网时代，一切都有了新玩法。以吃为例，从古至今中国人对“吃”的热爱都没有变过，在现今如何吃的健康、营养为国人新追求，有机蔬菜、无农药水果成为时下新宠。同时，随着国内物流体系的完善，运输技术的提高，农产品正成为新风口。就在今年3月1日，由国家发改委牵头、24部委联合发布的《关于推动物流高质量发展促进形成强大国内市场的意见》中明确指出，要加强农产品物流骨干网络和冷链物流体系建设，发展如“生鲜电..._顺丰冷链物流基础设施落后
Android Studio项目结构详解_andriodstudio的构建在哪-程序员宅基地
文章浏览阅读6.8k次，点赞8次，收藏67次。Android Studio 是谷歌推出的一个Android集成开发工具，基于IntelliJ IDEA. 类似 Eclipse ADT，Android Studio 提供了集成的 Android 开发工具用于开发和调试。在IDEA的基础上，Android Studio 提供： 1.基于Gradle的构建支持。 2.Android 专属的重构和快速修复。 3. 提示工具以捕获性能、可用性、版本兼容性等问题。 4.支持ProGuard和应用签名。 5.基于模板的向导来生成常用的Android_andriodstudio的构建在哪
随便推点
Android性能优化工具_android 性能优化工具-程序员宅基地
文章浏览阅读1.4k次，点赞2次，收藏7次。CPU 性能分析器可以在APP运行时，实时检查应用的 CPU 使用率和线程活动，也可以检查记录的方法轨迹、函数轨迹和系统轨迹的详情。（1）Sample JAVA Methods不能采集耗时很短的方法，而Trace JAVA Methods可以采集耗时很短的方法；_android 性能优化工具
大学实训_软件毕设_Java入门实战_商场管理系统_Punrain_java为超市设计管理系统-程序员宅基地
文章浏览阅读5.2k次，点赞8次，收藏41次。需要 演示文档+数据库涉及+需求分析文档和完整源码的,可通过该链接下载https://download.csdn.net/download/Punrain/11980745_java为超市设计管理系统
Runtime-iOS运行时应用篇_initwithframe runtime拦截-程序员宅基地
文章浏览阅读151次。在上篇文章iOS运行时Runtime基础后，本篇将会总结Rutime的具体应用实例，结合其动态特性，Runtime在开发中的应用大致分为以下几个方面：Runtime应用.png相关文章:iOS运行时Runtime基础一、动态方法交换：Method Swizzling实现动态方法交换(Method Swizzling )是Runtime中最具盛名的应用场景，其原理是：通过Runtime获取到方法实现的地址，进而动态交换两个方法的功能。使用到关键方法如下：//获取类方法的M.._initwithframe runtime拦截
2020-08-14_20200814_112325010.jpg-程序员宅基地
文章浏览阅读65次。SpringMvc解决跨域问题前言：弄的一个Mvc项目涉及到了跨域问题，以下是我整理的一些解决方法介绍： 跨站 HTTP 请求(Cross-site HTTP request)是指发起请求的资源所在域不同于该请求所指向资源所在的域的 HTTP 请求。比如说，域名A(http://xusong.example)的某 Web 应用程序中通过标签引入了域名B(http://xusong.foo)站点的某图片资源(http://xusong.foo/image.jpg)，域名A的那 Web 应用会使浏览器发_20200814_112325010.jpg
阿里云不同账户下的ecs服务器迁移教程_阿里云两个账户的服务器能不能做镜像迁移-程序员宅基地
文章浏览阅读565次。服务器已购买并创建系统盘的情况下只能同步系统盘，数据盘无法同步。系统盘还未创建的可以同步系统盘和数据盘。4、镜像共享给你要迁移的阿里云服务器的账号上，不是登录账号，是账号ID(个人中心->安全设置->账号ID)3、使用最新的快照生成镜像，镜像是分区域的，华南一只能用华南一的镜像。4、在接收镜像的账号里查看镜像，注意选择正确的区域。2、要迁移的实例创建镜像，创建镜像基于快照。5、创建实例，选择镜像，还是要注意区域。1、先停机维护要迁移的服务器。6、选择共享镜像，更换即可。5、新服务器更换系统盘。_阿里云两个账户的服务器能不能做镜像迁移
Fluka 安装及 pydicom_安装 fluka 2023 g11-程序员宅基地
文章浏览阅读1.3k次。Fluka 安装及 pydicom 准备工作1. Fluka安装及配置2.Flair的安装3. Geoviewer的安装3.1 GeoViewer命令安装3.2 flair-geoviewer-x.x.x.src.rpm安装3.3 其他问题4. Rocks Centos6 安装Fluka 2.6版本出错问题5. 安装pydicom, numpy.6. Centos pip安装准备工作Fluka安装相对简单。首先下载Fluka，Flair，Geoviewer最新版本。例如：fluka-2011.2c_安装 fluka 2023 g11