rocketmq集群安装配置说明-程序员宅基地

技术标签: python  awk  shell  

本文采用多master+slave+nameservers的集群配置方式。

一、前提

1. 安装好JDK。JDK版本为1.6+ 64bit

2. 将alibaba-rocketmq-3.2.2.tar.gz上传到linux服务器。(现放到/opt/目录下)

     rocketmq下载地址:https://github.com/alibaba/RocketMQ/releases

     rocketmq github:      https://github.com/alibaba/RocketMQ

   1.赋权和解压源文件

>cd /opt/
>chmod 755 alibaba-rocketmq- 3.2 . 2 .tar.gz
>tar -zxvf ./alibaba-rocketmq- 3.2 . 2 .tar.gz

   2.增加系统环境变量ROCKETMQ_HOME

> vi /etc/profile

     添加:

ROCKETMQ_HOME=/opt/alibaba-rocketmq
export ROCKETMQ_HOME

   3.使配置立即生效:

> source /etc/profile
##可以将$ROCKETMQ_HOME/bin加入到$PATH中,这样可以直接使用roketmq的bin目录程序

   4.增加系统启动后自动启动:

> vi /etc/rc
##(以下为启动nameserver节点和启动broker节点,视生产环境添加启动规则)
##启动nameserver节点
##/opt/alibaba-rocketmq/local/start_nameserver.sh
##启动broker节点
##/opt/alibaba-rocketmq/local/start_broker.sh

 

二、Rocketmq配置

 1.默认没有local目录,在$ROCKETMQ_HOME下新一个local目录用于创建启动nameserver和broker节点管理。

  

> mkdir $ROCKETMQ_HOME /local ; cd $ROCKETMQ_HOME /local
> touch start_nameserver.sh
 
#!/bin/sh
#ROCKETMQ_HOME最好重新指定,以免出错
#JAVA_HOME重新指定,用于使用不同的jdk
ROCKETMQ_HOME= /opt/alibaba-rocketmq
export ROCKETMQ_HOME
#mqnamesrv > ${console日志输出} 2>&1 &
#可以使用mqnamesrc -p >namesrc.p取到默认配置文件,后续使用
#./mqnamesrv -c namesrv.p加载配置(这样可以修改namesrv的端口号,注意所有配置文#件格式为utf8最好。windows shell >出来的有问题)
nohup $ROCKETMQ_HOME /bin/mqnamesrv -c $ROCKETMQ_HOME /bin/namesrv .properties >$ROCKETMQ_HOME /log/mqnamesrv .log 2>&1 &
> touch start_borker.sh
#!/bin/sh
#ROCKETMQ_HOME最好重新指定,以免出错
#JAVA_HOME重新指定,用于使用不同的jdk
ROCKETMQ_HOME= /opt/alibaba-rocketmq
export ROCKETMQ_HOME
#mqbroker [-n ${nameserver地址}] -c ${broker的配置文件} > ${console日志输出} 2>&1 &
nohup $ROCKETMQ_HOME /bin/mqbroker -c $ROCKETMQ_HOME /bin/broker .properties >$ROCKETMQ_HOME /log/mqbroker .log 2>&1 &
> touch stop_nameserver.sh
#!/bin/sh
#注释为杀进程方式关闭服务
#ps -ef |grep '../bin/mqnamesrv' |awk '{if($8!="'grep'") {print $2;exit}}'  |while read pid
#        do
#                kill $pid
#        done
$ROCKETMQ_HOME /bin/mqshutdown namesrv
> touch stop_borker.sh
#!/bin/sh
$ROCKETMQ_HOME /bin/mqshutdown broker

注意ROCKETMQ_HOME地址、nameserver地址更改、broker的配置文件地址

2.修改namesrv和broker的配置:

  修改namesrv配置:

> cd $$ROCKETMQ_HOME /bin
>. /mqnamesrv -p > namesrv.properties
#可以通过./namesrv.properties修改namesrv的端口号
#启动时按./mqnamesrv -c ./namesrv.properties 启动加载配置

  修改borker配置:

> cd $ROCKETMQ_HOME /bin
>broker -m broker.properties
# (当没有时可以使用此命令创建;此文件其实是.properties的文件。可以按.properties规则修改文件内容)

   cat broker.p显示以下内容:

namesrvAddr=192.168.45.214:9876
brokerIP1=192.168.45.214
brokerName=ROCKETMQAH
brokerClusterName=DefaultCluster
brokerId=0
autoCreateTopicEnable= true
autoCreateSubscriptionGroup= true
rejectTransactionMessage= false
fetchNamesrvAddrByAddressServer= false
storePathRootDir= /opt/alibaba-rocketmq/store
storePathCommitLog= /opt/alibaba-rocketmq/store/commitlog
storePathConsumeQueue= /opt/alibaba-rocketmq/consumequeue
storePathIndex= /opt/alibaba-rocketmq/index
storeCheckpoint= /opt/alibaba-rocketmq/checkpoint
abortFile= /opt/alibaba-rocketmq/abort
flushIntervalCommitLog=1000
flushCommitLogTimed= false
deleteWhen=04
fileReservedTime=72
maxTransferBytesOnMessageInMemory=262144
maxTransferCountOnMessageInMemory=32
maxTransferBytesOnMessageInDisk=65536
maxTransferCountOnMessageInDisk=8
accessMessageInMemoryMaxRatio=40
messageIndexEnable= true
messageIndexSafe= true
haMasterAddress=
brokerRole=ASYNC_MASTER
flushDiskType=SYNC_FLUSH
cleanFileForciblyEnable= false

   说明:

   1.namesrvAddr的地址,可以使用broker -n xxx.xxx.xxx.xxx方式指定。

   2.listenPort=10911(默认为10911)可以指定broker的服务开放地址。

   3.几个文件保存的地方需要重新指定,默认保存到use_dir下

   4.brokerName表示集群master组名称,同一个master+slave共用相同的brokerName。

   5.brokerClusterName 建议配置为同一个名称。

   6.brokerId为0时表示的master;大于0时表示slave;

   7.brokerRole 有ASYNC_MASTER异步master;SYNC_MASTER表示同步master;SLAVE表示slave

   8:flushDiskType表示producer到broker的处理方式:SYNC_FLUSH表示同步到文件后返回成功;ASYNC_FLUSH表示broker接收到后立即返回生产者成功,后续再同步到文件中

   9:cleanFileForciblyEnable 表示磁盘满后处理方式:true表示满后删除接收的文件。False表示立即停止服务。

   broke.p的详细配置可以参考《RocketMQ Developer Guide.pdf》中的broker使用指南 的说明。

3.修改日志配置:

   1.进行入$ROCKETMQ_HOME/conf目录下,将logback_*.xml 的所有xml文件的${user.home}改为${ ROCKETMQ_HOME}。


三、集群配置要修改说明

   一、nameserver集群配置说明:

        多个nameserver的配置:

  • 在另一台主机启动一个./start_nameserver.sh 这个不用修改

  • 修改所有的borker的启动方式(配置了一个改为两个nameserver情况),vi ./start_borker.sh 改 -n 192.168.45.214:9876 为-n ‘192.168.45.214:9876;192.168.56.46:9876

  • 所有的客户端程序(即producer,consumer) xxxx..setNamesrvAddr("192.168.45.214:9876;192.168.56.46:9876");

   二、borker节点结群说明:

   1.查看并修改nameserver节点配置

    完成(一、前提)的情况下,修改$ROCKETMQ_HOME/local 下的start_nameserver.sh 的$ROCKETMQ_HOME内容。

> cd $$ROCKETMQ_HOME /local
> vi start_nameserver.sh
#修改$ROCKETMQ_HOME,修改为当前的rocketmq地址,如果没有变化不用做修改

   管理nameserver节点:启动./start_nameserver.sh 停止./stop_nameserver.sh

   2.查看并修改broker_master节点配置:

  修改broker.p文件(broker.p使用附件中的broker.p内容为基础):

  •   修改brokerIP1 为本机IP;

  •   brokerName 为定义的master组名称;

  •   brokerId 填0;

  •   brokerRole 选择MASTER相关选项;

  •   flushDiskType值选择borker回复方式;

  启用./start_broker.sh 停止./stop_broker.sh

    3.修改和配置broker_slave节点:

     1.完成前提的情况下,修改$ROCKETMQ_HOME/local 下的start_broker.sh 的$ROCKETMQ_HOME内容和${nameserver地址};。

     2.修改broker.p文件(broker.p使用附件中的broker.p内容为基础):

  • 修改brokerIP1 为本机IP,

  • brokerName 为定义的master组名称

  • brokerId 填大于0

  • brokerRole 选择SLAVE

  • flushDiskType值选择borker回复方式

     启用./start_broker.sh 停止./stop_broker.sh

四、客户端开发

          Producer,consumer在初始化时配置参考《RocketMQ Developer Guide.pdf》中的客户端 API 形式。

          注意consumer返回时:

           ConsumeConcurrentlyStatus.CONSUME_SUCCESS;--表示消费成功

           ConsumeConcurrentlyStatus.RECONSUME_LATER;--表示处理失败,并后面请broker过一定时间后再次下发。

           consumer.setMessageModel(MessageModel.BROADCASTING);--表示广播消费,也就是每个master都要撸一次。默认是MessageModel.CLUSTERING 这个《RocketMQ Developer Guide.pdf》写错了,表集群处理模式,一个请求只被一个master节点处理一次,要以自个测试结果为准。后续最好看下源码。

五、监控程序rocketmq_console和集群验证

监控为一个外置war文件,下载地址为:

    https://github.com/rocketmq/rocketmq-console.git

  • 使用MAVEN进行编译(附件中有编好的war包)

  • 下载后,需修改:src/main/resources/config.properties:

              Rocketmq.namesrv.addr内容,指向nameserver地址

      集群配置完成后,使用rockertmq_console访问和验证:

     分别启动一个consumer和producer 处理空业务,并查看rocketmq_console的 http://localhost:8080/rocketmq-console/cluster/list.do 显示情况

     以下为只有一个master+slave;多个master组合时,会出现多个这样的表格内容。

 

   1.查看http://localhost:8080/rocketmq-console/cluster/list.do节点情况(主要查看是否以master+slave为组的,一组一组的列表显示;注意#Broker_name是否为borker.p配置的地址和端口号(目前rocketmq在配置失效后,会使用默认的配置,所以需要查下是否配置正确))

六、问题说明

          本文档采用的是,多nameserver+master+slave(一个master只有一个slave,没有必要多个slave)。

          1.master停掉后不切到slave进行处理。

            首先slave只处理consumer的内容,即只负责发内容到consumer。当master停止后,这个master+slave的组合并不能再接收producer的任务。只能将自个没有处理完成的处理掉。这时producter的任务会分配给其它master节点进行处理。

          2.$ROCKETMQ_HOME/bin下面的exe不能执行:

             bin里面的exe程序,是用64位编译的,exe程序不支持32位的系统;jdk也最好是64位的。

          4.为什么broker broker.p 地址不能生效

             window shell 执行mqbroker -m > broker.p生成的文件编码有问题。java后面解析不出来。生成的配置文件最好为utf-8文件。

          5.后面遇到再说明:

七、附件

RocketMQ Developer Guide.pdf

rocketmq_ext.zip   (local目录文件和配置文件及conf修改)

rocketmq-console.war console客户端

       

八、参考文档

       《RocketMQ Developer Guide.pdf》

转载于:https://my.oschina.net/yifanxiang/blog/357280

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_34082177/article/details/92535333

智能推荐

基于OpenCV的火焰检测(三)——HSI颜色判据-程序员宅基地

文章浏览阅读160次。上文向大家介绍了如何用最简单的RGB判据来初步提取火焰区域,现在我要给大家分享的是一种更加直观的判据——HSI判据。 为什么说HSI判据是更加直观的判据呢?老规矩,先介绍一下HSI色彩模型: HSI颜色模型用H、S、I三参数描述颜色特性,其中: H表示颜色的色调,它表示人的感官对不同颜色的感受,如红色、绿色、蓝色等,它也可表示一定范围的颜色,如暖色、冷色等..._c# 通过hsi进行颜色判断

实验四python程序设计之文件_python程序设计实验报告八:文件-程序员宅基地

文章浏览阅读560次。安徽工程大学Python程序设计实验报告班级物流191 姓名郭森学号3190505134 成绩日期2020.6.2 指导老师修宇实验八 文件【实验目的】掌握读写文本文件或 CSV 文件,进而对数据进行处理的方法。【实验条件】PC机或者远程编程环境【实验内容】完成二个编程题。1、水浒传词频统计水浒传-词频统计(1)描述使用词频统计的方法,生成《水浒传》出场次数最多的10个人物的姓名。(2..._根据所给素材:ctiyname.txt及不完整代码,参考创建项目,编写代码实现解析,并输出如

域名--泛解析-程序员宅基地

文章浏览阅读78次。背景:主域名下多数子域名访问后直接跳转至www域名的服务。百度百科--域名泛解析:在域名前添加任何子域名,均可访问到所指向的WEB地址。也就是客户的域名#.com之下所设的*.#.com全部。泛域名解析:利用通配符* (星号)来做次级域名以实现所有的次级域名均指向同一IP地址。子域名挖掘: 泛解析这个问题的解决方法很简单,向DNS请求*记录,然后把枚举子域名回来的..._dns枚举泛解析

基于对赋值为随机数的数组实现打印、求和及最大值、平均值的计算,排序问题_编写一个方法,对数组的元素用[0,100)之间的随机数进行初始化,初始化之后对数组进-程序员宅基地

文章浏览阅读206次。我们先定义一个数组x并为其分配储存空间,如下:int[] x=new x[100] 想要对数组中的每一个元素进行随机数赋值,需要用到循环控制语句,这里以for循环为例:定义一个变量i并赋值为0,作为for循环的起始条件;需要注意的是,数组的下标是从0开始的,比如x[0]到x[99],代表数组的长度为100。所以再写入判断语句的时候,不能写成a<=x.length;控制变量语句应写入自加语句。在循环体里,对x[a]进行随机数赋值,以0到100为例如图: 完成对x[a]的赋值之后,开始写入打印代_编写一个方法,对数组的元素用[0,100)之间的随机数进行初始化,初始化之后对数组进

为什么eMule总是未连接到服务器-程序员宅基地

文章浏览阅读1k次。<一>安装和版本问题1) eMule对Windows有什么要求?eMule能在Windows 95版本以上的Windows操作系统下运行。1个好的P2P软件需要好的拨号网络的支持,所以Windows 98和Windows ME的比较差网络运行情况可能会影响eMule的发挥;相对来说Windows 2000和Windows XP更适合使用eMule。2) 弹出错误信息说oleacc.dl..._emule v0.50b 最新服务器未连接

14 种编程语言书写关机脚本,真香_如何写强制关机脚本-程序员宅基地

文章浏览阅读2w次,点赞19次,收藏49次。批处理版本C 语言版本C++ 语言版本JAVA 语言版本C# 语言版本Python 语言版本NodeJS 语言版本PHP 语言版本Perl 语言版本Go 语言版本VB 语言版本SQL 语言版本树莓派 版本易语言 版本期待评论区故事的起源,有个家伙发来一个 BAT 的关机脚本,我顺手给改成了 八种语言的。_如何写强制关机脚本

随便推点

VK1668 SSOP24兼用TM1668的LED数码驱动芯片_sm1668led驱动芯片与tm1668芯片可通用?-程序员宅基地

文章浏览阅读1.6k次。概述VK1668 是 1/5~1/8 占空比的 LED 显示控制驱动电路。由 10 根段输出、4 根栅输出、3 根段/栅输出,1 个显示存储器、控制电路、键扫描电路组成了一个高可靠性的单片机外围 LED 驱动电路。串行数据通过4线串行接口输入到 VK1668采用 SOP24 的封装形式。功能特点1.CMOS 工艺2. 低功耗3.多种显示模式:设置选择段和位的个数(4~7 位,10~1..._sm1668led驱动芯片与tm1668芯片可通用?

com wechat.class.php,wechat-php-sdk/wechat.class.php at master · l953422179/wechat-php-sdk · GitHub...-程序员宅基地

文章浏览阅读127次。/***微信公众平台PHP-SDK, 官方API部分* @author dodge * @link https://github.com/dodgepudding/wechat-php-sdk* @version 1.1* usage:* $options = array(*'token'=>'tokenaccesskey' //填写你设定的key*);* $weObj = n..._public static function message($msg='',$link=''){ $datatype = ifilter::a

交流电过零点检测电路总结_交流过零检测电路-程序员宅基地

文章浏览阅读7.3k次,点赞3次,收藏32次。交流电的过零点检测方案较多,目前较常见的也是我之前所使用的方案如图1所示:图1 交流电光耦过零检测电路图1的电路可以检测到交流电经过零点的时间,但是它存在诸多的弊端,现列举如下:电阻消耗功率太大,发热较多。220V交流电,按照有效值进行计算三个47K的电阻平均每个电阻的功率为220^2/(3*47k)/3=114.42mw。对于0805的贴片电阻按照1/8w的功率计算,当前的消耗功率接近其额..._交流过零检测电路

MATLAB SOR统计滤波_sor滤波-程序员宅基地

文章浏览阅读202次。具体来说,我们采用了SOR算法求解图像中每个像素点周围的平均值,从而实现了一种基于统计特征的图像滤波方法。在本文中,我们将使用SOR算法实现统计滤波。具体来说,我们将考虑针对图像进行滤波,对于每一个像素点,我们将其周围的像素点取平均值,从而得到该像素点的新值。在本文中,我们将会讨论如何使用MATLAB实现SOR统计滤波。SOR算法是一种基于松弛因子的迭代算法,可以用于求解一般的n元线性方程组Ax=b。统计滤波是一种信号处理方法,旨在通过对信号的统计特征进行操作来实现滤波效果。MATLAB SOR统计滤波。_sor滤波

Qt TCP服务端和客户端连接_qtcpserver怎么回去客户端ip-程序员宅基地

文章浏览阅读3.3k次。前言传输控制协议(TCP,Transmission Control Protocol)是一种面向连接的、可靠的、基于字节流的传输层通信协议。TCP旨在适应支持多网络应用的分层协议层次结构。 连接到不同但互连的计算机通信网络的主计算机中的成对进程之间依靠TCP提供可靠的通信服务。TCP假设它可以从较低级别的协议获得简单的,可能不可靠的数据报服务。 原则上,TCP应该能够在从硬线连接到分组交换或电路交换网络的各种通信系统之上操作。如需了解UDP与TCP对比,可点击了解UDP和TCP对比。下面简单介绍下T_qtcpserver怎么回去客户端ip

保研福利|九月CS保研冲刺大礼包!-程序员宅基地

文章浏览阅读20次。将原资料精简打包只为你能轻装上阵,冲刺梦校!▼志愿填报手册【九推版本】▼填报有疑问?九推无offer?这里有超详细的志愿填报指南,助你填报无忧!超周到的防鸽策略&捡漏策略,助你成功上岸!叮咚!九月份岛主发送的福利已经“上门”啦~亲,注意查收哦~