技术标签: Sharding-JDBC database java 分库分表 数据库
对于同一时刻有大量并发读操作和较少写操作类型的应用系统来说,将数据库拆分为主库和从库,主库负责处理事务性的增删改操作,从库负责处理查询操作,能够有效的避免由数据更新导致的行锁,使得整个系统的查询性能得到极大的改善。
通过一主多从的配置方式,可以将查询请求均匀的分散到多个数据副本,能够进一步的提升系统的处理能力。 使用多主多从的方式,不但能够提升系统的吞吐量,还能够提升系统的可用性,可以达到在任何一个数据库宕机,甚至磁盘物理损坏的情况下仍然不影响系统的正常运行。
读写分离的数据节点中的数据内容是一致的,而水平分片的每个数据节点的数据内容却并不相同。将水平分片和读
写分离联合使用,能够更加有效的提升系统的性能。
Sharding-JDBC读写分离则是根据SQL语义的分析,将读操作和写操作分别路由至主库与从库。 它提供透明化读写
分离,让使用方尽量像使用一个数据库一样使用主从数据库集群。
Sharding-JDBC提供一主多从的读写分离配置,可独立使用,也可配合分库分表使用,同一线程且同一数据库连接内,如有写入操作,以后的读操作均从主库读取,用于保证数据一致性。Sharding-JDBC不提供主从数据库的数据同步功能,需要采用其他机制支持。
模拟系统使用,读写分离
将数据库分为:3306中的test
与 3307中的test
表名称:user
1、SQL:
//创建数据表
CREATE TABLE `user` (
`id` BIGINT(20) NOT NULL COMMENT 'Id',
`name` VARCHAR(20) NOT NULL COMMENT '名称',
`phone` VARCHAR(20) NOT NULL COMMENT '电话',
`email` VARCHAR(20) NOT NULL COMMENT '邮箱',
PRIMARY KEY (`id`)
)
2、properties配置:
#sharding-jdbc 水平分库规则配置
# 数据源名称,多数据源逗号隔开
spring.shardingsphere.datasource.names=ds0,ds1
# 配置第一个库
spring.shardingsphere.datasource.ds0.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.ds0.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.ds0.jdbc-url=jdbc:mysql://127.0.0.1:3306/test?useUnicode=true&useSSL=false&zeroDateTimeBehavior=convertToNull&characterEncoding=UTF-8&allowMultiQueries=true&serverTimezone=Asia/Shanghai
spring.shardingsphere.datasource.ds0.username=root
spring.shardingsphere.datasource.ds0.password=123456
# 配置第二个库
spring.shardingsphere.datasource.ds1.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.ds1.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.ds1.jdbc-url=jdbc:mysql://127.0.0.1:3307/test?useUnicode=true&useSSL=false&zeroDateTimeBehavior=convertToNull&characterEncoding=UTF-8&allowMultiQueries=true&serverTimezone=Asia/Shanghai
spring.shardingsphere.datasource.ds1.username=root
spring.shardingsphere.datasource.ds1.password=123456
# 配置主从规则
# 指定主库,ms为任意值,表主从同步别名
spring.shardingsphere.sharding.master-slave-rules.ms.master-data-source-name=ds0
# 指定从库,ms为任意值,表主从同步别名
spring.shardingsphere.sharding.master-slave-rules.ms.slave-data-source-names=ds1
# 如果既有读写分离又有数据分片,则配置规则如下:
# actual-data-nodes节点后的数据源名称要写成,主从同步数据源的别名 : ms
# spring.shardingsphere.sharding.tables.user.actual-data-nodes = ms.t_user
## 打开sql输出日志
spring.shardingsphere.props.sql.show=true
3、代码实现
实体:
public class User implements Serializable { private Long id; private String name; private String phone; private String email; ..... }
Controller:
@RestController @RequestMapping("test") public class TestController { // TODO DEMO配置文件中,存在多种配置策略,如何只需要对某一种类型进行测试,则需要修改配置文件配置 @Resource private TestService testService; @GetMapping("/read/write") public Object dataReadWrite() { return testService.dataReadWrite(); } }
Service:
@Service public class TestService { @Resource private MasterSlaveMapper masterSlaveMapper; public Object dataReadWrite() { // 插入 User user = new User(); user.setId(1L); user.setName("Name"); user.setPhone("phone"); user.setEmail("email"); masterSlaveMapper.insertMasterSlave(user); // 修改 masterSlaveMapper.updateMasterSlaveById(1L, "修改名称"); // 删除 masterSlaveMapper.deleteMasterSlaveById(2L); // 查询 List<User> users = masterSlaveMapper.listAllMasterSlave(); return users; } }
Mapper
@Mapper public interface MasterSlaveMapper { int insertMasterSlave(User user); int deleteMasterSlaveById(Long id); int updateMasterSlaveById(@Param("id") Long id, @Param("name") String name); List<User> listAllMasterSlave(); }
Mapping
<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd"> <mapper namespace="com.lhz.sharding.mapper.MasterSlaveMapper"> <insert id="insertMasterSlave" parameterType="com.lhz.sharding.model.entity.User"> insert into user(id, name, phone, email) values (#{id}, #{name}, #{phone}, #{email}) </insert> <delete id="deleteMasterSlaveById"> delete from user where id = #{id} </delete> <update id="updateMasterSlaveById"> update user set `name` = #{name} where id = #{id} </update> <select id="listAllMasterSlave" resultType="com.lhz.sharding.model.entity.User"> select * from user order by id desc </select> </mapper>
4、效果:
根据properties
的配置内容,ds0
对于3306端口的主库,ds1
对于3306端口的从库,以下运行截图可以看到,新增、修改、删除操作的ds0(主库)
,查询操作的ds1(从库)
,所以Sharding-JDBC会字段根据SQL语义自动区分是操作主库还是从库。
新增、修改、删除:
查询:
文章浏览阅读1.5k次。Minikubu 单节点微型k8s(仅供学习和预览使用)二进制安装部署(生产首选)使用kubeadmin进行部署,k8s的部署工具,跑在k8s里(相对简单,熟手推荐)使用官网提供的Minikube可以进行试验点击 Launch Terminal命令查询关键组件早期使用http通信,新版本ssl通信,自签证书二进制部署较为复杂,熟练地工程师需要一天。........._infra.tce.io/region-name
文章浏览阅读2.1k次。#官网https://bt.cn/#Linux界面https://bt.cn/bbs/forum-36-1.html#安装说明https://bt.cn/bbs/thread-1186-1-1.html#由于宝塔需要纯净的系统,正常情况下,不需要重装的,只要用容器弄个纯净的centos7的镜像运行即可#进入容器后再执行安装命令yum install -y wget &&am..._baotajiemian
文章浏览阅读4.7k次。git clone https://github.com/gnab/rtl8812aumakemake installmodprobe 8812au
文章浏览阅读305次。关于深度神经网络模型的相关学习,推荐CDA数据师的相关课程,课程以项目调动学员数据挖掘实用能力的场景式教学为主,在讲师设计的业务场景下由讲师不断提出业务问题,再由学员循序渐进思考并操作解决问题的过程中,帮助学员掌握真正过硬的解决业务问题的数据挖掘能力。关于深度神经网络模型的相关学习,推荐CDA数据师的相关课程,课程以项目调动学员数据挖掘实用能力的场景式教学为主,在讲师设计的业务场景下由讲师不断提出业务问题,再由学员循序渐进思考并操作解决问题的过程中,帮助学员掌握真正过硬的解决业务问题的数据挖掘能力。_卷积神经网络 能对结构化数据分类
文章浏览阅读4.5k次,点赞5次,收藏47次。STC单片机的内部EEPROM是用DATAFLASH模拟出来的,不是真正的EEPROM存储器,不能用普通的方法来操作下面是一些注意点:1.字节写之前要先将这个字节所在扇区的其它有效数据读取到RAM暂存(这步不是必须的)2.暂存完之后再对整个扇区(512字节)进行擦除操作,擦拭完后,整个扇区每个地址中数据都变成0xFF3.将欲写入的N个字节数据,用字节写函数写入EEPROM4.将暂存到RAM的其..._stc89c52 片内eeprom数组读写 c51
文章浏览阅读1.7k次,点赞3次,收藏4次。(本次实验以Toybrick RK3399ProD实验板为例)最近学习了嵌入式Linux,在电脑上安装虚拟机运行Linux系统(我使用RHEL 6)由于虚拟机里安装了arm-Linux,发现在RHEL6里面通过arm-linux-gcc命令编译后的可执行文件在无法在开发板上运行经过查询,发现是因为arm-Linux-gcc是32位的编译器,而rk3399处理器是64位处理器,经过arm-linux-gcc编译的文件只能在32位处理上运行解决这个问题需要先安装64位的编译器gcc-linaro_嵌入式linux 32位的脚本放到64位机运行不了
文章浏览阅读3.7k次。Go web框架目前有很多,Beego,Gin,Iris,Revel等等。目前国内使用量比较多的是前两个,鉴于Beego的源码一直被人吐槽并且Beego使用起来太过于臃肿,框架本身构造的大而全,很多功能不一定会是你想要的这些原因,我们着重关注Gin框架的使用。Gin没有像Beego那样什么都做,它只专注于web请求的封装,如果你想做缓存,想连接数据库等等还需要使用别的框架或者使用原生的API。G..._gin的api
文章浏览阅读1.1k次,点赞2次,收藏2次。自动格式化,html短标签一行,长标签分段_vscode html格式化
文章浏览阅读5.1w次,点赞5次,收藏26次。替一个Widget设置布局有两种方法。1layout 构造函数传递QWidgetQVBoxLayout* MainQVboxLayout=new QVBoxLayout(MainWidget);2layout构造函数传递NULL,调用QWidget的setlayout设置布局QVBoxLayout* MainQVboxLayout=new QVBoxLayout();_qt ui pt距离设置
文章浏览阅读779次。Pdf文档是一种新的文件格式,不属于Office的畴,阅读pdf有专门的阅读器,比如Adobe reader,它的特点就是生成之后其中的格式是不能修改的!快捷键复制Ctrl+C剪切Ctrl+X粘贴Ctrl+V加粗Ctrl+B斜体Ctrl+I下划线Ctrl+U增大字体Ctrl+Shift+> 或者Ctrl+]缩小字体Ctrl+Shift+< 或者Ctrl+[查找Ctrl+F替换Ctrl+..._ms office二级知识点
文章浏览阅读5.8k次,点赞2次,收藏2次。(windows下)python2.x有关Tkinter,simpledialog,messagebox的问题python3是tkinter,python2中是Tkinter#python2下from Tkinter import *import tkSimpleDialog as dlimport tkMessageBox as mbroot=Tk()w=Label(roo_python2.x messagebox
文章浏览阅读451次,点赞9次,收藏7次。通过以上介绍,相信您已经对 CSS 中的权重概念有了更深入的理解。合理利用权重值可以确保样式正确应用,并避免样式冲突导致的问题。在编写 CSS 样式时,谨记权重计算规则,使得您的样式表更加清晰、可维护。希望本教程能帮助您更好地掌握 CSS 中权重的使用。