主提供存取，从节点从主拉取数据

面试笔记系列六之redis+kafka+zookeeper基础知识点整理及常见面试题

标签：面试笔记 redis

穿透：缓存不存在，数据库不存在，高并发，少量key击穿：缓存不存在，数据库存在，高并发，少量key雪崩：缓存不存在，数据库存在，高并发，大量key。

kafka技术

标签： kafka java 分布式

消息中间件kafka

Mysql优化篇（表结构、查询语句、数据量大三方面）

标签：数据库分布式 mysql

主要是记录一下自己的学习经历，同时是作为自己的一份学习笔记。我将优化分成了三部分： 1.表结构优化 2.查询语句优化 3.大数据优化（分库分表、读写分离）

Spark 性能优化：代码中常用的几个调整点

前面三篇文章：资源分配，调整并行度，重构 RDD 和 RDD 持久化，这三种优化方式调整到位之后会让整个 Spark 作业执行速度有非常明显的提升。除此之外我们还有很多其它性能优化的手段，但在和前面三种方式比较，正常...

COS 数据湖最佳实践：基于 Serverless 架构的入湖方案

数据湖（Data Lake）概念自 2011 年被推出后，其概念定位、架构设计和相关技术都得到了飞速发展和众多实践，数据湖也从单一数据存储池概念演进为包括 ETL 分析、数据转换及数据处理的下一代基础数据平台。...

Redis学习[数据结构、过期策略]

标签： redis

Redis基础数据结构

K8S0619

标签： java 前端 servlet

Alertmanager

Redis集群部署

标签： redis 数据库 linux

Redis Cluster是Redis官方提供的分布式解决方案。当遇到内存、并发、流量等瓶颈时，就可以采用Cluster架构达到负载均衡目的。

大数据理论体系总结--数据仓库管理与全链路数据体系

前言　就这样，大数据领域蓬勃发展了好几年，有很多伙伴执迷于技术，成为了分布式计算与...大数据其实是个非常笼统的感念，它是由数据仓库演化而来的数据与技术方法论，那么我们先说一下数据仓库的由来：　早...

Spark Adaptive Execution

标签： spark 自适应执行

最近遇到了很多spark性能优化的问题，刚好找到了一篇比较全面的总结，但没有给出具体实现方法。所以这边打算罗列一下计划优化的点，慢慢抽时间研究、优化，最后打算应用到公司业务中，并争取贡献到spark社区。...

Day_13 传智健康项目-第13章

标签：缓存 redis 数据库

就对数据库进行查询，并把查询到的数据放进缓存4、如果数据库查询数据为空，则不放进缓存例如我们的数据表中主键是自增产生的，所有的主键值都大于0。此时如果用户传入的参数为-1，会是怎么样？这个-1，就是一定不...

mysql讨论_MYSQL数据丢失讨论

标签： mysql讨论

1. 概述很多企业选择MySQL都会担心它的数据丢失问题，从而选择Oracle，但是其实并不十分清楚什么情况下，各种原因导致MySQL会丢失部分数据。本文不讨论Oracle和MySQL的优劣，仅仅关注MySQL丢失数据的几种情况。希望...

FastDFS从入门到精通笔记

标签： fastdfs java linux

文章目录工具包下载FastDFS从入门到精通FastDFS介绍FastDFS概述FastDFS简介上传交互过程下载交互过程安装FastDFS1.安装gcc(编译时需要)2.安装libevent(运行时需要)3. 安装创建目录上传所有文件4，安装libfastcommon5...

智能合约如何可信的与外部世界交互

标签：区块链以太坊智能合约

区块链应用中，外部世界如何与智能合约交互...传统IT人员一般认为是如下的流程：智能合约会在预定的时间，从期货交易场所获取农产品价格，然后按照获取的数据采取预设的行动。听起来很简单，但却不可能实现。为什么呢？

梳理一下计算机网络

标签：网络

文章目录引言什么是传输层传输层的作用传输层基础知识扫盲套接字封装和解封装多路复用和多路分解流量控制推或拉缓冲区差错控制序号确认把流量控制和差错控制结合起来滑动窗口拥塞控制无连接服务和面向连接服务简单的...

说好的大数据开发面经来啦！热乎的，冲冲冲！！

标签：面试大数据 hadoop

活着就意味必须要做点什么，请好好努力。

Unity常见面试题型和日常问题总结，附有详解，强烈建议收藏（持续更新中）

标签： unity 面试 c#

Unity2023最全最详细面试题（持续更新中）

redis-cluster及其主从复制---理顺整体思路

标签： redis cluster 集群思路

redis cluster是redis的集群，由于容量的限制，通过集群的方式可以优化，redis集群预分配有16384额槽，将不同的槽分配到不同的节点（机器）上，当需要... 注意：集群中的每个节点的数据都是不一样的，诶个节点只...

开创实时数据处理新未来：EMQ 流数据库 HStreamDB 正式开源！

标签：数据库大数据分布式

引言一直以来，为了更好地解决当前各行业实际业务中对于实时流数据存储和处理的种种需求，EMQ 始终在探寻一个最佳的流处理系统与架构。在之前的《当数据库遇见流计算：流数据库的诞生！》一文中...

MySQL数据库面试题（2022版）

标签： java 面试 mysql

序列号内容链接 1 Java基础知识面试题（2022版） https://blog.csdn.net/qq_43061290/article/details/124023797 2 Java集合容器面试题（2022版） ... 3 Java异常面试题（2022版） ...

在hdfs上存取xml文件的实现代码

标签： hdfs xml

要读取的文件为：/user/hdfs/stdin.xml SK9cohJD4yklcD8dJuZXDA default.test1 要存的文件为：/user/hdfs/stdin.xml SK9cohJD4yklcD8dJuZXDA... de

数据库面试题：Redis三种集群方式（主从，哨兵，Redis-Cluster）

主从复制其实就是分为主数据库和从数据库，实现读写分离读操作只读从数据库，写操作写主数据库，再实现主从同步 1.2 主从复制原理流程如下： Slave从节点服务启动并连接到Master之后，它将主动发送一个SYNC同步...

主流数据库对比分析

标签：数据库架构数据库

其中，数据库作为数据存取、管理和应用的核心工具，决定了IT运行处理数据的高效性。自20世纪60年代至今，数据库的发展已相继经历了如下几个阶段：  层次数据库和网状数据库世界上第一个网状数据库系统是1964年...

Spark存储机制源码剖析

一、Shuffle结果的写入和读取通过之前的文章Spark源码解读之Shuffle原理剖析与源码分析我们知道，一...ShuffleMapTask会产生临时计算结果，这些数据会被ResultTask作为输入而读取。那么ShuffleMapTask的计算结果...

深入浅出HBase：一文理解HBase基础概念（列存储、时间戳、key-value）、架构特点以及适合的使用场景

标签： hbase 架构数据库

深入浅出HBase：一文理解HBase基础概念（列存储、）、架构特点以及适合的使用场景

015：Redis-Codis

Codis由来在大数据高并发场景下，单个 Redis 实例往往会显得捉襟见肘。首先体现在内存上，单 ...其次体现在 CPU 的利用率上，单个 Redis 实例只能利用单个核心，这单个核心要完成海量数据的存取和...

Redis集群详解

标签： redis 数据库系统架构

读写分离，性能扩展，降低主服务器的压力容灾，快速恢复，主机挂掉时，从机变为主机Redis 主从模式不具备自动容错和恢复功能，如果主节点宕机，Redis 集群将无法工作，此时需要人为干预，将从节点提升为主节点。...