学习Hadoop第二十七课（HBase理论一）_先学hadoop还是先学hbase-程序员宅基地

上节课我们一起学习了HBase集群的搭建，这节课我们一起来简单学习一下HBase的理论知识。

我们首先来看一下下面这张图，HBase存储数据也是存储到表中（这点和我们的关系型数据库是类似的），一个row key保存一行内容，与关系型数据库不一样的地方是，HBase数据库的表中引入了列族的概念，一个列族可以包含0到多个列，列族和列名结合组成一个cell，cell中才是我们存放的数据。从下图中可以看到一个Table包含多个Region，分布式存储和负载均衡最小的存储单元是Region，这也就意味着一台设备上只能有一个Region，一张表对应多个Region，也就意味着这张表的数据是存储在多台设备上的。那么为什么我们不把数据全都存储到一台设备上呢？其实原因很简单，假如我们的数据有好几十亿条，我们把这些数据都存放到一台设备上，这将对这台设备造成致命的压力，就是我们去查找某些数据也需要到这一台设备上进行查询，读取的压力也将非常大，这是我们无法接受的。如果我们把这几十亿条数据分别存储在多台设备上，那么无论是写操作还是读操作的压力都将大大降低，效率也成多少倍的提高，所以要用到Region这个东西。

那么Region存储在什么地方呢？它存储在HRegionServer内，HRegionServer是HBase的被管理进程，HBase的管理进程是HMaster，作为一个HBase集群的话，HMaster会有多个，当然HRegionServer也会有多个，这样即使其中的一台设备宕掉了，整个集群依然可以正常工作，那么负责中间协调工作的是谁呢？其实是我们的Zookeeper，Zookeepr保证了我们的HBase集群在同一时间只有一个活跃的HMaster。负责在活跃的HMaster宕掉之后让另一设备上的HMaster自动切换成活跃状态，从而对外提供稳定的服务。既然名叫RegionServer，顾名思义，它就是用来存储Region的。我们可以认为Region是存储在内存当中的。HRegionServer每隔一段时间会将Region中的数据写入到HDFS系统。

我们上面说了，通过HBase集群，我们可以快速的查找某些数据，为什么可以做到这一点呢？原因是我们在创建数据的时候就指定了Row key，HBase根据Row key来创建索引，并且还根据Row key的字典顺序分别进行了存储。我们以下图为例，可以看到图左侧是表的Row key的字典顺序，可以看到根据不同的范围把Row key分成了五个部分，每个部分是一个Region，所以可以理解为，一个Region保存了一个Row key范围的数据。右侧有三个HRegionServer。字典顺序从0到2（包括0，不包括2）的数据都存储在rs2（HRegionServer）这台设备上，字典顺序从2到4（包括2，不包括4）存储在rs1（HRegionServer）这台设备上，等等。这样存储的好处是什么呢？我们查询数据的时候根据Row key的字典顺序可以快速定位到数据在哪一台设备上，然后再根据Row key索引快速定位到要查询的数据。HBase还有个非常大的优势是可扩展性非常强，以后如果这张表需要增加字段将会非常简单，因为HBase是允许动态添加列的。还有就是我们不需要用多么昂贵的服务器，用普通的PC服务器就可以，无非多用几台设备罢了，用普通的PC照样存储非常庞大的数据。

说完了上面的内容，我们再来看一张HBase整体的架构图，可以发现最顶层是Hadoop的HDFS，说明HBase的数据最终还是存放在了HDFS当中。图的最上方有Client、HMaster、Zookeeper中间是HRegionServer，很明显，Client、HMaster、HRegionServer是通过Zookeeper来协调的。HRegionServer维护着Region，Region里面保存着数据。一张表有可能有一个到多个Region。我们可以看到，一个Region包括HLog和Store，Store当中包括StoreFile和MemStore，我们前面认为Region存放的数据都在缓存中不太准确，有一部分数据会被写到StoreFile当中，然后将StoreFile当中的数据通过DFS Client(操作HDFS的接口)写到HDFS系统当中。我们创建表的时候可以指定一下列族的VERSIONS版本数量，假如我们指定的数量是3，这意味着这张表只会保存三个版本的数据，当我们向同一个Row key插入第四条记录时，最先插入的数据便会被加上删除符号并保存到MemStore当中，这时我们还是可以查询到被标记为删除的数据的，但是一旦MemStore的数据被清空，我们将查询不到被标记为删除的数据了。

之所以把数据放到HDFS当中就是为了数据的可靠性，即使某台设备宕掉了，StoreFile中的数据消失了，也无所谓，我们可以从HDFS系统将数据再还原回来。

当然，这只是说了个皮毛而已，大家想深入学习HBase的话，建议多看看书。本小节我们便一起学习到这了

本文链接：https://blog.csdn.net/anaitudou/article/details/80957985

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

while循环&CPU占用率高问题深入分析与解决方案_main函数使用while(1)循环cpu占用99-程序员宅基地

文章浏览阅读3.8k次，点赞9次，收藏28次。直接上一个工作中碰到的问题，另外一个系统开启多线程调用我这边的接口，然后我这边会开启多线程批量查询第三方接口并且返回给调用方。使用的是两三年前别人遗留下来的方法，放到线上后发现确实是可以正常取到结果，但是一旦调用，CPU占用就直接100%(部署环境是win server服务器)。因此查看了下相关的老代码并使用JProfiler查看发现是在某个while循环的时候有问题。具体项目代码就不贴了，类似于下面这段代码。while(flag) {//your code;}这里的flag._main函数使用while(1)循环cpu占用99

【无标题】jetbrains idea shift f6不生效_idea shift +f6快捷键不生效-程序员宅基地

文章浏览阅读347次。idea shift f6 快捷键无效_idea shift +f6快捷键不生效

node.js学习笔记之Node中的核心模块_node模块中有很多核心模块,以下不属于核心模块,使用时需下载的是-程序员宅基地

文章浏览阅读135次。Ecmacript 中没有DOM 和 BOM核心模块Node为JavaScript提供了很多服务器级别，这些API绝大多数都被包装到了一个具名和核心模块中了，例如文件操作的 fs 核心模块，http服务构建的http 模块 path 路径操作模块 os 操作系统信息模块// 用来获取机器信息的var os = require('os')// 用来操作路径的var path = require('path')// 获取当前机器的 CPU 信息console.log(os.cpus._node模块中有很多核心模块,以下不属于核心模块,使用时需下载的是

数学建模【SPSS 下载-安装、方差分析与回归分析的SPSS实现(软件概述、方差分析、回归分析)】_化工数学模型数据回归软件-程序员宅基地

文章浏览阅读10w+次，点赞435次，收藏3.4k次。SPSS 22 下载安装过程7.6 方差分析与回归分析的SPSS实现7.6.1 SPSS软件概述1 SPSS版本与安装2 SPSS界面3 SPSS特点4 SPSS数据7.6.2 SPSS与方差分析1 单因素方差分析2 双因素方差分析7.6.3 SPSS与回归分析SPSS回归分析过程牙膏价格问题的回归分析_化工数学模型数据回归软件

利用hutool实现邮件发送功能_hutool发送邮件-程序员宅基地

文章浏览阅读7.5k次。如何利用hutool工具包实现邮件发送功能呢？1、首先引入hutool依赖<dependency> <groupId>cn.hutool</groupId> <artifactId>hutool-all</artifactId> <version>5.7.19</version></dependency>2、编写邮件发送工具类package com.pc.c..._hutool发送邮件

docker安装elasticsearch，elasticsearch-head，kibana，ik分词器_docker安装kibana连接elasticsearch并且elasticsearch有密码-程序员宅基地

文章浏览阅读867次，点赞2次，收藏2次。docker安装elasticsearch，elasticsearch-head，kibana，ik分词器安装方式基本有两种，一种是pull的方式，一种是Dockerfile的方式，由于pull的方式pull下来后还需配置许多东西且不便于复用，个人比较喜欢使用Dockerfile的方式所有docker支持的镜像基本都在https://hub.docker.com/docker的官网上能找到合..._docker安装kibana连接elasticsearch并且elasticsearch有密码

随便推点

Python 攻克移动开发失败！_beeware-程序员宅基地

文章浏览阅读1.3w次，点赞57次，收藏92次。整理 | 郑丽媛出品 | CSDN（ID：CSDNnews）近年来，随着机器学习的兴起，有一门编程语言逐渐变得火热——Python。得益于其针对机器学习提供了大量开源框架和第三方模块，内置..._beeware

Swift4.0_Timer 的基本使用_swift timer 暂停-程序员宅基地

文章浏览阅读7.9k次。//// ViewController.swift// Day_10_Timer//// Created by dongqiangfei on 2018/10/15.// Copyright 2018年飞飞. All rights reserved.//import UIKitclass ViewController: UIViewController { ..._swift timer 暂停

元素三大等待-程序员宅基地

文章浏览阅读986次，点赞2次，收藏2次。1.硬性等待让当前线程暂停执行，应用场景：代码执行速度太快了，但是UI元素没有立马加载出来，造成两者不同步，这时候就可以让代码等待一下，再去执行找元素的动作线程休眠，强制等待 Thread.sleep(long mills)package com.example.demo;import org.junit.jupiter.api.Test;import org.openqa.selenium.By;import org.openqa.selenium.firefox.Firefox.._元素三大等待