技术标签: hive # Hadoop hive环境安装 hive环境搭建 beeline BigData MariaDB
Hive由 Facebook 开源用于解决海量结构化日志的数据统计工具。
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。
当然,SQL语句也可以转换成Tez或Spark。
为什么需要Hive?
Hive架构体系
Driver组件
解析器(SQL Parser):将 SQL 字符串转换成抽象语法树 AST,这一步一般都用第三方工具库完成,比如 antlr;对 AST 进行语法分析,比如表是否存在、字段是否存在、SQL语义是否有误。
编译器(Physical Plan):将 AST 编译生成逻辑执行计划。
优化器(Query Optimizer):对逻辑执行计划进行优化。
执行器(Execution):把逻辑执行计划转换成可以运行的物理计划。对于 Hive 来
说,就是 MR/Spark/Tez。
MetaStore组件
用户接口
Hive的三种部署模式,主要按Metastore 的运行模式进行区分。
本文主要以Local模式进行演示,关系数据库将选用Mysql的一个分支版MariaDB。
本文以Hadoop2.7.7为例,可以参考教程:https://blog.csdn.net/tangyi2008/article/details/121908766
安装好Hadoop后,需要添加用户的代理配置:
vi $HADOOP_HOME/etc/hadoop/core-site.xml
添加如下配置项
<property>
<name>hadoop.proxyuser.xiaobai.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.xiaobai.groups</name>
<value>*</value>
</property>
注意,配置项中的xiaobai为ubuntu系统的用户名,如果不是该用户名,改为对应的配置项,比如你的用户名为zhangsan, 则选项为
hadoop.proxyuser.zhangsan.hosts
和hadoop.proxyuser.zhangsan.groups
MariaDB数据库是MySQL的一个分支,由MySQL的创始人Michael Widenius(英语:Michael Widenius)主导开发。开发该分支的原因之一是:甲骨文公司收购了MySQL后,有将MySQL闭源的潜在风险,因此社区采用分支的方式来避开这个风险。
MariaDB名称来自Michael Widenius的女儿Maria的名字。
使用如下命令查看MariaDB的安装情况
sudo dpkg -l | grep maria
如果没有打印任何内容,说明没有安装,否则,可根据需要决定是否需要卸载后重新安装
如果你想卸载掉以前安装的mariadb或者mysql,可以使用如下命令
sudo apt autoremove mysql-*
如果确定安装的是maria,可以使用如下命令卸载
sudo apt autoremove mariadb-*
可以使用如下命令进行便捷的安装,它会在你默认的源中安装
sudo apt update
sudo apt install mariadb-server
注意:可以在
https://downloads.mariadb.org/mariadb/repositories/
中去设定自己的操作系统及版本、需要安装的 MariaDB 版本、符合自己国家区域的仓库,以便更快速准确的安装所需要的版本。当设置好操作系统(18.04LTS)、MariaDB版本(10.6)和仓库(Alibaba Cloud)时,网页上会给出添加仓库的命令和安装的命令
添加Repository的命令
sudo apt-get install software-properties-common dirmngr apt-transport-https sudo apt-key adv --fetch-keys 'https://mariadb.org/mariadb_release_signing_key.asc' sudo add-apt-repository 'deb [arch=amd64,arm64,ppc64el] https://mirrors.aliyun.com/mariadb/repo/10.6/ubuntu bionic main'
更新源并安装MariaDB的命令
sudo apt update sudo apt install mariadb-server
完成安装,使用下面的命令检查MariaDB服务状态
sudo systemctl status mariadb
当看到如下界面,恭喜你,安装成功!!!
使用如下命令进行基本的配置:
sudo mysql_secure_installation
执行命令后,终端会有如下问题需要设定:
1.Enter current password for root (enter for none):
(预设的MariaDB没有密码,直接Enter即可)
2.Switch to unix_socket authentication [Y/n] n
(是否切换unix_socket安全认证,这里输入的n,即不切换)
3.Change the root password? [Y/n] y
(是否修改root账户的密码,输入的y,即会修改root密码
注意:
- root密码最好是复杂密码,否则可能会每次连接MariaDB时需要加sudo
- 在设置密码时,输入密码时是不会跳光标的
- 本文将密码设置成abc@@123
)
4.Remove anonymous users? [Y/n] y
(是否删除匿名用户,这里输入的是y,即删除匿名用户
默认情况下,MariaDB安装有匿名用户,允许任何人登录MariaDB而无需为其创建帐户,在生产环境中一定要删除
)
5.Disallow root login remotely? [Y/n] y
(是否允许远程登录root账户,否则只能在localhost上登录root账户,这里输入的y,即不允许远程登录root账户)
6.Remove test database and access to it? [Y/n] y
(是否删除test数据库,这里输入的y,即删除test数据库
默认情况下,MariaDB有一个test数据库,允许任何用户获取
)
7.Reload privilege tables now? [Y/n] y
(是否重新加载权限表,这里输入的y,即立即重新加载)
问题描述:在Ubuntu 18.04 版本中安装 MariaDB 后,每次访问MariaDB 需要加 sudo 才能访问。
原因:MariaDB 中 root 用户的密码强度不是强类型。
解决方案:将root账户的密码修改为强类型的密码,例如包含大小写字母、数字、符号的至少 8 位数。比如下面的命令将密码修改成abc@@123
SET PASSWORD = PASSWORD('abc@@123');
问题描述:不能使用服务器的ip地址连接数据库
原因:默认将ip绑定在了127.0.0.1
上,所以只能使用127.0.0.1
或者localhost
进行连接
解决方案:修改配置文件/etc/mysql/mariadb.conf.d/50-server.cnf
sudo vi /etc/mysql/mariadb.conf.d/50-server.cnf
修改[mysqld]
下的参数 bind-address = 127.0.0.1 => bind-address = 0.0.0.0
然后重启MariaDB service
sudo service mariadb restart
MariaDB/MySQL数据库读取配置文件的顺序如下:
“/etc/mysql/my.cnf” symlinks to this file, reason why all the rest is read.
“/etc/mysql/mariadb.cnf” (this file) to set global defaults,
“/etc/mysql/conf.d/*.cnf” to set global options.i
“/etc/mysql/mariadb.conf.d/*.cnf” to set MariaDB-only options.
“~/.my.cnf” to set user-specific options.
下载地址:https://dlcdn.apache.org/hive/, 本文下载版本为:apache-hive-2.3.9
录然也可以在windows上通过迅雷等加速软件下载好以后,再使用sftp工具上传到相应目录
cd ~/soft
wget https://dlcdn.apache.org/hive/hive-2.3.9/apache-hive-2.3.9-bin.tar.gz
tar -xvf apache-hive-2.3.9-bin.tar.gz -C ~/opt
cd ~/opt
ln -s apache-hive-2.3.9-bin/ hive
配置环境变量
vi ~/.bashrc
在末尾添加如下内容:
export HIVE_HOME=/home/xiaobai/opt/hive
export PATH=$HIVE_HOME/bin:$PATH
使配置生效
source ~/.bashrc
MySQL的连接驱动的下载页面:https://downloads.mysql.com/archives/c-j/
这里使用wget下载5.1.49版本的连接器:
cd ~/soft
wget https://cdn.mysql.com/archives/mysql-connector-java-5.1/mysql-connector-java-5.1.49.tar.gz
tar -xvf mysql-connector-java-5.1.49.tar.gz
cp mysql-connector-java-5.1.49/mysql-connector-java-5.1.49.jar ~/opt/hive/lib
当然也可以在windows上下载好相应的连接器,然后将其传入目录
$HIVE_HOME/lib
即可
配置文件:hive-site.xml
常用配置参数介绍:
属性名称 | 类型 | 默认值 | 描述 |
---|---|---|---|
hive.metastore.warehouse.dir | URI | /user/hive/warehouse | 相对于fs.defaultFS的目录,托管表就存储在这里 |
hive.metastore.uris | 逗号分隔的URI | 未设定 | 如果未设置(默认值),则使用当前的metastore,否则连接到由URI列表指定要连接的远程metastore服务器。如果有多个远程服务器,则客户端便以轮询方式连接 |
javax.jdo.option.ConnectionURL | URI | jdbc:derby:;databaseName=metastore_db;create=true | JDBC URL, mysql示例: jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true |
javax.jdo.option.ConnectionDriverName | String | org.apache.derby.jdbc.EmbeddedDriver | JDBC驱动器的类名 mysql示例: com.mysql.jdbc.Driver |
javax.jdo.option.ConnectionUserName | String | APP | JDBC用户名 |
javax.jdo.option.ConnectionPassword | String | mine | JDBC密码 |
打开hive-site.xml
vi ~/opt/hive/conf/hive-site.xml
添加如下内容
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://node1:3306/hive?useSSL=false&createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hive_pwd</value>
</property>
<property>
<name>hive.server2.thrift.port</name>
<value>10000</value>
</property>
<property>
<name>hive.server2.thrift.bind.host</name>
<value>node1</value>
</property>
</configuration>
特别注意:这里设置的数据库主机为node1, 需要解决数据库**远程不能访问**的问题
mysql -uroot -pabc@@123
grant all privileges on hive.* to 'hive'@'%' identified by 'hive_pwd';
schematool -dbType mysql -initSchema
#确保启动hdfs和yarn
start-dfs.sh
start-yarn.sh
#进入hive的CLI命令窗口,hive命令后不跟参数时,默认启动cli,即下面命令等价于hive
hive --service cli
使用beeline客户端,需要启动hiveserver2服务(HS2)
nohup hive --service hiveserver2 &
在启动一些后台守护进程时经常搭配使用
nohup
和&
:nohup <程序名> &
使用nohup运行程序
- 使用Ctrl + C发送SIGINT信号,程序关闭
- 关闭session发送SIGHUP信号,程序免疫
使用&后台运行
- 使用Ctrl + C发送SIGINT信号,程序免疫
- 关闭session发送SIGHUP信号,程序关闭
#启动beeline
beeline
#在交互界面输入连接信息:
!connect jdbc:hive2://node1:10000
#输入用户名和密码
#查看所有数据库
show databases;
也可以在beeline启动时就指定相应连接参数
beeline -u jdbc:hive2://node1:10000 -n xiaobai -p 123456
- -u: 连接的JDBC URL
- -n: 连接的用户名
- -p: 连接的密码
至此,大功告成!!!
文章浏览阅读2.2k次。db.setHostName("localhost"); //设置为本地主机 db.setDatabaseName("stu_db"); //选择数据库名称,提前建好 db.setUserName("root"); //设置用户名 db.setPassword("root");//设置密码,此密码要与安装mysql时设置的密码一致..._vsqt连接mysql
文章浏览阅读3.3k次,点赞2次,收藏5次。描述有些清空下,比如U盘制作Ubuntu18.04的桌面镜像事,U盘会因为文件系统写入问题变成2MB左右。回复的话需要重新分区。微软Windows提供了diskpart管理磁盘的工具,基本简单好用方法已管理员打开cmd,执行diskpart命令,进入diskpart键入list disk查看磁盘列表选择U盘(磁盘号),删除分区磁盘管理工具为U盘新建分区,即可解..._windows cmd删除u盘分区
文章浏览阅读333次。Duwamish7资料收集Duwamish深入剖析-结构篇:http://www.cnblogs.com/qiuyun/archive/2007/09/18/897815.html Duwamish架构分析篇:http://hi.baidu.com/wanglianbin/blog/item/c8f26e60a0c6e344eaf8f8a8.html_duwamish7论文
文章浏览阅读2.4k次。--新增INV_ITEM_CATEGORY_PUB.Create_Category ( p_api_version IN NUMBER, p_init_msg_list IN VARCHAR2 DEFAULT FND_API.G_FALSE, p_commit IN VARCHAR2 DEFAULT FND_API.G__inv_item_category_pub.create_category
文章浏览阅读10w+次,点赞190次,收藏1.2k次。一、nvm介绍 在工作中,我们可能同时在进行2个或者多个不同的项目开发,每个项目的需求不同,进而不同项目必须依赖不同版本的NodeJS运行环境,这种情况下,对于维护多个版本的node将会是一件非常麻烦的事情,nvm就是为解决这个问题而产生的,他可以方便的在同一台设备上进行多个node版本之间切换。二、nvm下载安装及使用2.1 nvm下载安装包下载地址:https://github.com/coreybutler/nvm-windows/releases,windows系统下载..._nvm
文章浏览阅读4.3k次。[root@master 6379]# gpg --keyserver hkp://keys.gnupg.net --recv-keys 409B6B1796C275462A1703113804BB82D39DC0E3gpg: 已创建目录‘/root/.gnupg’gpg: 新的配置文件‘/root/.gnupg/gpg.conf’已建立gpg: 警告:在‘/root/.gnupg/gpg...._gpg --keyserver hkp://keys.gnupg.net --recv-keys 409b6b1796c275462a170311380
文章浏览阅读7.2k次,点赞12次,收藏63次。蓝牙,是一种利用低功率无线电,支持设备短距离通信的无线电技术,能在包括移动电话、PDA、无线耳机、笔记本电脑、相关外设等众多设备之间进行无线信息交换,蓝牙工作在全球通用的2.4GHz ISM(即工业、科学、医学)频段,使用IEEE802.11协议。_蓝牙开发
文章浏览阅读75次。学生:本系统采用phpstudy开发平台,后端采用PHP和oracle数据库进行开发,开发工具为HBuilder。学生入住管理: 用户基本信息(增删改查)专业班级管理(增删改查)宿舍楼及宿舍管理(增删改查)人员管理:管理员增删改查,修改密码。报修管理:查询 我要报修 我的报修。电费管理模块:电费缴纳,电费查询。寝室调换管理:(寝室调换查询)报修管理:报修查询,报修处理。寝室调换管理:(增删查)水电管理:(增删改查)通知公告(增删改查)迁出管理:(增删查)缺勤管理:(增删查)_php智慧公寓管理系统
文章浏览阅读713次。Basic包是R语言预装的开发包,包含了常用的数据处理函数,可以对数据进行简单地清理和转换,也可以在使用其他转换函数之前,对数据进行预处理,必须熟练掌握常用的数据处理函数。一,合并向量函数append()用于修改合并向量,可以把两个向量合并为一个:append(x, values, after = length(x))例如:从一个向量的指定位置处,插入另一个向量:> append(1:5, ..._r语言调用"run_model"这个函数
文章浏览阅读137次。本文章总结了关于Oracle事务介绍了事务特征 事务管理 事务读三种用法与举实例说明,有需要了解的朋友可以参考一下本文章。本文章总结了关于Oracle事务介绍了事务特征 事务管理 事务读三种用法与举实例说明,有需要了解的朋友可以参考一下本文章。Oracle 事务的特征 ACID,指事务正确执行的四个基本要素的缩写.包含:原子性(Atomicity)、一致性(Consistency)、隔离性(..._oracle 如何加入特征
文章浏览阅读282次。最近在做一个电商的项目,里面有个上传头像的功能.要求可以上传jpg,png,gif等常见图片格式; 于是想到了阿里云服务器存储图片,同时php操作mysql的方法;准备工作:需要准备以下php文件:1.uploadImage.php(处理图片上传,遵循驼峰命名法)--->在uploadImage.php文件中会把用户本地的图片提交到服务器,并把用户上传的图片的路径拼接上服务器的ip地址..._phpstudy的mysql怎么上传图片
文章浏览阅读2.1k次,点赞3次,收藏12次。1,Docker 服务的架构图2,Docker 平台组成3,网络说明设备名:Server 节点主要作为系统的运行指令的发送节点。server:10.0.6.80Client 节点主要为服务运行的节点,可以使用一个或者多个均可。client1:10.0.6.81client2:10.0.6.82Registry 节点主要作为系统所有的运行的镜像仓库节点。registr..._paas镜像文件