技术标签: 2024年程序员学习 hadoop 分布式 大数据
——在此我只克隆了一个虚拟机,因为设置Hadoop集群暂且只需克隆一个,如有需要可以根据需求多克隆几个,后面步骤带有克隆的虚拟机的多做一个虚拟机的操作即可
首先先关闭虚拟机Master,再选中Master右键选择设置-克隆
名称和位置自己改变
修改主机名
vi /etc/hostname
增加主机名到文件中,然后重启服务器
注意!两个虚拟机都需要增加对应的主机名
#localhost.localdomain
master
关闭防火墙
systemctl stop firewalld.service 关闭防火墙
firewall-cmd --state 检查是否关闭了
——实现免密登录前提是另一个虚拟机得开启,且防火墙关闭,如果完成此步骤之后不能成功免密登录可以看看是否是这两个原因
在/etc/hosts文件中配置ip对应主机
IP地址 master
IP地址 node1
生成秘钥
ssh-keygen -t rsa -P “” //生成密钥的命令
//回车后会显示以下内容,切记一路回车别输入然后东西!!!
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Created directory ‘/root/.ssh’.
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:AtZHQcFd10Qth+HXMib4saDzZhtYJBkS5VEyH04RiNM root@d23abd7ce7a9
The key’s randomart image is: //密钥
±–[RSA 2048]----+
| oB@**+. o*+|
| .o+EX.o oo =|
| o …= * o =oo|
| . . . + o = + |
| . S . o |
| . = |
| . = |
| o o |
| . |
±—[SHA256]-----+
//再输入以下命令
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
将PermitRootLogin yes、PubkeyAuthentication yes的注释去掉,就是把前面的#删掉
sh-4.2# vim /etc/ssh/sshd_config
sh-4.2# systemctl enable sshd.service
sh-4.2# systemctl start sshd.service
再输入以下命令,做就完了
cd $HOME/.ssh/
chmod 600 authorized_keys
ssh localhost
scp -r ~/.ssh root@node1:~/ //这的node1是我的克隆虚拟机的主机名,换成自己的
免密登录验证
ssh node1
成功!
——此代码在我的机器上是可以成功,但是也有他人按照此代码失败的情况,如果失败可以寻找其他的代码来尝试配置
将hadoop的安装包上传到服务器
tar解压安装包
[root@master tools]# tar -xvf hadoop-3.2.3.tar.gz //hadoop文件名按照自己的来
[root@master tools]# mv hadoop-3.2.3 /usr/local/hadoop3 //移动解压后的Hadoop文件到/usr/local/hadoop3目录下
修改master节点上的hadoop配置文件,修改配置文件/etc/profile,文末加入以下配置
export HADOOP_HOME=/usr/local/hadoop3 //路径为上一步转移的目录
export PATH= P A T H : PATH: PATH:HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_PREFIX=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_CONF_DIR=$HADOOP_HOME
export HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec
export JAVA_LIBRARY_PATH= H A D O O P _ H O M E / l i b / n a t i v e : HADOOP\_HOME/lib/native: HADOOP_HOME/lib/native:JAVA_LIBRARY_PATH
export HADOOP_CONF_DIR=$HADOOP_PREFIX/etc/hadoop
export HDFS_DATANODE_USER=root
export HDFS_DATANODE_SECURE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HDFS_NAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
通过source命令将配置生效
source /etc/profile
查看是否设定好了环境变量
echo $HADOOP_HOME
显示为/etc/profile文件中的HADOOP_HOME位置
修改hadoop-env.sh等文件
[root@d422409c8ce5 hadoop]# vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh
[root@d422409c8ce5 hadoop]# vim $HADOOP_HOME/etc/hadoop/yarn-env.sh
[root@d422409c8ce5 hadoop]# vim $HADOOP_HOME/etc/hadoop/mapred-env.sh
文末添加jdk的安装路径
增加node1的信息(自己克隆的虚拟机名称)
vi $HADOOP_HOME/etc/hadoop/workers
添加内容:node1
把以下文件的configuration修改为如下内容:
vim $HADOOP_HOME/etc/hadoop/core-site.xml
fs.defaultFS
hdfs://master:9000
hadoop.tmp.dir
/home/hadoop/tmp
io.file.buffer.size
131702
hadoop.http.staticuser.user
root
vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml
dfs.namenode.name.dir
file:/home/hadoop/tmp/dfs/name
dfs.datanode.data.dir
file:/home/hadoop/tmp/dfs/data
dfs.replication
3
dfs.namenode.http-address
master:50070
NameNode address and port
dfs.namenode.secondary.http-address
master:50090
Secondary NameNode address and port
dfs.webhdfs.enabled
true
dfs.stream-buffer-size
131072
dfs.namenode.checkpoint.dir
file:/home/hadoop/tmp/dfs/namesecondary
vim $HADOOP_HOME/etc/hadoop/mapred-site.xml
mapreduce.framework.name
yarn
mapreduce.jobhistory.address
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数大数据工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上大数据开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)
己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!**
因此收集整理了一份《2024年大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
[外链图片转存中…(img-ZSjOHdCt-1712519855743)]
[外链图片转存中…(img-XdJqEO60-1712519855744)]
[外链图片转存中…(img-OmfSPsCF-1712519855744)]
[外链图片转存中…(img-SSMMtP14-1712519855744)]
[外链图片转存中…(img-cgwYwI2w-1712519855745)]
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上大数据开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)
[外链图片转存中…(img-LJlgwAhB-1712519855745)]
文章浏览阅读1.6k次。安装配置gi、安装数据库软件、dbca建库见下:http://blog.csdn.net/kadwf123/article/details/784299611、检查集群节点及状态:[root@rac2 ~]# olsnodes -srac1 Activerac2 Activerac3 Activerac4 Active[root@rac2 ~]_12c查看crs状态
文章浏览阅读1.3w次,点赞45次,收藏99次。我个人用的是anaconda3的一个python集成环境,自带jupyter notebook,但在我打开jupyter notebook界面后,却找不到对应的虚拟环境,原来是jupyter notebook只是通用于下载anaconda时自带的环境,其他环境要想使用必须手动下载一些库:1.首先进入到自己创建的虚拟环境(pytorch是虚拟环境的名字)activate pytorch2.在该环境下下载这个库conda install ipykernelconda install nb__jupyter没有pytorch环境
文章浏览阅读5.2k次,点赞19次,收藏28次。选择scoop纯属意外,也是无奈,因为电脑用户被锁了管理员权限,所有exe安装程序都无法安装,只可以用绿色软件,最后被我发现scoop,省去了到处下载XXX绿色版的烦恼,当然scoop里需要管理员权限的软件也跟我无缘了(譬如everything)。推荐添加dorado这个bucket镜像,里面很多中文软件,但是部分国外的软件下载地址在github,可能无法下载。以上两个是官方bucket的国内镜像,所有软件建议优先从这里下载。上面可以看到很多bucket以及软件数。如果官网登陆不了可以试一下以下方式。_scoop-cn
文章浏览阅读4.5k次,点赞2次,收藏3次。首先要有一个color-picker组件 <el-color-picker v-model="headcolor"></el-color-picker>在data里面data() { return {headcolor: ’ #278add ’ //这里可以选择一个默认的颜色} }然后在你想要改变颜色的地方用v-bind绑定就好了,例如:这里的:sty..._vue el-color-picker
文章浏览阅读640次。基于芯片日益增长的问题,所以内核开发者们引入了新的方法,就是在内核中只保留函数,而数据则不包含,由用户(应用程序员)自己把数据按照规定的格式编写,并放在约定的地方,为了不占用过多的内存,还要求数据以根精简的方式编写。boot启动时,传参给内核,告诉内核设备树文件和kernel的位置,内核启动时根据地址去找到设备树文件,再利用专用的编译器去反编译dtb文件,将dtb还原成数据结构,以供驱动的函数去调用。firmware是三星的一个固件的设备信息,因为找不到固件,所以内核启动不成功。_exynos 4412 刷机
文章浏览阅读2w次,点赞24次,收藏42次。Linux系统配置jdkLinux学习教程,Linux入门教程(超详细)_linux配置jdk
文章浏览阅读3.3k次,点赞5次,收藏19次。xlabel('\delta');ylabel('AUC');具体符号的对照表参照下图:_matlab微米怎么输入
文章浏览阅读119次。顺序读写指的是按照文件中数据的顺序进行读取或写入。对于文本文件,可以使用fgets、fputs、fscanf、fprintf等函数进行顺序读写。在C语言中,对文件的操作通常涉及文件的打开、读写以及关闭。文件的打开使用fopen函数,而关闭则使用fclose函数。在C语言中,可以使用fread和fwrite函数进行二进制读写。 Biaoge 于2024-03-09 23:51发布 阅读量:7 ️文章类型:【 C语言程序设计 】在C语言中,用于打开文件的函数是____,用于关闭文件的函数是____。
文章浏览阅读3.4k次,点赞2次,收藏13次。跟随鼠标移动的粒子以grid(SOP)为partical(SOP)的资源模板,调整后连接【Geo组合+point spirit(MAT)】,在连接【feedback组合】适当调整。影响粒子动态的节点【metaball(SOP)+force(SOP)】添加mouse in(CHOP)鼠标位置到metaball的坐标,实现鼠标影响。..._touchdesigner怎么让一个模型跟着鼠标移动
文章浏览阅读178次。项目运行环境配置:Jdk1.8 + Tomcat7.0 + Mysql + HBuilderX(Webstorm也行)+ Eclispe(IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持)。项目技术:Springboot + mybatis + Maven +mysql5.7或8.0+html+css+js等等组成,B/S模式 + Maven管理等等。环境需要1.运行环境:最好是java jdk 1.8,我们在这个平台上运行的。其他版本理论上也可以。_基于java技术的停车场管理系统实现与设计
文章浏览阅读3.5k次。前言对于MediaPlayer播放器的源码分析内容相对来说比较多,会从Java-&amp;gt;Jni-&amp;gt;C/C++慢慢分析,后面会慢慢更新。另外,博客只作为自己学习记录的一种方式,对于其他的不过多的评论。MediaPlayerDemopublic class MainActivity extends AppCompatActivity implements SurfaceHolder.Cal..._android多媒体播放源码分析 时序图
文章浏览阅读2.4k次,点赞41次,收藏13次。java 数据结构与算法 ——快速排序法_快速排序法