第十七章:Linux之大数据定制篇 大数据定制篇-Shell编程_大数据需要定制开发吗-程序员宅基地

技术标签: python  java  shell  linux  编程语言  

1、为什么要学习Shell编程

  1. Linux运维工程师在进行服务器集群管理时,需要编写Shell程序来进行服务器管理。
  2. 对于JavaEE和Python程序员来说,工作的需要,你的老大会要求你编写一些Shell脚本进行程序或者是服务器的维护,比如编写一个定时备份数据库的脚本。
  3. 对于大数据程序员来说,需要编写Shell程序来管理集群。

2、Shell是什么

Shell是一个命令行解释器,它为用户提供了一个向Linux内核发送请求以便运行程序的界面系统级程序,用户可以用Shell来启动、挂起、停止甚至是编写一些程序。
在这里插入图片描述

3、Shell脚本的执行方式

  • 脚本格式要求
1) 脚本以#!/bin/bash开头
2) 脚本需要有可执行权限
  • 编写第一个Shell脚本
    • 需求说明
    创建一个Shell脚本,输出hello world!
    在这里插入图片描述
    脚本的常用执行方式
    • 方式1(输入脚本的绝对路径或相对路径)
1)首先要赋予helloworld.sh 脚本的+x权限
2)执行脚本 

在这里插入图片描述
• 方式2(sh+脚本)
说明:不用赋予脚本+x权限,直接执行即可。
在这里插入图片描述

4、Shell的变量

Shell的变量的介绍

  1. Linux Shell中的变量分为,系统变量用户自定义变量
  2. 系统变量:
$HOME$PWD$SHELL$USER等等
比如: echo $HOME 等等

在这里插入图片描述
3. 显示当前shell中所有变量:set\

Shell变量的定义

  • 基本语法
  1. 定义变量:变量=值
  2. 撤销变量:unset 变量
  3. 声明静态变量:readonly变量,注意:不能unset
  • 快速入门
    案例1:定义变量A
    案例2:撤销变量A
    在这里插入图片描述
    案例3:声明静态的变量B=2,不能unset
    在这里插入图片描述
    案例4:可把变量提升为全局环境变量,可供其他shell程序使用

定义变量的规则

  1. 变量名称可以由字母、数字和下划线组成,但是不能以数字开头。
  2. 等号两侧不能有空格
  3. 变量名称一般习惯为大写

将命令的返回值赋给变量

  1. A=ls -la 反引号,运行里面的命令,并把结果返回给变量A
  2. A=$(ls -la) 等价于反引号
    在这里插入图片描述

5、设置环境变量

基本语法

  1. export 变量名=变量值 (功能描述:将shell变量输出为环境变量)
  2. source 配置文件 (功能描述:让修改后的配置信息立即生效)
  3. echo $变量名 (功能描述:查询环境变量的值)
    在这里插入图片描述

快速入门

  1. 在/etc/profile文件中定义TOMCAT_HOME环境变量
    在这里插入图片描述
  2. 查看环境变量TOMCAT_HOME的值
    echo $TOMCAT_HOME
  3. 在另外一个shell程序中使用 TOMCAT_HOME
    在这里插入图片描述
    注意:在输出JAVA_HOME 环境变量前,需要让其生效
    source /etc/profile

6、位置参数变量

介绍
当我们执行一个shell脚本时,如果希望获取到命令行的参数信息,就可以使用到位置参数变量
比如 : ./myshell.sh 100 200 , 这个就是一个执行shell的命令行,可以在myshell 脚本中获取到参数信息
基本语法

$n (功能描述:n为数字,$0代表命令本身,$1-$9代表第一到第九个参数,十以上的参数需要用大括号包含,如${
    10})
$* (功能描述:这个变量代表命令行中所有的参数,$*把所有的参数看成一个整体)
$@(功能描述:这个变量也代表命令行中所有的参数,不过$@把每个参数区分对待)
$#(功能描述:这个变量代表命令行中所有参数的个数)

应用实例
案例:编写一个shell脚本 positionPara.sh , 在脚本中获取到命令行的各个参数信息。
在这里插入图片描述

7、预定义变量

基本介绍
就是shell设计者事先已经定义好的变量,可以直接在shell脚本中使用
基本语法
$$ (功能描述:当前进程的进程号(PID))
$! (功能描述:后台运行的最后一个进程的进程号(PID))
$? (功能描述:最后一次执行的命令的返回状态。如果这个变量的值为0,证明上一个命令正确执行;如果这个变量的值为非0(具体是哪个数,由命令自己来决定),则证明上一个命令执行不正确了。)
应用实例
在一个shell脚本中简单使用一下预定义变量
在这里插入图片描述

8、运算符

基本介绍
学习如何在shell中进行各种运算操作。
基本语法

1) “$((运算式))”或“$[运算式]”
2) expr m + n 
注意expr运算符间要有空格
3) expr m - n
4) expr \*, /, % 乘,除,取余

应用实例

案例1:计算(2+3)X4的值
① $((运算式))
在这里插入图片描述
② $[运算式]
在这里插入图片描述
③ expr
在这里插入图片描述
案例2:请求出命令行的两个参数[整数]的和
在这里插入图片描述

9、条件判断

判断语句

  • 基本语法
    [ condition ](注意condition前后要有空格)
    #非空返回true,可使用$?验证(0为true,>1为false)
  • 应用实例
    [ shell ] 返回true
    [] 返回false
    [condition] && echo OK || echo notok 条件满足,执行后面的语句
  • 常用判断条件
  1. 两个整数的比较
    = 字符串比较
    -lt 小于
    -le 小于等于
    -eq 等于
    -gt 大于
    -ge 大于等于
    -ne 不等于
  2. 按照文件权限进行判断 -r 有读的权限
    -w 有写的权限
    -x 有执行的权限
  3. 按照文件类型进行判断 -f 文件存在并且是一个常规的文件
    -e 文件存在
    -d 文件存在并是一个目录
  • 应用实例
    案例1:“ok"是否等于"ok”
    在这里插入图片描述
    案例2:23是否大于等于22
    在这里插入图片描述
    案例3:/root/shell/aaa.txt 目录中的文件是否存在
    在这里插入图片描述

10、流程控制

if 判断

  • 基本语法
if [ 条件判断式 ];then 
程序
fi 
或者
if [ 条件判断式 ] 
then 
程序
elif [条件判断式]
then
程序
fi

注意事项:
1)[ 条件判断式 ],中括号和条件判断式之间必须有空格
2) 推荐使用第二种方式
• 应用实例
案例:请编写一个shell程序,如果输入的参数,大于等于60,则输出 “及格了”,如果小于60,则输出 “不及格”
在这里插入图片描述
case语句

  • 基本语法
case $变量名 in 
"值1")
如果变量的值等于值1,则执行程序1 
;; 
"值2")
如果变量的值等于值2,则执行程序2 
;; 
…省略其他分支… 
*)
如果变量的值都不是以上的值,则执行此程序
;; 
esac

• 应用实例
案例1 :当命令行参数是 1 时,输出 “周一”, 是2 时,就输出"周二", 其它情况输出 “other”
在这里插入图片描述
for循环

  • 基本语法1
for 变量 in 值1 值2 值3… 
do 
程序
done
  • 应用实例
    案例1 :打印命令行输入的参数
    在这里插入图片描述
  • 基本语法2
for (( 初始值;循环控制条件;变量变化 )) 
do 
程序
done
  • 应用实例
    案例1 :从1加到100的值输出显示 [这里可以看出$* 和 $@ 的区别]
    在这里插入图片描述
    while循环
  • 基本语法1
while [ 条件判断式 ] 
do 
程序
done

• 应用实例
案例1 :从命令行输入一个数n,统计从 1+…+ n 的值是多少?
在这里插入图片描述

11、read读取控制台输入

  • 基本语法
    read(选项)(参数) 选项:
    -p:指定读取值时的提示符;
    -t:指定读取值时等待的时间(秒),如果没有在指定的时间内输入,就不再等待了。。
    参数
    变量:指定读取值的变量名
    应用实例
    案例1:读取控制台输入一个num值
    案例2:读取控制台输入一个num值,在10秒内输入。
    在这里插入图片描述

12、函数

函数介绍
shell编程和其它编程语言一样,有系统函数,也可以自定义函数。系统函数中,我们这里就介绍两个。

系统函数

  • basename
    基本语法
    功能:返回完整路径最后 / 的部分,常用于获取文件名
    basename [pathname] [suffix]
    basename [string] [suffix] (功能描述:basename命令会删掉所有的前缀包括最后一个(‘/’)字符,然后将字符串显示出来。
    选项:
    suffix为后缀,如果suffix被指定了,basename会将pathname或string中的suffix去掉。
  • 应用实例
    案例1:请返回 /home/aaa/test.txt 的 “test.txt” 部分
    在这里插入图片描述
  • dirname基本语法
    功能:返回完整路径最后 / 的前面的部分,常用于返回路径部分
    dirname 文件绝对路径 (功能描述:从给定的包含绝对路径的文件名中去除文件名(非目录的部分),
    然后返回剩下的路径(目录的部分))
  • 应用实例
    案例1:请返回 /home/aaa/test.txt 的 /home/aaa
    在这里插入图片描述
    自定义函数
  • 基本语法
[ function ] funname[()]
{
    
Action;
[return int;]
}调用直接写函数名:funname [] 
  • 应用实例
    案例1:计算输入两个参数的和, getSum
    在这里插入图片描述

13、Shell编程综合案例

需求分析

  1. 每天凌晨 2:10 备份 数据库 atguiguDB 到 /data/backup/db
  2. 备份开始和备份结束能够给出相应的提示信息
  3. 备份后的文件要求以备份时间为文件名,并打包成 .tar.gz 的形式,比如:
    2018-03-12_230201.tar.gz
  4. 在备份的同时,检查是否有10天前备份的数据库文件,如果有就将其删除。
    在这里插入图片描述
    在这里插入图片描述
    代码实现:
    在这里插入图片描述
    以上就是关于LinuxShell编程的介绍,如果有不当之处或者遇到什么问题,欢迎在文章下面留言~
    如果你想了解更多关于Linux的内容,可以查看:Linux学习目录(超详细)
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_44662961/article/details/106988803

智能推荐

软件测试流程包括哪些内容?测试方法有哪些?_测试过程管理中包含哪些过程-程序员宅基地

文章浏览阅读2.9k次,点赞8次,收藏14次。测试主要做什么?这完全都体现在测试流程中,同时测试流程是面试问题中出现频率最高的,这不仅是因为测试流程很重要,而是在面试过程中这短短的半小时到一个小时的时间,通过测试流程就可以判断出应聘者是否合适,故在测试流程中包含了测试工作的核心内容,例如需求分析,测试用例的设计,测试执行,缺陷等重要的过程。..._测试过程管理中包含哪些过程

政府数字化政务的人工智能与机器学习应用:如何提高政府工作效率-程序员宅基地

文章浏览阅读870次,点赞16次,收藏19次。1.背景介绍政府数字化政务是指政府利用数字技术、互联网、大数据、人工智能等新技术手段,对政府政务进行数字化改革,提高政府工作效率,提升政府服务质量的过程。随着人工智能(AI)和机器学习(ML)技术的快速发展,政府数字化政务中的人工智能与机器学习应用也逐渐成为政府改革的重要内容。政府数字化政务的人工智能与机器学习应用涉及多个领域,包括政策决策、政府服务、公共安全、社会治理等。在这些领域,人工...

ssm+mysql+微信小程序考研刷题平台_mysql刷题软件-程序员宅基地

文章浏览阅读219次,点赞2次,收藏4次。系统主要的用户为用户、管理员,他们的具体权限如下:用户:用户登录后可以对管理员上传的学习视频进行学习。用户可以选择题型进行练习。用户选择小程序提供的考研科目进行相关训练。用户可以进行水平测试,并且查看相关成绩用户可以进行错题集的整理管理员:管理员登录后可管理个人基本信息管理员登录后可管理个人基本信息管理员可以上传、发布考研的相关例题及其分析,并对题型进行管理管理员可以进行查看、搜索考研题目及错题情况。_mysql刷题软件

根据java代码描绘uml类图_Myeclipse8.5下JAVA代码导成UML类图-程序员宅基地

文章浏览阅读1.4k次。myelipse里有UML1和UML2两种方式,UML2功能更强大,但是两者生成过程差别不大1.建立Test工程,如下图,uml包存放uml类图package com.zz.domain;public class User {private int id;private String name;public int getId() {return id;}public void setId(int..._根据以下java代码画出类图

Flume自定义拦截器-程序员宅基地

文章浏览阅读174次。需求:一个topic包含很多个表信息,需要自动根据json字符串中的字段来写入到hive不同的表对应的路径中。发送到Kafka中的数据原本最外层原本没有pkDay和project,只有data和name。因为担心data里面会空值,所以根同事商量,让他们在最外层添加了project和pkDay字段。pkDay字段用于表的自动分区,proejct和name合起来用于自动拼接hive表的名称为 ..._flume拦截器自定义开发 kafka

java同时输入不同类型数据,Java Spring中同时访问多种不同数据库-程序员宅基地

文章浏览阅读380次。原标题:Java Spring中同时访问多种不同数据库 多样的工作要求,可以使用不同的工作方法,只要能获得结果,就不会徒劳。开发企业应用时我们常常遇到要同时访问多种不同数据库的问题,有时是必须把数据归档到某种数据仓库中,有时是要把数据变更推送到第三方数据库中。使用Spring框架时,使用单一数据库是非常容易的,但如果要同时访问多个数据库的话事件就变得复杂多了。本文以在Spring框架下开发一个Sp..._根据输入的不同连接不同的数据库

随便推点

EFT试验复位案例分析_eft电路图-程序员宅基地

文章浏览阅读3.6k次,点赞9次,收藏25次。本案例描述了晶振屏蔽以及开关电源变压器屏蔽对系统稳定工作的影响, 硬件设计时应考虑。_eft电路图

MR21更改价格_mr21 对于物料 zba89121 存在一个当前或未来标准价格-程序员宅基地

文章浏览阅读1.1k次。对于物料价格的更改,可以采取不同的手段:首先,我们来介绍MR21的方式。 需要说明的是,如果要对某一产品进行价格修改,必须满足的前提条件是: ■ 1、必须对价格生效的物料期间与对应会计期间进行开启; ■ 2、该产品在该物料期间未发生物料移动。执行MR21,例如更改物料1180051689的价格为20000元,系统提示“对于物料1180051689 存在一个当前或未来标准价格”,这是因为已经对该..._mr21 对于物料 zba89121 存在一个当前或未来标准价格

联想启天m420刷bios_联想启天M420台式机怎么装win7系统(完美解决usb)-程序员宅基地

文章浏览阅读7.4k次,点赞3次,收藏13次。[文章导读]联想启天M420是一款商用台式电脑,预装的是win10系统,用户还是喜欢win7系统,该台式机采用的intel 8代i5 8500CPU,在安装安装win7时有很多问题,在安装win7时要在BIOS中“关闭安全启动”和“开启兼容模式”,并且安装过程中usb不能使用,要采用联想win7新机型安装,且默认采用的uefi+gpt模式,要改成legacy+mbr引导,那么联想启天M420台式电..._启天m420刷bios

冗余数据一致性,到底如何保证?-程序员宅基地

文章浏览阅读2.7k次,点赞2次,收藏9次。一,为什么要冗余数据互联网数据量很大的业务场景,往往数据库需要进行水平切分来降低单库数据量。水平切分会有一个patition key,通过patition key的查询能..._保证冗余性

java 打包插件-程序员宅基地

文章浏览阅读88次。是时候闭环Java应用了 原创 2016-08-16 张开涛 你曾经因为部署/上线而痛苦吗?你曾经因为要去运维那改配置而烦恼吗?在我接触过的一些部署/上线方式中,曾碰到过以下一些问题:1、程序代码和依赖都是人工上传到服务器,不是通过工具进行部署和发布;2、目录结构没有规范,jar启动时通过-classpath任意指定;3、fat jar,把程序代码、配置文件和依赖jar都打包到一个jar中,改配置..._那么需要把上面的defaultjavatyperesolver类打包到插件中

VS2015,Microsoft Visual Studio 2005,SourceInsight4.0使用经验,Visual AssistX番茄助手的安装与基本使用9_番茄助手颜色-程序员宅基地

文章浏览阅读909次。1.得下载一个番茄插件,按alt+g才可以有函数跳转功能。2.不安装番茄插件,按F12也可以有跳转功能。3.进公司的VS工程是D:\sync\build\win路径,.sln才是打开工程的方式,一个是VS2005打开的,一个是VS2013打开的。4.公司库里的线程接口,在CmThreadManager.h 里,这个里面是我们的线程库,可以直接拿来用。CreateUserTaskThre..._番茄助手颜色

推荐文章

热门文章

相关标签