30分钟shell入门

这篇文档主要学习一下shell的基本语法与操作。

Shell简介

C语言编写实现
既是命令语言，也是程序设计语言。前者：交互的解释和执行用户输入的命令。后者：定义了各种变量和参数，并提供了高级控制结构。
shell的两种执行方式
- 交互式：解释执行用户输入的命令，用户输入一条，shell解释一条
- 批处理（batch）：用户事先写一个shell脚本，让用户一次执行所有命令

几种常见的Shell

一般来说这里的shell指的是shell脚本解释器（内核）。

bash：Linux默认的标准shell，共40个内部命令，完全兼容sh
sh：Unix默认的标准shell
ash：Linux系统中占用资源最少的shel，不过只包含24个命令，使用不便
csh：Linux中比较大的内核，共52个命令，其实质是/bin/tcsh
ksh：共42条命令，与商业发行版的ksh几乎完全兼容

shell脚本语言与编译型语言的差异

程序设计语言大致分为两大类：

编译型语言：主要是一些传统的语言，如C，C++，Fortrn等
- 需要编译：将源代码转换为目标代码
- 运行时直接读取目标代码（机器语言），因而执行效率高
- 由于大多都是进行底层操作，因而就比较难进行一些文件类的操作，如文件复制，重命名等
解释型语言：也称为脚本语言，常见的如shell，Perl以及Python语言
- 运行时，解释器直接读取源码，然后将其转换为目标代码，最后运行
- 优点：易于处理文件类的操作
- 缺点：运行效率不及编译型的语言

第一个Shell脚本

1 2	#!/bin/bash echo "Hello world!"

#!是预定标记，告诉系统使用什么解释器来执行命令
运行方法：
- 作为可执行程序：chmod +x test.sh
- 作为解释器参数：/bin/sh tesh.sh，以这种方式运行，不需要在第一行指定解释器信息

另一个例子：使用read从stdin获取输入并赋值给PERSON变量，最后在stdou输出

#!/bin/bash
# Author : mozhiyan
# Copyright (c) http://OutOfMemory.CN/cpp/linux/
# Script follows here:
echo "What is your name?"
read PERSON
echo "Hello, $PERSON"

Shell变量

定义变量

1	variablename="value"

变量名与等号之间不能有空格
变量名规则：字母，数字及下划线
- 首个字符必须为字母（a-z，A-Z）。
- 中间不能有空格，可以使用下划线（_）。
- 不能使用标点符号。
- 不能使用bash里的关键字（可用help命令查看保留关键字）。

使用变量

your_name="mozhiyan"
echo $your_name
# OR
echo ${your_name}  #推荐

使用定义过的变量：变量名前加美元符号($)
变量名外的花括号可选，避免歧义。推荐加上

重新定义变量

myUrl="http://OutOfMemory.CN/cpp/linux/"
echo ${myUrl}
myUrl="http://OutOfMemory.CN/cpp/shell/"
echo ${myUrl}

需要注意的是重新定义的时候不能有$

只读变量

#!/bin/bash
myUrl="http://OutOfMemory.CN/cpp/shell/"
readonly myUrl
myUrl="http://OutOfMemory.CN/cpp/danpianji/"

执行上述脚本，报错
原因：使用 readonly 命令可以将变量定义为只读变量，只读变量的值不能被改变。

删除变量

1	unset variable_name

使用unset命令可以删除变量，变量删除后不可再次使用
unset不能删除只读变量

#!/bin/sh
myUrl="http://OutOfMemory.CN/cpp/u/xitong/"
unset myUrl
echo $myUrl  # 没有任何输出

变量类型

局部变量：在脚本或命令中定义，仅在当前shell实例中有效，其他shell启动的程序不能访问局部变量。
环境变量：所有的程序，包括shell启动的程序，都能访问环境变量，有些程序需要环境变量来保证其正常运行。必要的时候shell脚本也可以定义环境变量。
shell变量：shell变量是由shell程序设置的特殊变量。shell变量中有一部分是环境变量，有一部分是局部变量，这些变量保证了shell的正常运行

特殊变量

命令行参数：运行脚本时，传递给脚本的参数称为命令行参数，第n个参数就是$n
\$*和\$@的区别：
- 不加双引号（” “）它们两个一样，都是参数分开输出；
- 加双引号时，”\$*“表示一个字符串”\$1 \$2 … \$n”，”\$@”表示n个字符串为”\$1” “\$2” … “\$n”。
退出状态：\$? 可以获取上一个命令的退出状态，即上一个命令执行后的返回结果，一般成功返回 0，失败返回 1

Shell替换

转义字符

#!/bin/bash
a=10
echo -e "Value of a is $a \n"

使用-e表示对转义字符进行替换，不加的话会原样输出
可以在echo中使用的转义字符（类似于C）
- -E：echo命令禁止转义，默认不转义
- -n：禁止插入换行符

命令替换

命令替换是指Shell可以先执行命令，将输出结果暂时保存，在适当的地方输出。

1	`command` #注意是反引号，不是单引号

例子：

#!/bin/bash
DATE=`date`                    #运行data命令，同时将结果保存在DATE中
echo "Date is $DATE"
USERS=`who | wc -l`
echo "Logged in user are $USERS"
UP=`date ; uptime`
echo "Uptime is $UP"

变量替换

根据变量的状态（是否为空，是否定义等）来改变他的值。

word指的是字符串或是其他变量

例子：

#!/bin/bash
echo ${var:-"Variable is not set"}
echo "1 - Value of var is ${var}"
echo ${var:="Variable is not set"}
echo "2 - Value of var is ${var}"
unset var
echo ${var:+"This is default value"}
echo "3 - Value of var is $var"
var="Prefix"
echo ${var:+"This is default value"}
echo "4 - Value of var is $var"
echo ${var:?"Print this message"}
echo "5 - Value of var is ${var}"
# Result
Variable is not set
1 - Value of var is
Variable is not set
2 - Value of var is Variable is not set
3 - Value of var is
This is default value
4 - Value of var is Prefix
Prefix
5 - Value of var is Prefix

Shell注释

使用#来进行注释
没有块注释，只有行注释
可以通过加花括号+定义函数的方式来实现块注释（不进行调用函数调用）

Shell运算符

算术运算符

原生的bash不支持简单的数学运算，但是可以通过其他命令来实现，例如awk和expr

#!/bin/bash
val=`expr 2 + 2`
echo "Total value : $val"
# Result
Total value : 4

expr 是一款表达式计算工具，使用它能完成表达式的求值操作
表达式和运算符之间要有空格，例如 2+2 是不对的，必须写成 2 + 2，这与我们熟悉的大多数编程语言不一样。
完整的表达式要被 ` ` 包含，注意这个字符不是常用的单引号，在 Esc 键下边。见命令替换

例子：

#!/bin/sh
a=10
b=20
val=`expr $a + $b`
echo "a + b : $val"
val=`expr $a - $b`
echo "a - b : $val"
val=`expr $a \* $b`
echo "a * b : $val"
val=`expr $b / $a`
echo "b / a : $val"
val=`expr $b % $a`
echo "b % a : $val"
if [ $a == $b ]
then
   echo "a is equal to b"
fi
if [ $a != $b ]
then
   echo "a is not equal to b"
fi
# Reuslt
a + b : 30
a - b : -10
a * b : 200
b / a : 2
b % a : 0
a is not equal to b

乘号(*)前边必须加反斜杠(\)才能实现乘法运算；
if...then...fi是条件语句，后续将会讲解。
条件表达式要放在方括号之间，并且要有空格，例如 [\$a==\$b] 是错误的，必须写成 [ \$a == \$b ]
常见的算术运算符：

关系运算符

关系运算符只支持数字，不支持字符串，除非字符串的值是数字
条件表达式：方括号 + 空格

布尔运算符

字符串运算符

=在算术运算符中是是赋值，但在字符串运算符中是比较字符串是否相等
z=zero , n=not zero

文件测试运算符

#!/bin/sh
file="/var/www/tutorialspoint/unix/test.sh"
if [ -r $file ]
then
   echo "File has read access"
else
   echo "File does not have read access"
fi
if [ -w $file ]
then
   echo "File has write permission"
else
   echo "File does not have write permission"
fi
if [ -x $file ]
then
   echo "File has execute permission"
else
   echo "File does not have execute permission"
fi
if [ -f $file ]
then
   echo "File is an ordinary file"
else
   echo "This is sepcial file"
fi
if [ -d $file ]
then
   echo "File is a directory"
else
   echo "This is not a directory"
fi
if [ -s $file ]
then
   echo "File size is zero"
else
   echo "File size is not zero"
fi
if [ -e $file ]
then
   echo "File exists"
else
   echo "File does not exist"
fi
# Result  假定：大小为100字节，具有 rwx 权限
File has read access
File has write permission
File has execute permission
File is an ordinary file
This is not a directory
File size is zero
File exists

常见的文件测试运算符

Shell字符串

字符串可以用单引号，也可以用双引号，也可以不用引号。

单引号

1	str='this is a string'

单引号里的任何字符都会原样输出，单引号字符串中的变量是无效的；
单引号字串中不能出现单引号（对单引号使用转义符后也不行）。

双引号

1 2	your_name='qinjx' str="Hello, I know your are \"$your_name\"! \n"

双引号里可以有变量
双引号里可以出现转义字符

拼接字符串

your_name="qinjx"
greeting="hello, "$your_name" !"
greeting_1="hello, ${your_name} !"
echo $greeting $greeting_1

获取字符串长度

1 2	string="abcd" echo ${#string} # 在变量名前加#，输出 4

提取子字符串

1 2	string="alibaba is a great company" echo ${string:1:4} # 第一个为0, 实际提取的是第2：5个字母，输出liba

查找子字符

1 2	string="alibaba is a great company" echo `expr index "$string" is` # 查找的字符串为is，但是最终返回的是字母i第一次出现的位置，与is没有关系

Shell数组

只支持一维数组，不支持多维数组，数组大小不限
下标从0开始，获取相应的元素要使用下标，下标可以使算术表达式

定义数组

array_name=(value0 value1 value2 value3)
# OR
array_name[0]=value0
array_name[1]=value1
array_name[2]=value2

小括号表示数组
元素之间用空格分隔
也可以类似于C 中的单独定义各元素
可以使用不连续的小标，而且下标范围没有限制

读取数组

1	valuen=${array_name[index]}

使用@ 或 * 可以获取数组中的所有元素，依次输出结果

获取数组长度

# 取得数组元素的个数
length=${#array_name[@]}   # 在变量前加`#`
# 或者
length=${#array_name[*]}
# 取得数组单个元素的长度
lengthn=${#array_name[n]}

Shell echo

echo是Shell的一个内部指令，用于在屏幕上打印出指定的字符串。命令格式：
1
echo $arg
显示转义字符
1
2
echo "\"It is a test\""
# "It is a test"
- 对于前面提到的特殊转义字符，可以使用选项来设置是否转义输出，但是对于普通的转义字符不能设置是否输出，如同本例
- 双引号在这可以省略

显示变量

name="OK"
echo "$name It is a test"
# 相连情况
mouth=8
echo "${mouth}-1-2009"  # 不加大括号将会导致无法区分变量

如果变量与其它字符相连的话，需要使用大括号（{ }）

显示换行
1
2
echo "OK!\n"
echo "It is a test"
显示不换行
1
2
echo "OK!\c"
echo "It is a test"
显示结果重定向到文件
1
echo "It is a test" > myfile
原样输出字符串
1
echo '$name\"'
- 不进行转义，单引号

显示执行的命令

1	echo `date` # ``之中的是一个命令

Shell Printf

用于格式化输出，是echo的增强版
C语言printf()函数的一个有限变形，语法也略有不同
- printf 命令不用加括号
- format-string 可以没有引号，但最好加上，单引号双引号均可。
- 参数多于格式控制符(%)时，format-string 可以重用，可以将所有参数都转换。
- arguments 使用空格分隔，不用逗号。
用法：
1
printf format-string [arguments...]

例子：

# format-string为双引号
$ printf "%d %s\n" 1 "abc"
1 abc
# 单引号与双引号效果一样 
$ printf '%d %s\n' 1 "abc" 
1 abc
# 没有引号也可以输出
$ printf %s abcdef
abcdef
# 格式只指定了一个参数，但多出的参数仍然会按照该格式输出，format-string 被重用
$ printf %s abc def
abcdef
$ printf "%s\n" abc def
abc
def
$ printf "%s %s %s\n" a b c d e f g h i j
a b c
d e f
g h i
j
# 如果没有 arguments，那么 %s 用NULL代替，%d 用 0 代替
$ printf "%s and %d \n" 
and 0
# 如果以 %d 的格式来显示字符串，那么会有警告，提示无效的数字，此时默认置为 0
$ printf "The first program always prints'%s,%d\n'" Hello Shell
-bash: printf: Shell: invalid number
The first program always prints 'Hello,0'

Shell if-else

Shell 有三种 if … else 语句：

if … fi 语句；
if … else … fi 语句；
if … elif … else … fi 语句。

if … fi 语句

if [ expression ]
then
   Statement(s) to be executed if expression is true
fi

expression 和方括号[ ]之间必须有空格，否则会有语法错误。

if … else … fi 语句

if [ expression ]
then
   Statement(s) to be executed if expression is true
else
   Statement(s) to be executed if expression is not true
fi

if … elif … fi 语句

if [ expression 1 ]
then
   Statement(s) to be executed if expression 1 is true
elif [ expression 2 ]
then
   Statement(s) to be executed if expression 2 is true
elif [ expression 3 ]
then
   Statement(s) to be executed if expression 3 is true
else
   Statement(s) to be executed if no expression is true
fi

if … else 语句也可以写成一行，以命令的方式来运行，像这样：

1 2	if test $[2*3] -eq $[1+5]; then echo 'The two numbers are equal!'; fi; # test 命令用于检查某个条件是否成立，与方括号([ ])类似。

Shell test

Shell中的 test 命令用于检查某个条件是否成立，它可以进行数值、字符和文件三个方面的测试。等同于[ ]

Shell case-esac

case 值 in
模式1)
    command1
    command2
    command3
    ;;
模式2）
    command1
    command2
    command3
    ;;
*)
    command1
    command2
    command3
    ;;
esac

case 语句匹配一个值或一个模式，如果匹配成功，执行相匹配的命令。
取值后面必须为关键字 in，每一模式必须以右括号，取值可以为变量或常数。
匹配发现取值符合某一模式后，其间所有命令开始执行直至 ;;。;; 与其他语言中的 break 类似，意思是跳到整个 case 语句的最后。
如果无一匹配模式，使用星号 * 捕获该值，再执行后面的命令。

例1：

echo 'Input a number between 1 to 4'
echo 'Your number is:\c'
read aNum
case $aNum in
    1)  echo 'You select 1'
    ;;
    2)  echo 'You select 2'
    ;;
    3)  echo 'You select 3'
    ;;
    4)  echo 'You select 4'
    ;;
    *)  echo 'You do not select a number between 1 to 4'
    ;;
esac

例2：

#!/bin/bash
option="${1}"                  # 参见特殊变量 $1 等于 第2个变量（从0开始计算变量）
case ${option} in
   -f) FILE="${2}"
      echo "File name is $FILE"
      ;;
   -d) DIR="${2}"
      echo "Dir name is $DIR"
      ;;
    *) 
      echo "`basename ${0}`:usage: [-f file] | [-d directory]"
      exit 1 # Command to come out of the program with status 1
      ;;
esac

结果：

$./test.sh
test.sh: usage: [ -f filename ] | [ -d directory ]
$ ./test.sh -f index.htm
File name is index.htm
$ ./test.sh -d unix
Dir name is unix

Shell for

for 变量 in 列表
do
    command1
    command2
    ...
    commandN
done

列表是一组值（数字、字符串等）组成的序列，每个值通过空格分隔。每循环一次，就将列表中的下一个值赋给变量。
in 列表是可选的，如果不用它，for 循环使用命令行的位置参数。

Shell while

while command
do
   Statement(s) to be executed if command is true
done

命令执行完毕，控制返回循环顶部，从头开始直至测试条件为假。
用于不断执行一系列命令，也用于从输入文件中读取数据；命令通常为测试条件（使用test或是中括号[ ]。

例子：

echo 'type <CTRL-D> to terminate'
echo -n 'enter your most liked film: '
while read FILM
do
    echo "Yeah! great film the $FILM"
done

Shell until

until command   # 为真时停止
do
   Statement(s) to be executed until command is true
done

until 循环执行一系列命令直至条件为 true 时停止。until 循环与 while 循环在处理方式上刚好相反。
一般while循环优于until循环，但在某些时候，也只是极少数情况下，until 循环更加有用。

例子：

#!/bin/bash
a=0
until [ ! $a -lt 10 ]
do
   echo $a
   a=`expr $a + 1`
done

Shell break和continue

break

#!/bin/bash
while :          # 死循环
do
    echo -n "Input a number between 1 to 5: "
    read aNum
    case $aNum in
        1|2|3|4|5) echo "Your number is $aNum!"
        ;;
        *) echo "You do not select a number between 1 to 5, game is over!"
            break
        ;;
    esac
done

break命令允许跳出本层循环
在嵌套循环中，break 命令后面还可以跟一个整数，表示跳出第几层循环，
1
break n # 表示跳出第n层循环

continue

#!/bin/bash
while :
do
    echo -n "Input a number between 1 to 5: "
    read aNum
    case $aNum in
        1|2|3|4|5) echo "Your number is $aNum!"
        ;;
        *) echo "You do not select a number between 1 to 5!"
            continue
            echo "Game is over!"
        ;;
    esac
done

continue命令与break命令类似，只有一点差别，它不会跳出所有循环，仅仅跳出当前循环。
同样，continue 后面也可以跟一个数字，表示跳出第几层循环。

Shell函数

function_name () {
    list of commands
    [ return value ]
}
# OR
function function_name () {
    list of commands
    [ return value ]
}

Shell 函数必须先定义后使用。
函数返回值，可以显式增加return语句；如果不加，会将最后一条命令运行结果作为返回值。
Shell 函数返回值只能是整数，一般用来表示函数执行成功与否，0表示成功，其他值表示失败。如果 return 其他数据，比如一个字符串，往往会得到错误提示：“numeric argument required”。
如果一定要让函数返回字符串，那么可以先定义一个变量，用来接收函数的计算结果，脚本在需要的时候访问这个变量来获得函数返回值。
调用函数只需要给出函数名，不需要加括号。

例子：

#!/bin/bash
funWithReturn(){
    echo "The function is to get the sum of two numbers..."
    echo -n "Input first number: "
    read aNum
    echo -n "Input another number: "
    read anotherNum
    echo "The two numbers are $aNum and $anotherNum !"
    return $(($aNum+$anotherNum))
}
funWithReturn
# Capture value returnd by last command
ret=$?    # $? 上个命令退出状态或是函数返回值
echo "The sum of two numbers is $ret !"

像删除变量一样，删除函数也可以使用 unset 命令，不过要加上 .f 选项，如下所示：
1
$unset -f function_name

Shell函数参数

#!/bin/bash
funWithParam(){
    echo "The value of the first parameter is $1 !"
    echo "The value of the second parameter is $2 !"
    echo "The value of the tenth parameter is $10 !"
    echo "The value of the tenth parameter is ${10} !"
    echo "The value of the eleventh parameter is ${11} !"
    echo "The amount of the parameters is $# !"  # 参数个数
    echo "The string of the parameters is $* !"  # 传递给函数的所有参数
}
funWithParam 1 2 3 4 5 6 7 8 9 34 73
# Result
The value of the first parameter is 1 !
The value of the second parameter is 2 !
The value of the tenth parameter is 10 !
The value of the tenth parameter is 34 !
The value of the eleventh parameter is 73 !
The amount of the parameters is 12 !
The string of the parameters is 1 2 3 4 5 6 7 8 9 34 73 !"

在Shell中，调用函数时可以向其传递参数。在函数体内部，通过 \$n 的形式来获取参数的值，例如，\$1表示第一个参数，\$2表示第二个参数…
\$10 不能获取第十个参数，获取第十个参数需要\${10}。当n>=10时，需要使用\${n}来获取参数。
特殊变量：

Shell输入输出重定向

输出重定向

1
2
3

$ command > file
# OR
$ conmand >> file       # 追加内容到文件末尾

命令的输出不仅可以是显示器，还可以很容易的转移向到文件，这被称为输出重定向。

输入重定向

1	$ command < file

本来需要从键盘获取输入的命令会转移到文件读取内容

深入理解一些内容

一般情况下，每个 Unix/Linux 命令运行时都会打开三个文件：

标准输入文件(stdin)：stdin的文件描述符为0，Unix程序默认从stdin读取数据。
标准输出文件(stdout)：stdout 的文件描述符为1，Unix程序默认向stdout输出数据。
标准错误文件(stderr)：stderr的文件描述符为2，Unix程序会向stderr流中写入错误信息。

默认情况下，command > file 将 stdout 重定向到 file，command < file 将stdin 重定向到 file。

# 如果希望 stderr 重定向到 file，可以这样写：
$command 2 > file
# 如果希望 stderr 追加到 file 文件末尾，可以这样写：
$command 2 >> file
# 如果希望将 stdout 和 stderr 合并后重定向到 file，可以这样写：
$command > file 2>&1
# OR
$command >> file 2>&1
# 如果希望对 stdin 和 stdout 都重定向，可以这样写：
$command < file1 >file2 # command 命令将 stdin 重定向到 file1，将 stdout 重定向到 file2

Here document

1
2
3

command << delimiter
    document
delimiter

Here Document 是 Shell 中的一种特殊的重定向方式，可以译为”嵌入文档“
它的作用是将两个 delimiter （EOF)之间的内容(document) 作为输入传递给 command。
注意：
- 结尾的delimiter 一定要顶格写，前面不能有任何字符，后面也不能有任何字符，包括空格和 tab 缩进。
- 开始的delimiter前后的空格会被忽略掉。

例1：

$wc -l << EOF
    This is a simple lookup program
    for good (and bad) restaurants
    in Cape Town.
EOF
3
$

例2：

#!/bin/sh
filename=test.txt
vi $filename <<EndOfCommands
i
This file was created automatically from
a shell script
^[
ZZ
EndOfCommands

/dev/null

1	$ command > /dev/null

如果希望执行某个命令，但又不希望在屏幕上显示输出结果，那么可以将输出重定向到 /dev/null
/dev/null 是一个特殊的文件，写入到它的内容都会被丢弃；如果尝试从该文件读取内容，那么什么也读不到。但是 /dev/null 文件非常有用，将命令的输出重定向到它，会起到”禁止输出“的效果。

Shell文件包含

# Shell 中包含脚本可以使用
. filename
# OR
source filename

Shell 也可以包含外部脚本，将外部脚本的内容合并到当前脚本。
被包含脚本不需要有执行权限。

例子：

1
2
3

#!/bin/bash
. ./subscript.sh
echo $url

参考：