Linux下常用文本处理命令

Linux下常用文本处理命令大全

成都创新互联公司为您提适合企业的网站设计 让您的网站在搜索引擎具有高度排名，让您的网站具备超强的网络竞争力！结合企业自身，进行网站设计及把握，最后结合企业文化和具体宗旨等，才能创作出一份性化解决方案。从网站策划到网站建设、网站设计， 我们的网页设计师为您提供的解决方案。

Linux下面有很多经典的非常有用的命令，其中处理文本的命令就有很多。下面就让我们一起看看这些经典的Linux文本处理命令有哪些吧。

一. sort

文件排序, 通常用在管道中当过滤器来使用. 这个命令可以依据指定的关键字或指定的字符位置, 对文件行进行排序. 使用-m选项, 它将会合并预排序的输入文件. 想了解这个命令的全部参数请参考这个命令的info页.

二. tsort

拓扑排序, 读取以空格分隔的有序对, 并且依靠输入模式进行排序.

三. uniq

这个过滤器将会删除一个已排序文件中的重复行. 这个命令经常出现在sort命令的管道后边.

四. expand, unexpand

expand命令将会把每个tab转化为一个空格. 这个命令经常用在管道中.

unexpand命令将会把每个空格转化为一个tab. 效果与expand命令相反.

五. cut

一个从文件中提取特定域的工具. 这个命令与awk中使用的print $N命令很相似, 但是更受限. 在脚本中使用cut命令会比使用awk命令来得容易一些. 最重要的选项就是-d(字段定界符)和-f(域分隔符)选项.

六. paste

将多个文件, 以每个文件一列的形式合并到一个文件中, 合并后文件中的每一列就是原来的一个文件. 与cut结合使用, 经常用于创建系统log文件.

七. join

这个命令与paste命令属于同类命令. 但是它能够完成某些特殊的目地. 这个强力工具能够以一种特殊的形式来合并两个文件, 这种特殊的形式本质上就是一个关联数据库的简单版本.

join命令只能够操作两个文件. 它可以将那些具有特定标记域(通常是一个数字标签)的行合并起来, 并且将结果输出到stdout. 被加入的文件应该事先根据标记域进行排序以便于能够正确的匹配.

八. head

把文件的头部内容打印到stdout上(默认为10行, 可以自己修改). 这个命令有一些比较有趣的选项.

九. tail

将一个文件结尾部分的内容输出到stdout中(默认为10行). 通常用来跟踪一个系统logfile的.修改情况, 如果使用-f选项的话, 这个命令将会继续显示添加到文件中的行.

十. wc

wc可以统计文件或I/O流中的”单词数量”:

十一. fold

将输入按照指定宽度进行折行. 这里有一个非常有用的选项-s, 这个选项可以使用空格进行断行(译者: 事实上只有外文才需要使用空格断行, 中文是不需要的)(请参考例子 12-23和例子 A-1).

十二. fmt

一个简单的文件格式器, 通常用在管道中, 将一个比较长的文本行输出进行”折行”.

十三. col

这个命令用来滤除标准输入的反向换行符号. 这个工具还可以将空白用等价的tab来替换. col工具最主要的应用还是从特定的文本处理工具中过滤输出, 比如groff和tbl. (译者: 主要用来将man页转化为文本.)

十四. column

列格式化工具. 通过在合适的位置插入tab, 这个过滤工具会将列类型的文本转化为”易于打印”的表格式进行输出.

十五. colrm

列删除过滤器. 这个工具将会从文件中删除指定的列(列中的字符串)并且写到文件中, 如果指定的列不存在, 那么就回到stdout. colrm 2 4 filename将会删除filename文件中每行的第2到第4列之间的所有字符. p="" /filename将会删除filename文件中每行的第2到第4列之间的所有字符.

Caution: 如果这个文件包含tab和不可打印字符, 那将会引起不可预期的行为. 在这种情况下, 应该通过管道的手段使用expand和unexpand来预处理colrm.

十六. nl

计算行号过滤器. nl filename将会把filename文件的所有内容都输出到stdout上, 但是会在每个非空行的前面加上连续的行号. 如果没有filename参数, 那么就操作stdin.

nl命令的输出与cat -n非常相似, 然而, 默认情况下nl不会列出空行.

十七. pr

格式化打印过滤器. 这个命令会将文件(或stdout)分页, 将它们分成合适的小块以便于硬拷贝打印或者在屏幕上浏览. 使用这个命令的不同的参数可以完成好多任务, 比如对行和列的操作, 加入行, 设置页边, 计算行号, 添加页眉, 合并文件等等. pr命令集合了许多命令的功能, 比如nl, paste, fold, column, 和expand.

pr -o 5 –width=65 fileZZZ | more 这个命令对fileZZZ进行了比较好的分页, 并且打印到屏幕上. 文件的缩进被设置为5, 总宽度设置为65.

一个非常有用的选项-d, 强制隔行打印(与sed -G效果相同).

十八. gettext

GNU gettext包是专门用来将程序的输出翻译或者本地化为不同国家语言的工具集. 在最开始的时候仅仅支持C语言, 现在已经支持了相当数量的其它程序语言和脚本语言.

想要查看gettext程序如何在shell脚本中使用. 请参考info页.

十九. msgfmt

一个产生二进制消息目录的程序. 这个命令主要用来本地化.

二十. iconv

一个可以将文件转化为不同编码格式(字符集)的工具. 这个命令主要用来本地化.

二十一. recode

可以认为这个命令是上边iconv命令的专业版本. 这个非常灵活的并可以把整个文件都转换为不同编码格式的工具并不是Linux标准安装的一部分.

二十二. TeX, gs

TeX和Postscript都是文本标记语言, 用来对打印和格式化的视频显示进行预拷贝.

TeX是Donald Knuth精心制作的排版系统. 通常情况下, 通过编写脚本的手段来把所有的选项和参数封装起来一起传到标记语言中是一件很方便的事情.

Linux命令之筛选条件

grep (过滤)

过滤需要的内容，

-v 需要排除的内容，

-i不分辨大小写，

-n匹配的内容在其行首显示行号，

-A （after）显示匹配字符串及其后n行，

-B （before）显示匹配字符串及其前n行，

-C（context）显示匹配字符串

下边是想凑字数的啦啦

linux下编程实现用户命令过滤功能

你可以这样做：

(1)为Server的那些使用者建立单独的账户，例如：user01、user02....等等（可以给每个人建立一个单独的账户。当然，为了使系统中的账户不至于太多而导致难以管理，也可以按照他们所在的部门、项目组（或工作组）、或是其它分类方式去建立账户）。

(2)对每个账户下的$HOME/.profile文件或者是$HOME/.cshrc文件（视不同用户的SHELL来决定，例如：bsh和sh就是.profile，csh就是.cshrc），用

chown root:root ... （例如: chown root:root .cshrc）

命令将它们改成root用户及属组所有，只有root用户才可以更改它们。

(3)在每个用户的$HOME/.profile或是$HOME/.cshrc等shell环境配置文件中，将你认为是危险的命令做以下的转换：

alias 命令名='echo 管理员不运行执行该命令'

例如： alias format='echo 管理员不运行执行该命令'

这样这些用户就无法执行你限定的命令，执行之后都显示“管理员不运行执行该命令”。

如果觉得改.profile或是.cshrc文件不保险，还可以在每个用户的$HOME下建立.login文件，也用上述的方法将它改成root用户属组的，在里面加入

alias 命令名='echo 管理员不运行执行该命令'

效果更好。

----看到了你的问题追加。我觉得要是大家都只能使用root账户，那么这个系统的规划是否合理？假如一定都要使用root账户的话，对于每个用户在键入命令的过程中，你很难去捕获他们都正在敲入什么命令。只有等他们在命令行上都输入完了，回车确认之后才可能去发现他们执行的进程。假如真有这样的一个监控程序在你的系统中，就算是监控到了，那么那些进程已经开始运行了，对很多人来说已经是无法收拾了，只有及时的杀掉那些进程了。建议你把敏感的命令给rename了算了，例如mv format frmt

----呵呵，你也够执着的。既然一定要写个程序，那我就说说大概的思路吧！具体的程序代码你可以自己去写，这样也有些成就感。:)

不过我能保证，就算采用这样的做法也不会取得什么好的效果，尤其是大家都使用root账户。我用unix类操作系统近十年，听我一句劝告不会有什么害处啊！

程序思路：

（1）定义你的敏感命令列表（可以赋值给一个字符串数组）。

（2）获取你本人在系统中当前的tty编号，以及你自己的IP地址（你是从哪个IP地址发起的telnet？如果你本人使用Console，也需要如此）。

（3）按照你的敏感命令列表，循环检测除了自己的tty及IP地址之外的，其它tty及IP地址发起的敏感命令进程，如果发现，立即予以kill -9。并向相应的tty发送警告信息。

注意：这个循环是无限循环；这个程序是一个守护进程（Daemon）。除非接到进程中止信号，否则它将一直运行。这样做的缺点是，循环检测并杀掉那些敏感进程的过程并不能确保实时性，在发现相应的进程时，那些进程可能已经运行了一小段时间，尽管这段时间非常非常的短，但是也可能已经产生了效力甚至是危害。不过，这也是没办法的事情了。谁要你非要这样呢？

Linux运维必学命令之文件过滤！Linux入门

熟悉Linux运维工作的小伙伴们都知道，在Linux操作系统中，除了Cat、tac、more、less等命令之外，还有很多用于文本查看的命令，比如head、tail等，本文将为大家详细的介绍一下。

cat：合并文件或查看文件内容

tac：反向显示文件内容

more：分页显示文件内容

less：分页显示文件内容

head：显示文件内容头部

tail：显示文件内容尾部

tailf：跟踪日志文件

cut：从文本中提取一段文字并输出

split：分割文件

paste：合并文件

sort：文本排序

join：按两个文件的相同字段合并

uniq：去除重复行

wc：统计文件的行数、单词数或字节数

iconv：转换文件的编码格式

dos2unix：将DOS格式文件转换成UNIX格式

diff：比较两个文件的不同

vimdiff：可视化比较工具

rev：反向输出文件内容

tr：替换或删除字符

od：按不同进制显示文件

tee：多重定向

vi/vim：纯文本编辑器

在用ssh登录linux系统后，用grep过滤文件中中文，没有返回结果

编码不一致导致，过滤中文，保证你输入过滤条件的中文编码，必须和待过滤的中文编码格式完全一样。如果你使用的是xshell等客户端ssh，可以在xshell客户端选择编码。

Linux常用指令---grep(搜索过滤)(转)

Linux常用指令---grep(搜索过滤) (转)

Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹 配的行打印出来。grep全称是Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有用户。

grep的工作方式是这样的，它在一个或多个文件中搜索字符串模板。如果模板包括空格，则必须被引用，模板后的所有字符串被看作文件名。搜索的结果被送到标准输出，不影响原文件内容。

grep可用于shell脚本，因为grep通过返回一个状态值来说明搜索的状态，如果模板搜索成功，则返回0，如果搜索不成功，则返回1，如果搜索的文件不存在，则返回2。我们利用这些返回值就可进行一些自动化的文本处理工作。

1．命令格式：

grep [option] pattern file

2．命令功能：

用于过滤/搜索的特定字符。可使用正则表达式能多种命令配合使用，使用上十分灵活。

3．命令参数：

-a   --text   #不要忽略二进制的数据。   

-A显示行数   --after-context=显示行数   #除了显示符合范本样式的那一列之外，并显示该行之后的内容。   

-b   --byte-offset   #在显示符合样式的那一行之前，标示出该行第一个字符的编号。   

-B显示行数   --before-context=显示行数   #除了显示符合样式的那一行之外，并显示该行之前的内容。   

-c    --count   #计算符合样式的列数。   

-C显示行数    --context=显示行数或-显示行数   #除了显示符合样式的那一行之外，并显示该行之前后的内容。   

-d 动作      --directories=动作   #当指定要查找的是目录而非文件时，必须使用这项参数，否则grep指令将回报信息并停止动作。   

-e范本样式  --regexp=范本样式   #指定字符串做为查找文件内容的样式。   

-E      --extended-regexp   #将样式为延伸的普通表示法来使用。   

-f规则文件  --file=规则文件   #指定规则文件，其内容含有一个或多个规则样式，让grep查找符合规则条件的文件内容，格式为每行一个规则样式。   

-F   --fixed-regexp   #将样式视为固定字符串的列表。   

-G   --basic-regexp   #将样式视为普通的表示法来使用。   

-h   --no-filename   #在显示符合样式的那一行之前，不标示该行所属的文件名称。   

-H   --with-filename   #在显示符合样式的那一行之前，表示该行所属的文件名称。   

-i    --ignore-case   #忽略字符大小写的差别。   

-l    --file-with-matches   #列出文件内容符合指定的样式的文件名称。   

-L   --files-without-match   #列出文件内容不符合指定的样式的文件名称。   

-n   --line-number   #在显示符合样式的那一行之前，标示出该行的列数编号。   

-q   --quiet或--silent   #不显示任何信息。   

-r   --recursive   #此参数的效果和指定“-d recurse”参数相同。   

-s   --no-messages   #不显示错误信息。   

-v   --revert-match   #显示不包含匹配文本的所有行。   

-V   --version   #显示版本信息。   

-w   --word-regexp   #只显示全字符合的列。   

-x    --line-regexp   #只显示全列符合的列。   

-y   #此参数的效果和指定“-i”参数相同。

4．规则表达式：

grep的规则表达式:

^  #锚定行的开始 如：'^grep'匹配所有以grep开头的行。    

$  #锚定行的结束 如：'grep$'匹配所有以grep结尾的行。    

.  #匹配一个非换行符的字符 如：'gr.p'匹配gr后接一个任意字符，然后是p。    

*  #匹配零个或多个先前字符 如：'*grep'匹配所有一个或多个空格后紧跟grep的行。    

.*   #一起用代表任意字符。   

[]   #匹配一个指定范围内的字符，如'[Gg]rep'匹配Grep和grep。    

[^]  #匹配一个不在指定范围内的字符，如：'[^A-FH-Z]rep'匹配不包含A-R和T-Z的一个字母开头，紧跟rep的行。    

\(..\)  #标记匹配字符，如'\(love\)'，love被标记为1。    

\      #锚定单词的开始，如:'\

\      #锚定单词的结束，如'grep\'匹配包含以grep结尾的单词的行。    

x\{m\}  #重复字符x，m次，如：'0\{5\}'匹配包含5个o的行。    

x\{m,\}  #重复字符x,至少m次，如：'o\{5,\}'匹配至少有5个o的行。    

x\{m,n\}  #重复字符x，至少m次，不多于n次，如：'o\{5,10\}'匹配5--10个o的行。   

\w    #匹配文字和数字字符，也就是[A-Za-z0-9]，如：'G\w*p'匹配以G后跟零个或多个文字或数字字符，然后是p。   

\W    #\w的反置形式，匹配一个或多个非单词字符，如点号句号等。   

\b    #单词锁定符，如: '\bgrep\b'只匹配grep。  

POSIX字符:

为了在不同国家的字符编码中保持一至，POSIX(The Portable Operating System Interface)增加了特殊的字符类，如[:alnum:]是[A-Za-z0-9]的另一个写法。要把它们放到[]号内才能成为正则表达式，如[A- Za-z0-9]或[[:alnum:]]。在linux下的grep除fgrep外，都支持POSIX的字符类。

[:alnum:]    #文字数字字符   

[:alpha:]    #文字字符   

[:digit:]    #数字字符   

[:graph:]    #非空字符（非空格、控制字符）   

[:lower:]    #小写字符   

[:cntrl:]    #控制字符   

[:print:]    #非空字符（包括空格）   

[:punct:]    #标点符号   

[:space:]    #所有空白字符（新行，空格，制表符）   

[:upper:]    #大写字符   

[:xdigit:]   #十六进制数字（0-9，a-f，A-F）  

5．使用实例：

实例1：查找指定进程

命令：

ps -ef|grep svn

输出：

[root@localhost ~]# ps -ef|grep svn

root 4943   1      0  Dec05 ?   00:00:00 svnserve -d -r /opt/svndata/grape/

root 16867 16838  0 19:53 pts/0    00:00:00 grep svn

[root@localhost ~]#

说明：

第一条记录是查找出的进程；第二条结果是grep进程本身，并非真正要找的进程。

实例2：查找指定进程个数

命令：

ps -ef|grep svn -c

ps -ef|grep -c svn

输出：

[root@localhost ~]# ps -ef|grep svn -c

2

[root@localhost ~]# ps -ef|grep -c svn 

2

[root@localhost ~]#

说明：

实例3：从文件中读取关键词进行搜索

命令：

cat test.txt | grep -f test2.txt

输出：

[root@localhost test]# cat test.txt 

hnlinux

peida.cnblogs.com

ubuntu

ubuntu linux

redhat

Redhat

linuxmint

[root@localhost test]# cat test2.txt 

linux

Redhat

[root@localhost test]# cat test.txt | grep -f test2.txt

hnlinux

ubuntu linux

Redhat

linuxmint

[root@localhost test]#

说明：

输出test.txt文件中含有从test2.txt文件中读取出的关键词的内容行

实例3：从文件中读取关键词进行搜索 且显示行号

命令：

cat test.txt | grep -nf test2.txt

输出：

[root@localhost test]# cat test.txt 

hnlinux

peida.cnblogs.com

ubuntu

ubuntu linux

redhat

Redhat

linuxmint

[root@localhost test]# cat test2.txt 

linux

Redhat

[root@localhost test]# cat test.txt | grep -nf test2.txt

1:hnlinux

4:ubuntu linux

6:Redhat

7:linuxmint

[root@localhost test]#

说明：

输出test.txt文件中含有从test2.txt文件中读取出的关键词的内容行，并显示每一行的行号

实例5：从文件中查找关键词

命令：

grep 'linux' test.txt

输出：

[root@localhost test]# grep 'linux' test.txt 

hnlinux

ubuntu linux

linuxmint

[root@localhost test]# grep -n 'linux' test.txt 

1:hnlinux

4:ubuntu linux

7:linuxmint

[root@localhost test]#

说明：

实例6：从多个文件中查找关键词

命令：

grep 'linux' test.txt test2.txt

输出：

[root@localhost test]# grep -n 'linux' test.txt test2.txt 

test.txt:1:hnlinux

test.txt:4:ubuntu linux

test.txt:7:linuxmint

test2.txt:1:linux

[root@localhost test]# grep 'linux' test.txt test2.txt 

test.txt:hnlinux

test.txt:ubuntu linux

test.txt:linuxmint

test2.txt:linux

[root@localhost test]#

说明：

多文件时，输出查询到的信息内容行时，会把文件的命名在行最前面输出并且加上":"作为标示符

实例7：grep不显示本身进程

命令：

ps aux|grep \[s]sh

ps aux | grep ssh | grep -v "grep"

输出：

[root@localhost test]# ps aux|grep ssh

root   2720  0.0  0.0  62656  1212 ?      Ss   Nov02   0:00 /usr/sbin/sshd

root  16834  0.0  0.0  88088  3288 ?      Ss   19:53   0:00 sshd: root@pts/0 

root  16901  0.0  0.0  61180   764 pts/0  S+   20:31   0:00 grep ssh

[root@localhost test]# ps aux|grep \[s]sh]

[root@localhost test]# ps aux|grep \[s]sh

root   2720  0.0  0.0  62656  1212 ?      Ss   Nov02   0:00 /usr/sbin/sshd

root  16834  0.0  0.0  88088  3288 ?      Ss   19:53   0:00 sshd: root@pts/0 

[root@localhost test]# ps aux | grep ssh | grep -v "grep"

root   2720  0.0  0.0  62656  1212 ?      Ss   Nov02   0:00 /usr/sbin/sshd

root  16834  0.0  0.0  88088  3288 ?      Ss   19:53   0:00 sshd: root@pts/0

说明：

实例8：找出已u开头的行内容

命令：

cat test.txt |grep ^u

输出：

[root@localhost test]# cat test.txt |grep ^u

ubuntu

ubuntu linux

[root@localhost test]#

说明：

实例9：输出非u开头的行内容

命令：

cat test.txt |grep ^[^u]

输出：

[root@localhost test]# cat test.txt |grep ^[^u]

hnlinux

peida.cnblogs.com

redhat

Redhat

linuxmint

[root@localhost test]#

说明：

实例10：输出以hat结尾的行内容

命令：

cat test.txt |grep hat$

输出：

[root@localhost test]# cat test.txt |grep hat$

redhat

Redhat

[root@localhost test]#

说明：

实例11：输出ip地址

命令：

ifconfig eth0|grep -E "([0-9]{1,3}\.){3}[0-9]"

输出：

[root@localhost test]# ifconfig eth0|grep "[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}"

inet addr:192.168.120.204  Bcast:192.168.120.255  Mask:255.255.255.0

[root@localhost test]# ifconfig eth0|grep -E "([0-9]{1,3}\.){3}[0-9]"

inet addr:192.168.120.204  Bcast:192.168.120.255  Mask:255.255.255.0

[root@localhost test]#

说明：

实例12：显示包含ed或者at字符的内容行

命令：

cat test.txt |grep -E "ed|at"

输出：

[root@localhost test]# cat test.txt |grep -E "peida|com"

peida.cnblogs.com

[root@localhost test]# cat test.txt |grep -E "ed|at"

redhat

Redhat

[root@localhost test]#

说明：

实例13：显示当前目录下面以.txt 结尾的文件中的所有包含每个字符串至少有7个连续小写字符的字符串的行

命令：

grep '[a-z]\{7\}' *.txt

输出：

[root@localhost test]# grep '[a-z]\{7\}' *.txt

test.txt:hnlinux

test.txt:peida.cnblogs.com

test.txt:linuxmint

[root@localhost test]#

实例14:日志文件过大，不好查看，我们要从中查看自己想要的内容，或者得到同一类数据，比如说没有404日志信息的

命令：

grep '.' access1.log|grep -Ev '404'  access2.log

grep '.' access1.log|grep -Ev '(404|/photo/|/css/)'  access2.log

grep '.' access1.log|grep -E '404'  access2.log

输出：

[root@localhost test]# grep “.”access1.log|grep -Ev “404”  access2.log

说明：上面3句命令前面两句是在当前目录下对access1.log文件进行查找，找到那些不包含404的行，把它们放到access2.log中,后面去掉’v’,即是把有404的行放入access2.log

文章标题：linux过滤中文中命令 linux系统中哪些工具可以对文本输出进行过滤
分享地址：http://scyanting.com/article/hjddod.html