在Linux的命令行中实现字符出现频率统计的方法

本篇内容主要讲解“在Linux的命令行中实现字符出现频率统计的方法”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“在Linux的命令行中实现字符出现频率统计的方法”吧!

立刻来到我们脑海的命令，计算字和字符在一个文本文件中出现频率的 Linux 命令是 wc 命令。
在使用的脚本来分析文本文件之前，我们必须有一个文本文件。为了保持一致性，我们将创建一个文本文件，man命令的输出如下所述。  

代码如下:

$ man man > man.txt

以上命令是将man命令的使用方式导入到man.txt文件里。

我们希望能得到最平常的单词，对之前我们新建的文件执行如下脚本。  

代码如下:

$ cat man.txt | tr ' '  '\012' | tr '[:upper:]' '[:lower:]' | tr -d '[:punct:]' | grep -v '[^a-z]' | sort | uniq -c | sort -rn | head

Sample Output  

代码如下:

7557
   262 the
   163 to
   112 is
   112 a
   78 of
   78 manual
   76 and
   64 if
   63 be

上面的脚本，输出了最常使用的十个单词。

如何看单个的字母呢？那就用如下的命令。   

代码如下:

$ echo 'tecmint team' | fold -w1</p><p>Sample Output</p><p>    [code] t
   e
   c
   m
   i
   n
   t
   t
   e
   a
   m

注: -w1只是设定了长度

现在我们将从那个文本文件中掰下来的每一个字母，对结果进行排序，得到所需的输出频率的十个最常见的字符。

    $ fold -w1 < man.txt | sort | uniq -c | sort -rn | head

Sample Output   

代码如下:

8579  
   2413 e
   1987 a
   1875 t
   1644 i
   1553 n
   1522 o
   1514 s
   1224 r
   1021 l

如何区分大小写呢？之前我们都是忽略大小写的。所以，用如下命令。

    $ fold -w1 < man.txt | sort | tr '[:lower:]' '[:upper:]' | uniq -c | sort -rn | head -20

Sample Output  

代码如下:

11636  
   2504 E
   2079 A
   2005 T
   1729 I
   1645 N
   1632 S
   1580 o
   1269 R
   1055 L
   836 H
   791 P
   766 D
   753 C
   725 M
   690 U
   605 F
   504 G
   352 Y
   344 .

请检查上面的输出，标点符号居然包括在内。让我们干掉他，用tr 命令。GO:   

代码如下:

$ fold -w1 < man.txt | tr '[:lower:]' '[:upper:]' | sort | tr -d '[:punct:]' | uniq -c | sort -rn | head -20

Sample Output     

代码如下:

11636  
     2504 E
     2079 A
     2005 T
     1729 I
     1645 N
     1632 S
     1580 O
     1550
     1269 R
     1055 L
      836 H
      791 P
      766 D
      753 C
      725 M
      690 U
      605 F
      504 G
      352 Y

现在，我们有了三个文本，那就让我们用如下命令查看结果吧。  

代码如下:

$ cat *.txt | fold -w1 | tr '[:lower:]' '[:upper:]' | sort | tr -d '[:punct:]' | uniq -c | sort -rn | head -8

Sample Output     

代码如下:

11636  
      2504 E
      2079 A
      2005 T
      1729 I
      1645 N
      1632 S
      1580 O

下一步我们将会生成那些罕见的至少十个字母长的单词。以下是简单的脚本：  

代码如下:

$ cat man.txt | tr '' '\012' | tr '[:upper:]' '[:lower:]' | tr -d '[:punct:]' | tr -d '[0-9]' | sort | uniq -c | sort -n |  grep -E '..................' | head

Sample Output   

代码如下:

1        ──────────────────────────────────────────
   1        a all
   1        abc             any or all arguments within   are optional
   1               able  see setlocale for precise details
   1        ab              options delimited by  cannot be used together
   1               achieved by using the less environment variable
   1              a child process returned a nonzero exit status
   1               act as if this option was supplied using the name as a filename
   1               activate local mode  format and display  local  manual  files
   1               acute accent

注: 上面的.越来越多，其实，我们可以使用.{10} 得到同样的效果。

这些简单的脚本，让我们知道最频繁出现的单词和英语中的字符。

到此，相信大家对“在Linux的命令行中实现字符出现频率统计的方法”有了更深的了解，不妨来实际操作一番吧！这里是编程网网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！