Python3 标准库概览

本文基于以下教程：
http://www.runoob.com/python3/python3-stdlib.html

笔记内容：Python3 标准库概览
笔记日期：2017-11-27

<br>

Python3 标准库概览

• 操作系统接口
• 文件通配符
• 获得脚本参数
• 错误输出重定向和程序终止
• 字符串正则匹配
• 数学
• 访问互联网
• 日期和时间
• 数据压缩
• 性能度量
• 测试模块

<br>

操作系统接口

os模块提供了不少与操作系统相关联的函数。例如：

>>> import os  # 导入os模块
>>> os.getcwd()    # 此函数返回当前的工作目录
'E:\\Python3.6'
>>> os.chdir('/server/accesslogs')   # 修改当前的工作目录
>>> os.system('mkdir today')   # 执行系统命令 mkdir 
0

建议使用 "import os" 风格而非 "from os import *"。这样可以保证随操作系统不同而有所变化的 os.open() 不会覆盖内置函数 open()。

在使用 os 这样的大型模块时内置的 dir() 和 help() 函数非常有用，例如：

>>> import os
>>> dir(os)  # 以列表的形式返回所有os模块中的函数
['DirEntry', 'F_OK', 'MutableMapping', 'O_APPEND', 'O_BINARY', 'O_CREAT', 'O_EXCL', 'O_NOINHERIT', 'O_RANDOM', 'O_RDONLY', 'O_RDWR', 'O_SEQUENTIAL', 'O_SHORT_LIVED', 'O_TEMPORARY', 'O_TEXT', 'O_TRUNC', 'O_WRONLY', 'P_DETACH', 'P_NOWAIT', 'P_NOWAITO', 'P_OVERLAY', 'P_WAIT', 'PathLike', 'R_OK', 'SEEK_CUR', 'SEEK_END', 'SEEK_SET', 'TMP_MAX', 'W_OK', 'X_OK', '_Environ', '__all__', '__builtins__', '__cached__', '__doc__', '__file__', '__loader__', '__name__', '__package__', '__spec__', '_execvpe', '_exists', '_exit', '_fspath', '_get_exports_list', '_putenv', '_unsetenv', '_wrap_close', 'abc', 'abort', 'access', 'altsep', 'chdir', 'chmod', 'close', 'closerange', 'cpu_count', 'curdir', 'defpath', 'device_encoding', 'devnull', 'dup', 'dup2', 'environ', 'errno', 'error', 'execl', 'execle', 'execlp', 'execlpe', 'execv', 'execve', 'execvp', 'execvpe', 'extsep', 'fdopen', 'fsdecode', 'fsencode', 'fspath', 'fstat', 'fsync', 'ftruncate', 'get_exec_path', 'get_handle_inheritable', 'get_inheritable', 'get_terminal_size', 'getcwd', 'getcwdb', 'getenv', 'getlogin', 'getpid', 'getppid', 'isatty', 'kill', 'linesep', 'link', 'listdir', 'lseek', 'lstat', 'makedirs', 'mkdir', 'name', 'open', 'pardir', 'path', 'pathsep', 'pipe', 'popen', 'putenv', 'read', 'readlink', 'remove', 'removedirs', 'rename', 'renames', 'replace', 'rmdir', 'scandir', 'sep', 'set_handle_inheritable', 'set_inheritable', 'spawnl', 'spawnle', 'spawnv', 'spawnve', 'st', 'startfile', 'stat', 'stat_float_times', 'stat_result', 'statvfs_result', 'strerror', 'supports_bytes_environ', 'supports_dir_fd', 'supports_effective_ids', 'supports_fd', 'supports_follow_symlinks', 'symlink', 'sys', 'system', 'terminal_size', 'times', 'times_result', 'truncate', 'umask', 'uname_result', 'unlink', 'urandom', 'utime', 'waitpid', 'walk', 'write']
>>> help(os)  # 返回一个由模块的docstring创建的广泛的手动页面
<returns an extensive manual page created from the module's docstrings>

针对日常的文件和目录管理任务，shutil 模块提供了一个易于使用的高级接口：

>>> import shutil
>>> shutil.copyfile('data.db', 'archive.db')  # 此函数用于拷贝文件
>>> shutil.move('/build/executables', 'installdir')  # 此函数用于移动文件

<br>

文件通配符

glob模块提供了一个函数用于从目录通配符搜索中生成文件列表：

>>> import glob
>>> glob.glob('*.py') # 搜索当前目录下.py的文件
['primes.py', 'random.py', 'quote.py']  # 将这些搜索出来的文件名称生成一个列表

<br>

获得脚本参数

通用工具脚本经常调用命令行参数。这些命令行参数以链表形式存储于 sys 模块的 argv 变量。例如在命令行中执行 "python demo.py one two three" 后可以得到以下输出结果：

>>> import sys
>>> print(sys.argv)
['demo.py', 'one', 'two', 'three']

其实就是说，当我们在Linux系统中执行一个python脚本时，通常会给这个脚本一些参数，例如：

[root@server ~]# python demo.py one two three

然后通过sys 模块的 argv 变量，就可以得到脚本的文件名，和执行时所传递的参数。这和在shell脚本中，使用\$0、\$1、\$2、\$3... 等去获得脚本文件名称和参数值的道理是一样的。例如：

[root@server ~/shellFile]# vim demo.sh
#!/bin/bash
echo "$0,$1,$2,$3"
[root@server ~/shellFile]# sh demo.sh one tow three
demo.sh,one,tow,three
[root@server ~/shellFile]#

<br>

错误输出重定向和程序终止

sys 还有 stdin，stdout 和 stderr 属性，即使在 stdout 被重定向时，后者也可以用于显示警告和错误信息，类似于java中的out和err。

>>> sys.stderr.write('Warning, log file not found starting a new one\n')
Warning, log file not found starting a new one

大多脚本的定向终止都使用 "sys.exit()"，类似于shell的exit。代码示例：

#!/usr/bin/python
import sys

for i in range(1,10):
  print(i)
  if i==3:
    sys.exit()

print("done")

运行结果：

[root@server ~/shellFile]# python testExit.py
1
2
3

sys.exit()会终止整个脚本。

<br>

字符串正则匹配

re模块为高级字符串处理提供了正则表达式工具。对于复杂的匹配和处理，正则表达式提供了简洁、优化和快速的解决方案，被称为文本匹配中的”瑞士××ד：

>>> import re
# 检索正则表达式所匹配的字符串，然后生成一个列表
>>> re.findall(r'\bf[a-z]*', 'which foot or hand fell fastest') 
['foot', 'fell', 'fastest']
# 截取正则表达式所匹配的字符串
>>> re.sub(r'(\b[a-z]+) \1', r'\1', 'cat in the the hat') 
'cat in the hat'

如果只需要简单的功能，应该首先考虑字符串的方法，因为它们非常简单，易于阅读和调试，正则表达式可读性差是它的缺点：

>>> 'tea for too'.replace('too', 'two')
'tea for two'

<br>

数学

math模块为浮点运算提供了对底层C语言函数库的访问，因为math模块主要是用来进行数学方面的计算或业务处理的：

>>> import math
>>> math.cos(math.pi / 4) # 返回math.pi / 4的弧度的余弦值，math.pi是圆周率
0.70710678118654757
>>> math.log(1024, 2)  # 返回1024以2为底数的自然对数
10.0

random模块提供了生成随机数的工具：

>>> import random
>>> random.choice(['apple', 'pear', 'banana']) # 此函数可以返回一个列表、元组或字符串的随机项。
'apple'
>>> random.sample(range(100), 10)   # 不重复抽样，也就是不随机重复的值
[30, 83, 16, 4, 8, 81, 41, 50, 18, 33]
>>> random.random()    # 生成一个1以内的浮点类型随机数
0.17970987693706186
>>> random.randrange(6)    # 生成一个6以内的整数类型的随机数
4

<br>

访问互联网

有几个模块用于访问互联网以及处理网络通信协议。其中最简单的两个是用于处理从 urls 接收的数据的 urllib.request 以及用于发送电子邮件的 smtplib：

>>> from urllib.request import urlopen
# urlopen用于模拟浏览器访问网站
>>> for line in urlopen('http://tycho.usno.navy.mil/cgi-bin/timer.pl'):
...     line = line.decode('utf-8')  # 将二进制数据解码为文本。
...     if 'EST' in line or 'EDT' in line:  # 找出东部时间，将其打印出来
...         print(line)

<BR>Nov. 25, 09:43:32 PM EST

>>> import smtplib
>>> server = smtplib.SMTP('localhost')
>>> server.sendmail('soothsayer@example.org', 'jcaesar@example.org',
... """To: jcaesar@example.org
... From: soothsayer@example.org
...
... Beware the Ides of March.
... """)
>>> server.quit()

注意第二个例子需要本地有一个在运行的邮件服务器。

<br>

日期和时间

datetime模块为日期和时间处理同时提供了简单和复杂的方法。

支持日期和时间算法的同时，实现的重点放在更有效的处理和格式化输出。

该模块还支持时区处理：

>>> from datetime import date
>>> now = date.today() # 拿出今天的日期
>>> now
datetime.date(2017, 11, 27)
# 格式化此日期格式
>>> now.strftime("%m-%d-%y. %d %b %Y is a %A on the %d day of %B.")
'11-27-17. 27 Nov 2017 is a Monday on the 27 day of November.'

>>> # 支持按照日历日期计算
>>> birthday = date(1964, 7, 31)
>>> age = now - birthday
>>> age.days  # 打印1964-7-31到2017-11-27过了多少天
19477

关于表示时间的字符：

• %Y 表示四位的年
• %y 表示两位的年
• %m 表示两位的月
• %d 表示两位的日期
• %b 表示月份的缩写
• %A 表示星期几
• %B 表示几月份

<br>

数据压缩

以下模块直接支持通用的数据打包和压缩格式：zlib，gzip，bz2，zipfile，以及 tarfile。

>>> import zlib
>>> s = b'witch which has which witches wrist watch'
>>> len(s)
41
>>> t = zlib.compress(s)  # 以zlib格式将字符串进行压缩
>>> len(t)  # 压缩后的长度
37
>>> zlib.decompress(t)  # 解压缩
b'witch which has which witches wrist watch'
# 得出s的crc32校检值，crc是一种数据错误检查技术
>>> zlib.crc32(s)
226805979

<br>

性能度量

有些用户对了解解决同一问题的不同方法之间的性能差异很感兴趣。Python 提供了一个度量工具，为这些问题提供了直接答案。

例如，使用元组封装和拆封来交换元素看起来要比使用传统的方法要诱人的多,timeit 证明了现代的方法更快一些。

from timeit import Timer

print(Timer('t=a; a=b; b=t', 'a=1; b=2').timeit())
print(Timer('a,b = b,a', 'a=1; b=2').timeit())

运行结果：

0.0248861886867416

0.02537090072342609

相对于 timeit 的细粒度，profile 和 pstats 模块提供了针对更大代码块的时间度量工具。

<br>

测试模块

开发高质量软件的方法之一是为每一个函数开发测试代码，并且在开发过程中经常进行测试
doctest模块提供了一个工具，扫描模块并根据程序中内嵌的文档字符串执行测试。
测试构造如同简单的将它的输出结果剪切并粘贴到文档字符串中。
通过用户提供的例子，它强化了文档，允许 doctest 模块确认代码的结果是否与文档一致：

def average(values):

    # Computes the arithmetic mean of a list of numbers.
    # >>> print(average([20, 30, 70]))
    # 40.0

    return sum(values) / len(values)

import doctest
doctest.testmod()   # 自动验证嵌入测试

unittest模块不像 doctest模块那么容易使用，不过它可以在一个独立的文件里提供一个更全面的测试集：

import unittest

class TestStatisticalFunctions(unittest.TestCase):

    def test_average(self):
        self.assertEqual(average([20, 30, 70]), 40.0)
        self.assertEqual(round(average([1, 5, 7]), 1), 4.3)
        self.assertRaises(ZeroDivisionError, average, [])
        self.assertRaises(TypeError, average, 20, 30, 70)

unittest.main() # 从命令行调用所有测试