Python模块与包

一、模块的定义与使用

1.1、模块的定义

• Python中，模块在物理形式上表现为以.py 结尾的代码文件
  

  一个文件被看作一个独立的模块， 一个模块也可以被看作一个文件； 每个模块都有自己的名称空间。Pyhton允许”导入”其他模块以实现代码重用， 从而实现了将独立的代码文件组织成更大的程序系统。在一个模块顶层定义的所有变量都在被导入时成为了被导入模块的属性。

• 一个python程序通常包括一个顶层文件和其他的模版文件
  

  顶层文件：包含了程序的主要控制流程
  模块文件：为顶层文件或其他模块提供各种功能性组件。模块首次导入(或重载)时，Python 会立即执行模块文件的顶层程序代码，而位于函数主体内的代码知道函数被调用后才执行。

1.2、导入模块

  在导入模块时只能使用模块名，而不能使用带.py 后缀的模块文件名
import语句，导入指定的整个模块，包括生成一个以模块名命名的名称空间

   from-import 语句， 常用于只导入指定模块的部分属性至当前名称空间

  import和 from 都是隐性赋值语句;import将整个模块对象赋值给一个变量名，from 将一个或多个变量名赋值给导入此模块中的同名对象。

In [1]: import requests     #导入整个requests模块
In [2]: dir(requests)       #查看requests模块所支持的方法
Out[2]: 
['ConnectTimeout',
 'ConnectionError',
 'DependencyWarning',
 'FileModeWarning',
 'HTTPError',
 'NullHandler',
 'PreparedRequest',
 'ReadTimeout',
 'Request',
 'RequestException',
 'Response',
 'Session',
 'Timeout',
 'TooManyRedirects',
 'URLRequired',
 '__author__',
 '__build__',
 '__builtins__',
 '__cached__',
 '__copyright__',
 '__doc__',
 '__file__',
 '__license__',
 '__loader__',
 '__name__',
 '__package__',
 '__path__',
 '__spec__',
 '__title__',
 '__version__',
 '_internal_utils',
 'adapters',
 'api',
 'auth',
 'certs',
 'codes',
 'compat',
 'cookies',
 'delete',
 'exceptions',
 'get',
 'head',
 'hooks',
 'logging',
 'models',
 'options',
 'packages',
 'patch',
 'post',
 'put',
 'request',
 'session',
 'sessions',
 'status_codes',
 'structures',
 'utils',
 'warnings']
In [3]: from bs4 import BeautifulSoup #从bs4模块中导入BeautifulSoup方法

1.3、import 工作机制

• import 语句导入指定的模块时会执行三个步骤
  

  模块只有在第一次导入才会执行如上步骤，后续的导入操作只不过是提取内存中已加载的模块对象，reload()可用于重载加载模块。

1.4、模块的搜索路径

  Python 解释器在import模块时必须先找到对应的模块文件，主要有以下四个目录：

  这四个组合起来即为 sys.path 所包含的路径，python 会选择在搜索路径中的第一个符合导入文件名的文件。

In [6]: sys.path
Out[6]: 
['',                          #空字符串代表当前工作目录
 '/application/python36/bin',
 '/application/python36/lib/python36.zip',
 '/application/python36/lib/python3.6',
 '/application/python36/lib/python3.6/lib-dynload',
 '/application/python36/lib/python3.6/site-packages',
 '/application/python36/lib/python3.6/site-packages/IPython/extensions',
 '/root/.ipython']

1.4、包

  包用于将一组模块归并到一个目录中，此目录即为包，目录名位包名。包是一个有层次的文件目录结构，它定义了一个由模块和子包组成的应用程序执行环境；基于包，python 在执行模块导入时可以指定模块的导入路径。

import dir1.dir2.mod1

要使用如图所示的 package1，则 py_pkg_mod 容器必须要在模块搜索路径中

import package1.mod1

包导入语句的路径内的每个目录内必须有__init__.py 文件； __init__.py 可以包含代码，但通常为空，仅用于扮演包初始化的挂钩、 替目录产生模块命名空间以及使用目录导入时实现 from *行为的角色。

1.5、模块的属性
 每个模块都有个名为__name__的内置属性，python 会自动设置该属性如果文件以顶层程序文件执行， 在启动时，__name__的值为”__main__”；如果是被导入，则__name__的值为模块名。
 可以在模块文件中检测自己的__name__属性，以之实现在执行时运行制定的代码或者进行自我测试。

def testFunc():
    print('Hello,there...')
if __name__=='__main__':
    testFunc()

1.6、发布python模块或程序

• Python 模块、扩展和应用程序可以按以下几种形式进行打包和发布
  

• 使用 disutils 发布模块
  

  “发布”是指一个文件集合，这些文件联合在一起可使用distutils构建、打包和发布等创建好的发布可用于安装，也可用于上传到 PyPI 与他人分享。

• 创建发布
  

  将各代码文件组织到模块容器中；准备一个README或者README.txt文件；而后在容器中创建setup.py 文件。

  在要发布的容器目录中执行”python setup.py sdist”命令。

from distutils.core  import setup        #setup.py中的代码示例
setup(
    name            ='hello_py',
    version         ='0.0.1',
    author          ='mypython',
    author_email    ='mypython@edu.com',
    py_modules      =['hello'],
    url             ='a.simple.com',
    description     ='print hello',
    
    )

获取帮助的方式：
  python setup.py --help
  python setup.py --help-commands: 所有可以使用的命令， 如 build, install
  python setup.py COMMAND --help: 获取特定命令的帮助
  python setup.py COMMAND --help-formats： 获取特定命令支持使用的格式

二、常用模块

• OS 模块

• sys 模块

In [5]: var=sys.stdin.readline()[:-1]
ls
In [6]: var
Out[6]: 'ls'

• shutil高级的文件、文件夹、压缩包处理模块

#shutil对压缩包的处理是调用 ZipFile 和 TarFile 两个模块来进行的。
   
import zipfile 
# 压缩
z = zipfile.ZipFile('laxi.zip', 'w')
z.write('a.log') 
z.write('data.data') 
z.close()
# 解压 
z = zipfile.ZipFile('laxi.zip', 'r') 
z.extractall()
z.close()



# 压缩
tar = tarfile.open('your.tar','w')
tar.add('/Users/bbs.zip', arcname='bbs.zip')
tar.add('/Users/cmdb.zip', arcname='cmdb.zip')
tar.close()
# 解压
tar = tarfile.open('your.tar','r')
tar.extractall() # 可设置解压地址
tar.close()

• xml 处理模块
  

  xml是实现不同语言或程序之间进行数据交换的协议，跟json 差不多，但 json 使用起来更简单； xml的格式如下，就是通过<>节点来区别数据结构的。

<?xml version='1.0'?>
<menu>
    <user id="0">
        <name>Alexia</name>
        <age>23</age>
        <sex>Female</sex>
    </user>
</menu>

• ConfigParser 模块
  

  用于生成和修改常见配置文档。

[english]               #配置文件样式
greeting = Hello
[french]
greeting = Bonjour
[files]
home = /usr/local
# simple interpolation:
bin = %(home)s/bin

• yaml 模块
  

  与 json 相似、 同样有键值。 主要用来处理日期和时间这样的数据类型。

name:                  #yaml文件样式
  first: James
  last: McIntyre
dates:
  birth: 1828-05-25
  death: 1906-03-31
details:
  bearded: true
  themes: [cheese, Canada]
books:
  url: http://www.gutenberg.org/files/36068/36068-h/36068-h.htm
poems:
  - title: 'Motto'
    text: |
      Politeness, perseverance and pluck,
      To their possessor will bring good luck.
  - title: 'Canadian Charms'
    text: |
      Here industry is not in vain,
      For we have bounteous crops of grain,
      And you behold on every field
      Of grass and roots abundant yield,
      But after all the greatest charm
      Is the snug home upon the farm,
      And stone walls now keep cattle warm.

• hashlib 模块
  

  用于加密相关的操作，3.x里代替了md5 模块和 sha 模块，主要提供 SHA1,SHA224,SHA256, SHA384,SHA512，MD5算法。python还有一个hmac模块，它内部对我们创建 key和内容再进行处理然后再加密散列消息鉴别码，简称HMAC，是一种基于消息鉴别码 MAC（Message Authentication Code） 的鉴别机制。使用HMAC时,消息通讯的双方，通过验证消息中加入的鉴别密钥 K 来鉴别消息的真伪；
一般用于网络通信中消息加密，前提是双方先要约定好 key,就像接头暗号一样，然后消息发送把用 key 把消息加密，接收方用key ＋ 消息明文再加密，拿加密后的值跟发送者的相对比是否相等，这样就能验证消息的真实性，及发送者的合法性了。

In [7]: import hmac

In [8]: h= hmac.new(b'1213',b'45678')

In [9]: print(h.hexdigest)
<bound method HMAC.hexdigest of <hmac.HMAC object at 0x7f3441dd1048>>

In [10]: print(h.hexdigest())
da66020747fb19dec23ba317f759d2de

• Subprocess 模块
  

#生成新进程， 连接输入/输出/错误管道。

  >>> retcode = subprocess.call(["ls", "-l"])

#执行命令， 如果命令结果为 0， 就正常返回， 否则抛异常

>>> subprocess.getstatusoutput('ls /bin/ls')

#接收字符串格式命令， 返回元组形式， 第 1 个元素是执行状态， 第 2 个是命令结果

>>> subprocess.getoutput('ls /bin/ls')

#接收字符串格式命令， 并返回结果

>>> res=subprocess.check_output(['ls','-l'])

  #执行命令，并返回结果，注意是返回结果，不是打印，下例结果返回给res

底层都是封装的 subprocess.Popen

poll()        #检查子进程是否已终止。返回returnCode
wait()        #等待子进程终止。返回returnCode属性。
terminate()   #杀掉所启动进程
communicate() #等待任务结束

subprocess.Popen() #打开子进程

• logging

  用于便捷记录日志且线程安全的模块。

logging.basicConfig(filename='log.log',                                  #设置日志文件
format='%(asctime)s - %(name)s - %(levelname)s -%(module)s: %(message)s',#日志格式
datefmt='%Y-%m-%d %H:%M:%S %p',                                          #时间戳
level=10)                                                                #日志等级
logging.debug('debug') logging.info('info') logging.warning('warning')
logging.error('error') logging.critical('critical') logging.log(10,'log')

日志等级：

CRITICAL = 50 
FATAL = CRITICAL 
ERROR = 40 
WARNING = 30
WARN = WARNING 
INFO = 20 
DEBUG = 10 
NOTSET = 0

Python 使用 logging 模块记录日志涉及四个主要类：

  logger 每个程序在输出信息之前都要获得一个 Logger。Logger 通常对应了程序的模块名，比如聊天工具的图形界面模块可以这样获得它的 Logger：

  handler 对象负责发送相关的信息到指定目的地。Python 的日志系统有些 Handler 可以把信息输出到控制台，有些 Logger 可以把信息输出到文件，还有些 Handler 可以把信息发送到网络上。