位置：首页-资讯-后端开发

Python async模块使用方法杂谈

2023-05-14 14:20

短信预约 -IT技能 免费直播动态提醒

一、什么是 generator(生成器)

在Python中，这种一边循环一边计算的机制，称为生成器：generator。通过给定一个算法然后在调用的过程中计算真实值。

当需要从generator中获取值的时候可以使用next()，但是一般使用for循环进行获取。

generator的实现方式

生成器，使用()表示

如：[1, 2, 3, 4, 5]，生成器方法:

data = [1, 2, 3, 4, 5]
(x * x for x in len(data))

函数定义在一些逻辑复杂的场景下，使用第一种方法不太合适，因此存在类型函数定义的方式，如：

def num(x):
    while (x < 10):
        print(x * x)
        x += 1
g = num(1)
for item in g:
    print(item)

当函数中出现yield的时候，此时就成为generator

def num(x):
    while (x < 10):
        yield x * x  # 返回结果，下次从这个地方继续？
        x += 1
g = num(1)  # 返回的是generator对象
for item in g:
    print(item)

变成generator的函数，在每次调用next()的时候执行，遇到yield语句返回，再次执行时从上次返回的yield语句处继续执行。

二、使用asyncio 实现异步io

异步io通过事件循环和协程函数实现

事件循环即不断监察内部的任务，如果存在则执行；任务分为可执行和正在执行；由事件循环决定处理任务，如果任务列表为空，事件终止。

import asyncio
# 生成或获取事件循环对象loop;类比Java的Netty，我理解为开启一个selector
loop = asyncio.get_event_loop()  
# 将协程函数（任务）提交到事件循环的任务列表中，协程函数执行完成之后终止。
# run_until_complete 会检查协程函数的运行状态,并执行协程函数
loop.run_until_complete( func() )

test demo

import asyncio
import time
async def test():
    print("io等待")
    await asyncio.sleep(1)
    return 'hello'
async def hello():
    print("Hello world")
    r = await test()
    print("hello again")
loop = asyncio.get_event_loop()
tasks = [hello(), hello()]
loop.run_until_complete(asyncio.wait(tasks))
loop.close()

协程函数：由 async def 修饰的函数；相比于普通的def，如 def func()，可以直接接收到函数返回的值；但是对于协程函数返回的是一个协程对象。

想要运行协程函数，需要将这个对象交给事件循环进行处理。

# 测试协程
import asyncio
import time, datetime
# 异步函数不同于普通函数，调用普通函数会得到返回值
# 而调用异步函数会得到一个协程对象。我们需要将协程对象放到一个事件循环中才能达到与其他协程对象协作的效果
# 因为事件循环会负责处理子程 序切换的操作。
async def Print():
    return "hello"
loop = asyncio.get_event_loop()
loop.run_until_complete(Print)

await:

用法：reponse = await + 可等待对象

可等待对象：协程对象， Future, Task对象可理解为IO等待

response : 等待的结果

await 遇到IO操作会挂起当前协程（任务），当前协程挂起时，事件循环可以去执行其他协程（任务）

注意：可等待对象若是协程对象则变成串行，若是Task对象则并发运行

Task对象，可以在事件循环列表中添加多个任务。可以通过**asyncio.create_task(协程对象)**的方式创建Task对象

import asyncio
import time, datetime
async def display(num):
    pass
tasks = []
for num in range(10):
    tasks.append(display(num))  # 生成任务列表
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))

asnyc和await是新语法，旧版本为：@asyncio.coroutine 和 yield from

三、aiohttp

asyncio可以实现单线程并发IO操作。如果仅用在客户端，发挥的威力不大。如果把asyncio用在服务器端，例如Web服务器，由于HTTP连接就是IO操作，因此可以用单线程+coroutine实现多用户的高并发支持。

aiohttp则是基于asyncio实现的HTTP框架。

可以类似requests发送请求 get请求

可以通过params参数来指定要传递的参数

async def fetch(session):
    async with session.get("http://localhost:10056/test/") as response:
        data = json.loads(await response.text())
        print(data["data"])

post请求

异步的执行两个任务
在网络请求中，一个请求就是一个会话，然后aiohttp使用的是ClientSession来管理会话
使用session.method发送请求
对于响应信息response, 通过status来获取响应状态码，text()来获取到响应内容;可以在text()指定编码格式。在response.text()前面添加await表示等待响应结果

async def init(num):
    async with aiohttp.ClientSession() as session:
        if num == 1:
            time.sleep(5)
        print("session begin", num)
        async with session.post("http://localhost:10056/hello/", data=json.dumps({"data": "hello"})) as response:
            print("client begin", num)
            data = json.loads(await response.text())

            print(data["data"])
        print("session end", num)
    print("other")
if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    tasks = [init(1), init(2)]
    loop.run_until_complete(asyncio.wait(tasks))