从生成器到协程
协程是指一个过程,这个过程与调用方协作,产出由调用方提供的值。生成器的调用方可以使用 .send(...)方法发送数据,发送的数据会成为yield表达式的值。因此,生成器可以作为协程使用。
从句法上看,生成器与协程都是包含yield关键字的函数。但是,在协程中,yield通常出现在表达式的右边(* = yield *),可以产出值也可以不产出(yield关键字后边没有表达式,产出None)。
协程有四个状态:
GEN_CREATED:等待开始执行
GEN_RUNNING:正在执行(只有在多线程应用或生成器对象自身调用getgeneratorstate函数可以看到此状态)
GEN_SUSPENDED:在yield表达式处阻塞
GEN_CLOSED:执行结束
使用inspect.getgeneratorstate(...)函数可以查看当前协程的状态。
使用协程的基本步骤为:
- 创建协程对象
- 调用next函数,激活协程
- 调用 .send(...)方法,推动协程执行并产出
一个累积求和的协程示例如下:
如上图示例所示,协程中产出的值会返回给调用方,同时,通过yield将调用方传入的参数赋值给yield表达式左边的变量,并推动协程继续执行。
终止协程和异常处理
因为协程使用生成器函数定义,因此遵循生成器的特性,当协程执行到定义体末尾时,会抛出StopIteration异常。如果协程在执行过程中发生了未处理的异常,协程会终止运行并将异常抛出,此时,试图重新激活协程会抛出StopIteration异常。代码示例:
示例代码中,依然使用累积求和的协程,调用时因为传入了字符串参数,导致协程因TpyeError异常而终止,再次试图调用时,抛出了StopIteration异常。
调用方可以通过调用生成器对象 .throw(exc_type[, exc_value[, traceback]])方法,致使生成器在阻塞的yield表达式处抛出指定的异常。如果生成器处理了抛出的异常,代码会向前执行到下一个yield表达式,产出的表达式会成为 .throw()方法的返回值;如果生成器没有处理抛出的异常,异常会向上冒泡,传到调用方的上下文中。代码示例:
上图示例代码中,协程对TypeError进行了处理,所以当调用方将TpyeError异常发给协程时没有终止;而当调用方将ValueError发给协程时,由于没有处理,协程终止并将异常向上抛给调用方处理,调用方虽然捕获了该异常,但试图再次调用协程时,由于协程已终止,故抛出了StopIteration异常。
调用方可以通过生成器对象的 .close()方法,致使生成器在阻塞的yield表达式处抛出GeneratorExit异常。如果生成器没有处理这个异常,或者抛出了StopIteration异常(通常指运行到程序结尾),调用方不会报错。代码示例:
上图示例代码中,调用 .close()方法后,调用方没有报错,协程终止且返回值为None,试图再次激活协程对象时,会抛出StopIteration异常。
需要注意的是:如果在协程中捕获了GeneratorExit异常,会导致RuntimeError;如果使用 .throw()方法直接将GeneratorExit异常发给协程,调用方会报错并导致GeneratorExit异常。
让协程返回值
有些协程不会产出值,而是在执行结束后返回一个值,而为了返回这个值,协程必须正常终止。代码示例:
上图示例中,协程不再产出值,通过send(None)结束协程,代码执行到最后触发StopIteration异常,而返回值作为StopIteration异常的一个属性返回给调用方。
yield from
yield from是全新的语言结构,多用于嵌套生成器。其主要功能是开辟一个双向通道,把最外层的调用方与最内层的子生成器连接起来,这样二者可以发送/产出值,还可以直接传入异常,而不用在位于中间层的协程中添加大量处理异常的代码。简言之即yield from可以方便的实现生成器嵌套调用并自动处理大部分异常。
理解yield from首先要理解三个概念:
- 调用方:指委派生成器的客户端代码
- 委派生成器:包含yield from <iterable>表达式的生成器函数
- 子生成器:从yield from表达式中<iterable>部分获取的生成器
典型的调用逻辑为:客户端代码(调用方)调用委派生成器对象,委派生成器在yield from表达式处阻塞,此时调用方与子生成器之间的双向通道打开,调用方可以直接把数据发给子生成器,子生成器把产出的值发给调用方。子生成器执行结束,解释器抛出StopIteration异常,并把返回值附加到异常对象上,此时委派生成器恢复执行。委派生成器yield from语句自动处理子生成器抛出的StopIteration异常及附加在异常对象上的返回值。代码示例如下:
注意:委派生成器执行结束时也会抛出StopIteration异常,这里使用了永久循环+全局变量(不推荐)的方式避免委派生成器退出引发StopIteration异常且使客户端能够拿到子生成器返回的结果。实际应用中应视情况进行异常处理。子生成器StopIteration之外未处理的异常会向上冒泡传给委派生成器处理,yield from表达式的值是子生成器终止时传给StopIteration异常的第一个参数。python3.5以后引入了await关键字来替代yield from,使代码更加简洁清晰。
以上。