我的编程空间,编程开发者的网络收藏夹
学习永远不晚

Python定时库APScheduler的原理以及用法示例

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

Python定时库APScheduler的原理以及用法示例

1. APScheduler简介

APscheduler全称Advanced Python Scheduler

作用为在指定的时间规则执行指定的作业。

  • 指定时间规则的方式可以是间隔多久执行,可以是指定日期时间的执行,也可以类似Linux系统中Crontab中的方式执行任务。
  • 指定的任务就是一个Python函数。

2. APScheduler组件

APScheduler版本 3.6.3

2.1. APScheduler中几个重要的概念

2.1.1. Job 作业

作用

Job作为APScheduler最小执行单位。

创建Job时指定执行的函数,函数中所需参数,Job执行时的一些设置信息。

构建说明

id:指定作业的唯一ID

name:指定作业的名字

trigger:apscheduler定义的触发器,用于确定Job的执行时间,根据设置的trigger规则,计算得到下次执行此job的时间, 满足时将会执行

executor:apscheduler定义的执行器,job创建时设置执行器的名字,根据字符串你名字到scheduler获取到执行此job的 执行器,执行job指定的函数

max_instances:执行此job的最大实例数,executor执行job时,根据job的id来计算执行次数,根据设置的最大实例数来确定是否可执行

next_run_time:Job下次的执行时间,创建Job时可以指定一个时间[datetime],不指定的话则默认根据trigger获取触发时间

misfire_grace_time:Job的延迟执行时间,例如Job的计划执行时间是21:00:00,但因服务重启或其他原因导致21:00:31才执行,如果设置此key为40,则该job会继续执行,否则将会丢弃此job

coalesce:Job是否合并执行,是一个bool值。例如scheduler停止20s后重启启动,而job的触发器设置为5s执行一次,因此此job错过了4个执行时间,如果设置为是,则会合并到一次执行,否则会逐个执行

func:Job执行的函数

args:Job执行函数需要的位置参数

kwargs:Job执行函数需要的关键字参数

2.1.2. Trigger 触发器

Trigger绑定到Job,在scheduler调度筛选Job时,根据触发器的规则计算出Job的触发时间,然后与当前时间比较

确定此Job是否会被执行,总之就是根据trigger规则计算出下一个执行时间。

Trigger有多种种类,指定时间的DateTrigger,指定间隔时间的IntervalTrigger,像Linux的crontab一样的CronTrigger

目前APScheduler支持触发器:

DateTrigger

IntervalTrigger

CronTrigger

2.1.3. Executor 执行器

Executor在scheduler中初始化,另外也可通过scheduler的add_executor动态添加Executor。 

每个executor都会绑定一个alias,这个作为唯一标识绑定到Job,在实际执行时会根据Job绑定的executor找到实际的执行器对象,然后根据执行器对象执行Job

Executor的种类会根据不同的调度来选择,如果选择AsyncIO作为调度的库,那么选择AsyncIOExecutor,如果选择tornado作为调度的库,选择TornadoExecutor,如果选择启动进程作为调度,选择ThreadPoolExecutor或者ProcessPoolExecutor都可以

Executor的选择需要根据实际的scheduler来选择不同的执行器

目前APScheduler支持的Executor:

AsyncIOExecutor

GeventExecutor

ThreadPoolExecutor

ProcessPoolExecutor

TornadoExecutor

TwistedExecutor

2.1.4. Jobstore 作业存储

Jobstore在scheduler中初始化,另外也可通过scheduler的add_jobstore动态添加Jobstore。每个jobstore都会绑定一个alias,scheduler在Add Job时,根据指定的jobstore在scheduler中找到相应的jobstore,并将job添加到jobstore中。

Jobstore主要是通过pickle库的loads和dumps【实现核心是通过python的__getstate__和__setstate__重写实现】,每次变更时将Job动态保存到存储中,使用时再动态的加载出来,作为存储的可以是redis,也可以是数据库【通过sqlarchemy这个库集成多种数据库】,也可以是mongodb等

目前APScheduler支持的Jobstore:

MemoryJobStore

MongoDBJobStore

RedisJobStore

RethinkDBJobStore

SQLAlchemyJobStore

ZooKeeperJobStore

2.1.5. Event 事件

Event是APScheduler在进行某些操作时触发相应的事件,用户可以自定义一些函数来监听这些事件,当触发某些Event时,做一些具体的操作

常见的比如。Job执行异常事件 EVENT_JOB_ERROR。Job执行时间错过事件 EVENT_JOB_MISSED。

目前APScheduler定义的Event

EVENT_SCHEDULER_STARTED

EVENT_SCHEDULER_START

EVENT_SCHEDULER_SHUTDOWN

EVENT_SCHEDULER_PAUSED

EVENT_SCHEDULER_RESUMED

EVENT_EXECUTOR_ADDED

EVENT_EXECUTOR_REMOVED

EVENT_JOBSTORE_ADDED

EVENT_JOBSTORE_REMOVED

EVENT_ALL_JOBS_REMOVED

EVENT_JOB_ADDED

EVENT_JOB_REMOVED

EVENT_JOB_MODIFIED

EVENT_JOB_EXECUTED

EVENT_JOB_ERROR

EVENT_JOB_MISSED

EVENT_JOB_SUBMITTED

EVENT_JOB_MAX_INSTANCES

2.1.6. Listener 监听事件

Listener表示用户自定义监听的一些Event,当Job触发了EVENT_JOB_MISSED事件时

可以根据需求做一些其他处理。

2.1.7. Scheduler 调度器

Scheduler是APScheduler的核心,所有相关组件通过其定义。scheduler启动之后,将开始按照配置的任务进行调度。

除了依据所有定义Job的trigger生成的将要调度时间唤醒调度之外。当发生Job信息变更时也会触发调度。

scheduler可根据自身的需求选择不同的组件,如果是使用AsyncIO则选择AsyncIOScheduler,使用tornado则

选择TornadoScheduler。

目前APScheduler支持的Scheduler:

AsyncIOScheduler

BackgroundScheduler

BlockingScheduler

GeventScheduler

QtScheduler

TornadoScheduler

TwistedScheduler

2.2. Scheduler工作流程图

这里重点挑选两个重要的流程画一个简陋的流程图,来看一下scheduler的工作原理。其一个是添加add job,另一是scheduler每次唤醒调度时的执行过程

2.2.1. Scheduler添加job流程

2.2.2 Scheduler调度流程

3. APScheduler使用示例

AsyncIO调度示例


import asyncio

import datetime

from apscheduler.events import EVENT_JOB_EXECUTED

from apscheduler.executors.asyncio import AsyncIOExecutor

from apscheduler.jobstores.redis import RedisJobStore  # 需要安装redis

from apscheduler.schedulers.asyncio import AsyncIOScheduler

from apscheduler.triggers.interval import IntervalTrigger

from apscheduler.triggers.cron import CronTrigger

# 定义jobstore  使用redis 存储job信息

default_redis_jobstore = RedisJobStore(

    db=2,

    jobs_key="apschedulers.default_jobs",

    run_times_key="apschedulers.default_run_times",

    host="127.0.0.1",

    port=6379,

    password="test"

)

# 定义executor 使用asyncio是的调度执行规则

first_executor = AsyncIOExecutor()

# 初始化scheduler时,可以直接指定jobstore和executor

init_scheduler_options = {

    "jobstores": {

        # first 为 jobstore的名字,在创建Job时直接直接此名字即可

        "default": default_redis_jobstore

    },

    "executors": {

        # first 为 executor 的名字,在创建Job时直接直接此名字,执行时则会使用此executor执行

        "first": first_executor

    },

    # 创建job时的默认参数

    "job_defaults": {

        'coalesce': False,  # 是否合并执行

        'max_instances': 1  # 最大实例数

    }

}

# 创建scheduler

scheduler = AsyncIOScheduler(**init_scheduler_options)

# 启动调度

scheduler.start()

second_redis_jobstore = RedisJobStore(

    db=2,

    jobs_key="apschedulers.second_jobs",

    run_times_key="apschedulers.second_run_times",

    host="127.0.0.1",

    port=6379,

    password="test"

)

scheduler.add_jobstore(second_redis_jobstore, 'second')

# 定义executor 使用asyncio是的调度执行规则

second_executor = AsyncIOExecutor()

scheduler.add_executor(second_executor, "second")

# ***********               关于 APScheduler中有关Event相关使用示例               *************

# 定义函数监听事件

def job_execute(event):

    """

    监听事件处理

    :param event:

    :return:

    """

    print(

        "job执行job:\ncode => {}\njob.id => {}\njobstore=>{}".format(

            event.code,

            event.job_id,

            event.jobstore

        ))

# 给EVENT_JOB_EXECUTED[执行完成job事件]添加回调,这里就是每次Job执行完成了我们就输出一些信息

scheduler.add_listener(job_execute, EVENT_JOB_EXECUTED)

# ***********               关于 APScheduler中有关Job使用示例               *************

# 使用的是asyncio,所以job执行的函数可以是一个协程,也可以是一个普通函数,AsyncIOExecutor会根据配置的函数来进行调度,

# 如果是协程则会直接丢入到loop中,如果是普通函数则会启用线程处理

# 我们定义两个函数来看看执行的结果

def interval_func(message):

    print("现在时间: {}".format(datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")))

    print("我是普通函数")

    print(message)

async def async_func(message):

    print("现在时间: {}".format(datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")))

    print("我是协程")

    print(message)

# 将上述的两个函数按照不同的方式创造触发器来执行

# ***********               关于 APScheduler中有关Trigger使用示例               *************

# 使用Trigger有两种方式,一种是用类创建使用,另一个是使用字符串的方式

# 使用字符串指定别名, scheduler初始化时已将其定义的trigger加载,所以指定字符串可以直接使用

if scheduler.get_job("interval_func_test", "default"):

    # 存在的话,先删除

    scheduler.remove_job("interval_func_test", "default")

# 立马开始 2分钟后结束, 每10s执行一次 存储到first jobstore  second执行

scheduler.add_job(interval_func, "interval",

                  args=["我是10s执行一次,存放在jobstore default, executor default"],

                  seconds=10,

                  id="interval_func_test",

                  jobstore="default",

                  executor="default",

                  start_date=datetime.datetime.now(),

                  end_date=datetime.datetime.now() + datetime.timedelta(seconds=240))

# 先创建tigger

trigger = IntervalTrigger(seconds=5)

if scheduler.get_job("interval_func_test_2", "second"):

    # 存在的话,先删除

    scheduler.remove_job("interval_func_test_2", "second")

# 每隔5s执行一次

scheduler.add_job(async_func, trigger, args=["我是每隔5s执行一次,存放在jobstore second, executor = second"],

                  id="interval_func_test_2",

                  jobstore="second",

                  executor="second")

# 使用协程的函数执行,且使用cron的方式配置触发器

if scheduler.get_job("cron_func_test", "default"):

    # 存在的话,先删除

    scheduler.remove_job("cron_func_test", "default")

# 立马开始 每10s执行一次

scheduler.add_job(async_func, "cron",

                  args=["我是 每分钟 30s  时执行一次,存放在jobstore default, executor default"],

                  second='30',

                  id="cron_func_test",

                  jobstore="default",

                  executor="default")

# 先创建tigger

trigger = CronTrigger(second='20,40')

if scheduler.get_job("cron_func_test_2", "second"):

    # 存在的话,先删除

    scheduler.remove_job("cron_func_test_2", "second")

# 每隔5s执行一次

scheduler.add_job(async_func, trigger, args=["我是每分钟 20s  40s时各执行一次,存放在jobstore second, executor = second"],

                  id="cron_func_test_2",

                  jobstore="second",

                  executor="second")

# 使用创建trigger对象直接创建

print("启动: {}".format(datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")))

asyncio.get_event_loop().run_forever()

输出结果部分截取

启动之后,每隔5s运行一次的JOB

启动: 2019-12-05 14:13:11

【这部分是定义的协程函数输出的内容】

现在时间: 2019-12-05 14:13:16

我是协程

我是每隔5s执行一次,存放在jobstore second, executor = second

【这部分是监听job执行完成之后的回调输出】

job执行job: code => 4096

job.id => interval_func_test_2

jobstore=>second

在20s和40s时各执行一次的Job

现在时间: 2019-12-05 14:13:20

我是协程

我是每分钟 20s 40s时各执行一次,存放在jobstore second, executor = second

job执行

job: code => 4096

job.id => cron_func_test_2

jobstore=>second

每隔10s执行一次的job

现在时间: 2019-12-05 14:13:21

我是普通函数

我是10s执行一次,存放在jobstore default, executor default

现在时间: 2019-12-05 14:13:21

我是协程

我是每隔5s执行一次,存放在jobstore second, executor = second

job执行job: code => 4096

job.id => interval_func_test

jobstore=>default

job执行

job: code => 4096

job.id => interval_func_test_2

jobstore=>second

每隔5s执行一次的Job

现在时间: 2019-12-05 14:13:26

我是协程

我是每隔5s执行一次,存放在jobstore second, executor = second

job执行

job: code => 4096

job.id => interval_func_test_2

jobstore=>second

每分钟30s时执行一次

现在时间: 2019-12-05 14:13:30

我是协程

我是 每分钟 30s 时执行一次,存放在jobstore default, executor default

job执行

job: code => 4096

job.id => cron_func_test

jobstore=>default

总结

apscheduler的工作原理及用法基本这样。

apscheduler强大的地方是可以集成到tornado,django,flask等框架,也可以单独运行。比如CronTrigger还有更强大的用法,可以参照官网的cron用法

上面例子只列举了一些常规用法,其实还有一些更切合实际的用法,利用APSchedulder的特性,动态的添加Job,暂停Job,删除Job,重启Job等。先按照功能性质定义好不同的函数,然后开发一个web服务。在web服务中动态操作各种Job,可以想象在监控系统中根据需求添加一些任务,岂不美哉。

有时间将这部分做一个例子再来分享。

到此这篇关于Python定时库APScheduler的原理以及用法的文章就介绍到这了,更多相关Python定时库APScheduler用法内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

Python定时库APScheduler的原理以及用法示例

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

Python定时库APScheduler的原理及用法

这篇文章主要讲解了“Python定时库APScheduler的原理及用法”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Python定时库APScheduler的原理及用法”吧!Python学
2023-06-02

详解Python定时器Timer的使用及示例

这篇文章主要介绍了详解Python定时器的使用及示例,Timer定时器源码实现,和自定义一个线程方式一样,都是继承Thread类,重写了run()方法,只是实现的功能是延时执行一个函数或方法,需要的朋友可以参考下
2023-05-19

Java中HashSet原理及常用方法的示例分析

小编给大家分享一下Java中HashSet原理及常用方法的示例分析,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!一. HashSet概述HashSet是Java集
2023-06-02

随机森林算法原理及实际应用的Python示例(带完整代码)

随机森林算法是一种集成技术,能够使用多个决策树和一种称为Bootstrap和聚合的技术来执行回归和分类任务。这背后的基本思想是结合多个决策树来确定最终输出,而不是依赖于单个决策树。机器学习中的随机森林随机森林产生大量分类树。将输入向量放在森
随机森林算法原理及实际应用的Python示例(带完整代码)
2024-01-23

手机Python编程神器AidLearning的工作原理以及使用方法

手机Python编程神器AidLearning的工作原理以及使用方法,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。如果你是个对编程比较感兴趣或者正走在这条康庄大道上的技术宅
2023-06-15

Python编程的简易版自动化工具ADB的工作原理以及用法

本篇文章为大家展示了Python编程的简易版自动化工具ADB的工作原理以及用法,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。前言ADB,中文名安卓调试桥,它是一种功能多样的命令行工具,可用于执行各种
2023-06-15

牛顿法、梯度下降法、最小二乘法的原理以及利用它们解决实际问题的python编程

  牛顿法、梯度下降法、最小二乘法的原理以及利用它们解决实际问题的python编程  一、牛顿法原理  1、产生背景    2、牛顿迭代公式  二、梯度下降法原理  根据计算梯度时所用数据量不同,可以分为三种基本方法:批量梯度下降法(Bat
2023-06-01

SQLServer 错误 1204 SQL Server 数据库引擎的实例此时无法获得 LOCK 资源。 请在活动用户较少时重新运行该语句。 请询问数据库管理员,检查此实例的锁定和内存配置,或检查是否

详细信息 Attribute 值 产品名称 SQL Server 事件 ID 1204 事件源 MSSQLSERVER 组件 SQLEngine 符号名称 LK_OUTOF 消息正文 SQL Server ...
SQLServer 错误 1204 SQL Server 数据库引擎的实例此时无法获得 LOCK 资源。 请在活动用户较少时重新运行该语句。 请询问数据库管理员,检查此实例的锁定和内存配置,或检查是否
2023-11-05

编程热搜

  • Python 学习之路 - Python
    一、安装Python34Windows在Python官网(https://www.python.org/downloads/)下载安装包并安装。Python的默认安装路径是:C:\Python34配置环境变量:【右键计算机】--》【属性】-
    Python 学习之路 - Python
  • chatgpt的中文全称是什么
    chatgpt的中文全称是生成型预训练变换模型。ChatGPT是什么ChatGPT是美国人工智能研究实验室OpenAI开发的一种全新聊天机器人模型,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,并协助人类完成一系列
    chatgpt的中文全称是什么
  • C/C++中extern函数使用详解
  • C/C++可变参数的使用
    可变参数的使用方法远远不止以下几种,不过在C,C++中使用可变参数时要小心,在使用printf()等函数时传入的参数个数一定不能比前面的格式化字符串中的’%’符号个数少,否则会产生访问越界,运气不好的话还会导致程序崩溃
    C/C++可变参数的使用
  • css样式文件该放在哪里
  • php中数组下标必须是连续的吗
  • Python 3 教程
    Python 3 教程 Python 的 3.0 版本,常被称为 Python 3000,或简称 Py3k。相对于 Python 的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0 在设计的时候没有考虑向下兼容。 Python
    Python 3 教程
  • Python pip包管理
    一、前言    在Python中, 安装第三方模块是通过 setuptools 这个工具完成的。 Python有两个封装了 setuptools的包管理工具: easy_install  和  pip , 目前官方推荐使用 pip。    
    Python pip包管理
  • ubuntu如何重新编译内核
  • 改善Java代码之慎用java动态编译

目录