我的编程空间,编程开发者的网络收藏夹
学习永远不晚

django开发傻瓜教程-3-celer

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

django开发傻瓜教程-3-celer

Ref:

https://www.jianshu.com/p/6f8576a37a3e

https://blog.csdn.net/Demo_3/article/details/78119951

https://blog.csdn.net/spur_man/article/details/79550917

https://my.oschina.net/37Y37/blog/1920149

http://docs.jinkan.org/docs/celery/getting-started/next-steps.html

https://www.ctolib.com/topics-130539.html#


 

为什么选择Celery

当前的需求是:我用form从前端拿到了提交的数据,由于需要处理一点时间(也许很多用户同时提请求呢)虽然感觉暂时想多了=.=

如果处理时间过长,那么一方面页面可能会超时,另一方面,用户等待太久也是不合适的。所以现在希望,在用户提交数据后,立刻就

能收到一个回复(比如说task ID),等到任务结束后,通知用户,用这个ID就可以获取结果(当然可以是服务器靠这个ID来输出结果)。

我也考虑过用ajax直接部分刷新页面,但是感觉对于长时间的并发任务,可能不是很合适(看到的ajax例子都是很简单的,不是很懂是不是不适合复杂的计算逻辑?)。总之,为了以后的发展,还是学一下水芹菜吧。

概念

Celery 的基本架构采用典型的生产者—消费者模式,主要由三部分组成:broker(消息队列)、workers(消费者:处理任务)、backend(存储结果)。Celery自己不提供消息服务,但是可以和提供消息服务的中间件集成。这里推荐的broker有RabbitMQ(官网推荐)和Redis。Workers可以并发地运行在分布式的节点上。
实际应用时,用户从 Web 前端发起一个请求,然后将请求所要处理的任务丢入 broker中,由空闲的 worker 去处理,处理的结果会暂存在后台数据库 backend 中。
处理场景

异步任务处理:例如给注册用户发送短消息或者确认邮件任务。

大型任务:执行时间较长的任务,例如视频和图片处理,添加水印和转码等,需要执行任务时间长。

定时执行的任务:支持任务的定时执行和设定时间执行。例如性能压测定时执行。

安装

pip install celery

为了让celery中执行任务的结果返回Django,再装一个

sudo pip install django-celery-results

使用redis做broker和backend,安装:

sudo apt-get install redis
sudo pip install redis

 如果apt-get有错误,请用下面的命令

sudo apt-get install redis --fix-missing

开启redis服务

redis-server

报错

我就知道不会一帆风顺的:)

解决:1. 找到redis-server进程,kill

2. 接着发现redis-server进程仍然存在,杀不掉:)

所以使用停止服务的命令。必要的话要用sudo。

/etc/init.d/redis-server stop

然后再重启redis-service即可

 现在正式来写Celery了。首先看一下目录结构:

配置阶段先改celery.py和__init__.py

# Celery.py
from __future__ import absolute_import, unicode_literals
import os
from celery import Celery, platforms

# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'probe.settings')

app = Celery('probe')

# Using a string here means the worker don't have to serialize
# the configuration object to child processes.
# - namespace='CELERY' means all celery-related configuration keys
#   should have a `CELERY_` prefix.
app.config_from_object('django.conf:settings', namespace='CELERY')

# Load task modules from all registered Django app configs.
app.autodiscover_tasks()

# Allow root user run celery
platforms.C_FORCE_ROOT = True

@app.task(bind=True)
def debug_task(self):
    print('Request: {0!r}'.format(self.request))

__init__.py

from __future__ import absolute_import, unicode_literals

# This will make sure the app is always imported when
# Django starts so that shared_task will use this app.
from .celery import app as celery_app

__all__ = ['celery_app']

然后进入根目录

celery worker -A probe -l info

你以为这样就可以了?报错:

这是因为我们的水芹找不到redis啊:)所以要修改上面的celery.py

# redis是broker和backend
app = Celery('probe', backend='redis', broker='redis://localhost')

现在来配置一下celery。上面的修改暂时取消,我们统一在settings.py里配置celery。

CELERY_BROKER_URL = 'redis://localhost:6379'
CELERY_ACCEPT_CONTENT = ['json']
CELERY_TASK_SERIALIZER = 'json'
CELERY_RESULT_BACKEND = 'redis'
CELERY_TIMEZONE = 'Asia/Shanghai'
CELERYD_MAX_TASKS_PER_CHILD = '1'

  # celery在长时间运行后可能出现内存泄漏,需要添加这个配置,表示每个worker执行了多少个任务就死掉

# INSTALLED_APPS里再添加一个'django_celery_results'

然后migrate一下变化

python manage.py migrate django_celery_results

现在来真正写任务了:task.py

这个task.py在每个app下都要有,而且名称不能改变。

from __future__ import absolute_import, unicode_literals
from celery import shared_task

@shared_task
def longtime_test():
# 在这里写操作

然后在views.py里(我这里是把design2.py和主页design-post绑在一起的,所以我写到design2.py里去)

longtime_test.delay()

补一刀:

在design2.py里,我这么写(省略其他)这里只是简单测试一下:

import task

def design_post(request):
    ...
    if request.POST:
        result = task.longtime_test.delay(ctx['target_definition'], ctx['target_species'])
        while True:
            if result.ready():
                print "celery fried!"
                break;
    ...

事实上我第一次遇到了报错

当时写的是from task import longtime_test

我改成上面的写法之后,重启celery,就没有报错:celery正确输出字符串(毕竟我只做了字符串连接啊摊手)

而且django后台这里也正确反馈了(黄色标识)红色的是之前报错状态的显示。因为longtime_test函数一样返回了,所以还是会跳出循环。

 

 好了我现在要去写业务代码了,配置方面的任务暂时告一段落:)

 

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

django开发傻瓜教程-3-celer

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

django开发傻瓜教程-3-celer

Ref:https://www.jianshu.com/p/6f8576a37a3ehttps://blog.csdn.net/Demo_3/article/details/78119951https://blog.csdn.net/spu
2023-01-30

超详细!iOS 11~14.3全系列越狱工具及傻瓜式教程发布

目前越狱后存在问题还是较多的,院长是不建议小白用户进行越狱的,万一越狱了万一遇到问题也不懂如何解决,虽然爱锋贝有越狱老司机,但是毕竟相隔千里,有些简单的问题在距离面前还是会变得很麻烦。小白用户还是老老实实用原生系统吧。

微信开发教程(3)

因为微信现在可以开通自定义菜单,很多人都不知道如何创建自定义菜单。我今天来分享一下,自定菜单如何创建! 下面直接看代码:
2023-01-31

Django 博客开发教程 15 -

在 使用 Nginx 和 Gunicorn 部署 Django 博客 中,我们通过手工方式将代码部署到了服务器。整个过程涉及到十几条命令,输了 N 个字符。一旦我们本地的代码有更新,整个过程又得重复来一遍,这将变得非常繁琐。使用 Fabri
2023-01-31

Django 博客开发教程 4 - 让

我们已经编写了博客数据库模型的代码,但那还只是 Python 代码而已,Django 还没有把它翻译成数据库语言,因此实际上这些数据库表还没有真正的在数据库中创建。迁移数据库为了让 Django 完成翻译,创建好这些数据库表,我们再一次请出
2023-01-31

Andorid SQLite数据库开发基础教程(3)

Andorid SQLite数据库开发基础教程(3)数据库生成方式数据库的生成有两种方式,一种是使用数据库管理工具生成的数据库,我们将此类数据库称为预设数据库,另一种是使用代码生成的数据库。使用SQLiteManager管理数据库SQLit
2023-06-05

Xamarin图表开发基础教程(3)OxyPlot框架

Xamarin图表开发基础教程(3)OxyPlot框架Xamarin.Android中使用OxyPlot框架在Xamarin.Android平台上实现图表显示需要完成以下的步骤:1.添加OxyPlot.Xamarin.Android组件打
2023-06-04

django开发教程之利用缓存文件进行页面缓存的方法

前言 由于Django是动态网站,所有每次请求均会去数据进行相应的操作,当程序访问量大时,耗时必然会更加明显,最简单解决方式是使用:缓存,缓存将一个某个views的返回值保存至内存或者Redis中,5分钟内再有人来访问时,则不再去执行vie
2022-06-04

Node.js CommonJS 规范的学习资源大放送:5本好书,3个教程,带你深入理解模块化开发

Node.js CommonJS 规范是构建模块化应用程序的基础,帮助开发者轻松创建模块、实现代码复用。本文提供了 5 本好书和 3 个教程资源,帮助你深入理解 CommonJS 规范,掌握模块化开发技巧。
Node.js CommonJS 规范的学习资源大放送:5本好书,3个教程,带你深入理解模块化开发
2024-02-04

编程热搜

  • Python 学习之路 - Python
    一、安装Python34Windows在Python官网(https://www.python.org/downloads/)下载安装包并安装。Python的默认安装路径是:C:\Python34配置环境变量:【右键计算机】--》【属性】-
    Python 学习之路 - Python
  • chatgpt的中文全称是什么
    chatgpt的中文全称是生成型预训练变换模型。ChatGPT是什么ChatGPT是美国人工智能研究实验室OpenAI开发的一种全新聊天机器人模型,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,并协助人类完成一系列
    chatgpt的中文全称是什么
  • C/C++中extern函数使用详解
  • C/C++可变参数的使用
    可变参数的使用方法远远不止以下几种,不过在C,C++中使用可变参数时要小心,在使用printf()等函数时传入的参数个数一定不能比前面的格式化字符串中的’%’符号个数少,否则会产生访问越界,运气不好的话还会导致程序崩溃
    C/C++可变参数的使用
  • css样式文件该放在哪里
  • php中数组下标必须是连续的吗
  • Python 3 教程
    Python 3 教程 Python 的 3.0 版本,常被称为 Python 3000,或简称 Py3k。相对于 Python 的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0 在设计的时候没有考虑向下兼容。 Python
    Python 3 教程
  • Python pip包管理
    一、前言    在Python中, 安装第三方模块是通过 setuptools 这个工具完成的。 Python有两个封装了 setuptools的包管理工具: easy_install  和  pip , 目前官方推荐使用 pip。    
    Python pip包管理
  • ubuntu如何重新编译内核
  • 改善Java代码之慎用java动态编译

目录