celery怎么实现为不同异步任务分配不同worker
这篇文章主要介绍了celery怎么实现为不同异步任务分配不同worker的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇celery怎么实现为不同异步任务分配不同worker文章都会有所收获,下面我们一起来看看吧。
我们提供的服务有:网站建设、网站设计、微信公众号开发、网站优化、网站认证、府谷ssl等。为1000多家企事业单位解决了网站和推广的问题。提供周到的售前咨询和贴心的售后服务,是有科学管理、有技术的府谷网站制作公司
1、配置celery,按正则匹配异步任务名,分配到指定消费队列
这里创建4个消费队列,release,job,sync,celery(默认)
匹配到sync_release的任务,会调度到release队列消费,以此类推,支持正则匹配
import re # specify worker queue # https://docs.celeryq.dev/en/latest/userguide/routing.html app.conf.task_routes = ([ ('cmapp.tasks.sync_release', {'queue': 'release'}), (re.compile(r'.*(job*|Cdd*)'), {'queue': 'job'}), (re.compile(r'.*(delay*|owncloud*)'), {'queue': 'sync'}), (re.compile(r'.*(clean*|keycloak*)'), {'queue': 'celery'}), ],)
2、启动消费队列
-Q指定消费队列名称
--hostname配置worker名
--concurrency配置最大并发
[program:q_release] environment=ENV=production directory=/opt/mmback command=/opt/envs/env-mmweb/bin/celery -A mmback worker -l info --concurrency=20 -Q release --hostname=release@%%h autorestart=true autostart=true
supervisorctl update
可以看到已经有release任务在消费。
关于“celery怎么实现为不同异步任务分配不同worker”这篇文章的内容就介绍到这里,感谢各位的阅读!相信大家对“celery怎么实现为不同异步任务分配不同worker”知识都有一定的了解,大家如果还想学习更多知识,欢迎关注创新互联行业资讯频道。
新闻标题:celery怎么实现为不同异步任务分配不同worker
转载来源:http://scyanting.com/article/iggpss.html