任务食谱

确保一次只执行一项任务

确保一次只执行一项任务

您可以通过使用锁来完成此操作。

在这个例子中，我们将使用缓存框架来设置一个所有工人都可以访问的锁。

它是一个名为 djangofeeds 的虚构 RSS 提要导入器的一部分。该任务将提要 URL 作为单个参数，并将该提要导入到名为 Feed 的 Django 模型中。我们通过设置由提要 URL 的 MD5 校验和组成的缓存键，确保两个或多个工作人员不可能同时导入同一个提要。

缓存键会在一段时间后过期，以防发生意外情况，并且总是会发生……

因此，您的任务运行时间不应超过超时。

笔记

为了使其正常工作，您需要使用缓存后端，其中 .add 操作是原子的。众所周知，memcached 可以很好地用于此目的。

import time
from celery import task
from celery.utils.log import get_task_logger
from contextlib import contextmanager
from django.core.cache import cache
from hashlib import md5
from djangofeeds.models import Feed

logger = get_task_logger(__name__)

LOCK_EXPIRE = 60 * 10  # Lock expires in 10 minutes

@contextmanager
def memcache_lock(lock_id, oid):
    timeout_at = time.monotonic() + LOCK_EXPIRE - 3
    # cache.add fails if the key already exists
    status = cache.add(lock_id, oid, LOCK_EXPIRE)
    try:
        yield status
    finally:
        # memcache delete is very slow, but we have to use it to take
        # advantage of using add() for atomic locking
        if time.monotonic() < timeout_at and status:
            # don't release the lock if we exceeded the timeout
            # to lessen the chance of releasing an expired lock
            # owned by someone else
            # also don't release the lock if we didn't acquire it
            cache.delete(lock_id)

@task(bind=True)
def import_feed(self, feed_url):
    # The cache key consists of the task name and the MD5 digest
    # of the feed URL.
    feed_url_hexdigest = md5(feed_url).hexdigest()
    lock_id = '{0}-lock-{1}'.format(self.name, feed_url_hexdigest)
    logger.debug('Importing feed: %s', feed_url)
    with memcache_lock(lock_id, self.app.oid) as acquired:
        if acquired:
            return Feed.objects.import_feed(feed_url).url
    logger.debug(
        'Feed %s is already being imported by another worker', feed_url)

任务手册 — Python 文档

任务食谱

确保一次只执行一项任务