Что нового в Celery 4.3 (ревень)¶

Новые алгоритмы сжатия¶

Kombu 4.3 включает несколько новых дополнительных методов сжатия:

• LZMA (доступен из stdlib при использовании Python 3 или из backported пакета)

• Brotli (доступен, если вы установили пакет brotli или brotlipy)

• ZStandard (доступен при установке пакета zstandard)

К сожалению, наш текущий протокол генерирует огромную полезную нагрузку для сложных полотен.

Пока мы не перейдем на 3-ю ревизию протокола Celery в Celery 5, которая решит эту проблему, пожалуйста, используйте один из новых методов сжатия в качестве обходного пути.

Подробнее см. в разделе Компрессия.

Поддержка брокером Redis URIs для SSL¶

Брокер Redis теперь поддерживает SSL-соединения.

Вы можете использовать broker_use_ssl, как обычно, и использовать URI rediss://.

Вы также можете передать параметры конфигурации SSL в URI:

rediss://localhost:3456?ssl_keyfile=keyfile.key&ssl_certfile=certificate.crt&ssl_ca_certs=ca.pem&ssl_cert_reqs=CERT_REQUIRED.

Настраиваемые события Имя обмена¶

Ранее имя биржи событий было жестко задано.

Для его определения можно использовать event_exchange. Значение по умолчанию остается неизменным.

Настраиваемое имя обмена Pidbox¶

Ранее имя обмена Pidbox было жестко задано.

Для его определения можно использовать control_exchange. Значение по умолчанию остается неизменным.

Поддержка бэкендом Redis Result поддержки SSL URIs¶

Бэкенд результатов Redis теперь поддерживает SSL-соединения.

Вы можете использовать redis_backend_use_ssl для его настройки и использовать URI rediss://.

Вы также можете передать параметры конфигурации SSL в URI:

rediss://localhost:3456?ssl_keyfile=keyfile.key&ssl_certfile=certificate.crt&ssl_ca_certs=ca.pem&ssl_cert_reqs=CERT_REQUIRED.

Хранить расширенные метаданные задачи в результатах¶

Когда result_extended равно True, бэкэнд будет хранить следующие метаданные:

• Название задачи

• Аргументы

• Аргументы по ключевым словам

• Рабочий, на котором было выполнено задание

• Количество повторных попыток

• Имя очереди или ключ маршрутизации

Кроме того, celery.app.task.update_state() теперь принимает аргументы в виде ключевых слов, что позволяет сохранять пользовательские данные вместе с результатом.

Кодирование результатов с помощью другого сериализатора¶

Параметр result_accept_content позволяет настроить различное принимаемое содержимое для бэкенда результатов.

Для подписанных сообщений используется специальный сериализатор (auth), однако сериализатор результатов остается в формате json, поскольку мы не хотим иметь зашифрованное содержимое в бэкенде результатов.

Чтобы принимать неподписанное содержимое из бэкенда результатов, мы ввели этот новый параметр конфигурации для указания принимаемого содержимого из бэкенда.

Новые бэкенды результатов¶

В этом выпуске представлены четыре новых бэкенда результатов:

• Бэкэнд результатов S3

• Бэкенд результатов ArangoDB

• Бэкэнд результатов Azure Block Blob Storage

• Бэкэнд результатов CosmosDB

S3 Result Backend¶

Amazon Simple Storage Service (Amazon S3) - это служба хранения объектов от AWS.

Результаты сохраняются с использованием следующего шаблона пути:

Дополнительную информацию см. в разделе Настройки бэкенда S3.

Бэкенд результатов ArangoDB¶

ArangoDB - это собственная многомодельная база данных с возможностью поиска. Бэкэнд хранит результат в следующем формате документа:

Дополнительную информацию см. в разделе Настройки бэкенда ArangoDB.

Azure Block Blob Storage Result Backend¶

Azure Block Blob Storage - это служба хранения объектов от Microsoft.

Бэкэнд сохраняет результат в следующем шаблоне пути:

Дополнительную информацию см. в разделе Настройки бэкенда Azure Block Blob.

Бэкенд результатов CosmosDB¶

Azure Cosmos DB - это глобально распределенная, многомодельная служба баз данных Microsoft.

Бэкэнд сохраняет результат в следующем формате документа:

Дополнительную информацию см. в разделе Настройки бэкенда CosmosDB (экспериментально).

Китонизированные задачи¶

Теперь поддерживаются задачи на языке Cython. Вы можете генерировать C-код из Cython, который определяет задачу с помощью декоратора @task, и все будет работать точно так же.

Подтверждение заданий при сбоях или тайм-аутах¶

Когда task_acks_late имеет значение True, задания квитируются при сбоях или тайм-аутах. Это затрудняет использование очередей и обменов «мертвых букв».

Celery 4.3 вводит новый параметр task_acks_on_failure_or_timeout, который позволяет не подтверждать задания, если они не выполнились или завершились по таймеру, даже если task_acks_late установлен в True.

task_acks_on_failure_or_timeout по умолчанию имеет значение True.

Расписания теперь поддерживают микросекунды¶

При планировании задач с использованием celery beat микросекунды больше не игнорируются.

Приоритет задачи по умолчанию¶

Теперь вы можете установить приоритет задачи по умолчанию с помощью параметра task_default_priority. Значение настройки будет использоваться, если для конкретной задачи не указан приоритет.

Задачи по желанию наследуют приоритет родителя¶

Установка опции конфигурации task_inherit_parent_priority в True заставит задачи Celery наследовать приоритет предыдущей связанной с ней задачи.

Примеры:

c = celery.chain(
  add.s(2), # priority=None
  add.s(3).set(priority=5), # priority=5
  add.s(4), # priority=5
  add.s(5).set(priority=3), # priority=3
  add.s(6), # priority=3
)

@app.task(bind=True)
def child_task(self):
  pass

@app.task(bind=True)
def parent_task(self):
  child_task.delay()

# child_task will also have priority=5
parent_task.apply_async(args=[], priority=5)

Аккорды могут быть исполнены в режиме Eager Mode¶

Когда task_always_eager имеет значение True, аккорды также выполняются с нетерпением.

Настраиваемый тайм-аут присоединения аккорда¶

Ранее celery.result.GroupResult.join() имел фиксированный тайм-аут в 3 секунды.

Настройка result_chord_join_timeout теперь позволяет изменить его.

По умолчанию остается 3 секунды.