Celery란? 좋은 자료

현재 구성을 Flask + Kafka + Celery로 할까함.

 

 

https://medium.com/sunhyoups-story/celery-b96eb337b9cf

Celery를 이용한 분산처리 프로세스 작성하기

Celery란?

웹 서비스를 하면서 응답을 받기 오래 걸리는 작업이 종종 있습니다. 그럴 경우 사용자는 응답을 받기위해 오랜 시간을 기다려야 합니다. 보통 웹 서비스에서 응답 시간은 서비스의 생명과 직결되므로 비동기로 작업을 처리하게 넘기고 바로 응답을 하는 경우가 많습니다. celery는 그 작업을 할 수 있도록 도와주는 파이썬 프레임워크입니다. 보통 이런 프레임워크를 worker라고 부릅니다. 지금부터 celery에 대해서 알아봅시다.

 

> 응답이 받기 오래걸리는 작업이 종종 있을 때 비동기로 처리하게 하기 위해서 추가해야한다고함!

브로커 설정

celery는 작업을 브로커에게 전달하면 워커가 작업을 처리하는 구조입니다. 그렇기 때문에 celery를 사용하기 위해서는 작업 요청을 받을 브로커가 필요합니다. 여기서 브로커란 요청한 작업을 담아두는 큐이고 담아둔 요청을 여러 개의 worker에게 적절히 분배합니다.

 

 

https://medium.com/sunhyoups-story/celery-b96eb337b9cf

 

?? 근데 같이 쓸 수 있나? Kafka에도 이미 broker의 개념이 있는데?...

 

Flask + Kafka + Celery

 

https://github.com/PradeepJaiswar/flask-kafka-celery

PradeepJaiswar/flask-kafka-celery