[아키텍처] Kafka 와 RabbitMQ 비교와 선택의 이유
이 글은 무조건적인 기술 비교가 아닌, 서비스를 고려한 의사결정 기록에 가깝다.
들어가며
진행 중인 프로젝트에서 일정 시간 간격으로 여러 이벤트에 대해 외부 API 요청을 보내야 하는 요구사항이 있었다.
처음에는 Spring Scheduler 를 사용해 폴링 로직을 구현했지만 이 방식은 기본적으로 직렬 처리에 가깝다는 한계가 존재했다.
이벤트 수가 늘어나거나 외부 API 응답 지연이 발생할 경우에 하나의 요청 지연이 전체 폴링 지연으로 이어질 수 있는 구조였다.
처리량과 안정성 측면에서 구조적인 한계가 명확한 상황이었다.
이 문제를 해결하기 위해서 폴링 로직과 실제 처리 로직을 분리하고
비동기 및 병렬 처리가 가능한 메시지 브로커 기반의 아키텍처를 도입하기로 결정했다.
Kafka 와 RabbitMQ 비교
| 구분 | Kafka | RabbitMQ |
|---|---|---|
| 개념 | 이벤트 스트리밍 | 메시지 브로커 |
| 데이터 처리 | 처리 및 저장(보관) | 소비(ack) 후 삭제 |
| 전달 방식 | Consumer가 가져감 | Broker 가 밀어줌 |
| 순서 보장 | 파티션 내 보장 | 병렬 처리 시 까다로움 |
| 구축 난이도 | 비교적 어려움 | 쉬움 |
| 처리 속도 | 압도적으로 빠름 | 빠름 |
정리하자면
Kafka: 이벤트를 시간순으로 쌓아두는 로그 시스템, 처리자가 직접 가져가서 처리
RabbitMQ: 지금 처리해야 할 작업을 안전하게 전달하는 작업 큐
현재 프로젝트의 폴링 시스템 상황
현재 설계 중인 시스템은 다음과 같은 특징이 있다.
- 사용자 1인당 평균 1~2개 이벤트
- 사용자 100명 기준 약 200개 내외의 폴링 이벤트
- 외부 API 호출이 포함된 I/O 작업
- 실시간 스트림 분석이나 대규모 로그 처리는 필요 없음
- 서비스 유료화 및 대규모 서비스는 고려 중
RabbitMQ 를 선택한 이유
현재 규모
위 조건들을 보면 현재 단계에서는 대규모 스트리밍 이 반드시 필요한 상황은 아니다. 오히려 중요한 것은 빠른 개발과 검증이고 구조를 잘 설계해두면 이후에 RabbitMQ 를 Kafka 로 교체하는 방식의 전환도 충분히 가능하다.
200 개 내외의 이벤트를 병렬로 안정적으로 처리하는 것은 RabbitMQ 가 충분히 감당 가능한 범위이다.
운영 복잡도 최소화
Kafka 는 강력하지만 운영 비용과 학습 비용이 크다. 반면 RabbitMQ 는 연동이 간단하고 로컬/운영 환경 차이가 작다.
즉, 지금 단계에서 RabbitMQ 의 생산성이 더 높다고 판단하였다.
지금은 아니다
Kafka 는 누가 뭐라 해도 좋은 선택지이다.
하지만 이번 시스템에서 Kafka 를 선택한다면 그 이유는 단 한 가지일 것이다.
“나중에 커질 수도 있으니까”
이것은 미래 가설에 대한 투자에 가깝다고 생각하였고, 현재 요구사항에서 Kafka 는 오버 엔지니어링 이라고 생각하였다.
설계 방식
중요한 점은 RabbitMQ 를 쓰되, Kafka 로 전환 가능하게 설계하는 것이었다.
1
2
3
public interface PollingEventPublisher {
void publish(PollingEvent event);
}
- 현재 구현체: RabbitMQ
- 변경 후 구현체: Kafka
지금은 단순하게 구현하지만, 나중에는 자연스럽게 확장이 가능해진다.
