포스트

[아키텍처] Kafka 와 RabbitMQ 비교와 선택의 이유

[아키텍처] Kafka 와 RabbitMQ 비교와 선택의 이유

이 글은 무조건적인 기술 비교가 아닌, 서비스를 고려한 의사결정 기록에 가깝다.


들어가며

진행 중인 프로젝트에서 일정 시간 간격으로 여러 이벤트에 대해 외부 API 요청을 보내야 하는 요구사항이 있었다.
처음에는 Spring Scheduler 를 사용해 폴링 로직을 구현했지만 이 방식은 기본적으로 직렬 처리에 가깝다는 한계가 존재했다.

이벤트 수가 늘어나거나 외부 API 응답 지연이 발생할 경우에 하나의 요청 지연이 전체 폴링 지연으로 이어질 수 있는 구조였다.
처리량과 안정성 측면에서 구조적인 한계가 명확한 상황이었다.

이 문제를 해결하기 위해서 폴링 로직과 실제 처리 로직을 분리하고
비동기 및 병렬 처리가 가능한 메시지 브로커 기반의 아키텍처를 도입하기로 결정했다.



Kafka 와 RabbitMQ 비교

구분KafkaRabbitMQ
개념이벤트 스트리밍메시지 브로커
데이터 처리처리 및 저장(보관)소비(ack) 후 삭제
전달 방식Consumer가 가져감Broker 가 밀어줌
순서 보장파티션 내 보장병렬 처리 시 까다로움
구축 난이도비교적 어려움쉬움
처리 속도압도적으로 빠름빠름

정리하자면
Kafka: 이벤트를 시간순으로 쌓아두는 로그 시스템, 처리자가 직접 가져가서 처리
RabbitMQ: 지금 처리해야 할 작업을 안전하게 전달하는 작업 큐



현재 프로젝트의 폴링 시스템 상황

현재 설계 중인 시스템은 다음과 같은 특징이 있다.

  • 사용자 1인당 평균 1~2개 이벤트
  • 사용자 100명 기준 약 200개 내외의 폴링 이벤트
  • 외부 API 호출이 포함된 I/O 작업
  • 실시간 스트림 분석이나 대규모 로그 처리는 필요 없음
  • 서비스 유료화 및 대규모 서비스는 고려 중



RabbitMQ 를 선택한 이유

현재 규모

위 조건들을 보면 현재 단계에서는 대규모 스트리밍 이 반드시 필요한 상황은 아니다. 오히려 중요한 것은 빠른 개발과 검증이고 구조를 잘 설계해두면 이후에 RabbitMQ 를 Kafka 로 교체하는 방식의 전환도 충분히 가능하다.

200 개 내외의 이벤트를 병렬로 안정적으로 처리하는 것은 RabbitMQ 가 충분히 감당 가능한 범위이다.

운영 복잡도 최소화

Kafka 는 강력하지만 운영 비용과 학습 비용이 크다. 반면 RabbitMQ 는 연동이 간단하고 로컬/운영 환경 차이가 작다.
즉, 지금 단계에서 RabbitMQ 의 생산성이 더 높다고 판단하였다.

지금은 아니다

Kafka 는 누가 뭐라 해도 좋은 선택지이다.
하지만 이번 시스템에서 Kafka 를 선택한다면 그 이유는 단 한 가지일 것이다.

“나중에 커질 수도 있으니까”

이것은 미래 가설에 대한 투자에 가깝다고 생각하였고, 현재 요구사항에서 Kafka 는 오버 엔지니어링 이라고 생각하였다.



설계 방식

중요한 점은 RabbitMQ 를 쓰되, Kafka 로 전환 가능하게 설계하는 것이었다.

1
2
3
public interface PollingEventPublisher {
    void publish(PollingEvent event);
}
  • 현재 구현체: RabbitMQ
  • 변경 후 구현체: Kafka

지금은 단순하게 구현하지만, 나중에는 자연스럽게 확장이 가능해진다.

이 기사는 저작권자의 CC BY 4.0 라이센스를 따릅니다.