본문 바로가기

BackEnd🌱/Kafka4

Spring Boot에서 여러 Kafka 클러스터 사용하기 개요프로젝트에서 일반적으로 하나의 Kafka 클러스터만을 사용하는 경우가 대부분이지만, 경우에 따라 서로 다른 환경의 Kafka 클러스터에 동시에 연결해야 할 필요가 생길 수 있다.나는 이번에 작업하면서 기존의 연결된 Kafka 클러스터 말고도 또 하나의 새로운 클러스터를 연결해야 했는데, 작업을 진행하면서 얻었던 지식을 공유하고자 작성하게 되었다. 컨슈머 설정Spring Boot는 기본적으로 ConcurrentKafkaListenerContainerFactory를 자동으로 구성하여 Kafka 리스너 컨테이너를 생성한다. 그러나 여러 Kafka 클러스터에 연결하려면 각 클러스터에 대해 별도의 ConcurrentKafkaListenerContainerFactory 빈을 생성하고, 해당 클러스터에 맞는 C.. 2024. 8. 17.

[Kafka] 컨슈머 오프셋 수동으로 커밋하기 개요메시지 손실을 방지하기 위해 메시지 처리가 문제없이 완료되었을 경우에만 commit을 수행하도록, 컨슈머의 offset commit을 수동으로 설정하는 경우가 여러 존재합니다. 하지만 단순히 auto.offset.commit만 false로 지정하는 경우에는 원하는 방향으로 동작하지 않을 수도 있습니다.이번 게시글에서는 자동 커밋의 동작 과정과 주의점, 그리고 커밋을 수동으로 제어하기 위한 auto.offset.commit 설정과 ack-mode 설정에 대해 알아보겠습니다. auto.offset.commitKafka의 컨슈머는 읽은 메시지의 위치를 추적하기 위해 offset을 commit 하는 역할을 담당합니다. 이 offset은 Kafka의 내부 토픽인 __consumer_offsets에 저장되며,.. 2024. 3. 6.

[Kafka] 프로듀서 멱등성 보장하기 개요멱등성은 동일한 작업을 여러 번 수행하더라도 동일한 결과가 나타나는 특성을 의미합니다. 따라서 멱등성을 지닌 프로듀서는 같은 데이터를 여러 번 전송하더라도 해당 데이터가 카프카 클러스터에 단 한 번만 저장되도록 보장합니다.그렇다면 프로듀서에 어떻게 멱등성을 적용하고, 이를 통해 데이터의 중복 저장 없이 정확히 한 번만 저장되도록 보장할 수 있을까요? 이번 글에서는 프로듀서에 멱등성을 보장하도록 적용하는 방법에 대해 상세하게 알아보도록 하겠습니다. 메시지 전송 방식Producer와 Broker의 설정 및 구성에 따라 Kafka에서는 메시지 전달 보장 수준을 아래와 같이 세 가지 방식으로 구분합니다. 최대 한 번 (At most once): 메시지가 한 번만 전송되며, 재전송은 발생하지 않는다. 그러나.. 2024. 2. 1.

[Kafka] 리밸런싱 종류와 파티션 할당 전략 개요카프카 컨슈머는 토픽의 각 파티션에서 메시지를 처리하는 역할을 합니다. 그런데 특정 컨슈머가 문제를 겪게 되면 그 컨슈머가 처리하던 파티션의 소유권을 다른 컨슈머로 넘겨야 합니다. 이런 과정을 '리밸런싱'이라고 부르며 주로 아래 네 가지 상황에서 발생합니다.컨슈머 그룹에 새로운 컨슈머가 추가될 때기존 컨슈머가 그룹에서 나갈 때구독하는 토픽에 새로운 파티션이 생길 때컨슈머가 구독하는 토픽이 변경될 때리밸런싱이 가장 많이 일어나는 일반적인 상황은 애플리케이션 배포 시입니다. 기존 애플리케이션 종료 후 새로운 애플리케이션이 실행되면서, 기존 컨슈머가 삭제되고 새로운 컨슈머가 생성되기 때문입니다. 이 과정에서 리밸런싱이 최소 두 번 이상 발생하게 됩니다.그리고 리밸런싱 과정은 아래와 같은 문제점을 동반합니다.. 2024. 1. 7.

이전 1 다음

티스토리툴바