[Kafka] 리밸런싱 종류와 파티션 할당 전략

개요

카프카 컨슈머는 토픽의 각 파티션에서 메시지를 처리하는 역할을 합니다. 그런데 특정 컨슈머가 문제를 겪게 되면 그 컨슈머가 처리하던 파티션의 소유권을 다른 컨슈머로 넘겨야 합니다. 이런 과정을 '리밸런싱'이라고 부르며 주로 아래 네 가지 상황에서 발생합니다.

1. 컨슈머 그룹에 새로운 컨슈머가 추가될 때
2. 기존 컨슈머가 그룹에서 나갈 때
3. 구독하는 토픽에 새로운 파티션이 생길 때
4. 컨슈머가 구독하는 토픽이 변경될 때

리밸런싱이 가장 많이 일어나는 일반적인 상황은 애플리케이션 배포 시입니다. 기존 애플리케이션 종료 후 새로운 애플리케이션이 실행되면서, 기존 컨슈머가 삭제되고 새로운 컨슈머가 생성되기 때문입니다. 이 과정에서 리밸런싱이 최소 두 번 이상 발생하게 됩니다.

그리고 리밸런싱 과정은 아래와 같은 문제점을 동반합니다.

• 리밸런싱이 진행되는 동안 컨슈머는 메시지를 처리하지 않는다. 이로 인해 애플리케이션 처리에 지연이 발생할 수 있다.
• 리밸런싱 과정에서 컨슈머가 파티션의 어느 위치부터 메시지를 읽어야 할지 결정해야 하는데, 이 과정에서 메시지가 중복되거나 누락될 수 있다.

리밸런싱은 무거운 작업이기에 자주 발생하게 되면 시스템에 부담이 될 수 있습니다. 이를 최소화하기 위한 다양한 방법들이 있지만, 이번 게시글에서는 그중 '파티션 할당 전략'에 대해 자세히 알아보겠습니다.

 

 

Partition Assignment Strategy(파티션 할당 전략)이란?

'Partition Assignment Strategy'는 카프카 컨슈머가 토픽의 어떤 파티션을 소비할 것인지 결정하는 방식을 의미합니다. 이 전략에 따라 컨슈머와 파티션 간의 관계가 결정되며, 데이터 처리 효율성과 성능에 큰 영향을 미칩니다.

카프카의 파티션 할당 전략은 크게 '적극적 리밸런싱'과 '협력적 리밸런싱'으로 나뉘며, 이에 따라 아래의 4가지의 파티션 할당 전략이 존재합니다. 

1. 레인지(Range) 파티션 할당 전략
2. 라운드 로빈(RoundRobin) 파티션 할당 전략
3. 스티키(Sticky) 파티션 할당 전략
4. 협력적 스티키(CooperativeSticky) 파티션 할당 전략

각각 세세하게 하나씩 알아보도록 하겠습니다.

 

 

적극적 리밸런싱(Eager Rebalance)

https://www.conduktor.io/kafka/consumer-incremental-rebalance-and-static-group-membership/

'레인지(Range), 라운드 로빈(RoundRobin), 스티키(Sticky) 파티션 할당 전략'이 해당하는 방식입니다.

리밸런싱이 일어나게 되면 모든 컨슈머는 아파치 카프카로부터 데이터 수신을 중단하고, 자신들이 가지고 있던 파티션의 그룹 구성을 포기합니다. 이 과정에서 모든 컨슈머가 동시에 작업을 멈추는 'stop the world' 현상이 일어나게 되며, 이로 인해 전체 컨슈머 그룹의 데이터 처리가 일시적으로 중단됩니다. 이 시간 동안 컨슈머 그룹은 유휴 상태가 되어 메시지를 소비하거나 오프셋 커밋을 허용하지 않습니다. 이에 반해 프로듀서의 경우에는 리밸런싱과 무관하게 파티션에 데이터를 계속해서 쓰기 때문에 대기 시간 동안에는 LAG가 급격하게 증가하게 됩니다. 이로 인해 컨슈머 그룹의 데이터 처리 성능에 일시적인 영향을 미칠 수 있습니다.

리밸런싱 이후에는 컨슈머들이 그룹에 다시 참여하고, 새로운 파티션을 할당받게 됩니다. 이때 주의할 점은, 컨슈머들이 이전에 가졌던 파티션을 반드시 다시 받는다는 보장이 없다는 것입니다. 즉 리밸런싱 후에는 컨슈머들이 새로운 파티션을 할당받을 가능성이 있습니다.

이러한 특성들로 인해, '적극적 리밸런싱'은 그룹의 안정성이나 데이터 처리 성능에 영향을 미칠 수 있으므로 신중하게 사용해야 합니다.

 

 

협력적 리밸런싱(Cooperative Rebalance, Incremental Rebalance)

https://www.conduktor.io/kafka/consumer-incremental-rebalance-and-static-group-membership/

'협력적 스티키(CooperativeSticky) 파티션 할당 전략'이 해당하는 방식으로, 협력적 리밸런싱은 Kafka v2.4부터 도입된 꽤나 최근에 나온 진보된 리밸런싱 방식입니다.

이 방식은 파티션의 일부만이 한 컨슈머에서 다른 컨슈머로 이동하는 특징을 가지며, 이는 리밸런싱과 직접적인 관련이 없는 다른 카프카 컨슈머들이 데이터 처리를 계속 진행할 수 있게 하여, 전체 그룹의 처리 성능에 미치는 영향을 최소화합니다.

'협력적 리밸런싱'은 안정적인 파티션 할당 상태를 점진적으로 찾아가는 과정으로, 여러 차례의 리밸런싱을 거칩니다. 첫 번째 단계에서는 리더가 모든 컨슈머에게 일부 파티션의 소유권을 잃게 될 것임을 알리고, 컨슈머는 이러한 파티션의 소유권을 포기합니다. 그 후 단계에서 조정자는 이 고아가 된 파티션을 새로운 컨슈머에게 할당합니다.

이런 방식은 안정적인 파티션 할당 상태가 이루어질 때까지 몇 번의 반복이 필요할 수 있지만, 적극적 리밸런싱에서 발생하는 서비스 중단 상황을 피할 수 있어, 리밸런싱에 많은 시간이 소요되는 큰 규모의 컨슈머 그룹에서 특히 중요합니다.따라서 협력적 리밸런싱은 전체 그룹의 성능을 유지하면서 파티션 할당을 유연하게 조절할 수 있는 장점이 있습니다. 하지만 이 방식을 활용할 때에도 신중하게 접근해야 하며, 그룹의 상황에 따라 적절한 전략을 선택하는 것이 중요합니다.
 

1. 레인지 파티션 할당 전략

'레인지(Range) 파티션 할당 전략'은 아파치 카프카 v2.4이전까지는 기본으로 설정된 '적극적 리밸런싱' 방식의 파티션 할당 전략입니다.

https://www.conduktor.io/blog/kafka-partition-assignment-strategy/

이 전략은 다음과 같은 순서로 진행됩니다.

1. 먼저 구독 중인 토픽의 파티션과 컨슈머를 순서대로 나열한다.
2. 이후 각 컨슈머가 받아야 할 파티션의 수를 결정하는데, 이는 해당 토픽의 전체 파티션 수를 컨슈머 그룹의 총 컨슈머 수로 나눈 값이다.
3. 만약 컨슈머 수와 파티션 수가 정확히 일치한다면, 모든 컨슈머는 파티션을 균등하게 할당받는다.
4. 그러나 파티션 수가 컨슈머 수로 균등하게 나누어지지 않는다면, 순서상 앞에 있는 컨슈머들이 추가로 파티션을 할당받게 된다.

위 그림에서 각 토픽에 존재하는 파티션의 수는 총 2개, 컨슈머 수는 총 3개입니다. 따라서 2를 3으로 나눈 결과인 2/3이 되어 한 컨슈머는 파티션을 할당받지 못하게 됩니다.

이 전략의 큰 장점 중 하나는 특정 도메인에 대한 데이터 처리를 한 컨슈머에서 일관되게 관리할 수 있다는 점입니다. 예를 들어, 실시간 로그 분석 시스템에서 토픽 A가 로그 데이터를, 토픽 B가 해당 로그 데이터에 대한 에러 정보를 관리하는 경우를 생각해 봅시다. 레인지 전략을 사용하면 동일한 파티션 번호를 가진 두 종류의 데이터가 동일한 컨슈머로 할당됩니다. 이렇게 되면, 한 컨슈머 내에서 로그 데이터와 그에 대한 에러 정보를 함께 처리하고 분석할 수 있어, 데이터의 일관성을 유지하면서 처리 효율성을 높일 수 있습니다.

그러나 이 전략의 단점은 파티션의 분배가 균등하지 않을 수 있다는 점입니다. 즉 특정 컨슈머가 과부하를 겪을 수 있습니다. 또한 새로운 컨슈머가 그룹에 참여하거나 기존 컨슈머가 그룹에서 나가면 전체적인 리밸런싱이 발생하여, 잠시 동안 모든 컨슈머가 작업을 중단하게 됩니다.

2. 라운드 로빈 파티션 할당 전략

'라운드 로빈(Round Robin) 파티션 할당 전략'은 '적극적 리밸런싱' 방식의 파티션 할당 전략 중 하나로, 파티션을 컨슈머 그룹의 모든 컨슈머에게 균등하게 분배하는 방식입니다. '레인지(Range)' 전략과 마찬가지로, 파티션과 컨슈머는 할당 전에 사전식 순서로 정렬됩니다.

https://www.conduktor.io/blog/kafka-partition-assignment-strategy/

라운드 로빈 전략의 주요 장점은 모든 사용 가능한 컨슈머를 효과적으로 활용하고 성능을 향상시키는 데 있습니다. 즉, 모든 컨슈머가 균등하게 작업을 분산받아 처리하게 되므로, 효율적인 리소스 활용이 가능합니다.

그러나 이 전략의 주요 단점은 컨슈머 수가 변경될 때(즉, 리밸런싱이 발생할 때) 파티션 이동을 최소화하려는 시도를 하지 않는다는 점입니다. 예를 들어, 특정 컨슈머의 연결이 끊어지면, 해당 컨슈머에 할당되었던 파티션들은 다른 컨슈머들에게 재할당되어야 합니다. 이러한 불필요한 파티션 이동은 컨슈머의 성능에 영향을 줄 수 있습니다.

위 이미지를 보면, 컨슈머 2의 연결이 끊어질 경우 파티션 A-1, B-0, B-1의 할당이 변경되는 것을 볼 수 있습니다. 이로 인해 4개의 파티션 중 3개의 파티션이 다른 사용 가능한 컨슈머에게 다시 재할당되는 상황이 발생합니다. 이러한 불필요한 파티션 이동은 컨슈머가 새로운 파티션의 데이터를 불러오고 처리하는 데 추가적인 시간과 리소스가 소요되므로 성능에 부정적인 영향을 미칩니다.

3. 스티키 파티션 할당 전략

'스티키(Sticky) 파티션 할당 전략'도 '적극적 리밸런싱' 방식의 파티션 할당 전략 중 하나입니다. 이 전략은 리밸런싱 작업이 필요할 때, 리밸런싱 작업이 일어나기 전의 컨슈머의 파티션 정보를 우선적으로 매핑하여 리밸런싱 과정에서 발생할 수 있는 불필요한 파티션 이동을 최소화합니다.

https://www.conduktor.io/blog/kafka-partition-assignment-strategy/

스티키 할당 방식은 라운드 로빈 할당 전략에서 발생할 수 있는 불필요한 파티션 이동 문제를 개선했습니다. 스티키 방식은 파티션 이동을 최소화하면서도 사용 가능한 컨슈머 간에 가능한 한 균형 잡힌 할당을 유지합니다.

예를 들어, 위 이미지에서 컨슈머 2의 인스턴스가 다운되거나 실패한 경우를 살펴봅시다. 컨슈머 1과 컨슈머 3은 기존에 할당받았던 파티션을 그대로 유지하고, 컨슈머 2가 가지고 있던 파티션은 새로운 컨슈머 3에게 할당됩니다. 이렇게 함으로써 불필요한 파티션 이동을 최소화하고 시스템의 균형을 유지할 수 있습니다.

그러나 스티키 파티션 할당 전략이 항상 기존의 파티션과 컨슈머를 유지하는 것은 아닙니다. 이 전략의 최우선 순위는 가능한 한 균형 잡힌 파티션 할당을 유지하는 것이며, 그다음 목표가 리밸런싱이 발생할 때 기존의 할당된 파티션 정보를 최대한 유지하는 것이기 때문입니다.

따라서 스티키 파티션 할당 전략은 불필요한 파티션 이동을 최소화하고 균형 잡힌 처리량을 유지하면서 효율적인 리밸런싱을 가능하게 합니다. 이 전략이 적용되는 환경에서는 파티션의 균형과 리밸런싱 과정의 효율성이 중요한 요소가 됩니다.

4. 협력적 스티키 파티션 할당 전략

'협력적 스티키(CooperativeSticky) 파티션 할당 전략'은 기존의 '스티키 할당 전략'에 '협력적 리밸런싱'이라는 새로운 개념을 추가한 것입니다. 이 전략은 전체 컨슈머 그룹이 아닌 개별 컨슈머에 초점을 맞춰 더욱 유연하고 효율적인 리밸런싱을 가능하게 합니다. 카프카 v2.4부터 default로 지정되었습니다.

협력적 리밸런싱은 리밸런싱이 필요한 특정 파티션에만 집중하며, 그 외의 나머지 파티션들은 그대로 유지되는 방식입니다. 즉, 컨슈머 재할당이 필요한 특정 파티션의 소비만 중지하고, 다른 나머지 파티션에서는 계속해서 데이터를 소비합니다. 전체 컨슈머 그룹이 아닌 개별 컨슈머의 작업 중단을 최소화하므로, 전체적인 데이터 처리 성능에 더 적은 영향을 미칩니다.

따라서 협력적 스티키 파티션 할당 전략은 컨슈머가 재할당되지 않은 파티션에서 계속 데이터를 소비할 수 있도록 지원하며, 이로 인해 리밸런싱의 영향을 최소화하면서 효율적인 리밸런싱을 가능하게 합니다.

https://devocean.sk.com/community/detail.do?ID=165478&boardType=DEVOCEAN_STUDY&page=1

이미지의 위쪽은 새로운 컨슈머가 추가될 때이고, 아래는 기존의 컨슈머가 제외될 때를 나타냅니다.

협력적 스티키 전략은 컨슈머 그룹의 구성 변경이 자주 발생하는 환경에 특히 유용하며 컨슈머의 추가나 제거 또는 파티션의 재할당이 필요한 상황에서도 이 전략은 빠르게 적응하여 효율적인 리밸런싱을 수행합니다. 또한 '동적 멤버십'과 '정적 멤버십' 모두를 지원하며 애플리케이션의 요구사항에 따라 컨슈머 그룹의 구성을 동적으로 유연하게 조정할 수 있습니다.

이 모든 특성들을 통해 협력적 스티키 파티션 할당 전략은 리밸런싱 과정에서의 데이터 처리 지연을 최소화하며, 빠르고 효율적인 리밸런싱을 가능하게 하여 전체적인 컨슈머 그룹의 성능 향상과 안정성을 지원합니다.

 

 

정리

리밸런싱 방식	설명	영향 범위	적용 전략
적극적 리밸런싱(EAGER)	리밸런싱 발생 시 모든 컨슈머가 데이터 수신을 중단하고 파티션의 소유권을 포기	전체 컨슈머 그룹	Range, RoundRobin, Sticky
협력적 리밸런싱(COOPERATIVE)	리밸런싱이 필요한 특정 파티션에만 영향을 주며, 그 외의 파티션들은 그대로 유지. 개별 컨슈머의 작업 중단을 최소화	특정 파티션	CooperativeSticky

파티션 할당 전략	설명	Rebalancing Protocol
Range Partition 할당 전략	Topic 별로 동일한 Partition을 특정 Consumer에게 할당하는 방식	EAGER
Round Robin Partition 할당 전략	사용 가능한 Partition과 Consumer를 순차적으로 할당	EAGER
Sticky Partition 할당 전략	Consumer가 구독 중인 Partition을 계속 유지하게 끔 할당	EAGER
Cooperative Sticky Partition 할당 전략	Sticky와 유사하지만, 전체 Rebalancing이 아닌 필요한 Partition끼리 점진적으로 Rebalancing 하는 방식	COOPERATIVE

 

 

참고

• https://devocean.sk.com/community/detail.do?ID=165478&boardType=DEVOCEAN_STUDY&page=1
• https://www.conduktor.io/blog/kafka-partition-assignment-strategy/