ThreadPoolExecutor 동작에 관한 오해

개요

Java에서 스레드풀을 효과적으로 관리할 수 있게 해주는 ThreadPoolExecutor, 그리고 이를 더욱 쉽게 사용할 수 있도록 Spring에서 제공하는 ThreadPoolTaskExecutor의 동작 방식에 관해 제가 그동안 잘못 이해하고 있었던 두 가지의 오해를 정리하고자 글을 작성하게 되었습니다.

내용은 다음과 같습니다.

1. 별도의 설정을 하지 않으면 서버 실행 시에 지정한 스레드 풀 크기만큼 스레드가 자동으로 생성되지 않는다.
2. corePoolSize와 maxPoolSize는 서로 상관없다.
   1. 큐의 크기를 지정해주지 않으면 maxPoolSize은 사실상 의미 없는 설정이다.
   2. corePoolSize크기 이상의 요청이 들어온다고 해서 maxPoolSize만큼 스레드를 생성하지 않는다.

https://github.com/dkswnkk/ThreadPoolExecutorTest

 

 

사전에 스레드풀의 크기만큼 스레드가 자동으로 생성되지 않는다.

먼저 첫 번째 오해에 대해 살펴봅시다. 아래와 같은 설정을 가진 스레드 풀이 있다고 가정하겠습니다.

@Configuration
@EnableAsync
public class ThreadPoolConfig {

    @Bean(name = "threadPoolTaskExecutor")
    public Executor getAsyncExecutor() {
        ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
        executor.setCorePoolSize(5); // 기본 스레드 수
        executor.setMaxPoolSize(20); // 최대 스레드 수(default: Integer.MAX)
        executor.setQueueCapacity(11); // 큐 용량
        executor.setKeepAliveSeconds(60); // 유휴 스레드 종료 시간(default: 60)
        executor.setThreadNamePrefix("Executor-"); // 스레드 이름 접두사
        executor.initialize(); // 초기화

        return executor;
    }
}

위와 같이 설정했을 경우 서버 시작(애플리케이션 실행) 시 스레드 풀에 corePoolSize인 5만큼 자동으로 스레드가 생성될 것으로 기대했습니다. 그러나 실제로는 스레드 작업이 요청될 때 필요한 만큼만 스레드가 스레드풀에 생성되기 시작합니다.

스레드 풀의 동작을 확인하기 위한 코드는 다음과 같습니다.

@Slf4j
@SpringBootApplication
public class ThreadPoolTest {

    public static void main(String[] args) throws InterruptedException {
        ConfigurableApplicationContext context = SpringApplication.run(ThreadPoolTest.class, args);

        Run run = context.getBean(Run.class);
        for (int i = 0; i < 10; i++) {
            run.checkPrestartedThreads();
            Thread.sleep(1000);
        }
    }
}

@Slf4j
@Service
@DependsOn("threadPoolTaskExecutor")
public class Run {
    @Autowired
    private ThreadPoolTaskExecutor threadPoolTaskExecutor;

    @Async(value = "threadPoolTaskExecutor")
    public void checkPrestartedThreads() {
        // 스레드 풀의 현재 스레드 수를 확인
        int poolSize = threadPoolTaskExecutor.getPoolSize();
        log.info("스레드 풀의 현재 스레드 수: {}", poolSize);
    }
}

위 코드의 수행 결과는 다음과 같습니다.

잘 보면 처음부터 스레드 풀의 스레드 수가 corePoolSize인 5로 세팅되는 것이 아니라 해당 작업이 요청될 때 스레드 풀에 스레드를 생성하며, 한 번에 corePoolSize만큼의 수를 생성하지 않고 필요한 만큼 하나씩 생성하는 것을 확인할 수 있습니다. 그리고 최종적으로 corePoolSize만큼의 스레드가 생성되었을 때 더 이상 생성하지 않는 것을 볼 수 있습니다.

즉, 애플리케이션 실행 시 스레드 풀에 corePoolSize만큼 스레드가 자동으로 생성되지 않으며, 작업 요청이 발생할 때 스레드가 생성됩니다. 또한 한 번에 corePoolSize만큼 생성되지 않고 요청에 따라 점진적으로 생성되며, 스레드 풀이 corePolSize에 도달하면 추가적인 스레드는 생성되지 않습니다. 따라서 서버 시작 후, 첫 요청의 경우에 cold start가 일어나 원하던 성능이 나오지 않을 수도 있습니다.

만약 애플리케이션 실행 시 스레드 풀을 corePoolSize 값만큼 즉시 채우고 싶다면, 아래와 같이 ThreadPoolTaskExecutor의 setPrestartAllCoreThreads를 true로 설정해야 합니다. 이를 통해 스레드 풀이 초기화될 때(서버 시작 시) corePoolSize에 설정된 수만큼 스레드를 미리 생성하도록 지시할 수 있습니다.

setPrestartAllCoreThreads의 default 값은 false이며, Spring에서 제공하는 ThreadPoolTaskExecutor에는 corePoolSize에 지정한 수만큼 한 번에 스레드 풀을 채우는 setPrestartAllCoreThreads만 존재하지만 Java에서 제공하는 ThreadTaskExecutor에는 setPrestartAllCoreThreads 뿐만 아니라 prestartCoreThread도 존재하여 preStartCoreThread를 호출하는 횟수만큼 사전에 스레드를 생성할 수 있습니다.

물론 이 경우에도 corePoolSize를 초과하는 스레드는 생성하지 않습니다.

 

 

corePoolSize크기와 maxPoolSize크기는 서로 상관없다.

스레드 풀의 동작 플로우는 다음과 같습니다.

https://medium.com/android-news/executor-framework-understanding-the-basics-43d575e72310

스레드 풀은 corePoolSize의 유휴 스레드를 관리하는 allowCoreThreadTimeOut 설정을 별도로 하지 않았을 시, corePoolSize에 지정된 수 이하의 생성된 스레드만 기본적으로 유지합니다. 그리고 corePoolSize를 초과하는 요청이 들어오더라도 곧바로 maxPoolSize만큼 스레드를 늘리지 않습니다. maxPoolSize만큼의 스레드 증가는 setQueueCapacity로 지정된 작업 큐의 크기가 가득 찼을 때에만 발생합니다. 즉, 작업 큐가 꽉 차야지만 스레드 풀은 스레드 수를 maxPoolSize까지 증가시킵니다.

기본값으로 queueCapacity의 크기는 Integer.MAX_VALUE로 설정되어 있기 때문에 별도로 queueCapacity를 지정하지 않으면 사실상 큐의 크기가 꽉 찰 일이 없어 스레드 풀의 크기가 maxPoolSize까지 증가하는 상황이 발생하지 않습니다.

실제로 아래와 같이 queue의 크기를 default로 설정한 경우, maxPoolSize를 20으로 지정했음에도 불구하고, 스레드 풀의 크기가 5로 계속해서 유지되는 것을 확인할 수 있습니다.

@Configuration
@EnableAsync
public class ThreadPoolConfig {

    @Bean(name = "threadPoolTaskExecutor")
    public Executor getAsyncExecutor() {
        ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
        executor.setCorePoolSize(5);
        executor.setMaxPoolSize(20);
        executor.setThreadNamePrefix("Executor-");
        executor.initialize();

        return executor;
    }
}

@Slf4j
@Service
@DependsOn("threadPoolTaskExecutor")
public class Run {

    @Autowired
    private ThreadPoolTaskExecutor threadPoolTaskExecutor;

    @Async(value = "threadPoolTaskExecutor")
    public void start() throws InterruptedException {
        // 스레드 풀의 현재 스레드 수
        int poolSize = threadPoolTaskExecutor.getPoolSize();
        // 현재 활성 스레드 수
        int activeCount = threadPoolTaskExecutor.getActiveCount();
        // 작업 큐의 남은 용량
        int remainingCapacity = threadPoolTaskExecutor.getThreadPoolExecutor().getQueue().remainingCapacity();
        // 현재 작업 큐에 대기 중인 작업 수
        int queueSize = threadPoolTaskExecutor.getThreadPoolExecutor().getQueue().size();

        log.info("현재 스레드 이름: {}, 현재 스레드 풀의 스레드 수: {} 현재 활성 스레드 수: {}, 현재 작업 큐에 대기 중인 작업 수: {}, 작업 큐의 남은 크기: {}",
                Thread.currentThread().getName(), poolSize, activeCount, queueSize, remainingCapacity);


        Thread.sleep(10000);
    }
}

@Slf4j
@SpringBootApplication
public class ThreadPoolTest {

    public static void main(String[] args) throws InterruptedException {
        ConfigurableApplicationContext context = SpringApplication.run(ThreadPoolTest.class, args);

        Run run = context.getBean(Run.class);
        for (int i = 0; i < 100; i++) {
            run.start();
        }
    }
}

따라서 만약 큐의 크기를 별도로 설정하지 않을 경우 maxPoolSize 설정은 사실상 의미가 없는 값이기에, coorPoolSize를 적절하게 설정하는 것이 중요합니다.