LocalStack을 활용한 AWS S3 테스트 환경 구축하기

개요

이번 글에서는 이전 게시글 'TestContainer로 통합 테스트 환경 구축하기'의 연장선으로, LocalStack을 이용하여 AWS의 S3 테스트 환경 구축에 대해 알아보겠습니다. 관련 코드는 깃허브에서 확인하실 수 있습니다.

 

 

LocalStack이란?

LocalStack은 AWS의 다양한 서비스들을 로컬 개발 환경에서 모방하여 사용할 수 있게 해주는 오픈소스입니다. 이를 활용하면, AWS의 주요 서비스들을 실제 클라우드 환경이 아닌 로컬에서 시뮬레이션하며 개발 및 테스트를 할 수 있습니다.

LocalStack은 AWS의 다양한 서비스, 특히 S3, Lambda, DynamoDB, API Gateway, Kinesis, SQS 등의 주요 서비스들을 지원하며, Docker 환경에서 실행되기 때문에 서비스를 시작하거나 종료하는 것이 매우 간편합니다. 그리고 모듈화 된 구조로 설계되어 있어, S3나 Lambda와 같은 특정 서비스만 선택적으로 실행할 수 있습니다.

보통 로컬 개발 환경에서 AWS 서비스를 사용하면 아래와 같은 문제점이 종종 발생하곤 하는데, 이럴 때 LocalStack을 사용한다면 좋은 선택이 될 수 있습니다.

• 보안 문제: 로컬에서 AWS 서비스를 사용하기 위해 accesskey와 secretkey를 선언 및 관리해야 한다. 이때 키 정보가 코드에 포함되면 보안에 문제가 될 수 있다.
• 테스트 환경의 한계: 특정 보안 조치로 인해 로컬에서 accesskey와 secretkey 사용이 제한될 경우, 실제 AWS 환경에 배포하기 전까지는 테스트를 진행하기 어렵다.
• 테스트 격리의 부재: AWS에서의 서비스들은 다양한 인스턴스에서 동시 접근 및 사용될 수 있기 때문에, 완전히 격리된 테스트 환경을 구축하는 것이 어렵다.
• 비용 문제: 로컬 개발 과정에서 AWS 서비스를 반족적으로 생성 및 삭제하는 행위는 추가적인 비용 부담을 초래할 수 있다.

 

 

TestContainers로 LocalStack 구축하기

LocalStack 컨테이너를 실행하는 방법은 여러 가지가 있지만, 저는 이전 게시글의 연장선으로 TestContainers로 구축해보고자 합니다. 이 부분은 기업들마다 다양하게 구축하고 있는 것 같으니 한번 확인하시면 좋을 것 같습니다.

• 배민 주문마케팅 서비스팀 - TestContainers 사용: https://techblog.woowahan.com/2638
• 인프랩 - docker-compose 사용: https://tech.inflab.com/202202-integration-test-with-localstack

 

build.gradle

dependencies {
    implementation("commons-io:commons-io:2.13.0")
    implementation(platform("software.amazon.awssdk:bom:2.20.136"))
    implementation("software.amazon.awssdk:aws-core")
    implementation("software.amazon.awssdk:sdk-core")
    implementation("software.amazon.awssdk:sts")
    implementation("software.amazon.awssdk:s3")
    testImplementation("org.testcontainers:testcontainers:1.19.0")
    testImplementation("org.testcontainers:localstack:1.19.0")
}

application.yml

cloud:
  aws:
    endpoint: localhost:4566

LocalStack 0.11.0 이전 버전에서는 각 AWS 서비스마다 별도의 포트가 할당되어 있었습니다. 하지만 0.11.0 버전부터는 모든 서비스의 엔드포인트를 'http://localhost:4566'으로 통일하여 복잡성을 줄였습니다. 따라서 AWS의 엔드 포인트를 localhost:4566으로 지정합니다. 

이전 버전에서는 아래처럼 각 AWS 서비스마다 다른 포트로 매핑되어 있었습니다.

• API Gateway at http://localhost:4567
• Kinesis at http://localhost:4568
• DynamoDB at http://localhost:4569
• DynamoDB Streams at http://localhost:4570
• S3 at http://localhost:4572
• Firehose at http://localhost:4573
• Lambda at http://localhost:4574
• SNS at http://localhost:4575
• SQS at http://localhost:4576
• Redshift at http://localhost:4577
• Elasticsearch Service at http://localhost:4578
• SES at http://localhost:4579
• Route53 at http://localhost:4580
• CloudFormation at http://localhost:4581
• CloudWatch at http://localhost:4582
• SSM at http://localhost:4583
• SecretsManager at http://localhost:4584
• StepFunctions at http://localhost:4585
• CloudWatch Logs at http://localhost:4586
• EventBridge (CloudWatch Events) at http://localhost:4587
• STS at http://localhost:4592
• IAM at http://localhost:4593
• EC2 at http://localhost:4597
• KMS at http://localhost:4599
• ACM at  http://localhost:4619

S3Config.java

@Configuration
public class S3Config {
    @Value("${cloud.aws.endpoint}")
    private String awsEndpoint;
    private static final String AWS_ACCESS_KEY = "foo";
    private static final String AWS_SECRET_KEY = "bar";


    @Bean
    public AwsCredentialsProvider awsCredentialsProvider() {
        return AwsCredentialsProviderChain.builder()
                .reuseLastProviderEnabled(true)
                .credentialsProviders(List.of(
                        DefaultCredentialsProvider.create(),
                        StaticCredentialsProvider.create(AwsBasicCredentials.create(AWS_ACCESS_KEY, AWS_SECRET_KEY))
                ))
                .build();
    }

    @Bean
    public S3Client s3Client() {
        return S3Client.builder()
                .credentialsProvider(awsCredentialsProvider())
                .region(Region.AP_NORTHEAST_2)
                .endpointOverride(URI.create(awsEndpoint))
                .build();
    }
}

AWS_ACCESS_KEY와 AWS_SECRET_KEY는 LocalStack을 사용하는 로컬 환경에서의 인증 정보로, 임의 값(foo와 bar)으로 설정했습니다. 실제 운영 환경에서는 실제 AWS의 인증 정보를 사용해야 하지만, LocalStack에서는 실제 인증 과정이 필요하지 않기 때문에 임의의 값을 사용할 수 있습니다.

S3Service.java

@Service
public class S3Service {

    private final S3Client s3Client;

    @Autowired
    public S3Service(S3Client s3Client) {
        this.s3Client = s3Client;
    }

    public void putFile(String bucket, String key, File file) {
        s3Client.putObject(builder -> builder.bucket(bucket).key(key), RequestBody.fromFile(file));
    }

    public File getFile(String bucket, String key) {
        var file = new File("build/output/getFile.txt");
        var res = s3Client.getObject(builder -> builder.bucket(bucket).key(key));

        try {
            FileUtils.writeByteArrayToFile(file, res.readAllBytes());
        } catch (Exception e) {
            System.err.println("Error writing to file: " + e.getMessage());
        }

        return file;
    }
}

IntegrationTest.java

@Disabled
@SpringBootTest
@ContextConfiguration(initializers = IntegrationTest.IntegrationTestInitializer.class)
public class IntegrationTest {
    private static final LocalStackContainer AWS_CONTAINER = new LocalStackContainer(DockerImageName.parse("localstack/localstack:0.11.2"))
            .withServices(LocalStackContainer.Service.S3);

    @BeforeAll
    public static void setupContainers() {
        AWS_CONTAINER.start();
    }

    static class IntegrationTestInitializer implements ApplicationContextInitializer<ConfigurableApplicationContext> {
        @Override
        public void initialize(@NotNull ConfigurableApplicationContext applicationContext) {
            Map<String, String> properties = new HashMap<>();

            setAwsProperties(properties);

            TestPropertyValues.of(properties).applyTo(applicationContext);
        }

        private void setAwsProperties(Map<String, String> properties) {
            try {
                AWS_CONTAINER.execInContainer(
                        "awslocal",
                        "s3api",
                        "create-bucket",
                        "--bucket",
                        "test-bucket");
                properties.put("cloud.aws.endpoint", AWS_CONTAINER.getEndpoint().toString());

            } catch (Exception e) {
                // nothing
            }
        }
    }
}

S3ServiceTest.java

public class S3ServiceTest extends IntegrationTest {

    private static final String TEST_BUCKET = "test-bucket";
    private static final String SAMPLE_KEY = "sampleObject.txt";

    @Autowired
    private S3Service s3Service;

    @Test
    public void s3PutAndGetTest() throws Exception {
        // given
        File sampleFile = createSampleFile("hello world");

        // when
        s3Service.putFile(TEST_BUCKET, SAMPLE_KEY, sampleFile);

        // then
        File resultFile = s3Service.getFile(TEST_BUCKET, SAMPLE_KEY);
        Assertions.assertIterableEquals(
                FileUtils.readLines(sampleFile, StandardCharsets.UTF_8),
                FileUtils.readLines(resultFile, StandardCharsets.UTF_8)
        );

        // finish
        sampleFile.delete();
    }

    private File createSampleFile(String content) throws IOException {
        File tempFile = File.createTempFile("temp", ".txt");
        try (FileWriter writer = new FileWriter(tempFile)) {
            writer.write(content);
        }
        return tempFile;
    }
}

테스트 수행

 

 

결론

LocalStack을 활용하면 AWS의 다양한 서비스를 로컬 환경에서 안전하고 효과적으로 시뮬레이션할 수 있습니다. 이를 통해 개발자는 실제 클라우드 환경에서 발생할 수 있는 다양한 문제점을 미리 예방하고, 더 빠르고 안정적인 개발 및 테스트 환경을 구축할 수 있습니다. 특히 TestContainer와 같은 도구와 결합하면 더욱 강력한 통합 테스트 환경을 만들 수 있습니다.

 

 

테스트 관련 같이 보면 좋은 글

• AssertJ 핵심 기능 알아보기
• Junit5 자세히 알아보기
• TestContainer로 통합 테스트 환경 구축하기
• ArchUnit으로 아키텍처 검사하기