1. 문제상황

• Dockerfile로 특정 print문이 있는 작업을 실행했다.
• 이 print문은 while문 내에 있다.
• 실시간으로는 log가 보이지 않고, 강제 종료하면 log가 생기는데 어떻게 하지??

2. 해결 방법

• Dockerfile에서 ENV PYTHONUNBUFFERED=1을 작성한다.
• docker logs에서 파이썬 프로세스가 종료되기 전에 발생하는 로그들도 확인할 수 있다.

1. redshift가 뭔가요?

- postgresql를 기반으로한 AWS의 서비스입니다.

- 실습에서는 데이터웨어하우스로 사용하기 위해 구축합니다.

- 관리형 데이터베이스 서비스인 RDS를 사용하면 Zero-ETL을 구축할 수 있습니다.

https://docs.aws.amazon.com/ko_kr/redshift/latest/dg/c_redshift-and-postgres-sql.html

https://docs.aws.amazon.com/ko_kr/redshift/latest/mgmt/serverless-whatis.html

2. Zero-ETL은 뭔가요?

- ETL 과정에서 복잡한 파이프라인 생성을 생략하는 기능입니다.

- AWS의 관리형 데이터베이스인 RDS를 사용하면 CDC 기능을 사용해서 redshift에 데이터를 바로 쌓을 수 있습니다.

- ETL은 데이터른 추출하고 변환하고 적재하는 과정을 말합니다.

- CDC는 데이터베이스의 변경되는 데이터를 바로 다른 DB나 저장소에 반영하는 것으로 생각하면 됩니다.

https://aws.amazon.com/ko/what-is/zero-etl/

3. 요금은 어떻게 나올까

- 기본적으로 저장된 데이터의 용량에 따라 월별 요금이 나옵니다.

- 그리고 쿼리 작업을 하는데 사용하는 컴퓨팅 리소스에 따라 요금이 나옵니다.

https://aws.amazon.com/ko/redshift/pricing/

4. 너무 복잡해요!

- 용어에 대해서 너무 깊게 이해할 필요는 없습니다.

- 실습을 진행하면서 어떤 기능인지 눈으로 확인하고 이해해도 괜찮아요.

- 생각보다 redshift를 이용한 CDC 방법이 제일 쉬울 수 있습니다.

4. 다음 글 예고

- AWS에서 redshift를 직접 생성합니다.

1. 데이터 레이크란 무엇인가요?

- 어떤 서비스에서 생성되는 데이터를 모두 적재하는 저장소를 운영하는 것으로 생각하면 됩니다.

- 원천 데이터에서 저장소 까지 데이터를 적재하는 작업과 적재한 데이터를 잘 사용할 수 있도록 하는 작업이 주를 이룹니다.

2. AWS는 어렵지 않나요?

- 익히기는 어렵지만 로컬 컴퓨터에 실제 구축을 하는 것 보다 훨씬 적은 노력이 들어갑니다.

- 현재는 대부분의 기능은 자동으로 관리되는 관리형 기능이 많기 때문에 인프라 지식도 생각보다 많이 필요 없습니다.

3. 시작하며

- 대략적인 구조는 원천 데이터 베이스와 동일한 데이터를 가지는 데이터 웨어하우스를 만들고 파일로 적재합니다.

- 사용되는 기능은 s3, redshift, RDS, DMS, Athena 등이 있습니다.

- 당연히 AWS에 가입해서 리소스를 생성하는 작업이 있으니 AWS 계정을 생성하고 시작하세요!

- 사용에 따라 금액이 나올 수 있으나, 공부를 위해 조금은 투자를 한다고 생각하면 안 아까울지도??