ETL과 그 단계
data engineering 2026. 7. 27
- ETL: 데이터의 추출(Extract), 변환(Transform), 적재(Load). 여러 시스템의 데이터를 모아 분석하기 좋은 형태로 통합하는 데이터 처리 과정
- ETL을 위해 사용하는 저장소의 유형은 아래와 같다. Data Lake -> Data Warehouse -> Data Mart 의 단계로 데이터가 가공된다.
- Data Lake (Bronze Data): 원시 데이터를 가공하지 않고 그대로 저장하는 대규모 저장소. e.g. S3, HDFS(Hadoop Distributed File System, 하둡 분산파일 시스템)
- Data Warehouse (Silver Data): 정형화된 데이터 저장/분석하는 중앙 저장소 e.g. Snowflake, Redshift, BigQuery
- Data Mart (Gold Data): 비즈니스 의사결정에 바로 활용 가능한 최종 집계 데이터 e.g. Tableau, Power BI(Business Insight)