주제
각 챕터에 대해 배울 내용과 데이터 엔지니어링이 무엇인지에 대해 배움
각 챕터에서 배울 내용
Chapter1 - 데이터 엔지니어링이란 무엇인가?
Chapter2 - 데이터 엔지니어가 사용하는 도구들
Chapter3 - ETL
Chapter4 - DataCamp의 데이터 엔지니어링에 대한 사례
데이터 엔지니어의 등장
- 데이터는 흩어져 있다.
- 분석을 위해 데이터가 최적화 되어있지 않다.
- 레거시 코드로 인해 데이터 훼손이 발생하였다.
이를 해결하기 위해
데이터 엔지니어가 필요하다.
데이터 엔지니어 : 당신의 삶을 편하게 만들어줌
- 여러 소스들로부터 데이터를 가져온다.
- 데이터베이스 체계를 최적화하여 쿼리 속도가 빨라짐
- 훼손된 데이터도 제거됨
데이터 과학자들의 삶이 편안해진다.
데이터 엔지니어 정의
엔지니어는 데이터베이스 및 대규모 처리 시스템과 같은 아키텍처를 개발, 구성, 테스트, 유지한다.
- 대규모 데이터를 처리한다.
- 머신 클러스터를 설정한다.
