2. Data Engineer vs Data Scientists

Data Engineer

- 경영진의 빅데이터 전략과 데이터 작업에 필요한 Data Scientist 간의 연결 고리

- Data Scientists가 일을 수행할 수 있도록 하는 플랫폼을 구축

이러한 플랫폼은 일반적으로 네 가지 다른 방식으로 사용됨
1. 대용량 데이터의 데이터 수집 및 저장

2. Data Scientist에 의한 알고리즘 생성

3. Data Scientist의 머신 러닝 모델 및 알고리즘 자동화

4. 직원 및 고객을 위한 데이터 시각화
5. 대부분의 경우 이들은 SQL 데이터베이스, 웹 서버, SAP 설치 및 기타 "표준" 시스템과 관련된 시스템을 위한 기존 솔루션 설계자로 시작함

 

빅데이터 플랫폼을 만들기 위해서..

- 빅데이터 기술을 지정, 설정 및 유지 관리하는 전문가가 되어야함 (Hadoop, Spark, HBase, Cassandra, MongoDB, Kafka, Redis, 등)

- Amazon이나 Google과 같은 클라우드 인프라 또는 온프레미스 하드웨어에 시스템을 배포하는 방법에 대한 경험도 필요 

 

Data Scientist와 Data engineer는 긴밀한 협력 관계

- Data Scientist를 전문 경주용 자동차 드라이버라 할때, Data Engineer는 운전하기에 완벽한 경주용 자동차를 제공할 사람이라 할 수 있음 

→ 기업은 Spark 경험이 있는 사람을 찾음 

- Spark는 Data Scientist에게 분석을 수행할 수 있는 도구를 제공하고 Data Engineer가 Data Scientist의 알고리즘을 프로덕션에 적용할 수 있도록 도와줌