데이터야놀자

데이터 처리의 단순화

발표자 : 김운기 ( )

시간 : 10:40 ~ 11:00 (A)

난이도 : 쉬움

키워드 : Python, Apache Spark, Amazon Web Services

내용

많은 데이터 조직에서 데이터 파이프라인을 구축해 데이터를 처리한다.

데이터 파이프라인을 구성하는 여러 요소가 있지만 그중 하나라 데이터 처리와 분석 프로그램이다.

비지니스의 요구사항에 대응하고 일정 수준의 데이터 변환 작업을 수행하기 위한 Python 과 Apache Spark 로 구성된 밸런스히어로의 독자적인 프로그램을 소개하고자 한다.

해당 프로그램으로 데이터 변환 작업이 수행되고 이후 나온 데이터로 분석과 BI 에서 사용된다.

대상 청중

데이터 엔지니어

발표 자료

WIP

발표 이해에 도움 되는 사전 지식

Python, Apache Spark, Amazon Web Services

연사 소개

밸런스히어로에서 데이터 엔지니어를 하고 있습니다. 회사에서는 케니(Kenny) 라고 부릅니다.