데이터야놀자

실시간 빅데이터 분석을 위한 삼위일체를 소개합니다

발표자 : 독고혁 ( )

시간 : 14:30 ~ 15:10 (트랙 1)

난이도 : 중간

키워드 : 실시간 데이터 분석, 인메모리 컴퓨팅, Apache Ignite, Apache Flink, Apache Kafka

내용

스트리밍 데이터는 실시간으로 쏟아져 들어오는 빅데이터를 실시간으로 가공 및 분석하여 의미있는 데이터로 변환하는 것을 목표로 합니다.

가장 좋은 예로 몇 가지 소개를 드려볼까요?

온라인 쇼핑몰, 넷플릭스, 유튜브 등에서 자주 접할 수 있는 고객 추천 상품과 추천 동영상은 배치 프로세스가 아닌 실시간 처리로 이루어지고 있습니다. 이런 해외의 굴지 기업들이 배치 프로세스가 아닌 실시간 처리. 즉, 스트리밍 데이터 분석을 사용하고 있고 사용 해야만 이유를 깨닫기까지는 생각보다 오랜 시간이 걸리지 않았는데요. 이제 스트리밍 데이터라는 것은 고객과 개발자들에게 필요가 아닌 필수가 되었다고 해도 과언이 아닐까 생각합니다.

이번 발표에서는 어려운 스트리밍 데이터에 대한 개념이나 상세한 내용을 이야기하는 것이 아니라, 실시간으로 데이터를 분석하기 위한 플랫폼들에 대한 소개를 드려볼까 합니다. 어째서, 어떤 이유로 Kafka + Flink + Ignite 를 선택했는지에 대한 내용을 공유 드리고자 합니다.

대상 청중

실시간 데이터를 해결해야 하는 크나큰 과제에 놓여 있는데 어떤 플랫폼을 써야하는지 도움이 필요하거나 이에 관련된 새로운 기술에 관심이 많으신분.

발표 이해에 도움 되는 사전 지식

Modern Java, In-Memory Computing, Streaming Data, Distributed Computing/Clustering

연사 소개

해외 대기업의 엔지니어로 시작하여 최근 몇년 간은 In-Memory Computing Platform 의 확산을 위해서 Meet-up 과 여러 행사에서 발표자로 활동했습니다.

현재는, 리즈소프트 (Leadsoft)에 Lead Architect로 근무하며 저희 회사를 선택한 고객이 기술력으로 소프트웨어 생태계를 리드해나갈 수 있는 기회와 비즈니스 가치를 얻을 수 있도록 도와드리고 있습니다.