데이터야놀자

이주형

본 발표는 구글과 관련이 없고, 개인적으로 데이터 과학자로서 커리어를 시작하신 분들에게 드리고 싶은 회사에서 일 잘하는 법에 대한 이야기입니다. 

여러가지 토이 프로젝트도 해보고 강의도 많이 들어봤지만 여전히 현업에서 데이터에 대한 일을 하기란 쉽지 않습니다. 현실적인 데이터 과학자들의 업무를 소개하며 실제로 업무에서의 가치를 잘 만들어내는 데이터 과학자가 될 수 있는 방법에 대해서 이야기해 봅니다. 

당연하게도, 우리가 "데이터 과학 발표"라고 하면 생각하는 여러가지 데이터 알고리즘들이나 플랫폼 및 도구 기술 등의 뻔한 이야기는 들어있지 않습니다. 
								

김상우

한성민

가치있는 데이터를 뽑아내고 그것을 해석하는 것도 중요하지만 그렇게 만들어낸 데이터를 설명하기 위해 데이터를 시각화 하는것도 마찬가지로 중요합니다.

이런 데이터 표현을 위해서 Zeplin을 많이 채택해서 사용하시는데요,
조금 더 확장되고 아름다운 시각화를 위해서 여러 BI도구와 데이터 시각화 차트를 지원하는 도구들을 간단하게 설명하는 자리를 만들고자 합니다.

저는 데이터 사이언티스트가 아니라 엔지니어입니다.

여러분이 사용하시는 Zeplin, Superset, Tableau 같은 BI 서비스를 만들고 있습니다. 서비스를 만들다보니 데이터 시각화에 많은 관심과 연구를 하고 있는데 이 자리를 비롯해서 이런 시각화 기법을 가볍게 설명하고자 하는 코너를 만들고자 합니다 :)

발표자료로 PDF 첨부는 어렵고 링크를 아래 기재하였습니다.
https://www.slideshare.net/Plotly/plotcon-nyc-domain-specific-visualization
https://www.slideshare.net/Plotly/plotcon-nyc-at-least-23-visualizations-and-when-to-use-them-in-30-minutes

제 발표내용은 아니구요 ^^..;;
유사 발표내용입니다 plotly측에서 PLOTCON에서 이런 내용을 자주 공유합니다.
								

최규민

매일 아침 신분당선으로 동천역~ 잠실역까지 출근하면서 하는 고민 "어떤 사람이 빨리 내릴까?" 입니다. 휴먼 러닝으로 왠지 개발자 같은 사람을 찾아 앞에 서면 곧 잘 내리기도하고 안 내리기도 합니다. 그래서 알아 봤습니다. 

2달 동안 매일 "성별/자리위치/하는행동/이어폰사용여부/복장/나이" 을 기록했습니다. 
그리고 이 데이터를 기반으로 정자/판교역 내리는 사람을 특징을 탐색하고 분석하고 
이 특징값으로 정자/판교역에 내리는 사람을 전통적인(?) ML방식을 통해 예측하는 과정과 결과를  공유를 하고자 합니다.

결과를 일반화 할수는 없지만 판교/정자역에 내리는 사람은 복장/앉은자리위치 등의 특징에 유의미한 특징이 있는것으로 보여지고, 이러한 특징값으로 전통적인(?) 머신러닝 기법을 통해 예측하는 과정을 이 발표에 담아 보고자 합니다. 

감사합니다. 
---
발표 지원자 최규민은?
https://brunch.co.kr/@goodvc78 
https://www.slideshare.net/ssuser2fe594

								

맹윤호

 - Google App Script로 구글 캘린더 일정 가져오기 
 - 가져온 일정의 자동 갱신 및 추가 구현
 - Google Data studio로 일일 보고서 만들기 
								

백정상

(발표시간 - 20분)

모두 로그를 잘 쌓아야 분석할 수 있다는 걸 알고 있지만 과연 어떻게 쌓아야 잘 쌓인 로그인지 모르는 경우가 많다.

연사는 얼마 전 협업하는 프로젝트에서 전달받은 로그를 받았다가 깜짝 놀랐다. 받은 내용은 MySQL 덤프 파일이었고, 해당 덤프에 있는 데이터베이스에는 백엔드 서비스가 앱에 전달한 리스펀스 JSON이 잔뜩 담겨있었다. 데이터엔지니어링을 위한 로그 형식으로 디자인되지 않아 쌓인 로그의 많은 부분을 분석할 수 없었고, 이를 통해 ETL 프로세스를 수월하게 진행하기 위한 로그 디자인은 과연 어떤것인지, 정제 작업은 어떻게 진행해야 하는지에 대해서 논의하는 시간을 갖고 싶었다.

최근 데이터 엔지니어링 트렌드는 적재된 로그의 스키마를 정의하여 SQL 형태로 질의하는 것이다. 그러기 위해서는 적재된 로그가 테이블(행,열) 형태로 쉽게 변환 가능해야 한다. 대부분의 ETL 프로세스는 키,값 형태로 저장되어 있는 JSON을 쉽게 테이블 형태로 변환해준다. 그 말은 키,값 형태로 로그를 적재할 경우 큰 어려움 없이 데이터 분석에 사용할 수 있다는 것이다.

하지만 게임을 출시하고 업데이트를 진행하다 보면 키,값 형식만으로 로그를 디자인하는 데에 어려움이 많다. 이 경우 실제 실무에서 어떤 형태로 로그를 디자인했는지를 강연한다.

연사가 디자인하는 방식이 과연 맞는지, 더 좋은 방향은 없는지에 대해서도 청중들과 논의했으면 좋겠다.
								

송호연

https://brunch.co.kr/@chris-song/44 
https://github.com/chris-chris/pysc2-examples 
계속 업그레이드 중입니다. 발표 시기에 맞춰 그럴듯하게 업그레이드해서 보여드릴게요~
								

조대협

백앤드 엔지니어가 머신러닝 입문에서부터 얼굴 인식 모델을 만들어 가면서 깨달은 경험을 공유합니다.
								

김형준

금융권에서 오픈소스를 활용한 머신러닝 도입 이야기입니다. 
인터넷 폐쇄망에서 오픈소스 도입 시 애로사항 및 모형 개발과 배포에 대한 이슈 등을 얘기하려고 합니다. 
책 혹은 토이 예제가 아닌 현업에서 부딪히는 문제들을 공유하고 토론하고 싶습니다.
								

김종민

아파치 루씬을 사용한 검색엔진 엘라스틱서치에서의 데이터 저장 구조, 효율적이고 안정적인 성능 구현을 위한 기법들 소개
								

이창신

프로그래머에게 도움이 되는 수학의 몇가지를 사례와 함께 재밌게 풀어 봅니다.
								

맹윤호

* 본 발표는 IBM Watson과 아무런 연관이 없음을 사전에 밝힙니다. 

* 하루 24시간중 놓치는 시간을 찾아봅시다. 
  - 구글캘린더에 앞으로의 계획 뿐만 아니라 이미 내가 했던 일을 빠짐 없이 적어서 내가 하루에 시간을 어디에 얼마나 썼는지를 분석해봤습니다. 
  - 구글 캘린더 -> Google App Script -> Google Data Studio로 하루 결산을 해봤습니다. 

* 어떤 삽질을 하였나? 
 1) 체중 감량을 위해 칼로리를 적고 싶다. / 해당 활동의 소모 시간 뿐만 아니라 집중력도 추적하자! / 기왕 이렇게 된거 행복도도 넣자! / 스스로 기념하고 싶은 일과 실수 했던 일을 구분하고 싶다.
  - String으로 부터 key:value의 쌍 얻기. 
  - kcal = 700와 함께 k=700도 하고 싶다. (단축 키워드) 
 2) 매번 스트립트를 실행 시키는 것이 귀찮다! 
  - 배치를 돌려보자. 1시간에 한 번씩! 
   -- 배치를 돌려보니, 중복으로 데이터를 가져온다! 중복 이벤트 제거
   -- 이벤트 id를 통한 중복제거가 성공했으나, 수정된 일정은 추적을 못한다 왜?
	--- 이벤트 modified date 정보를 이용해서 추적을 해보자! 
  - 한국 시간대로 값이 안나온다. GMT 09로 시간대 통일하기 
3) '하루' 결산인데 새벽을 넘어가면 어떻게 해야 하나? 그 전날에 결산을 안하면 어떻게 하지? (결산 기간 설정)  
  - 특정 키워드를 통해 결산 시점 생성하기 

4) 스크립트의 실행이 느리다. 
 - 실행이 느려지는 부분을 로그를 통해 파악하기
 - 해당 부분 스크립트 개선
 - 데이터를 특정 시점까지만 가져오기

5) 리포트 만들기 
 - 구글 데이터 스튜디오로 대시보드 리포트 만들기 
 - 필터를 추가해서 특정 기간의 데이터에 대한 정보를 불러오기

* 어려웠던 점 
 - 솔직하게 적어야 하는 [요약] 
 - [요약] 카테고리를 정하기 어려운 활동들이 있음. 

* 향후 업데이트 예정 
1) API 혹은 서비스로 공개
2) key:value를 캘린더에서 입력 받아 추가하기

								

이광춘

데이터를 가지고 놀고 싶은데 어떻게 노는지에 대해 궁금하신 분들께 수학이나 통계학 지식 전혀 없이 싱싱한 데이터를 가지고 (데이터) 제품을 제작해서 놀 수 있는 방법을 "대한민국 원자력 발전소" 사례를 가지고 풀어나가려고 합니다.

https://statkclee.github.io/data-product/shiny-nucelar-powerplant.html
								

장준환

데이터 분석에 입문한지 1년 반이 지났는데, 그간 어떤 시행착오(?)를 겪었는지 얘기하려고 해요. 그리고 제가 했던 개인 프로젝트를 간단하게 소개해보려고 합니다.
								

조현종

데이터가 있는 디비, 자바 사용자라면 모두다 사용하는 드라이버는 과연 어떤 과정을 거쳐 데이터를 가져오는 것 일까요?  
지금까지 데이터베이스에 쿼리를 하면 쉽게(?) 가져왔던 데이터.  그 과정이 궁금하지 않으십니까?  그 비밀을 풀어봅시다. 
								

금상은/이종필

음악 데이터 수집부터 분석 알고리즘, 그리고 웹 어플리케이션까지의 전 연구 과정을 공유코자 합니다.
음악 딥러닝 기술의 끝부터 끝까지의 과정을 소개드리며, 사용된 음악 기술들에 대한 소개와 이러한 데이터셋과 분석 알고리즘으로 만든 웹 데모까지 공유할 예정입니다. 
								

최승준

유치원에서 수년 동안 쌓아온 교육과정에 관한 데이터를 다루면서 경험한 시행착오 이야기, 과연 이 데이터에 머신러닝을 활용하는 것은 성공할 수 있을지? 그리고 유아교육과 창착교육에 머신러닝을 접목하려는 몇 가지 시도들도 소개하고자 합니다.

이번 발표 내용은 아니지만 창작과 교육에 관한 이야기의 도입 부분은 https://goo.gl/630MPL 를 참고해 주세요. 이 내용을 전제로 실천하면서 시행착오를 겪은 이야기가 될 것 같아요.
								

이진현

많은 기업과 기관들이 중요한 데이터에 대해서 백업, 이중화, 재해복구 등을 구축해 왔습니다. 그럼에도 불구하고 소중한 데이터는 복구가 안되고 오히려 이러한 솔루션으로 인해 사고가 나는 어처구니가 발생하기도 합니다. 지난 20년간 HA/DR 업계에 몸담아 오면서 목격한 황당했던 사고사례과 교훈을 서로 나누고자 합니다.
								

김명락

메이저리그, 월드컵 축구, 바둑 등에 빅데이터가 어떻게 활용되었는지, 이런 접근이 다른 분야에서 어떻게 응용될 수 있는지를 다룰려고 합니다. 저는 유동인구 빅데이터/딥러닝 IT 스타트업 회사(총 7명)의 대표이고, 한국외국대학교 스포츠빅데이터분석 외래교수입니다. 강의 1,2주차에서는 스포츠빅데이터에 대한 총론을 다뤘는데, 이때의 강의자료를 참고자료로 업로드합니다. 이런 내용을 40분 이내의 분량으로 줄여서 발표하려고 합니다.
								

황준식

작년 7월 입사해서 넥슨코리아 데이터 분석팀에서 어뷰징 탐지 업무를 하고 있습니다. 데이터분석을 하시는 분들이라면 대부분 최신 머신러닝/딥러닝 방법론을 현실 문제에 적용해 풀어내는 꿈을 가지고 있습니다. 그런데 현실의 벽은 생각보다 매우 높은 편입니다. 풀고 싶은 문제와 풀어야 하는 문제가 다르고, 푼 문제에 대한 정답 채점 역시 서로의 관점과 기준에 따라 매우 달라집니다. 또 문제 자체를 풀 수 없는 어려운 상황도 존재하고요. 이런 관점에서 처음에 가졌던 환상이 어떻게 깨지고 현실 인식을 하게 되었는지, 그리고 최근 여러번의 시도와 약간의 성공에서 앞으로의 희망을 보게 된 개인적인 감상을 나누고 싶습니다. (아직 발표자료로 제공해드리지 못해 죄송합니다..)
								

김태준

(발표시간: 20분)

많은 학생들은 "대학원을 가야할까?"라는 질문을 합니다. 저는 대학원을 긍정적으로 바라보지만, 주변에서 부정적인 시선과 사례 또한 많이 봤습니다. 대학원에 대해 마냥 좋다고만하는 발표는 아니고 한 가지 사례로서 저의 이야기를 있는 그대로 보여주고 판단은 여러분에게 맡기고 싶습니다.

하지만 역설적이게도 저는 대학원을 긍정적으로 바라보지만 제 발표를 듣고나면 많은 분들이 대학원 진학을 포기할 수 있습니다. 왜냐면 저는 20분 동안 제가 들려드릴 이야기의 대부분은 멍멍고생한 이야기거든요 ^^ 흔히 데이터 분석 발표를 들어보면 멋지게 분석한 이야기들을 들려주지만, 데이터 분석을 해보신 분들은 아시듯이 분석은 전체 과정의 30%도 채안됩니다. 저는 연구실에서 했던 70~80%의 분석 전 과정을 말씀드릴 것입니다. 데이터 분석가들의 멋진 면만 보고 대학원 진학을 선택하는 분은 없었으면 합니다. 특히 비전공자에게 희망을 주고 싶은 생각은 없습니다.

데이터를 다루는 연구실에 들어가면 학생들은 데이터 분석, 기계 학습, 딥러닝 등을 배울 것이라고 생각합니다. 하지만 딱히 알려주는 사람도 없고 위와 같은 작업은 30%도 안됩니다. 그러면 데이터 전처리부터 하냐구요? 아닙니다. 그러면 데이터 수집이냐구요? 이것도 아닙니다. 서버 구축부터 합니다. 대기업들은 데이터 인프라 팀이 따로 존재하지만, 대학원생은 자신의 인프라는 자신이 책임지며 자신이 데이터 엔지니어이자 분석가입니다. 저는 연구실에 처음 들어와 10대의 서버를 가지고 클러스터를 구축 했었는데, 각각 두번씩 총 20번 포맷한 끝에 성공했습니다 ^^

이제 데이터 분석을 할 것 같지만, 데이터가 없습니다. 어이가 없습니다. 데이터를 다루는 연구실인데 데이터가 없다니...! 그렇다면 데이터를 수집해야겠죠? 보통 크롤링 혹은 공공 데이터를 많이 사용합니다. 크롤링이 얼마나 힘든지 소개하고, 공공 데이터에서는 거의 얻을 정보가 없다는 것을 말씀드릴 겁니다. 공공 데이터는 공개해도 문제 될 것이 없는 데이터이기 때문에 별 정보가 없습니다. 저희는 크롤링 + 공공데이터로 이곳 저곳에서 데이터를 모아 의미있는 데이터셋을 구축했습니다. 이 과정은 정말 힘들기 때문에 저는 이 과정이 데이터 수집이 아닌 데이터 창조라고 생각합니다.

마지막에 정말 간단히 구축한 데이터셋을 분석한 결과를 말씀드릴 것입니다. 위 내용을 보면 멍멍고생만한 것 같지만, 얻게된 것들 또한 존재합니다. 위와 같은 시련과 고난에도 불구하고 저는 왜 대학원을 긍정적으로 바라보는지 말씀드릴겁니다.

본 발표를 통해 데이터 분석을 하는 연구실에 대한 현실을 학생분들이 있는 그대로 보시면 좋겠습니다. 또한 회사들이 산학연을 맺어 데이터를 대학원생들과 공유하고 함께 연구하는 분위기가 조성되면 좋겠습니다.

감사합니다 :)
								

장준환

안녕하세요. 저는 현재 한국외대 국제스포츠레저학부를 다니고 있는 장준환입니다.

제가 데이터 분석을 시작한지는 작년 5월부터입니다. 패스트캠퍼스 데이터사이언스 스쿨 2기를 수료한 후, 각종 공모전에 참여하며 실력을 키우고 있는 중입니다. 

올해 대한축구협회 공모전에서 진행했던 프로젝트에 대해 발표할 예정입니다. 어떻게 문제에 접근했는지 그리고 어떻게 해결하려고 노력했는지 얘기해보려고 합니다.
그리고, 간단하게 비전공자였기 때문에 겪어야 했던 이야기를 전달해보고 싶어요(for문이 뭔지 몰랐어요, 코딩은 논리적사고라는걸 늦게 깨달았어요 등)   
(개인 깃허브: https://github.com/junhwanjang)
								

전수현

카카오 선물하기에서 로그 통합 시스템을 구축하고 로그 수집 / 처리 / 분석을 하는 운동 매니아 개발자입니다.
								

김현중

한국어 텍스트 데이터 분석을 하기 위해서는 형태소분석기 (ex. KoNLPy) 등을 이용하여 전처리를 진행합니다. 하지만 분석하려는 데이터에는 언제나 형태소분석기가 학습하지 못했던 새로운 단어/표현이 존재합니다. 이를 잘 처리하기 위해서는 분석가들의 수작업을 통하여 사전을 구축하곤 합니다. 이러한 길고 긴 전처리 과정이 모두 완료되면, 사실 알고리즘을 돌리는 것은 순식간 입니다. 만약 데이터에 실제 존재하는 단어들이 자동으로 추출되어 사전이 만들어진다면 전처리시간이 많이 줄어들 것입니다. 저는 데이터 기반으로 사전을 구축하여 품사를 판별하는 방법을 소개하려 합니다. 그리고 이를 통하여 한국어로 작성된 뉴스/댓글 데이터에서 연관어를 찾는 사례를 이야기하려 합니다.
								

윤성국

올해 초 adv. ML에 대해서 알게 되어 악성코드 분류 모델에 적용해서 우회가 가능한지 연구를 진행하였습니다.  CNN으로 분류모델을 만들고 블랙박스 공격이라는 기법을 통해 우회가능성이 높은 데이터 약 이천개 정도 뽑아서 학습된 모델에 주입한 결과 90%가 넘던 분류 정확도는 이천개중에 7개만 제대로 분류하고 나머지 악성코드들은 다 우회가 가능했습니다. 저는 어떻게 이런 공격용 데이터를 만들 수 있는지에 대해서 소개하고 싶습니다.
* 아래 자료는 산업정보학회 춘계학술대회에서 가능성만 제시하여 발표한 내용이고 현재 연구가 좀 더 진행된 상태입니다.
								

김석준

LinearRegression문제를 변형하여 기존 선형회귀와 2차함수,단조증가(감소) 3차 함수모형을 구현하였고 다음번째 전환점이 언제일어날지 추측하는 극값을 이용한 데이터마이닝을 설계 및 구현하였습니다.
 이를 이용하여 아르바이트 데이터를 수집하고 위의 알고리즘을 이용하여 분석하는 웹 사이트를 개발한 프로젝트를 소개합니다.
								

박준용

제가 몸담고 있는 제조업분야의 데이터는 상당히 방대하여 기존의 방법으로는 분석이 어려울 때가 많습니다. 때로는 개발자 분들과 분석가 분들이 서로 목적이 달라 시스템 구축시 어려움이 많기도 하죠. 이에 조직이든 개인이든 분석 역량과 엔지니어링 역량의 융합이 상당히 중요한 요소입니다. 짧은 발표시간이지만, 제조업에 대한 소개와 함께 제조데이터의 특징을 설명드리고 엔지니어링과 분석의 융합에 대한 경험담을 얘기할까 합니다. 저 개인적으로는 두개의 균형잡힌 시각이 상당히 중요하다고 보는데요. 그런 측면을 학생 분들 또는 다양한 업종에 계신 분들과 얘기나누고 향후 필요로 하는 역량은 어떻게 변해갈지 생각해 보는시간 되셨으면 합니다.
								

심진우

당신의 데이터, 과연 믿을만 한가요? Raw data가 정말 Raw 할까요? 저는 전기생리학적 방법을 통해 뇌를 공부하는 대학원생입니다. 제가 하는 일은 뇌에서 벌어지는 전위의 변화를 측정한 뒤, 그것을 가공해 의미있는 숫자를 만들어내는 일이죠. Raw data가 만들어지기까지 어떤 일이 벌어지는지에 대해 저의 주요 실패사례를 바탕으로 간략히 이야기해보자 합니다.
								

임도형

인공지능하면 최첨단 기술인것 같고 화려해 보이지만, 그 업무는 그렇게 화려하거나 쿨하지만은 않습니다.
실제 인공지능 업무 모습을 말씀드리고, 업무를 하면서 겪게되는 애로사항들을 징징징 거려봅니다.
								

성동찬

(발표시간 - 40분)

태초에 가진 것 없이 시작했습니다. 레퍼런스 없고, 연동되는 솔루션 없이 시작부터 끝까지 직접 고민하고 구현하고 구조화해야 했습니다. 작은 서비스 장애에도 굉장히 민감할 수밖에 없는 환경 속에서 장난감 같은 오픈소스 데이터베이스인 MySQL로 접근을 하였고, 견고한 서비스를 만들기 위해 다각도로 많은 고민을 하였습니다. 

안정적인 서비스를 제공하기 위해, 데이터 엔지니어라면 한번쯤은 고민해봐야할 몇 가지 이야기를 "데이터" 위주로 썰을 풀어보겠습니다.

가장 정신이 몽롱할 수 있는 아침 10:20! 따분할지도 모를 얘기로 다가가겠습니다. :-)
								

한상곤

단순하고 엉성한 서버를 개발하다가 먹고 살아야 한다는 인간의 숙명을 어쩌지 못해서 데이터 수집 및 분석이라는 분야에 처음으로 발을 들여놓았습니다. 가진게 없고, 가질 수 없는 어떤 것을 향해서 달려가야 했던 시절에 '데이터'를 분석한다는 의미조차 파악하지 못하고 겁을 잔뜩 먹은 복어처럼 온갖 축약오로 몸을 치장하던 시절을 되돌아보며 발표를 준비했습니다.
어쩌면 우리의 본질이라 할 수 있는 데이터에 대한 '잡담'을 나눠보고자 합니다. 우리가 하는 일의 8할은 데이터를 다루는 일이고, 나머지 절반은 인간을 이해하는 시간이며, 그 나머지 절발은 프로그램과 타협하는 행위입니다. 일의 대부분을 차지하고 세상에서 가장 친근한 이름 같지만 한 없이 속을 알 수 없는 데이터에 대한 고민도 나눠볼 수 있었으면 합니다.
오전부터 힘차게 달려왔을 많은 분들에게 잠시나마 머리를 식힐 수 있는 시간이 될 수 있기를 바랍니다. (발표시간 40분)