데이터야놀자

웹크롤링 좀 더 잘하기

발표자 : 이왕원 (BbChip13) ( )

시간 : 17:30 ~ 18:10 (Track 1)

난이도 : 중간

키워드 : 웹 크롤링

내용

1) 차례차례 알아보는 웹 크롤링 방법과 그 장단점.
2) '실시간 데이터 수집 오픈소스(KoShort)'를 하면서 겪은 어려움에 대한 이야기.
3) 현업에서 '데이터 수집 및 정제 업무'를 하면서 느낀 이상과 현실.

대상 청중

1) 웹 크롤링의 전체적인 흐름에 대해서 궁금하신 분.
2) 기본적인 예제(ex. 네이버 인기검색어)는 해봤는데, 그 이후에 어떻게 해야할 지 난감하신 분.
3) 동적으로 로딩되는 페이지를 크롤링해야 하는데, 웹드라이버가 너무 느려서 고민이신 분.
4) 자신만의 데이터를 구축하는 이야기를 나눠보고 싶으신 분.

발표 이해에 도움 되는 사전 지식

전반적인 웹 지식(HTML, Javascript의 각각의 역할과 웹페이지 요청 과정), 웹 크롤링

연사 소개

현재 전자부품연구원 인공지능연구센터에서 '데이터 수집 및 정제' 업무를 하고 있으며, 서일대학교에 재학중입니다.
실시간 스트리밍 패키지인 KoShort에서 컨트리뷰터로 활동하고 있습니다.
아직 많이 부족합니다. 여러분들께 많이 배우고 싶습니다. :)