크롤러 (1) 썸네일형 리스트형 [PYTHON] 파이썬으로 Twitter Crawler 구현 개발에서 손땐지가 3~4년 된 것 같다. 아키텍처와 설계 문서를 작성하고 가이드하고 프로젝트를 리딩하는 업무로 바뀐지가 그 정도 되는 것인데 아직 개발에 대한 욕심은 아주 조금 남아 있는 듯하다. 다양한 재난 정보를 모아서 하나의 통일된 창구를 통해서 공유하고 제공하는 프로젝트를 수행하는 중인데, 과업범위 내에 트위터의 재난 키워드를 이용해서 트위터 사용자들의 여론을 보고자 하는 것이다. 페이스북, 트위터, 인스타그램 등 시민들이 이용하는 다양한 SNS 어플리케이션이 있지만, 이 중에서 오픈되어 있는 API를 제공하는 트위터 밖에 없다. 그래서 트위터를 이용해서 크롤러를 구현하고 빅데이터 기반으로 저장해서 여론 분석을 한다던지, 실시간 트윗을 보여준다던지, 저장된 대용량의 트윗을 다시 또 제공한다던지하는.. 이전 1 다음