Proceedings of the Korea Information Processing Society Conference (한국정보처리학회:학술대회논문집)

  • 2020.05a
  • /
  • Pages.361-364
  • /
  • 2020
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Design and Implementation of Automated Twitter Data Collecting System : Focus on Environmental Data

자동화된 트위터 데이터 수집 시스템 설계 및 구현 : 환경 데이터를 중심으로

  • Kim, Do-Hyung (College of Software, Sungkyunkwan University) ;
  • Koo, Jahwan (College of Social Sciences, Sungkyunkwan University) ;
  • Kim, Ung-Mo (Dept. of Consumer and Family Sciences, College of Social Sciences / College of Software, Sungkyunkwan University)
  • 김도형 (성균관대학교 소프트웨어대학) ;
  • 구자환 (성균관대학교 사회과학대학) ;
  • 김응모 (성균관대학교 사회과학대학 소비자가족학과 / 소프트웨어대학)
  • Published : 2020.05.29
Download PDF
⟨ Previous Next ⟩

Abstract

소셜 네트워크 서비스의 사용자가 늘어나면서, 소셜 네트워크 서비스상에서 발생하는 빅데이터를 활용한 서비스가 늘어나고 있다. 소셜 네트워크 서비스 데이터는 실시간으로 생성되며, 따라서 데이터 수집 시스템 역시 자동화하여 준 실시간으로 데이터를 수집할 필요가 있다. 본 논문에서는 대표적인 소셜 네트워크 서비스인 트위터의 데이터를 지속적으로 수집하기 위한 자동 수집 시스템을 제안한다. 수집 시스템은 Twitter API 를 활용하는 Python 라이브러리를 통해 내용 및 메타데이터를 수집하며, 수집된 데이터를 재 검증한 뒤 저장한다. 또한 구현된 시스템에 환경 데이터를 주제로 하는 쿼리를 입력하여 실제 트위터 데이터를 수집하며 구현된 시스템을 검증해보았다.

Keywords