The KIPS Transactions:PartD (정보처리학회논문지D)

Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Implementation of a Data Processing Method to Enhance the Quality and Support the What-If Analysis for Traffic History Data

교통이력 데이터의 품질 개선과 What-If 분석을 위한 자료처리 기법의 구현

  • 이민수 (이화여자대학교 컴퓨터공학과) ;
  • 정수정 (이화여자대학교 컴퓨터공학과) ;
  • 최옥주 (이화여자대학교 컴퓨터공학과) ;
  • 맹보연 (이화여자대학교 컴퓨터공학과)
  • Received : 2008.02.04
  • Accepted : 2010.03.29
  • Published : 2010.04.30
Download PDF
⟨ Previous Next ⟩

Abstract

A vast amount of traffic data is produced every day from detection devices but this data includes a considerable amount of errors and missing values. Moreover, this information is periodically deleted before it could be used as important analysis information. Therefore, this paper discusses the implementation of an integrated traffic history database system that continuously stores the traffic data as a multidimensional model and increases the validity and completeness of the data via a flow of processing steps, and provides a what-if analysis function. The implemented system provides various techniques to correct errors and missing data patterns, and a what-if analysis function that enables the analysis of results under various conditions by allowing the flexible definition of various process related environment variables and combinations of the processing flows. Such what-if analysis functions dramatically increase the usability of traffic data but are not provided by other traffic data systems. Experimantal results for cleaning the traffic history data showed that it provides superior performance in terms of validity and completeness.

현재 우리나라에서는 매일 막대한 양의 교통 데이터가 측정장치들로부터 수집되고 있으나 오류 데이터와 누락된 데이터들이 상당히 많은 실정이다. 더구나 이러한 데이터는 중요한 분석의 대상이 될 수 있음에도 불구하고 일정 시간이 지나면 삭제되고 있다. 그리하여 본 논문에서는 이러한 교통 데이터를 지속적으로 누적하여 다차원 모델로 저장하면서 데이터의 품질을 결정하는 유효성과 완전성을 높이면서 what-if 분석 기능을 지원하는 일련의 자료처리 과정을 제공하는 통합 교통이력 데이터베이스 시스템의 구현을 설명한다. 구현된 시스템에서는 다양한 오류 및 누락 데이터 패턴들을 보정하는 기법들을 제공하며, what-if 분석 기능은 다양한 데이터 정제 및 가공 과정들에 관련된 환경변수와 일련의 처리 과정들의 조합을 융통성 있게 정의하도록 함으로써 다양한 상황들을 가정하고 실험하여 결과를 분석할 수 있게 해준다. 이러한 what-if 분석 기능은 교통 데이터의 활용도를 획기적으로 높여주며 외국의 교통데이터 시스템들에서도 제공하지 못하고 있다. 교통이력데이터를 정제한 실험결과 매우 우수한 유효성 및 완전성을 가진 교통 데이터를 생성함을 확인하였다.

Keywords

References

  1. 한국도로공사, '고속도로 차량검지기자료 조사.분석 및 활용 기법 개발', 한국ITS학회, 2006.
  2. PeMS, https://pems.eecs.berkeley.edu/
  3. Ishak, S., S. Kondagari, C. Alecsandru, "Probabilistic Data-Driven Approach for Real-Time Screening of Freeway Traffic Data," In Transportation Research Record 2012, TRB, National Research Council, pp.94-104, Washington D.C., 2008. https://doi.org/10.3141/2012-11
  4. Smith, B. L., R. Venkatanarayana, "New Methodology for Customizing Quality Assessment Techniques for Traffic Data Archives," In Transportation Research Record 1993, TRB, National Research Council, Washington D.C., 2007. pp. 165-174. https://doi.org/10.3141/1993-22
  5. 차창일, 원정임, 김상욱, "대용량 궤적 데이터를 위한 효과적인 인덱싱 기법," 한국정보처리학회 춘계학술 발표대회 논문집 제 15권 제1호, pp. 227-230, 2008.
  6. 박원식, 김동근, 양영규, "Fuzzy c-means 알고리즘을 이용한 TCS 데이터 주행특성 분류 방법 연구," 제31회 한국정보처리 학회 춘계학술발표대회 논문집 제16권 제1호, pp.1021-1024, 2009.
  7. 김형준, 윤태진, 조환규, "시계열 데이터의 양자화된 문자열 변환을 통한 새로운 패턴 분석 기법," 제31회 한국정보처리학회 춘계학술발표대회 논문집 제16권 제1호, pp. 523-526, 2009.
  8. 김용욱, 이준우, 나연묵, "범용 위치 기반 웹 서비스 시스템," 제31회 한국정보처리학회 춘계학술발표대회 논문집 제16권 제 1호, pp. 543-546, 2009.
  9. 김정연, 이영인, 백승걸, 남궁성, "차량 검지자료 결측보정처리에 관한 연구(이력자료 활용방안을 중심으로)," 대한교통학회지, 제24권 제7호, pp. 27-40, 2006.
  10. ITS사업실, 도로교통기술원 교통연구그룹, "ITS 구축∙운영 편람," 한국도로공사, 2005.
  11. 한국도로공사 도로교통기술원, "차량검지기 자료의 효율적 수집저장 및 관리체계 연구," 한국도로공사, 2006.12
  12. Smith, B., and S. Babiceanu, "Investigation of Extraction, Transformation, and Loading Techniques for Traffic Data Warehouses," In Transportation Research Record 1879, TRB, National Research Council, pp.9-16, Washington D.C., 2004. https://doi.org/10.3141/1879-02
  13. Smith, B. D. Lewis, R. Hammond, "Design of Archival Traffic Databases: Quantitative Investigation into Application of Advanced Data Modeling Concepts," In Transportation Research Record 1836, TRB, National Research Council, pp. 126-131, Washington D.C., 2003. https://doi.org/10.3141/1836-16
  14. Al-Deek, H. M., C. Chandra, "New Algorithms for Filtering and Imputation of Real-Time and Archived Dual-Loop Detector Data in I-4 Data Warehouse," In Transportation Research Record 1867, TRB, National Research Council, pp. 116-126, Washington D.C., 2004. https://doi.org/10.3141/1867-14

Cited by

  1. Imputing Erroneous Data of Single-Station Loop Detectors for Nonincident Conditions: Comparison Between Temporal and Spatial Methods vol.16, pp.3, 2012, https://doi.org/10.1080/15472450.2012.694788
  2. A study of quality attributes for reliability improvement on traffic information vol.18, pp.5, 2013, https://doi.org/10.9708/jksci.2013.18.5.133