KIPS Transactions on Software and Data Engineering (정보처리학회논문지:소프트웨어 및 데이터공학)

Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Finding Frequent Route of Taxi Trip Events Based on MapReduce and MongoDB

택시 데이터에 대한 효율적인 Top-K 빈도 검색

  • ;
  • 안성아 (부산대학교 빅데이터협동과정) ;
  • ;
  • 정한유 (부산대학교 전기공학과) ;
  • 권준호 (부산대학교 빅데이터협동과정)
  • Received : 2015.06.28
  • Accepted : 2015.09.03
  • Published : 2015.09.30
Download PDF
⟨ Previous Next ⟩

Abstract

Due to the rapid development of IoT(Internet of Things) technology, traditional taxis are connected through dispatchers and location systems. Typically, modern taxis have embedded with GPS(Global Positioning System), which aims for obtaining the route information. By analyzing the frequency of taxi trip events, we can find the frequent route for a given query time. However, a scalability problem would occur when we convert the raw location data of taxi trip events into the analyzed frequency information due to the volume of location data. For this problem, we propose a NoSQL based top-K query system for taxi trip events. First, we analyze raw taxi trip events and extract frequencies of all routes. Then, we store the frequency information into hash-based index structure of MongoDB which is a document-oriented NoSQL database. Efficient top-K query processing for frequent route is done with the top of the MongoDB. We validate the efficiency of our algorithms by using real taxi trip events of New York City.

IoT(사물인터넷) 기술의 빠른 개발로 인하여 기존의 택시들은 디스패처와 위치 시스템을 통해 서로 연결되고 있다. 일반적으로 현대의 택시들은 경로 정보를 획득하기 위한 목적으로 GPS(Global Positioning System)를 탑재하고 있다. 택시 운행 데이터들의 경로 빈도를 분석하여, 주어진 질의 시간에 해당하는 빈번한 경로를 찾을 수 있다. 그러나 위치 데이터의 용량이 매우 크고 복잡하기 때문에 택시의 운행 이벤트의 위치 데이터를 분석된 빈도 정보로 변환할 때에 확장성 문제가 발생한다. 이 문제를 해결하기 위하여, NoSQL 데이터베이스에 기반한 택시 운행 데이터에 대한 Top-K 질의 시스템을 제안한다. 첫째, 원시 택시 운행 이벤트를 분석하고 모든 경로들의 빈도 정보를 추출한다. 추출한 경로 정보는 NoSQL 문서-지향 데이터베이스인 MongoDB에 해시 기반의 인덱스 구조로 저장한다. 주로 발생하는 경로에 대한 효율적인 Top-K 질의 처리는 몽고DB의 상에서 이루어진다. 미국 뉴욕시의 실제 택시 운행 데이터를 이용한 실험을 통하여 알고리즘의 효율성을 검증하였다.

Keywords

References

  1. 2014 Taxicab Fact Book [Internet], http://www.nyc.gov/html/tlc/html/about/about.shtml/, 2014.
  2. N. Ferreira, J. Poco, H. T. Vo, J. Freire, and C. T. Silva, "Visual exploration of big spatio-temporal urban data: A study of new york city taxi trips," Visualization and Computer Graphics, IEEE Transactions on, Vol.19, No.12, pp.2149-2158, 2013. https://doi.org/10.1109/TVCG.2013.226
  3. Z. Gui, H. Yu, and Y. Tang, "Locating traffic hot routes from massive taxi tracks in clusters," 2014.
  4. D. Zhang, T. He, S. Lin, S. Munir, J. Stankovic, et al., "Dmodel: Online taxicab demand model from big sensor data in a roving sensor network," in Big Data (BigData Congress), 2014 IEEE International Congress on, IEEE, pp.152-159, 2014.
  5. G. Pan, G. Qi, Z. Wu, D. Zhang, and S. Li, "Land-use classification using taxi gps traces," Intelligent Transportation Systems, IEEE, 2013.
  6. J. Lee, I. Shin, and G.-L. Park, "Analysis of the passenger pick-up pattern for taxi location recommendation," in Networked Computing and Advanced Information Management, 2008. NCM'08. Fourth International Conference on, Vol.1. IEEE, pp.199-204, 2008.
  7. Y. Wang, P. Chen, L. Cheng, and H. Tong, "A solution of traffic problems based on mapreduce," in Proceedings of the International Conference on Information Engineering and Applications (IEA) 2012. Springer, pp.749-757, 2013.
  8. NoSQL [Internet], http://nosql-database.org/, 2015.
  9. Z. Wei-ping, L. Ming-Xin, and C. Huan, "Using MongoDB to implement textbook management system instead of MySQL," in Communication Software and Networks (ICCSN), 2011. IEEE 3rd International Conference on, IEEE, pp.303-305, 2011.
  10. ORACLE, MySQL [Internet], https://www.mysql.com/, 2015.
  11. MongoDB [Internet], https://www.mongodb.com/, 2015.
  12. E. Dede, M. Govindaraju, D. Gunter, R. S. Canon, and L. Ramakrishnan, "Performance evaluation of a mongodb and hadoop platform for scientific data analysis," in Proceedings of the 4th ACM workshop on Scientific cloud computing, ACM, pp.13-20, 2013.
  13. J. Dean and S. Ghemawat, "Mapreduce: simplified data processing on large clusters," Communications of ACM, Vol. 51, No.1, pp.107-113, Jan., 2008. https://doi.org/10.1145/1327452.1327492
  14. Chris Whong, FOILing NYC's Taxi Trip Data [Internet], http://chriswhong.com/open-data/foilnyctaxi/, 2014.
  15. DEBS2015, grid cell in New York City [Internet], http://www.debs2015.org/call-grand-challenge.html/, 2015.
  16. Rush Hour [Internet], https://en.wikipedia.org/wiki/Rushhour/, 2015.