한국정보통신학회논문지 (Journal of the Korea Institute of Information and Communication Engineering)

  • 제21권8호
  • /
  • Pages.1531-1539
  • /
  • 2017
  • /
  • 2234-4772(pISSN)
  • /
  • 2288-4165(eISSN)
한국정보통신학회 (The Korea Institute of Information and Commucation Engineering)
권호 표지
DOI QR코드

DOI QR Code

SSD Storage Tester에서 메시징 시스템을 이용한 로그 처리

Log processing using messaging system in SSD Storage Tester

  • Nam, Ki-ahn (Department of Computer Science and Engineering, Korea University of Technology and Education) ;
  • Kwon, Oh-young (Department of Computer Science and Engineering, Korea University of Technology and Education)
  • 투고 : 2017.06.05
  • 심사 : 2017.07.17
  • 발행 : 2017.08.31
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

기존의 SSD 스토리지 테스터는 TCP와 네트워크 파일 시스템을 이용하여 서버 - 클라이언트 간 1-N 구조로 로그를 처리하였다. 이러한 방식은 CPU 사용량 증가, 예외처리의 어려움 등의 문제가 발생한다. 이에 본 논문은 Kafka나 RabbitMQ 같은 오픈 소스 메시징 시스템을 이용하여 비동기 분산처리가 가능한 로그 처리 메시지 레이어를 구현하고 기존 로그 전송방식과 비교하였다. 로그 시뮬레이터(Simulator) 를 구현하여 전송 대역폭과 CPU 사용량을 비교하였다. 테스트 결과 기존 전송 방법과 비교하여 메시지 레이어를 이용한 전송이 대역폭에서 높은 성능을 보였으며 CPU 사용량의 경우 큰 차이를 보이지 않았다. 메시지 레이어를 이용할 경우 기존 방식보다 더 쉽게 구현 가능하며 성능 면에서도 더 높은 효율을 보였으므로 기존 방식보다 높은 효율을 보일 것으로 기대된다.

The existing SSD storage tester processed logs in a 1-N structure between server and client using TCP and network file system. This method causes some problems for example, an increase in CPU usage and difficulty in exception handling, etc. In this paper, we implement a log processing message layer that can deal with asynchronous distributed processing using open source messaging system such as kafka, RabbitMQ and compare this layer with existing log transmission method. A log simulator was implemented to compare the transmission bandwidth and CPU usage. Test results show that the transmission using the message layer has higher performance than the transmission using the message layer, and the CPU usage does not show any significant difference The message layer can be implemented more easily than the conventional method and the efficiency is higher than that of the conventional method.

키워드

참고문헌

  1. B. Parhami, Computer Architecture, New York, NY: Oxford University Press, 2005.
  2. J. Kreps, N. Narkhede, and J. Rao, "Kafka: A distributed messaging system for Log processing," In Proceedings of the NetDB : 6th Workshop on Networking meetsDatabases, Athens, pp. 1-7, 2011.
  3. K. Joshua, "Advanced message queuing protocol (AMQP)," Linux Journal, vol. 3, no.187, pp. 54-61, Nov. 2009.
  4. M. Rostanski, K. Grochla, and A. Seman, "Evaluation of highly available and fault-tolerant middleware clustered architectures using RabbitMQ," In Proceedings of Computer Science and Information Systems (FedCSIS), 2014 Federated Conference on. IEEE, New York: NY, pp. 879-884, 2014.
  5. P. Dobbelaere and K. S. Esmaili, "Kafka versus RabbitMQ: A comparative study of two industry reference publish/ subscribe implementations: Industry Paper," In Proceedings of the 11th ACM International Conference on Distributed and Event-based Systems, Barcelona, pp. 227- 238, 2017.
  6. B. Snyder, D. Bosanac and R. Davies, Introduction to apache activemq, New York, NY: manning publications Co, 2017.
  7. P. Hintjens, ZeroMQ: Messaging for Many Applications, California, O'Reilly Media Inc, 2013.
  8. S. Boschi, and G. Santomaggio, RabbitMQ cookbook, Birmingham, Packt Publishing Ltd, 2013.
  9. S. Minni, Apache Kafka Cookbook, Birmingham, Packt Publishing Ltd, 2015.