DOI QR코드

DOI QR Code

Overlapping Effects of Circular Shift Communication and Computation

원형 쉬프트 통신의 중첩 효과 분석

  • 김정환 (건국대학교 컴퓨터.응용과학부) ;
  • 노정규 (서경대학교 컴퓨터과학과) ;
  • 송하윤 (홍익대학교 정보컴퓨터공학부)
  • Published : 2002.06.01

Abstract

Many researchers have been interested in the optimization of parallel programs through the latency hiding by overlapping the communication with the computation. We ana1yzed overlapping effects in the circular shift communication which is one of the collective communications being frequently used In many data parallel programs. We measured the time which can be possibly overlapped and the time which cannot be overlapped in over all circular shift communication period on an Ethernet switch-based clustered system. The result from each platform nay be used for the input of optimizing compilers. The previous performance models usually have two kinds of drawbacks one is only based on point-to-point communication, so it is not appropriate for analyzing the overall effects of collective communications. The other provides the performance of collective communication, but no overlapping effect. In this paper we extended the previous models and analyzed the experimental results of the extended model.

통신과 계산 작업을 중첩 수행함으로써 통신 시간의 감춤 효과를 얻는 것은 일반적인 병렬 프로그램 최적화 방법 중의 하나이다. 본 논문에서는 데이타 병렬 프로그램에서 자주 사용되는 군집 통신(collective communication)의 하나인 원형 쉬프트(circular shift) 통신에 대해 중첩 효과를 실험하고 고찰하였다. 이더넷 스위치로 연결된 클러스터 시스템에서 원형 쉬프트 통신을 수행할 때, 중첩으로 얻을 수 있는 최대 이득과 중첩할 수 없는 시간을 측정하였다. 각 플랫폼 별로 이러한 측정값들을 얻어 퇴적화 컴파일러의 입력으로 활용할 수 있을 것이다. 한편 기존의 성능 모델을 통해 퇴적화하는 것은 크게 두가지 문제를 갖고 있다. 하나는 기본적인 점대점 통신에 입각한 모델을 제공하기 때문에 통신 라이브러리의 함수를 사용할 때의 종합적인 효과, 특히, 군집 통신과 같은 경우에는 적용하기 어렵다는 것이다. 다른 하나는 군집 통신의 성능은 분석은 가능하지만, 중첩 효과는 분석할 수 없다는 것이다. 본 논문에서는 이러한 기존 모델의 단점을 보완하여 확장하였다. 또한, 원형 쉬프트 통신에 대한 실험 결과를 토대로 확장된 모델의 매개 변수 값들을 추출하여 예제 프로그램을 통해 분석하였다.

Keywords

References

  1. D. E. Culler, A. Arpaci-Dusseau, R, Arpaci-Dusseau, B. Chun, S. Lumetta, A. Mainwaring, R. Martin, C. Yoshikawa and F. Wong, 'Parallel Computing on the Berkeley NOW,' In Proc. of 9th Joing Symp. on Parallel Processing, Kobe, Japan, 1997
  2. T. Sterling et al., 'BEOWULF : A Parallel Worskstation for Scientific Computation,' In Proc. of Int'l Conf. on Parallel Processing, 1995
  3. A. Rogers and K. Pingali, 'Process Decomposition though Locality of Reference,' In Proc. of the SIGPLAN '89 Conf. on Programming Language Design and Implementation, June, 1989 https://doi.org/10.1145/73141.74824
  4. C. Koelbel and P. Mehrota, 'Programming Data Parallel Algorithms on Distributed Memory Machine Using Kali,' In Proc. of the 1991 ACM Int'l Conf. on Supercomputing, June, 1991 https://doi.org/10.1145/109025.109122
  5. D. E. Culler et al., 'LogP : Towards a Realistic Model of Parallel Computation,' In Proc. of ACM Symp. on Principle and Practice of Parallel Programming, ACM Press, pp.1-12, 1993 https://doi.org/10.1145/155332.155333
  6. MPI Forum, 'MPI : A Message Passing Interface Standard,' Tech. Report CS-94-230, Computer Science Dept.,University of Tennessee, April, 1994
  7. A. Geist et al., 'PVM 3 User's Guide and Reference Manual,' September, 1994
  8. 'IBM parallel Environment for AIX : MPL Programming and Subroutine Reference,' GC23-3893-00, IBM Corp.
  9. ZhiWei Xu and Kai Hwang, 'Modeling Communication Overhead : MPI and MPL Performance on the IBM SP2,' IEEE Parallel and Distributed Technology, Vol.4, No.1, pp.9-23, Spring, 1996 https://doi.org/10.1109/88.481662
  10. T.Agerwala et al., 'SP2 System Architecture,' IBM Systems Journal, Vol.34, No.2, 1995
  11. R.W. Hockney, 'The Communication Challenge for MPP : Intel Paragon and Meiko CS-2,' Parallel Computing, Vol.20, No.3, pp.389-398, March, 1994 https://doi.org/10.1016/0167-8191(94)90095-7
  12. S. Fortune and J. Wyllie, 'Parallelism on Random Access Machines,' In Proc. of the 10th Annual Symp. on Theory of Computing, pp.114-118, 1978 https://doi.org/10.1145/800133.804339
  13. A. Alexandrov et al., 'LogGP : Incorporating Long Messages into the LogP Model,' In Proc. of the 7th Annual Symp. Parallel Algorithms and Architectures, ACM Press, pp.95-105, 1995 https://doi.org/10.1145/215399.215427
  14. J. M. Squyres et al., 'LAM Installation Guide.'
  15. D. F. Bacon, S. L. Graham, and O. J. Sharp, 'Compiler Transformations for High-Performance Computing,' ACM Computing Survey, Vol.26, No.4, pp.345-420, December, 1994 https://doi.org/10.1145/197405.197406