Design and Performance of a CC-NUMA Prototype Card for SCI-Based PC Clustering

SCI 기반 PC 클러스터링을 위한 CC-NUMA 프로토타입 카드의 설계와 성능

  • Oh, Soo-Cheol (Dept.of Computer Science Engineering, Busan National University) ;
  • Chung, Sang-Hwa (Dept.of Computer Science Engineering, Busan National University)
  • Published : 2002.02.01

Abstract

It is extremely important to minimize network access time in constructing a high-performance PC cluster system For an SCI based PC cluster it is possilbe to reduce the network access time by maintaining network cache in each cluster node, This paper presents a CC-NUMA card that utilizes network cache for SCI based PC clustering The CC-NUMA card is directly plugged into the PCI solot of each node, and contains shared memory network cache, and interconnection modules. The network cache is maintained for the shared memory on the PCI bus of cluster nodes. The coherency mechanism between the network cache and the shared memory is based on the IEEE SCI standard. A CC-NUMA prototype card is developed to evaluate the performance of the system. According to the experiments. the cluster system with the CC-NUMA card showed considerable improvements compared with an SCI based clustser without network cache.

고성능 PC 클러스터 시스템을 구축하기 위해서는 네트워크 접근시간을 최소화하는 것이 중 요하다. SCI 기반 PC 클러스터 시스템에서는 각 노드에 네트워크 캐쉬를 유지함으로써 네트워크 접근 시 간을 줄이는 것이 가능하다. 본 논문에서는 SCI 기반 PC 클러스터 시스템을 위해서 네트워크 캐쉬를 활용하는 CC-NUMA 카드를 제안한다. CC-NUMA 카드는 각 노드의 PCI 슬롯(slot)에 plug-in 되는 형태이며 공유메모리 네트워크 캐쉬 네트워크 제어 모듈을 포함한다. 네트워크 캐쉬는 클러스터 노드의 PCI 버스상에서 존재하는 공유메모리를 캐쉬하여 공유메모리와 네트워크 캐쉬 사이의 일관성은 IEEC SCI 표준 에 의해 유지된다. 본 연구에서는 SCI 기반 PC 클러스터 시스템의 성능을 측정하기 위하여 CC-NUMA 프로토타입 카드를 개발하였으며, 이를 기반으로 하여 클러스터 시스템을 구축하였다. 실험결과. CC- NUMA 카드를 장착한 클러스터 시스템이 네트워크 캐쉬를 활용하지 않는 NUMA 기반 클러스터 시스템 에 비해서 우수한 성능을 보임을 알 수 있었다.

Keywords

References

  1. http://www.myri.com
  2. A. Mainwaring and D. Culler, 'Active Message Applications Programming Interface and Communication Subsystem Organization', Technical Document, 1995
  3. S. Pakin, V. Karamcheti and A. A. Chien. Fast Messages (FM): Efficient, Portable Communication for Workstation Clusters and Massively-Parallel Processors. IEEE Concurrency, Vol. 5, Issue. 2, pp. 60-72, 1997 https://doi.org/10.1109/4434.588295
  4. A. Basu, V. Buch, W. Vogels and T. von Eicken. U-Net: A User-Level Network Interface for Parallel and Distributed Computing. Proceedings of the 15th ACM Symposium on Operating Systems Princi-ples, pp. 40-53. Copper Mountain, Colorado, December 3-6 1995
  5. Myricom, Inc. The GM API. White Paper. Myricom, Inc., 1997
  6. http://www.sequent.com/whitepapers/numa_arch.html
  7. R. Clark. SCI Interconnect Chipset and Adapter: Building Large Scale Enterprise Servers with Pentium Pro SHV Nodes. White Paper. Data General Corporation, 1999
  8. http://www.dolphinics.com
  9. Wolfgang Karl, Markus Leberccht, Martin Schulz, Supporting Shared Memory and Message Passing on Cluster of PCs with a SMiLE, CANPC 99, Orlando, USA (together with HPCA-5), January, 1999
  10. Mario Trams, Wolfgang Rehm, Daniel Balkanski, Stanislav Simeonov, Memory Management in a combined VIA/SCI Hardware, IPDPS 2000 Workshops, pp. 4-15 Cancun, Mexico, May 2000
  11. Dolphin Interconnect Solutions, PCI-SCI card IRM driver version 1.5.0, Dolphin Interconnect Solutions, 1998
  12. Woo S. C, Ohara M., Torrie E., Pal Singh J., Gupta A., 'The SPLASH-2 Programs: Characterization and Methodological Considerations', Proceedings of the 22nd ISCA, pp. 24-36, June 1995
  13. David A. Patterson, Joh L. Hennessy, Computer Architecture A Quantitative Approach, Morgan Kaufmann Publishers, pp. 687-689, 1996