Scaling CUDA C++ Applications to Multiple Nodes (SCCAMN) – Details

Detaillierter Kursinhalt

Einführung

  • Treffen Sie den Ausbilder.
  • Erstellen Sie ein Konto unter courses.nvidia.com/join

Multi-GPU-Programmierparadigmen

  • Überblick über mehrere Techniken zur Programmierung von CUDA C++ Anwendungen für mehrere GPUs unter Verwendung einer Monte-Carlo-Approximation von pi CUDA C++ Programm.
  • Verwenden Sie CUDA, um mehrere GPUs zu nutzen.
  • Erfahren Sie, wie Sie die direkte Peer-to-Peer-Speicherkommunikation aktivieren und nutzen können.
  • Schreiben Sie eine SPMD-Version mit CUDA-fähigem MPI.

Einführung in NVSHMEM

  • Lernen Sie, wie man mit NVSHMEM Code schreibt und sein symmetrisches Speichermodell versteht.
  • Verwenden Sie NVSHMEM, um SPMD-Code für mehrere GPUs zu schreiben.
  • Nutzen Sie den symmetrischen Speicher, damit alle GPUs auf Daten anderer GPUs zugreifen können.
  • GPU-initiierte Speicherübertragungen durchführen.

Halo-Exchanges mit NVSHMEM

  • Üben Sie gängige Kodierungsmotive wie Halo-Austausch und Domänenzerlegung mit NVSHMEM und arbeiten Sie an der Bewertung.
  • Schreiben Sie eine NVSHMEM-Implementierung eines Jacobi-Lösers für die Laplace-Gleichung.
  • Refaktorierung eines 1D-Wellengleichungslösers für eine einzelne GPU mit NVSHMEM.
  • Schließen Sie die Bewertung ab und erhalten Sie ein Zertifikat.

Abschlussbericht

  • Erfahren Sie mehr über Kompromisse bei Anwendungen auf GPU-Clustern.
  • Besprechen Sie die wichtigsten Erkenntnisse und beantworten Sie Fragen.
  • Füllen Sie die Workshop-Umfrage aus.