ZLUDA: CUDA Code unverändert über HIP/ROCm auf AMD GPUs ausführbar

[Michael H.W. Weber]

AMD hat wohl ein Tool eines Einzelentwicklers übernommen und so anpassen lassen, dass nun CUDA Code nativ auf AMD GPUs läuft.

Artikel: https://videocardz.com/newz/unmodified- ... s-to-zluda
GitHub: https://github.com/vosen/ZLUDA

Ich suche nun ein oder mehrere Personen, die mit mir in den kommenden 1-2 Wochen in einem RKN-Freizeitprojekt einen Benchmark für eine etablierte DeepLearning-Software (Biowissenschaftsbereich) durchführen.
Ziel ist eine kurze Fachpublikation, in der NVIDIA vs. AMD verglichen wird.

Erforderliche Kenntnisse:
-GitHub-Code auf der eigenen Kiste ans Laufen bekommen können
-sich in ZLUDA soweit einlesen, um es auf CUDA-Code loszulassen

Hardware-Voraussetzungen:
-NVIDIA & AMD GPUs
-Betriebssysteme: Windows/Linux (beides wäre ideal, wenn nur eins geht, auch kein Beinbruch)

Falls die Hardware fehlt, bitte trotzdem melden - das Zeug kriegen wir schon irgendwie zusammen.
Ideal wären natürlich 'ne RTX 4090 und 'ne AMD XTX 7900.
Unterm Strich sollte es irgendwas möglichst modernes sein.
Für Studis könnte der Verein für dieses Projekt ggf. auch etwas Geld in die Hand nehmen.
Interessierte senden mir bitte eine PN.

Michael.

[Stiwi]

Amd hat das wenn ich es richtig verstehe nicht übernommen sondern jetzt eher die Unterstützung eingestellt. Schade eigentlich.

The project came back to life, but AMD had actually discontinued its support.

[Michael H.W. Weber]

Amd hat das wenn ich es richtig verstehe nicht übernommen sondern jetzt eher die Unterstützung eingestellt. Schade eigentlich.

The project came back to life, but AMD had actually discontinued its support.

...woraufhin der Code Open Source wurde und einwandfrei läuft, wie im folgenden Satzgeflecht steht.

Michael.

[Michael H.W. Weber]

"Nvidia blockiert CUDA für andere Chips: Mit CUDA 11.6 dürfen keine Übersetzungsschichten für die Übertragung von CUDA-Code auf andere GPUs genutzt werden. ":
https://www.golem.de/news/nutzungsbedin ... 82890.html

Damit wird man wieder darin bestärkt auch weiterhin einen Bogen um NVIDIA-Produkte zu machen.

Michael.

[Novas]

Ich verstehe halt schon, dass Nvidia sein Alleinstellungsmerkmal etwas schützen möchte. Wenn ich Milliarden investiere und dann auch Milliarden verdiene, warum sollte ich meine Software anderen öffnen? (Übrigens wurde das bisher nie durchgesetzt, da es keine bekannten Fälle gibt, wo Nvidia gegen Zluda oder HIPify vorgegangen ist).
OpenCL, HIP, SYCL sind alles alternativen die seit Jahren zur verfügung stehen. Warum nutzt sie kaum jemand? Weil es viel mehr Aufwand ist mit einer komplizierten API zu arbeiten als mit einer einfachen ODER die ganzen Tools drumherum noch nicht da sind (Debugging, Profiling, etc.)
Du codest den ganzen Hardcore kram ja auch nicht neu, sondern nutzt TensorFlow, PyTorch, etc. nur haben sich im Falls von Python die Leute dazu entschieden das alles offen zu behandeln, statt es an ein käufliches Produkt zu binden.

Mit HIP hat AMD effektiv einen CUDA-Klon ins Leben gerufen der quasi genau so wie CUDA aufgebaut ist. Der Unterschied ist hier, dass du dir aussuchen kannst wohin der Kernel übersetzt wird (also zu CUDA oder ROCm), daher auch der Name "Heterogeneous-Compute Interface for Portability". Aber selbst damit kommst du nicht wirklich von CUDA weg, denn wenn du für AMD kompilierst (ROCm), dann musst du genau schauen was geht und was nicht, da unter Linux z.B. alle Instinct Karten unterstützt werden, aber kaum Consumer Karten, dafür unter Windows viele Consumer aber keine der Instinct. Wie immer gibts bei AMD viele kleine nervige Softwareprobleme (wer in den letzten 10 Jahren versucht hat mit einer AMD GPU irgendwas zu spielen, kennt die Treiberprobleme) sowie keine vorhandene Support-Roadmap für die Hardware, was langfristige Planung unmöglich macht (denn mit dem nächsten Update funktionieren plötzlich deine 3 Jahre alten GPUs nicht mehr).

Wie AMD mit seiner Software voran kommt sieht man auch gut an dem bereits verlinkten Videocardz-Artikel zu ZLUDA:
Selbst wenn man den Blender Cycles Renderer auf CUDA stellt und das durch ZLUDA jagt, ist man gut 25% schneller als wenn man den nativen Radeon HIP Adapter für Cycles nutzt. Der Nvidia Optix beschleunigte Renderer ist allerdings nochmal gut 50% schneller als die reine CUDA Variante.

Klar ich bin auch für eine einheitliche Sprache die dann einfach überall lauffähig ist. Wenn man aber einfach ein Projekt umsetzen will, ist Nvidia die einzige Wahl, da man sich nicht mit so viel Mist rumschlagen muss, sondern einfach die eigenen Probleme lösen kann. Wenn man natürlich Lust hat sich rumzuschlagen und alles möglichst offen zu halten, schenit HIP sich langsam durchzusetzen (sonst würden ja alles großen Supercomputer und HPC Cluster nur auf Nvidia setzen, machen sie aber nicht).

[Michael H.W. Weber]

Hier agiert aus meiner Sicht ein Grosskonzern in Sachen Kartellabsicherung und behindert damit in klassischer Weise technischen und damit auch gesellschaftlichen Fortschritt und Entwicklungsmöglichkeiten.
Meine Hoffnung ist, dass die bisherigen GPUs mit dem Aufkommen spezieller KI-Rechneinheiten für bestimmte Anwendungen ohnehin abgelöst werden in ihrer Bedeutung und wir am Ende auch noch Strom sparen bei höherem Rechendurchsatz.

Michael.

P.S.: Ich hatte bei Spielen übrigens noch nie Probleme mit AMD-Grafiktreibern.

[Michael H.W. Weber]

Update zur Thematik: https://www.phoronix.com/news/ZLUDA-v4-Released

Michael.

[koschi]

Ich habs die Tage mal probiert, ZLUDA 3 aus Github, ROCm 6.3 und nvcc plus jede Menge Abhängigkeiten geladen und installiert. Nachdem LD_LIBRARY_PATH korrekt gesetzt ist, beschwert sich die SRBase CUDA Anwendung nicht mehr über die fehlende Nvidiakarte. Leider bricht die Berechnung einer standalone WU dann aber trotzdem ohne weitere Meldungen ab.

Hab dann heute https://github.com/NVIDIA/cuda-samples kompiliert, ein Beispiel lief durch, eines brach mit Speicherzugriffsfehlern ab und das dritte hat dann Thorsams Daddelmaschine abgeschossen. Ich komme derzeit nicht mehr drauf, AnyDesk zeigt nur den Fehler desk_rt_ipc_error

Nach den zuvor konsumierten Artikeln war ich da ein bisserl optimistischer und hatte mit schnellen Erfolgen gerechnet

Hat hier schon jemand mit ZLUDA experimentiert?

[Michael H.W. Weber]

Ich habe selbst gerade keine geeignete GPU zur Hand und insofern selbst noch nicht damit experimentiert.
Probiere aber bitte mal GPUGRID laufen zu lassen - ohne weitere Anpassungen.
Ich habe von einem erfolgreich dort auf AMD-Karten Rechnenden eine Anleitung bekommen, die aber nicht über das hinausgeht, was Du schon oben schriebst.
Bist Du unter Windows oder Linux (vermute letzteres)?

Michael.

[koschi]

Bei mir läuft ausschließlich Linux.
Ich hatte mir nach dem Termin in Dresden auch schon einen GPUGrid Slot zurückgelegt, finde den aber nicht mehr wieder. War womöglich blöd platziert und BOINC hat ihn wieder gelöscht.
Derzeit gibt es leider keine WUs und Thorsams Rechenknecht mit RX7700 ist
Also erstmal abwarten...

[Michael H.W. Weber]

@koschi: Hast Du auch v4 im Einsatz?
Hier das Repo: https://github.com/vosen/ZLUDA/releases/tag/v4
Bei den 3.x Versionen scheint einiges nicht mit dem aktuellen CUDA zu laufen. Habe das in dem Bereich "issues" entnommen.

Michael.

[Stiwi]

@koschi: Hast Du auch v4 im Einsatz?
Hier das Repo: https://github.com/vosen/ZLUDA/releases/tag/v4
Bei den 3.x Versionen scheint einiges nicht mit dem aktuellen CUDA zu laufen. Habe das in dem Bereich "issues" entnommen.

Michael.

V4 kann man vergessen:
"This is the first release post-rollback and is very limited: only Geekbench is supported"

oder vom Blogpost:
"The code has been rolled back to the pre-AMD state and I've been working furiously on improving the codebase. I’ve been writing the improved PTX parser I always wanted and laid the groundwork for the rebuild. Currently, some very simple synthetic GPU test programs can be run on an AMD GPU, but we are not yet at the point where ZLUDA can support a full application."

https://vosen.github.io/ZLUDA/blog/zludas-third-life/