TPUs - Tensor Processing Units

[Michael H.W. Weber]

Moinsen.
Ich habe da mal eine Frage angesichts persistierender GrafikkartenMONDpreise: Hat sich schon mal jemand mit TPUs befasst? Also z.B. Coral AI's M.2 bzw. USB TPU-Kärtchen?

Ich bin gestern erst darüber gestolpert, da ich derzeit eine Machine & Deep Learning Fortbildung mache, mit neuronalen Netzwerken herumspiele und mich daran erinnerte, dass ich auch bei meinen (inzwischen publizierten) AlphaFold2-Bemühungen in der Google Colab Arbeitsumgebung bereits eine (mir damals unbekannte) Option "TPU" anstelle der von mir genutzten "GPUs" vorfand.

Die Teile scheinen sowohl in der Anschaffung, als auch dem Betrieb recht sparsam zu sein und ich frage mich, ob man da nicht mehrere im selben System parallel betreiben könnte?
Hier (Movie im RasPi-Kontext) z.B. ein 12er M2. Board einer kanadischen Firma, bei dem angeblich an jedem der 12 M.2 Slot 7,5 W anliegen können. Sowas mal auf ein Mini-ITX-System draufstecken, könnte parallelisierten Spaß machen, wenn es denn liefe.
Auf dem Jetson Nano fand ich eines der Coral AI Boards als Bauanleitung im Betrieb.

Hat jemand Erfahrung mit den Dingern?

Michael.

[gemini8]

Keine Erfahrung vorhanden, aber die aktuellen Macs haben Tensor Cores.

[Novas]

Erfahrung hab ich leider auch keine. Ich kann aber mal bei unseren Data Science Leuten nachfragen. Die haben auf jeden Fall Jetson Nanos und weitere Beschleuniger da, vielleicht haben die ja schon Erfahrungen mit den kleinen TPUs sammeln können.

Gibt ja auch PCIe zu 4x M.2 Karten für relativ kleines Geld und so langsam sind die kleinen TPUs scheinbar gar nicht (wenn ich mal nach den Benchmarks von coral.ai selbst gehe).
So ein großer USB-Hub mit 8+ Slots wäre sicherlich auch interessant, ich kann aber nicht einschätzen wie viel Bandbreite so eine kleine TPU benötigt. Die paar Gigabit über USB sind natürlich nichts gegen die massive Bandbreite von HBM Speicher auf den großen KI-GPUs von Nvidia und co.

[Michael H.W. Weber]

Gibt ja auch PCIe zu 4x M.2 Karten für relativ kleines Geld und so langsam sind die kleinen TPUs scheinbar gar nicht (wenn ich mal nach den Benchmarks von coral.ai selbst gehe).

Ja, das wußte ich noch gar nicht.
Ist tatsächlich interessant (Heise+ Paywalled...).
Man muss die Biester aber wohl auch ausreichend kühlen können. Es fließt wohl etwas Strom.

So ein großer USB-Hub mit 8+ Slots wäre sicherlich auch interessant, ich kann aber nicht einschätzen wie viel Bandbreite so eine kleine TPU benötigt. Die paar Gigabit über USB sind natürlich nichts gegen die massive Bandbreite von HBM Speicher auf den großen KI-GPUs von Nvidia und co.

Die USB-Karten haben dann vermutlich tatsächlich irgendwann einen Flaschenhals - zum Testen mit 'ner Einzelkarte aber sicher ausreichend.

Michael.

[Novas]

Ich habe eine Rückmeldung bez. TPUs die mit niedriger Bandbreite angebunden sind (z.B. USB 2/3):
Die sind durchaus nutzbar, aber teilweise musst du ein Modell dann 10 Minuten laden, danach läuft es aber schnell (z.B. Bilderkennung). Je nach Anwendungsfall kann die Wartezeit ein Problem sein, oder auch nicht.

Das Thema TPUs wird wohl in der diesjährigen Projektwoche mehr behandelt. Da werden verschiedenste Beschleuniger getestet und verglichen, um herauszufinden welche Geräte wie schnell sind und wo die Flaschenhälse dann entstehen.

[Michael H.W. Weber]

Sehr interessant. Ich habe Dir auch noch eine PN geschickt.

Michael.

[Michael H.W. Weber]

Hier mal drei Übersichtsartikel zum Thema was an der vordersten TPU-Front so abgeht:

KI-Supercomputer mit flexiblem optischen Netz.
Google Claims Its TPU v4 Outperforms Nvidia A100.
Google Reveals Its Latest TPU v4-Based Supercomputer, Which Betters Nvidia’s A100s in Speed and Efficiency.

...das Ding schlägt NVIDIAs A100 (das ist das Teil, was ich in Google Colab in - leider nur homöopatischen Mengen - mal als GPU bei meinen AlphaFold2-Bemühungen (siehe oben) zugeordnet bekam und wo das Ergebnis dann mal nicht 24 Std. auf sich warten ließ).

Kennt einer den Film "Findet Nemo"?
Dort die Möwen noch in Erinnerung?
--> "Meins."

Gut. Im Bereich DistributedComputing wird NICHTS von dieser Technologie derzeit genutzt.
Ich würde das mit RNA World ehrlich gesagt gern ändern wollen.
Bin aktuell im Rahmen einer kleinen Fortbildung bei einigen Gehversuchen mit Keras zu Gange - es tun sich da schemenhaft allmählich erste Anwendungsideen auf...

Michael.

[Michael H.W. Weber]

Neues Spielzeug für TPU-Interessierte:
https://www.nvidia.com/en-us/autonomous ... tson-orin/

Leider nicht ganz günstig...
Michael.

[Michael H.W. Weber]

Ich habe nun mit N0vas ein kleines TPU-Projekt angeschoben, evt. postet er dazu hier nochmal ein Bildchen.
Es ist eine ASUS PCIe-Karte am Start, die mit vier Coral AI Modulen bestückt ist.
Kann leider nur TensorFlow Lite, aber wir sind neugierig, was an Rechenleistung abzuholen ist.

Michael.

P.S.: Falls jemand Connections zu NVIDIA hat und dazu beitragen möchte, dass NVIDIA uns eines dieser JETSON Orin Boards (siehe oben) zu Entwicklungszwecken sponsored, wäre das natürlich sehr willkommen...