TPUs - Tensor Processing Units

Kaufempfehlungen, Hardwaretips, Softwareprobleme, Overclocking, Technikfragen ohne Bezug zu DC.
Nachricht
Autor
Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 22419
Registriert: 07.01.2002 01:00
Wohnort: Marpurk
Kontaktdaten:

TPUs - Tensor Processing Units

#1 Ungelesener Beitrag von Michael H.W. Weber » 05.04.2023 16:44

Moinsen.
Ich habe da mal eine Frage angesichts persistierender GrafikkartenMONDpreise: Hat sich schon mal jemand mit TPUs befasst? Also z.B. Coral AI's M.2 bzw. USB TPU-Kärtchen?

Ich bin gestern erst darüber gestolpert, da ich derzeit eine Machine & Deep Learning Fortbildung mache, mit neuronalen Netzwerken herumspiele und mich daran erinnerte, dass ich auch bei meinen (inzwischen publizierten) AlphaFold2-Bemühungen in der Google Colab Arbeitsumgebung bereits eine (mir damals unbekannte) Option "TPU" anstelle der von mir genutzten "GPUs" vorfand. :lol:

Die Teile scheinen sowohl in der Anschaffung, als auch dem Betrieb recht sparsam zu sein und ich frage mich, ob man da nicht mehrere im selben System parallel betreiben könnte?
Hier (Movie im RasPi-Kontext) z.B. ein 12er M2. Board einer kanadischen Firma, bei dem angeblich an jedem der 12 M.2 Slot 7,5 W anliegen können. Sowas mal auf ein Mini-ITX-System draufstecken, könnte parallelisierten Spaß machen, wenn es denn liefe. :evil2:
Auf dem Jetson Nano fand ich eines der Coral AI Boards als Bauanleitung im Betrieb.

Hat jemand Erfahrung mit den Dingern?

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

http://signature.statseb.fr I: Kaputte Seite A
http://signature.statseb.fr II: Kaputte Seite B

Bild Bild Bild

Benutzeravatar
gemini8
Vereinsvorstand
Vereinsvorstand
Beiträge: 5898
Registriert: 31.05.2011 10:30
Wohnort: Hannover

Re: TPUs - Tensor Processing Units

#2 Ungelesener Beitrag von gemini8 » 05.04.2023 18:30

Keine Erfahrung vorhanden, aber die aktuellen Macs haben Tensor Cores.
Gruß, Jens
- - - - - -
Lowend-User und Teilzeit-Cruncher

Bild Bild Bild
Bild

Novas
Vereinsmitglied
Vereinsmitglied
Beiträge: 83
Registriert: 09.02.2023 17:44

Re: TPUs - Tensor Processing Units

#3 Ungelesener Beitrag von Novas » 05.04.2023 21:29

Erfahrung hab ich leider auch keine. Ich kann aber mal bei unseren Data Science Leuten nachfragen. Die haben auf jeden Fall Jetson Nanos und weitere Beschleuniger da, vielleicht haben die ja schon Erfahrungen mit den kleinen TPUs sammeln können.

Gibt ja auch PCIe zu 4x M.2 Karten für relativ kleines Geld und so langsam sind die kleinen TPUs scheinbar gar nicht (wenn ich mal nach den Benchmarks von coral.ai selbst gehe).
So ein großer USB-Hub mit 8+ Slots wäre sicherlich auch interessant, ich kann aber nicht einschätzen wie viel Bandbreite so eine kleine TPU benötigt. Die paar Gigabit über USB sind natürlich nichts gegen die massive Bandbreite von HBM Speicher auf den großen KI-GPUs von Nvidia und co.
Bild

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 22419
Registriert: 07.01.2002 01:00
Wohnort: Marpurk
Kontaktdaten:

Re: TPUs - Tensor Processing Units

#4 Ungelesener Beitrag von Michael H.W. Weber » 06.04.2023 11:31

Novas hat geschrieben:
05.04.2023 21:29
Gibt ja auch PCIe zu 4x M.2 Karten für relativ kleines Geld und so langsam sind die kleinen TPUs scheinbar gar nicht (wenn ich mal nach den Benchmarks von coral.ai selbst gehe).
Ja, das wußte ich noch gar nicht.
Ist tatsächlich interessant (Heise+ Paywalled...).
Man muss die Biester aber wohl auch ausreichend kühlen können. Es fließt wohl etwas Strom.
Novas hat geschrieben:
05.04.2023 21:29
So ein großer USB-Hub mit 8+ Slots wäre sicherlich auch interessant, ich kann aber nicht einschätzen wie viel Bandbreite so eine kleine TPU benötigt. Die paar Gigabit über USB sind natürlich nichts gegen die massive Bandbreite von HBM Speicher auf den großen KI-GPUs von Nvidia und co.
Die USB-Karten haben dann vermutlich tatsächlich irgendwann einen Flaschenhals - zum Testen mit 'ner Einzelkarte aber sicher ausreichend.

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

http://signature.statseb.fr I: Kaputte Seite A
http://signature.statseb.fr II: Kaputte Seite B

Bild Bild Bild

Novas
Vereinsmitglied
Vereinsmitglied
Beiträge: 83
Registriert: 09.02.2023 17:44

Re: TPUs - Tensor Processing Units

#5 Ungelesener Beitrag von Novas » 06.04.2023 14:22

Ich habe eine Rückmeldung bez. TPUs die mit niedriger Bandbreite angebunden sind (z.B. USB 2/3):
Die sind durchaus nutzbar, aber teilweise musst du ein Modell dann 10 Minuten laden, danach läuft es aber schnell (z.B. Bilderkennung). Je nach Anwendungsfall kann die Wartezeit ein Problem sein, oder auch nicht.

Das Thema TPUs wird wohl in der diesjährigen Projektwoche mehr behandelt. Da werden verschiedenste Beschleuniger getestet und verglichen, um herauszufinden welche Geräte wie schnell sind und wo die Flaschenhälse dann entstehen.
Bild

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 22419
Registriert: 07.01.2002 01:00
Wohnort: Marpurk
Kontaktdaten:

Re: TPUs - Tensor Processing Units

#6 Ungelesener Beitrag von Michael H.W. Weber » 07.04.2023 14:15

Sehr interessant. Ich habe Dir auch noch eine PN geschickt.

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

http://signature.statseb.fr I: Kaputte Seite A
http://signature.statseb.fr II: Kaputte Seite B

Bild Bild Bild

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 22419
Registriert: 07.01.2002 01:00
Wohnort: Marpurk
Kontaktdaten:

Re: TPUs - Tensor Processing Units

#7 Ungelesener Beitrag von Michael H.W. Weber » 07.04.2023 17:13

Hier mal drei Übersichtsartikel zum Thema was an der vordersten TPU-Front so abgeht:

KI-Supercomputer mit flexiblem optischen Netz.
Google Claims Its TPU v4 Outperforms Nvidia A100.
Google Reveals Its Latest TPU v4-Based Supercomputer, Which Betters Nvidia’s A100s in Speed and Efficiency.

...das Ding schlägt NVIDIAs A100 (das ist das Teil, was ich in Google Colab in - leider nur homöopatischen Mengen - mal als GPU bei meinen AlphaFold2-Bemühungen (siehe oben) zugeordnet bekam und wo das Ergebnis dann mal nicht 24 Std. auf sich warten ließ).

Kennt einer den Film "Findet Nemo"?
Dort die Möwen noch in Erinnerung?
--> "Meins." :lol: :lol:

Gut. Im Bereich DistributedComputing wird NICHTS von dieser Technologie derzeit genutzt.
Ich würde das mit RNA World ehrlich gesagt gern ändern wollen.
Bin aktuell im Rahmen einer kleinen Fortbildung bei einigen Gehversuchen mit Keras zu Gange - es tun sich da schemenhaft allmählich erste Anwendungsideen auf...

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

http://signature.statseb.fr I: Kaputte Seite A
http://signature.statseb.fr II: Kaputte Seite B

Bild Bild Bild

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 22419
Registriert: 07.01.2002 01:00
Wohnort: Marpurk
Kontaktdaten:

Re: TPUs - Tensor Processing Units

#8 Ungelesener Beitrag von Michael H.W. Weber » 08.05.2023 07:40

Neues Spielzeug für TPU-Interessierte:
https://www.nvidia.com/en-us/autonomous ... tson-orin/

Leider nicht ganz günstig...
Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

http://signature.statseb.fr I: Kaputte Seite A
http://signature.statseb.fr II: Kaputte Seite B

Bild Bild Bild

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 22419
Registriert: 07.01.2002 01:00
Wohnort: Marpurk
Kontaktdaten:

Re: TPUs - Tensor Processing Units

#9 Ungelesener Beitrag von Michael H.W. Weber » 17.05.2023 09:34

Ich habe nun mit N0vas ein kleines TPU-Projekt angeschoben, evt. postet er dazu hier nochmal ein Bildchen.
Es ist eine ASUS PCIe-Karte am Start, die mit vier Coral AI Modulen bestückt ist.
Kann leider nur TensorFlow Lite, aber wir sind neugierig, was an Rechenleistung abzuholen ist. 8)

Michael.

P.S.: Falls jemand Connections zu NVIDIA hat und dazu beitragen möchte, dass NVIDIA uns eines dieser JETSON Orin Boards (siehe oben) zu Entwicklungszwecken sponsored, wäre das natürlich sehr willkommen... :lol:
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

http://signature.statseb.fr I: Kaputte Seite A
http://signature.statseb.fr II: Kaputte Seite B

Bild Bild Bild

Antworten

Zurück zu „Hardware, Software, Technik, Betriebssysteme“