Cluster-Umzug

Alles zu unserer Maschine mit purer Rechenkraft (nur registrierte Benutzer)
Nachricht
Autor
Benutzeravatar
laguna
TuX-omane
TuX-omane
Beiträge: 2789
Registriert: 08.10.2003 09:36
Wohnort: Ettingshausen

#37 Ungelesener Beitrag von laguna » 31.07.2004 15:04

Ach ja, der einzige mir bekannte Betrieb der in unserer Region hier
Baumaterial verkauft ist der Obi in Gießen ;-)
Aber ich habe einen Schlosser an der Hand. Wenn Du mir sagst, was Du
an Material brauchst, dann frag ich mal nach.
Bild Bild

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 23173
Registriert: 07.01.2002 01:00
Wohnort: Marpurk

#38 Ungelesener Beitrag von Michael H.W. Weber » 31.07.2004 16:27

@Laguna: CPU- & andere Quirls kommen ohnehin rein. :D Ich habe aber die Erfahrung gemacht, daß Shuttle Boards im Vergleich zu anderen Maschinen deutlich heißer werden. Da deren Chipsätze bestenfalls eine passive Kühlung besitzen und wir den Cluster um einiges übertaktet betreiben, möchte ich bei vier Boards in einem Gehäuse gewisse Vorsichtsmaßnahmen treffen. Die senkrechte Anbringung ist schon deshalb vonnöten, um zu verhindern, daß Abwärme der bei Horizontalanbringung unten angeordneten Boards (Rack-Bauweise) sich unter den Platinen der darüber angebrachten staut. Gestapelte Racks sind aus diesem Grund meines Erachtens nach ein ziemliches Fehldesign - auch wenn die integrierten Quirls das Problem sicherlich lösen. Es macht einfach Randale in der Hütte, die nicht erforderlich ist.

Was mich interessiert sind Preise für Kupferplatten und ob jemand die Lamellen fräsen kann. Einen Obi haben wir auch in Marburg - nur, was ich immer sage: Alles im Arsch = Alles im Obi. :lol: Die haben da alles, nur nie, was ich brauche und wenn, dann von übler Qualität.

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

Bild Bild

Benutzeravatar
SpeedKing
TuX-omane
TuX-omane
Beiträge: 2943
Registriert: 12.09.2003 17:14

#39 Ungelesener Beitrag von SpeedKing » 31.07.2004 17:19

Michael H.W. Weber hat geschrieben:[...]spiele ich mit dem Gedanken, pro CPU ein Kupferdrahtgebinde auszuprobieren (zusammengedrehte Kupferdrähte von je 1 mm Durchmesser). Gesamtdurchmesser etwa 2,5 cm.
Wäre das ein massiver Kupferstab mit 2,5 cm Durchmesser und 20 cm Länge, der sowohl am Prozessor als auch an der Kupferaußenwand angeschweißt ist (also optimale Wärmeübertragung gewährleistet), dann könnte er 40 W abtransportieren. Durch die Übergangswiderstände leitet er dann vielleicht nur 20 W ab. Dein Kupferdrahtgebinde dürfte noch deutlich weniger ableiten. Die CPUs haben aber > 70 W Heizleistung. Nur eine Heatpipe (oder evtl. ein Diamantstab ;) ) kann von der Oberfläche der CPU so viel Wärme abtransportieren, wie anfällt.

(Angenommenen Werte:
Stab aus reinem Kupfer, Wärmeleitfähigkeit 401 W/(m*K)
Länge des Stabes: 0,2 m
Durchmesser des Stabes: 0,025 m
Raumtemperatur 20°C, erlaubte CPU-Temperatur 60°C, damit Temperaturdifferenz 40 K)

Michael, sowas zu berechnen ist sehr einfach. Ich verstehe nicht, daß du als Wissenschaftler das nicht ausrechnest (oder ausrechnen läßt), bevor du dich konkreten Planungen hingibst.
Michael H.W. Weber hat geschrieben:Die senkrechte Anbringung ist schon deshalb vonnöten, um zu verhindern, daß Abwärme der bei Horizontalanbringung unten angeordneten Boards (Rack-Bauweise) sich unter den Platinen der darüber angebrachten staut.
Volle Zustimmung!
Michael H.W. Weber hat geschrieben:Was mich interessiert sind Preise für Kupferplatten und ob jemand die Lamellen fräsen kann.
Ich will jetzt den Kühlkörper nicht auch noch durchrechnen. Nur so viel:
Du wirst sicherlich eine Lamellentiefe von mehreren Zentimetern bei einem Lamellenabstand von ca. 1 cm benötigen, um die Wärme wegzukriegen. Sowas fräst man nicht! Du bräuchtest ein Kupferblech mit 3-4 cm Dicke (Metaller bezeichnen sowas als Blech) und müßtest 90% des Materials wegfräsen. Totaler Irrsinn. Stattdessen nimmt man gegossene Kühlprofile, vorzugsweise aus Alu - bei gleicher Wärmeleistung sind die viel billiger.

Noch viel einfacher und billiger ist es aber, in das Gehäuse einen GROSSEN Lüfter einzubauen, der sehr langsam (und damit leise) läuft und trotzdem die Wärme rausschaufelt.

Benutzeravatar
laguna
TuX-omane
TuX-omane
Beiträge: 2789
Registriert: 08.10.2003 09:36
Wohnort: Ettingshausen

#40 Ungelesener Beitrag von laguna » 31.07.2004 18:09

Also die Heatpipe kannst du abhaken. Das funktioniert nie!
Schon gar nicht mit einem nicht massiven Kupfergebinde.
Anschweißen an den Die... das will ich sehen, wie ihr dem CPU mit dem 100W Lötkolben auf die Pelle rückt... Neee Heatpipe ist nicht.

Folgendes Szenario wäre realistisch.
Ein maßgefertigtes Metallgehäuse. Vorne 2-3 125mm Lüfter die rein blasen. Hinten 2-3 125mm Lüfter die absaugen.
Zusätzlich Luftschlitze in die Oberseite des Gehäuses.
Das sollte doch schon reichen.

Baut uns auch besagter Schlosser. Die Anfahrt nach Marburg ist dann auch kein Problem. Das bringe ich notfalls mit dem Fahrrad vorbei :-)
Bild Bild

Michael

#41 Ungelesener Beitrag von Michael » 31.07.2004 18:28

Michael H.W. Weber hat geschrieben:Selbstverständlich ginge das klar. Du könntest auch über Nacht bei mir bleiben, damit die Fahrerei nicht zu stressig wird - wenn Du willst.

Michael.
Hi Michael
ich habe root eine benarichtigt, das er sich bei mir Zwecks Terminvereinbarung melden soll.
Dein Angebot nehme ich ggf. an

Michael

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 23173
Registriert: 07.01.2002 01:00
Wohnort: Marpurk

#42 Ungelesener Beitrag von Michael H.W. Weber » 31.07.2004 21:13

@Speedking: Ich schrieb "brain storming", ergo liegt bislang keinerlei konkrete Planung vor. Das macht auch keinen Sinn, solang ich die Nodes nicht hier auf meinem "Operationstisch" :lol: liegen habe und genaueres über die einzelnen Abmessungen weiß. Daß Aluminium die gleiche Wärmeleitfähigkeit besitzt wie Aluminium halte ich ad hoc mal für ein Gerücht - nachschlagen werde ich es jedoch jetzt nicht, wegen chronischer Faulheit. :D Allerdings könnt ihr schon davon ausgehen, daß ich die Kosten genau vergleichen und die vernünftigste Lösung wählen werde. Deine Rechnung ist sicherlich eine vernünftige Abschätzung, berücksichtigt allerdings mancherlei Fakten nicht. Ein Kupferdrahtgebinde hat eine wesentlich höhere Oberfläche, welche Wärme abstrahlt. Da Quirls zugegen sein werden, wird also Wärme abtransportiert. Und natürlich wird nichts am Die festgeschweißt. :lol: Die vorhandenen CPU-Kühlblocks (und evt. Lüfter) werde ich schon einsetzen, denke ich. Wasserkühlung ist zu teuer und aufwändig in der Langzeitwartung. Läuft da was aus, läuft es nämlich in die Racks der AG rein und dann wird es duster. Aber das ist jetzt alles weniger wichtig. Wichtiger wäre es z.B. zu überlegen, ob das Case für noch mehr Nodes ausgerichtet sein soll (und wenn ja für wieviele) und ob man den eventuellen Einbau von einer Platte pro Node zumindest vorsehen sollte. Die Netzteile kommen ganz oben hin
Ich hatte auch überlegt, einen einzigen Riesenquirl anzubringen, der quasi auf der gesamten Würfelfläche bläst - bzw. zwei, also einer vorne und einer hinten (merke: je größer der Blasebalg, desto geringer die Drehzahl, desto leiser das Teil). Auf der anderen Seite frage ich mich, was so ein Biest an Strom aufnimmt und ob man sowas überhaupt per Standardstromzuleitung über die Netzteile betreiben kann. Ferner weiß ich noch nicht so recht, wo ich solche Propeller hernehme. Mehrere "Kleinkrakehler" wollte ich eigentlich nicht so gerne haben. Was ich an Lüftern generell zum Kotzen finde, ist das ständige Staubheranschleppen, der sich nämlich magisch angezogen auf dem CPU-Kühlblock in den Lamellen niederläßt, was dann wieder zu Wartungsarbeiten führt. Aus diesem Grund wird das Case auch defintiv in der Oberseite KEINE Schlitze besitzen. Muß ja nicht auch noch reinfallen können, der Dreck. Zwei der Netzteile wollte ich oben als hintere Ecken einbauen, sodaß also zwei Seiten direkt Teil der Außenwand bilden. Oder müssen die noch zusätzlich abgeschirmt sein wegen Elektrosmog?
Ist auf jeden Fall gut, wenn ihr hier eure Ideen postet, damit möglichst viel davon einfließen kann und ich von allerlei "Operation Eigenbau-Eskapaden" abgehalten werde.

Und schließlich vergeßt bitte eines nicht: Wenn ich mich schon hinsetze und so ein Case baue, will ich auch etwas Spaß dabei haben. ;)

Michael.

P.S.: Wieviel Kohle ist noch auf unserem Clusterkonto?
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

Bild Bild

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 23173
Registriert: 07.01.2002 01:00
Wohnort: Marpurk

#43 Ungelesener Beitrag von Michael H.W. Weber » 31.07.2004 21:25

Eins noch: Ich wollte das Case so aufbauen, daß man die Mobos separat auf jeweils eine bohrungs- und rückblendenmäßig "ATX-kompatible" Trägerplatte montiert, welche dann von oben schubladenartig in den Cube versenkt wird. Das sollte den Aufbau einzelner Nodes bequemer machen. Auch soll das Ding dann evt. so aufgebaut sein, daß man es bei Bedarf seitlich verlängern kann.

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

Bild Bild

Benutzeravatar
laguna
TuX-omane
TuX-omane
Beiträge: 2789
Registriert: 08.10.2003 09:36
Wohnort: Ettingshausen

#44 Ungelesener Beitrag von laguna » 31.07.2004 22:50

Michael H.W. Weber hat geschrieben:Eins noch: Ich wollte das Case so aufbauen, daß man die Mobos separat auf jeweils eine bohrungs- und rückblendenmäßig "ATX-kompatible" Trägerplatte montiert, welche dann von oben schubladenartig in den Cube versenkt wird. Das sollte den Aufbau einzelner Nodes bequemer machen. Auch soll das Ding dann evt. so aufgebaut sein, daß man es bei Bedarf seitlich verlängern kann.

Michael.
Yep!
So eine Art Schubladensystem aber senkrecht!
Man kann die Kiste ja so groß bauen, daß zusätzlich zu den vorhandenen MoBos noch ein paar mehr eingesteckt werden können.

An eine Steckdose gehen übrigens maximal 2500kW.
An eine 16A Sicherung 3800W, an eine 20A Sicherung 4600W. Danch knallen sie raus. Mehr als 20A sind eigendlich nicht üblich. 32 A wären schon Drehstrom
Bild Bild

Benutzeravatar
Akio
Vereinsmitglied
Vereinsmitglied
Beiträge: 472
Registriert: 21.05.2003 16:43
Wohnort: Hamburg

#45 Ungelesener Beitrag von Akio » 31.07.2004 22:52

Hallo,
also ich denke wir sollten das Gehäuse sehr ausbaufähig für die Zukunft bauen, sodass wir immer wenn wir genug Geld haben auch die Nodezahl erhöhen können für mehr Rechenkraft.

Viele Grüße
Akio

NovaTec

#46 Ungelesener Beitrag von NovaTec » 31.07.2004 23:04

Michael,

große Lüfter hab ich neulich bei der Arbeit verbaut.
Naja, so 250m³/h ist glaub ich schon ordentlich für so nen Würfel. *g*
Sind allesdings nicht so klein die dinger.
Bei Rittal gibt es von klein bis ganz groß... kann man sogar mit Thermostat kombinieren.
Brauchste aber 230V. Leistungsaufnahme: (250m³/h) hatte 40W.

Gruß
NovaTec

Benutzeravatar
SpeedKing
TuX-omane
TuX-omane
Beiträge: 2943
Registriert: 12.09.2003 17:14

#47 Ungelesener Beitrag von SpeedKing » 01.08.2004 00:48

Michael H.W. Weber hat geschrieben:@Speedking: Ich schrieb "brain storming", ergo liegt bislang keinerlei konkrete Planung vor.
Ach, und bei nicht konkreter Planung fragst du gleichmal wer das konkret umsetzen könnte? :-?
Michael H.W. Weber hat geschrieben:Daß Aluminium die gleiche Wärmeleitfähigkeit besitzt wie Aluminium halte ich ad hoc mal für ein Gerücht[...]
Das setze ich mal voraus. Wär ja sonst ziemlich unberechenbar. ;)
Aber falls du Alu mit Kupfer vergleichen wolltest (und irgendwie hege ich den leisen Verdacht... :P): Ich habe nicht von der Wärmeleitfähigkeit gesprochen, sondern von der (abgegebenen) Wärmeleistung eines Kühlprofils - und die ist ja nicht nur vom Material sondern vor allem von der Form abhängig. Bei gleicher Wärmeleistungsabgabe ist ein Alu-Profil viel günstiger als ein Kupferprofil - wenn auch etwas größer.
Michael H.W. Weber hat geschrieben:Ein Kupferdrahtgebinde hat eine wesentlich höhere Oberfläche, welche Wärme abstrahlt.
Die Wärmestrahlung ist bei 60°C im Vergleich zur Wärmeleitung vernachlässigbar. Und um die Wärme an die Luft abzugeben verwende man am Besten die vorhandenen CPU-Kühlkörper.
Michael H.W. Weber hat geschrieben:[...]Ist auf jeden Fall gut, wenn ihr hier eure Ideen postet, damit möglichst viel davon einfließen kann und ich von allerlei "Operation Eigenbau-Eskapaden" abgehalten werde.
Ich zähle hier einfach mal auf, was mir so an Randwerten einfällt:
1. Äußere Maße und Gewicht:
a) Das Gehäuse (oder eine Untereinheit davon) muß so leicht sein, daß es von einer Person auf einen Schrank gestellt werden kann. Ein größeres Gehäuse für mehr Nodes muß also auf dem Schrank aus seinen Untereinheiten zusammengebaut und auch wieder auseinandergenommen werden können, ohne daß man an die Rückseite des Gehäuses kommt.
Sämtliche Stecker sollten gut erreichbar sein (evtl. an der Vorderseite).
b) Es muß von Länge, Breite und Höhe auf diesen Schrank passen.
2. Anschlußleistung:
An eine normale Steckdose können ca. 20 Nodes betrieben werden, das sollte auf absehbare Zeit reichen.
3. Vernetzung der Nodes:
Über normales 100 MBit-LAN. D.h. es besteht keine räumliche Einschränkung, aber es muß ein Hub mit ausreichend Buchsen vorhanden sein.
4. Ausstattung:
a) Festplatten: Die Diskussion hatten wir ja schon, eine eigene Festplatte pro Node widerspricht eigentlich der 'Philosophie' diese Clusters. Zumindest der Master-Node braucht aber seine Festplatte und braucht deswegen evtl. auch ein besonderes Gehäuse (oder besonders viel Platz in einem gemeinsamen Gehäuse).
b) Netzteil, Mainboard,...: Braucht jeder Node separat.
c) Hub: Am Besten einer für alle Nodes. Könnte mit im Master-Gehäuse seinen Platz finden.
d) Lüfter: Sind in jedem Netzteil. Soll zusätzlich noch ein großer Lüfter Luft absaugen oder vorne reinblasen, damit die (hoffentlich temperaturgeregelten) Netzteillüfter schön leise bleiben, dann kann der immer nur so viele Nodes 'bedienen' wie er von der Breite her überdeckt. Bei den mir bekannten Lüftern wäre also ein Lüfter für 2 Nodes da.

Ich würde das Gehäuse nicht erweiterbar machen, sondern jetzt erstmal eines für 4 Nodes. Dann hat das Teil noch eine überschaubare Größe. Kommen weitere Nodes dazu, wird nochmal das gleiche Gehäuse gebaut. Der logische Aufbau des Clusters (1 Master, x Slaves) hat ja dank Ethernet eigentlich nichts mit dem physikalischen Aufbau zu tun.

Und wegen der Lüfter: Vielleicht sind die Netzteillüfter ja gar nicht so laut. Hör dir das erstmal an.
Michael H.W. Weber hat geschrieben:Zwei der Netzteile wollte ich oben als hintere Ecken einbauen, sodaß also zwei Seiten direkt Teil der Außenwand bilden. Oder müssen die noch zusätzlich abgeschirmt sein wegen Elektrosmog?
Die müssen ausreichend abgeschirmt sein. Du könntest auch alle Netzteile als Teil der Außenwand verwenden. Ich fürchte nur, daß das aufwendiger ist als eine durchgehende Außenwand zu bauen, an die die Netzteile dann angeschraubt wird.

So, mehr Blödsinn fällt mir jetzt nicht mehr ein.

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 23173
Registriert: 07.01.2002 01:00
Wohnort: Marpurk

#48 Ungelesener Beitrag von Michael H.W. Weber » 01.08.2004 08:35

SpeedKing hat geschrieben:
Michael H.W. Weber hat geschrieben:@Speedking: Ich schrieb "brain storming", ergo liegt bislang keinerlei konkrete Planung vor.
Ach, und bei nicht konkreter Planung fragst du gleichmal wer das konkret umsetzen könnte? :-?
Öhm, den Satz kann ich jetzt zwar nicht ganz nachvollziehen, denn der Bau war ja von vorn herein vorgesehen von mir umgesetzt zu werden - aber egal. :lol:
Was HD-Raum betrifft: Da jeder Node sein eigenes, oben angebrachtes Netzteil besitzt, ist an der Vorderseite oben für jeden Node auch genügend Platz für eine eventuell nachzurüstende HD. Ich bin der Meinung, daß soetwas möglich sein sollte, denn man könnte ja auf die Idee kommen, die "Philosophie" zu ändern und z.B. aus welchen Gründen auch immer Windoof als OS verwenden zu wollen.
Wenn die Netzteile abgeschirmt sein müssen, ist es unzulässig sie als Rückwand zu verwenden. Das finde ich sehr schade, denn sie hätten ohne großartigen Mehraufwand die hintere obere Kante des Würfels bilden können und wären dann als Wärmeproduzenten nicht innerhalb des Cubes. Außerdem würden sie - je nach Netzteilbeschaffenheit - an maximal zwei Stellen warme Abluft aus dem oberen Teil des Gehäuses saugen. Dadurch würden weitere Lüfter an der Rückwand vermutlich unnötig, was Geld und Strom spart. Ich bin mir nicht sicher, aber müssen die Netzteile nicht entstört/abgeschirmt ausgeliefert werden?
Bin übrigens kein Elektrotechniker/Materialwissenschaftler, sondern jemand, der sich für Proteine interessiert. Aber das mal nur am Rande. :D

Michael.
Zuletzt geändert von Michael H.W. Weber am 01.08.2004 11:04, insgesamt 1-mal geändert.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

Bild Bild

Zurück zu „Unser Cluster“