Wie soll es mit dem Cluster weitergehen?

[Txt.file]

EDIT: Wann kommen eigentlich die Oktacores? Sollte das nicht jetzt irgendwann sein?

Reale okts oder fake-okt? Die fake-okts heißen i7 und kosten mindestens 300?. Bei den real-okt dauerts noch ein Stück. Bei AMD sind für 2011 erstmal 6-kerner angepeilt. Bis sahin bleibt der Deneb erstmal. Wies bei Intel aussieht weiß ich nicht. Aber ich würde sagen, dass 2009 nur "Verbesserung" des i7 ansteht und 2010 was neueres rauskommt.

[Bommer]

Hallo

Ich hab mich heute mal ein wenig im Netz umgeschaut und mach mal folgenden Vorschlag für einen neuen Cluster QUAD mit GPU !!!

Dass nicht gleich wieder die Diskussionen aufkommen, wieso diese Board, Prozessor, Grafikkarte etc. möchte ich gleich mal festhalten, dass es nur ein Vorschlag ist.

Ich hab einen Intel-System zusammengestellt, weil ich bei AMDs nicht die Ahnung habe.

Preis: Stand 29.11.2008

Mainboard: Asus P5Q-Pro http://www.mindfactory.de/product_info. ... d=geizhals kostet 110,91 Euro
Prozessor: Intel Quad 6600 G0 Stepping http://www.mindfactory.de/product_info. ... d=geizhals kostet 163,42 Euro
Netzteil: Corsair HX 620 Watt (5 Jahre Garantie) http://shop.vv-computer.de/shop/article ... eizhals.at kostet 105,15 Euro
Grafikkarte: Zotac 9800 GTX+ AMP! Edition http://web.hoh.de/hoh/(S(awtlikjtiqpaxu ... 40&CT=3582 kostet 162,90 Euro

RAM hab ich nicht geschaut !!!

Das wären zusammen 542,38 Euro + Versandkosten !!!

Diskussion bitte !!!

Gruss Bommer

[X1900AIW]

Mainboard: Asus P5Q-Pro http://www.mindfactory.de/product_info. ... d=geizhals kostet 110,91 Euro
Prozessor: Intel Quad 6600 G0 Stepping http://www.mindfactory.de/product_info. ... d=geizhals kostet 163,42 Euro
Netzteil: Corsair HX 620 Watt (5 Jahre Garantie) http://shop.vv-computer.de/shop/article ... eizhals.at kostet 105,15 Euro
Grafikkarte: Zotac 9800 GTX+ AMP! Edition http://web.hoh.de/hoh/(S(awtlikjtiqpaxu ... 40&CT=3582 kostet 162,90 Euro
...
Diskussion bitte !!!

Board finde ich zu teuer, P43 tut es völlig (30 Euro gespart), Q6600/Q6700 laufen ja demnächst raus aus der Produktion, hier sind Preissenkungen zu erwarten, der Q6600 lag schon mal bei ~140 Euro, meinen Q6700 hab ich vor ein paar Wochen für 170 Euro bekommen, Netzteil rechnest du für wieviele GPUs ? 620 Watt reichen ja bereits für drei G92er-nVidia-Karten, evtl. drei GT200.

In der Summe stellt deine Zusammenstellung einen sehr guten Game-PC dar (Tausch Quad gg. DualCore vorausgesetzt), würde von allem etwas "weniger" nehmen und der DC-Output wäre der gleiche, der Wertverlust jedoch geringer.

RAM ist bereits bei 2x 2GB sehr günstig ab 32 Euro zu haben (geizhals)

Beispiel für ein ähnlich teures AMD-System (bewußt kein 50-Euro-IGP-Board, sondern xGPU-Potential):

• ASUS M3A78-T, 790GX mit 3x PCIe (1x nur SingleSlot) - 120 Euro
• AMD X4 Q9550, Agena - 115 Euro (ja die Leistung ist nicht vergleichbar zum Q6600, Aufpreis zum X4 9850BE 35 Euro)
• Corsair TX 650W - 70 Euro
• Gigabyte GeForce GTX 260 - 225 Euro
• RAM (siehe oben) - 35 Euro

Summe 565 Euro (+35 bei 2,5GHz-Quad, inkl. 35 Euro für RAM)

Sowohl Intel wie AMD bieten Undervolting-Chancen, das 790GX-Board gar einen dritten PCIe-Slot, insgesamt dürfte ein AMD-System günstiger kommen. [Overclocking war hier kein Kriterium, sonst schwenkt die Nadel eher zum Intel-System, maßvolles OC bieten alle genannten CPUs, die Boards ebenfalls.]

[Bommer]

Hallo

Zur Grafikkarte wollte ich nur nochwas sagen.

Wenn schon eine GTX 260 dann aber gleich die neuere Generation mit 216 Shadern:

http://geizhals.at/deutschland/a368849.html

Die 15 Euro reissen es wohl auch nicht raus.

Beim Netzteil hasste ja Recht mit der TX-Variante (reicht aus !!!)

Das Board ist eines der Besten mit P45 Chipsatz drauf und zu teuer ist das bestimmt nicht.

Gruss Bommer

Wie gesagt, obs eine AMD oder ein Intel-System wird, ist letztendlich doch egal. Hauptsache die Abstimmung passt.

Was sagen denn die anderen User hier ???

[Michael H.W. Weber]

(bewußt kein 50-Euro-IGP-Board, sondern xGPU-Potential):

Einen Quad mit einer Multi-GPU-Lösung zu wählen, scheint mir wenig sinnvoll, denn soweit ich weiß, ist die CPU beim Laufen von GPU Clients nicht mehr sauber nutzbar. Bedeutet, ein solches System sollte einen sehr günstigen Dual Core tragen, da sonst der Prozessor nutzlos überdimensioniert ist.
Übrigens sind IGP Boards (z.B. das von mir genannte 65 Euro Brett von ASUS) nicht notwendigerweise nicht PCIe-fähig: Das Ding kann 'ne fette GPU tragen aber eben nicht mehrere.

Michael.

[X1900AIW]

Einen Quad mit einer Multi-GPU-Lösung zu wählen, scheint mir wenig sinnvoll, denn soweit ich weiß, ist die CPU beim Laufen von GPU Clients nicht mehr sauber nutzbar.

Es ist/war etwas tricky, meine Versuche bei FAH sind ja im FAH-Forum dokumentiert, aber es geht durchaus, die Cores wurden für nVidia wie ATI weiterentwickelt, meine Erfahrungen (Last-Angabe jeweils bei angehaltenem BOINC-Manager):

• Q6600 auf P35 (Crossfire x16/x4, CF natürlich deaktivier, recht gute PPD-Leistung auf x4): aktuell wieder beide HD3850 mit GPU-Client (Last zusammen 33%), parallel vier BOINC-Prozesse
• Q6600 auf G33 (1x PCIe x16): eine GTX 260/192 mit GPU-Client (Last 5-7%), parallel vier BOINC-Prozesse
• Q6700 auf P43 (1x PCIe x16): seit heute eine GTX 260/216 mit GPUgrid-BOINC-Client (Last 11%), parallel vier BOINC-Prozesse (Manager zeigt fünf simultane Prozesse)

Unter Vista benötigen die nVidia-Karten für FAH unbedeutend CPU-Leistung, WinXP m.W. noch spürbare Last (laut Foren-Berichten). ATI-Karten (welche für den Cluster leider kaum in Frage kommen dürften) benötigen für WinXP wie Vista immer noch eine hohe CPU-Leistung, je nach Serie und Modell der Grafikkarte und Höhe der CPU-Taktrate. Dort stimmt also deine Einschätzung. Eigene Erfahrung mit der neuen HD4000er-Serie habe ich keine (bitte ergänzen, werte Besitzer ), die Berichte zeigen jedoch keine fundamentalen Unterschiede zur HD3000er-Serie, weder bei der einen noch der anderen werden alle verfügbaren Shader ausgenutzt, die HD4000er liefern eben 1000-2000 Punkte mehr im Tagespensum (Beispiel).

Unten ein Screenshot vom P35-System mit den ATI-Karten, die Auslastung "GPU LOAD" zeigt, daß beide Karten trotz Overclocking voll ausgelastet sind, die rechte (PCIe x4) würde gar eine schnellere CPU benötigen, da sie bereits limitiert ist (zu wenig/langsam Daten von der CPU erhält). Man sieht auch, daß links (gpu0 > Projekt 4743 mit 1254 Atomen) trotz niedrigerer GPU-Last eine höhere GPU-Temperatur entwickelt wird. [Bis 105 Grad belasse ich den Lüfter stets auf 55%, reicht nach meiner Erfahrung in meinem System.] Die GPU-Z-Anzeige rechts (gpu1 > Projekt 5737 mit 1392 Atomen) entwickelt trotz anspruchsvollerem Workunit und geringer GPU-Last eine geringere Temperatur (gleiche Lüfter-Einstellung). Daran sieht man auch die Variabilität der FAH-Workunits, die sämtlichst individuell interpretiert werden wollen. Daher auch meine Empfehlung, wenn eine GPU für den Cluster, dann eine "moderne" Architektur, m.E. derzeit eine GT200 von nVidia, die neuen Modelle von nVidia wie ATI werden ja in wenigen Wochen erwartet. Bis aussagekräftige Ergebnisse vorliegen vergehen wiederum ein paar Wochen.



Ein Kriterium für die reale CPU-Beeinträchtigung wären
(1) messbare Punkte-Einbrüche, ich behelfe mir mit
(2) einem Blick auf die Auslastung der GPU (Tool GPU-Z, zweite Registerkarte "Sensors", alternativ Rivatuner "Hardware Monitoring") und der Beobachtung im BOINC-Manager der Spalte "Prozessor-Zeit": die sekündliche Aufzählung offenbart recht eindrücklich, ob jeder der vier Prozesse CPU-Zeit erhält bzw. wie groß die Verzögerung durch den anteiligen GPU-Prozess ist. Bei frühen nVidia-Cores hatte ich testweise nur drei Kerne für BOINC freigegeben, da die Auslastung durch den nVidia-Client jedoch nicht den ganzen freien Kern beansprucht hat, lief der Quad nur zwischen 80-95% Auslastung, ob das effizienter ist, bezweifle ich. Insbesondere bei der Kentsfield-Architektur. Phenoms lassen sich m.W. teilweise besser/stromsparender an die tatsächliche Last ausrichten, bis hinunter auf einen DualCore-Status, was in bestimmten Konfigurationen (wechselnde Aufgaben) sinnvoll sein kann.

Wie ich schon im FAH-Forum gezeigt habe, lohnt es sich gar die Grafikkarten im Powerplay (wie 2D-Takt-Modus bei nVidia) "untertaktet" zu betreiben, die CPU-Last sinkt, der GPU-Output entsprechend, die Temperaturen sinken, die Stromaufnahme sinkt und - was ein gewünschter Nebeneffekt sein kann - die CPU-Leistung für BOINC u.a. DC-Projekte wird frei/erhöht. Abhängig von der jeweilig verbauten Hardware (bei nVidia- oder ATI-Karten mit Slot-Lüftung nach aussen, wie bspw. bei der GTX 260/280, sehe ich selbst unter sommerlichen Temperaturen keinen Bedarf mehr diese Maßnahmen). Für die Aufgabenstellung beim RKN-Cluster käme das sicher nicht in Frage, nur der Vollständigkeit halber.

Summa summarum: ein Quad unter Vista dürfte mit vier nVidia-Karten maximal einen Kern "verlieren", nahezu egal, auf welchem Taktniveau er betrieben wird (was die Sache kostengünstiger macht). Im FAH-Forum wurde für derartige Triple-/Quad-GPU-Bauanleitungen sogar ein DualCore als ausreichend genannt. Das ginge mir zu weit, für exakt diesen Freiraum existieren ja BOINC-Konfigurationen.

P.S. Ein Wort zu den PPD-Leistungen der hier gezeigten HD3850, diese sind sehr gering in Relation zu G80/G90/G92-nVidia-Karten, dennoch stellen sie immer noch ausgezeichnete Cruncher für die großen Workunits bei FAH dar, um die Punkte geht´s uns ja nicht wirklich, nicht wahr ?

[Michael H.W. Weber]

Tjo, aber wir können nur Linux nutzen und wie sieht es da aus?
Dann zur Mutterplatte: Angenommen ich will drei NVIDIA 260er GraKas auf einem Quad-Brett betreiben. Müssen alle PCIe-Ports 16x angebunden sein? Was genau bedeutet eigentlich die gelegentlich gefundene Angabe, elektrisch wäre ein Kanal nur 8x oder 4x angebunden? Und passen da überhaupt drei Platinen rein? Ich meine, heute nimmt eine GraKa ja den Platz von zwei Slots ein... Und was für ein Netzteil ist da erforderlich, wenn alle drei Karten nebst CPU unter Vollast rudern?

Michael.

[Txt.file]

Für das Netzteil sollte man sich lieber and die TDP's halten. Die sollten theoretisch für cpu und gpu auf den Herstellerseiten stehen.

Linux:

September 12, 2008
We have uploaded a new GPU application version for Linux with practically zero CPU usage.

Das steht zumindest in den News von gpugrid. Wie weit das stimmt, weiß ich nicht. Unter Windows hatte ich mal evo@h und gpugrid laufen und 2 WU's zeitgleich gestartet. Nach ein paar Stunden war die eine WU bei 4h und die andre bei 2h. Vista business 64Bit mit ner GeForce 8600GS (16Shader) und nem Athlon X2 5600+.

Lanes: http://en.wikipedia.org/wiki/PCIE ... Man muss also drauf achten, dass genügend x16 Steckplätze bereitstehen. Wie die dann bei mehreren GPU's angebunden sind, ist zweitrangig. Wenn ein Board mit 32Lanes 3GPU's hat, bekommt also eine GPU volle 16Lanes und die andren beiden jeweils 8Lanes. Also müssten die beiden GPU's nur halb so viel/schnell mit der CPU kommunizieren können. Ich denke aber mal, dass die Lanes für's crunchen weniger wichtig sind. Eigentlich sollte bei der aktuellen Größe des Graphik-RAM's das Projekt einmal in diesen geladen werden und dann kaum noch Kommunikation zw. cpu und gpu notwendig werden. (Berichtigt mich bitte).

Optimal wäre eine Wasserkühlung, weil die inneren GPU's deutlich heißer werden, da die weniger Luft bekommen. Allerdings sind die recht teuer und so müssen die GPU's einfach die Wärme vertragen können. Meine hat ab 73°C Fehler. Aber da hatte ich die auch sehr weit übertaktet und durch nen Stabilitäts-benchmark geschickt.

Welche Hardware am bessten ist, ist schwer zu sagen. Man sieht hier ja auch schon, dass 3 Leute 5 Meinungen haben.
zB. würde ich ja nur AMD nutzen, weils günstiger ist. Die 4870 X2 macht theoretische 2,2TFLOP. F@H und GPUGRID ünterstützen die nvidia's allerdings scheinbar besser. Wies aktuell ist, weiß ich nicht.

[SpeedKing]

[...]Ich denke aber mal, dass die Lanes für's crunchen weniger wichtig sind. Eigentlich sollte bei der aktuellen Größe des Graphik-RAM's das Projekt einmal in diesen geladen werden und dann kaum noch Kommunikation zw. cpu und gpu notwendig werden. (Berichtigt mich bitte).

Ja, sollte zumindest so sein. Sonst ist was falsch programmiert.

Optimal wäre eine Wasserkühlung, weil die inneren GPU's deutlich heißer werden, da die weniger Luft bekommen. Allerdings sind die recht teuer und so müssen die GPU's einfach die Wärme vertragen können.

Hmm.. nein, da bei uns die Lautstärke keine Rolle spielt. Da muß einfach ein starker Lüfter mehr an die richtige Stelle rein, dann werden alle gleich wenig warm. Wasserkühlung wäre in unserem Fall absoluter Overkill.

[Michael H.W. Weber]

Vielleicht sollten wir jetzt erst mal einen zweiten (diesmal AMD X4 Phenom) Quad kaufen (heute sollen ja die Preise von AMD gesenkt werden) und für diesen ein Board wählen, auf dem man dann Anfang nächsten Jahres 3 GPUs einbauen kann. Was ich mich allerdings frage ist, wie das mit der Abwärme geregelt werden soll - es müßten im Grunde vorn und hinten je ein 20 mm Quirl rein - was bei den Servergehäusen wohl nicht geht, oder?

Michael.

[Bommer]

Hallo

Die Info hab ich aus dem GPUGrid Forum:

Under Linux GPU-GRid requires only 2-3% of a core.

Gruss Bommer

[Txt.file]

Vielleicht sollten wir jetzt erst mal einen zweiten (diesmal AMD X4 Phenom) Quad kaufen (heute sollen ja die Preise von AMD gesenkt werden) und für diesen ein Board wählen, auf dem man dann Anfang nächsten Jahres 3 GPUs einbauen kann. Was ich mich allerdings frage ist, wie das mit der Abwärme geregelt werden soll - es müßten im Grunde vorn und hinten je ein 20 mm Quirl rein - was bei den Servergehäusen wohl nicht geht, oder?

Michael.

Preise: Je länger man wartet, desto günstiger werden die cpu's. Wenn im Januar die Deneb's rauskommen werden die Preise auch nochmal deutlich fallen. Also ist die Frage ob das Geld schon zur Verfügung steht oder erst gesammelt werden muss.

Board: Ein Mainboard mit 4 PCIe-Steckplätzen kostet auch nicht mehr. Ist nur noch die Frage welches.

Kühlung: Wenn ihr die Rechner in einen Serverschrank einbauen wollt/sollt/müsst würde ich einfach ein paar Löcher für Lüfter ins Gehäuse sägen. Dort ein paar ordentliche Lüfter ran und damit sollte erstmal die Gehäusetemperatur sinken. Die Grafikkarten sollten dann auch auf dem Gehäuse pusten. Wie man das alles realisiert ist mir zwar noch nicht ganz klar, aber da findet sich schon was.