Clusterumzug

Alles zu unserer Maschine mit purer Rechenkraft (nur registrierte Benutzer)
Nachricht
Autor
Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 22921
Registriert: 07.01.2002 01:00
Wohnort: Marpurk

Re: Clusterumzug

#49 Ungelesener Beitrag von Michael H.W. Weber » 26.08.2014 13:48

@Plonk: Kannst Du mir vielleicht per PN Details über die verfügbaren Teile inkl. der zu erwartenden Portokosten zukommen lassen? Wenn das Netzteil ein altes ist, kommt es vermutlich nicht in Frage, Details dazu wären dennoch erwünscht. :D

@Rest:
Gestern gegen 20:40 Uhr habe ich Cluster-Node 2 mit den neusten NVIDIA-Treibern zu bestücken probiert, um Christians GTX 460er im Namen des Herrn ins Rennen zu schicken. 8) Manjaro Linux (ein bei uns hier eigentlich recht beliebtes Arch-Derivat) hat trotz korrekten Vorgehens anschließend den Dienst quittiert - und zwar endgültig. Ein fehlerfreies Booten war nicht mehr möglich, nicht mal ein Konsolen-Login war machbar, da sich das System in einer Endlosschleife verheddert hatte und den Loginpromt einfach alle 2 Sek. wieder löschte (Passworteingabe nicht möglich). Habe sowas noch nie erlebt. Selbst die Kollegen vom Hackspace - Experten für ArchLinux - staunten nicht schlecht. Einer der Kollegen hatte ebenfalls Manjaro auf seiner Kiste und meinte, das müsse an der GraKa liegen - also habe ich die unsrige hurtig gegen seine ausgetauscht. Selber Fehler. Wohlgemerkt: Kernel, etc. war alles sauber selektiert. Dabei fiel mir dann auf, dass es ein 3.12er Kernel war - also auch nicht mehr ganz taufrisch. Dies bestärkte mich in der Absicht, Manjaro den Rücken zu kehren. Die Distribution ist für ein Arch-Derivat aus meiner Sicht einfach nicht aktuell genug und das Look & Feel noch nicht ausgereift (möchte da jetzt nicht in die Details gehen, aber es ist schon etwas ätzend, wenn ein mitgeliefertes "theme" in seinen Eingabeboxen schwarze Schrift auf schwarzem Grund anbietet - und das dann nichtmal durchgängig).

Habe mich nach einigen Recherchen der vergangenen Wochen für Antergos entschieden. :P
Um 23:45 lief die Maschine mit den neusten NVIDIA-Treibern inkl. CUDA- & OpenCL-Support und began die erste Einstein@home GPU-WU zu knuspern. Händische NVIDIA-Treiberinstallation (natürlich wird das freie Zeug per "default" installiert) über pacman in der Konsole konnte wie unter Manjaro durchgefüht werden, aber hier mit dem gewünschten Erfolg.
Antergos ist ein ArchLinux-Derivat, das am engsten an das original-Arch angelehnt ist. Es benutzt auch deren Originalrepositories. Im Grunde könnte man sagen, dass es Archlinux mit einem grafischen Installer ist und damit genau das, wonach ich immer gesucht habe. Also für diejenigen, die wie ich den Speicherplatz in ihrer Birne für anderes als Kommandozeilenparametertexte reserviert haben... :roll2:
Die aktuelle Live-CD bietet den 3.16er Kernel und hat ein exzellentes Look & Feel. Ein Problem stellte ich allerdings fest: Das Auto-Setup von LVM führt zu einem Absturz. :lol: Also später manuell ändern, falls gewünscht...
Will mal schauen, bislang gefällt es mir gut.
Einen Node will ich ggf. noch unter Sabayon (Gentoo-Derivat) betreiben.

Michael.

P.S.: Christians 460er hat uns um kurz nach 24 Uhr dann doch noch dazu genötigt, einen Gehäusequirl nachzurüsten. Die entstehende Hitze war vom Netzteillüfter allein dann wie erwartet doch nicht mehr abtransportierbar. Ich hatte erst noch mit dem Gedanken gespielt, auf der Stahloberfläche des Gehäuses schnell noch ein Spiegelei zu braten, aber im Kühlschrank war leider keins mehr. Zudem konnten wir so den Flughafenlärm im Maschinenraum merklich minimieren. :evil2:
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

Bild Bild

Benutzeravatar
Jkcapi
Partikel-Strecker
Partikel-Strecker
Beiträge: 991
Registriert: 29.12.2001 01:00
Wohnort: Braunschweig

Re: Clusterumzug

#50 Ungelesener Beitrag von Jkcapi » 26.08.2014 14:44

Ich lese hier schon eine weile mit. Wer hoch sind eigentlich die Stromkosten? Frage nur, weil es so aussieht das hier nur veraltete Hardware eingesetzt wird die einen haufen Strom frist aber aus aktueller sicht nicht viel bringt. Ich frage mich ob das auf dauer gesehen sinnvoll ist? Sind Geldspenden für fast neue Hardware auf dauer sinnvoller ? Den "Schrott" lieber bei Ebay verkaufen und vom erlös neuere Hardware ankaufen!
Aber das geht mich eigentlich nix an, bin ja kein Mitglied. War halt nur so ein gedanke ob die Stromkosten da sinnvoll eingesetzt werden?! Und Strom wird immer teurer :(
Aber wie gesagt, geht mich ja sonst nix an... :wave:
Gruß Jürgen

Bild

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 22921
Registriert: 07.01.2002 01:00
Wohnort: Marpurk

Re: Clusterumzug

#51 Ungelesener Beitrag von Michael H.W. Weber » 26.08.2014 15:56

Die Cluster Nodes stehen im von uns aufgesetzten [hsmr] (Hackspace Marburg). Dort zahlen wir eine Pauschale von monatlich 100,- ?.

Das Clusterprojekt war bislang eher stiefmütterlich betreut - wie so oft aus verständlichem Zeitmangel. In Marburg ist das nun etwas anders, da ich jede Woche wenigstens einen Abend im [hsmr] verbringe und es mir auch Spass macht, "neue" Kisten zusammenzuschrauben und zu installieren. Zudem können die Nodes für unsere Zwecke vor Ort durchaus als ausreichende Arbeitsplatzrechner dienen - wenn sie zusätzlich durchrechnen, umso besser. Und schließlich kann die Hardware per SSH-Zugang für unsere Mitglieder zu Entwicklungszwecken zugänglich gemacht werden (z.B. die CUDA-Karte von Christian oder das ARM Cortex A9 ODROID-U2 von Uli).

Was sich vielleicht lohnen könnte ist das Gesamtkonzept etwas zu überdenken, wenn man mit aktueller Hardware arbeiten möchte.
Yoyo hatte ja schon mal vorgeschlagen, dass die Clustermaschinen vom Verein angeschafft und bei Vereinsmitgliedern dann rechnen sollen (Stromunterhalt übernehmen die Mitglieder).
Eine Alternative könnte sein, dass der Verein aktuelle Hardware beschafft, im [hsmr] laufen lässt und diese Maschinen dann nach einer gewissen Zeit an Vereinsmitglieder abgibt. Diese zahlen dafür einen Gebrauchtwert und das eingenommene Geld wird in Neubeschaffung investiert. Z.B. im Halbjahresturnus. Nicht jeder kann / will sich nagelneue Hardware leisten.
Viel besser wäre natürlich ein Ansatz, dass man es schafft, den [hsmr] als Hardwaretester zu etablieren, sodass man neue Hardware direkt von den Hardwareherstellern bekommt (dürfte eine Weile dauern, bis man sich da eine Ruf erarbeitet hat). Ich meine Thomas R hätte so etwas ähnliches mal betrieben? Dazu müßte man dann natürlich eine dedizierte Webseite mit dem ganzen Werbebannergedöns aufsetzen und das Ganze wirklich systematisch und zuverlässig angehen.

Naja, könnt ihr ja mal diskutieren. :D
Ich nehme momentan einfach das, was an Hardware da ist und probiere damit laufende Systeme zusammenzusetzen, die dann für DC eigesetzt werden. :wink:

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

Bild Bild

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 22921
Registriert: 07.01.2002 01:00
Wohnort: Marpurk

Re: Clusterumzug

#52 Ungelesener Beitrag von Michael H.W. Weber » 27.08.2014 10:50

Oh. Der ODROID-U2 Cluster Node ist tot. Ursache ist anscheinend ein Überlaufen der SD-Karte nach monatelangem Dauerbetrieb. :roll: Auch nicht schön, vor allem, da ich auf dem System selbst die SD-Karte nicht mehr bearbeiten kann (reagiert nicht, bootet nicht mehr - bzw. nicht in annehmbaren Zeitrahmen).

Wo müllt Linux (es ist ein Ubuntu) / BOINC unter Linux denn in der Regel so seine Logs hin und warum wird das nicht auto-aufgeräumt? Ich wüßte ad hoc momentan gar nicht, wo ich auf der Karte suchen müßte...

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

Bild Bild

Benutzeravatar
yoyo
Vereinsvorstand
Vereinsvorstand
Beiträge: 8128
Registriert: 17.12.2002 14:09
Wohnort: Berlin

Re: Clusterumzug

#53 Ungelesener Beitrag von yoyo » 27.08.2014 16:28

/var/logs/
/var/adm/
/tmp
HILF mit im Rechenkraft-WiKi, dies gibts zu tun.
Wiki - FAQ - Verein - Chat

Bild Bild

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 22921
Registriert: 07.01.2002 01:00
Wohnort: Marpurk

Re: Clusterumzug

#54 Ungelesener Beitrag von Michael H.W. Weber » 03.09.2014 10:08

Vergangenen Montag ging ein neuer, gespendeter Node für den Cluster ins Rennen (ein Dual-Core Intel(R) Atom(TM) CPU 330 @ 1.60GHz [Family 6 Model 28 Stepping 2] mit Hyperthreading). Unter Antergos (Arch) Linux.

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

Bild Bild

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 22921
Registriert: 07.01.2002 01:00
Wohnort: Marpurk

Re: Clusterumzug

#55 Ungelesener Beitrag von Michael H.W. Weber » 09.09.2014 15:26

Gestern habe ich aufgrund von Stress mit dem Netzwerk den Node-PC1 von Manjaro auf Antergos Linux uminstalliert - was ihm gut tut. :angel2:
Zudem sind nun die drei im [hsmr] stehenden Cluster Nodes sämtlichst mit einem Gast-Account versehen und können als lokale Arbeitsplatzrechner verwendet werden. Rechnen tun sie nach wie vor 24/7.
Zwei weitere Maschinen liegen fast zusammengebaut auf meinem neuen Arbeitstisch und werden in Kürze ebenfalls ins Rennen gesandt -beide mit GraKas bestückt, wenn alles glatt geht und die Geräte keine (unerwarteten) Defekte aufweisen.

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

Bild Bild

Benutzeravatar
Velociraptor
Stromkosten-Ignorierer
Stromkosten-Ignorierer
Beiträge: 1029
Registriert: 13.11.2001 01:00
Wohnort: nähe Wien

Re: Clusterumzug

#56 Ungelesener Beitrag von Velociraptor » 21.09.2014 19:19

wuhuu hardwarestuff :) i like it :)
There is no place like 127.0.0.1
--------------------

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 22921
Registriert: 07.01.2002 01:00
Wohnort: Marpurk

Re: Clusterumzug

#57 Ungelesener Beitrag von Michael H.W. Weber » 30.09.2014 12:26

So, es geht weiter. 8)
Gestern habe ich einer der nun fast zur Regel gewordenen montäglichen Nacht-und-Nebelaktionen die von Tim gespendete Hardware zu einem vierten RKN-Cluster-Node zusammen geschustert. Und ja, darin läuft nun auch die 560er Ti und knuspert fleissig Einstein@home WUs. Leider war einer der ursprünglich vier von mir verbauten 1 GB DDR2-800 RAM-Riegel defekt und verhinderte zunnächst das Booten des Systems. Jetzt läuft die Maschine also mit 3 GB RAM im Single Channel Mode.
Es ist unsere zweite Maschine, die 24/7 mit GPU rechnet.

Vom selben Netzteil (12 V Schiene) wird bei der nächsten Aktion das von Uli gespendete AM1 Board über eine PicoPSU (160 Watt) zugeschaltet - RKN-Cluster-Node-PC5. Die darin werkelnde AMD CPU besitzt eine APU und diese kann angeblich mit der zusäzlich eingebauten ATI 7750er im Crossfireverbund arbeiten (genaues muss ich noch recherchieren, aber das wurde gestern im [hsmr] gemunkelt). Die Maschine steht schon fertig aufgebaut neben Tim's Q6600 - ich hatte bloss heute früh keinen Nerv mehr, das OS draufzunageln.
Natürlich läuft auch auf dem 4. Node Antergos (Arch) Linux mit den neusten NVIDIA-Treibern. Dabei fiel mir auf, dass Antergos ein weiteres (sporadisch auftretendes) Problem beim Re-Boot über das Gnome-Interface zu haben scheint. Die Maschine fährt runter und hängt sich dann auf. Aber macht nix.
Die Leistungsaufnahme habe ich noch nicht gecheckt, der vereinseigene Stromzähler (ein Conrad / Voltcraft 3000 Energiemonitor, wenn ich mich recht entsinne) ist ja leider irgendwie über die Jahre irgendwo verschollen und der vom [hsmr] hängt vor dem Rest unseres Clusters - der natürlich keinesfalls abgestellt werden kann. :roll2:

Ich werde jetzt in Kürze zum Metall-Kontor in Staufenberg fahren und mir Material für einen Gehäuseeigenbau für den Cluster besorgen...

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

Bild Bild

Eric
Powerknopf-Verweigerer
Powerknopf-Verweigerer
Beiträge: 1411
Registriert: 07.05.2013 09:24

Re: Clusterumzug

#58 Ungelesener Beitrag von Eric » 30.09.2014 12:32

Coole Sache. Vielen Dank für Deinen Einsatz.
Bild

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 22921
Registriert: 07.01.2002 01:00
Wohnort: Marpurk

Re: Clusterumzug

#59 Ungelesener Beitrag von Michael H.W. Weber » 02.10.2014 11:01

Was übrigens kurios ist: Obwohl sämtliche Cluster-Nodes unter 64-Bit Antergos Linux laufen, werden sie in BOINCstats als 32-Bit Linux aufgeführt. :bugeye:
Beispiel:

Code: Alles auswählen

Linux, 32 bits
Linux, 3.16.3-1-ARCH
Dasselbe gilt für den RNA World Server an der UMR.

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

Bild Bild

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 22921
Registriert: 07.01.2002 01:00
Wohnort: Marpurk

Re: Clusterumzug

#60 Ungelesener Beitrag von Michael H.W. Weber » 08.10.2014 13:42

So, auch diesen Montag wurde wieder ein weiterer Knoten aufgesetzt: RKN-Cluster-Node-PC5 mit einem mal wieder von Uli gespendeten MSI AM1I Mini-ITX-Board und einer AMD Athlon(tm) 5350 APU with Radeon(tm) R3 [Family 22 Model 0 Stepping 1] - natürlich unter Antergos (Arch) Linux, 64-Bit (auch wenn BOINCstats wieder völlig unerklärlich 32 Bit vermeldet). Das Brett wird von der 12 Volt Schiene des Netzteils des Node-PC4 (von Tim) über eine 160 W PicoPSU gepauert (geiles Wort) und ist mit 8 GB DDR3-1333 bestückt (endlich mal Speicher).
Irgendwie gab es Anfangs erhebliche Probleme, der Betrieb stotterte, die Kiste schien teilweise zu stehen. Ich habe dann im BIOS das AMD Cool & Quiet zum nahegelegenen Müllhaufen gefahren und statt des voreingestellten IDE-Modes die Platte auf AHCI umgestellt. Die 250er SATA-HD kommt übrigens dankenswerter Weise von Oleander.
Anschliessend schien es zu funzen.
Was nun noch fehlt ist die Umkonfigurierung der GraKa-Treiber, denn das Brett ist neben der APU mit einer ATI 7750er GraKA bestückt und läuft derzeit auf den quelloffenen Treibern.
Inwieweit Crossfire etablierbar ist muss ich auch noch nachschauen - wer Lust hat, darf beim Recherchieren helfen. :wink:

Der RKN-Cluster besteht deshalb derzeit aus:

1x Xeon E3-1220 V2 Quadcore @ 3.1 GHz (Node: Erwinia)
3x Q6600 Quadcore @2,4 GHz (Node: PC1, PC2, PC4)
1x Intel Atom 330er Quadcore @ 1,6 GHz (Node: PC3)
1x AMD 5350 Quadcore @ 2,05 GHz, inkl. ATI R3 IGP (Node: PC5)
1x ARM Cortex-A9 Quadcore @1,7 GHz (Node: ARM1)

1x NVIDIA GTX 460er (Node: PC2)
1x NVIDIA GTX 560Ti (Node: PC4)
1x AMD ATI 7750er (Node: PC5)

Alles unter Vollast 24/7 am Laufen.

Die GPUs befassen sich derzeit sämtlichst mit Einstein@home und überall läuft WUprop und Volpex.
Ansonsten wird momentan NFS@home, Einstein@home, iGEM@home, Citizen Science Grid und RNA World gerechnet.
Leiden Classical habe ich wegen ständiger Fehler wieder runtergeworfen.

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

Bild Bild

Zurück zu „Unser Cluster“