Rechner clustern

[schatten1411]

Denn die Einrichtung und Konfiguration der Linuxinstallation auf dem Master dürfte eine Sache sein, bei der Du als Linuxneuling wenig Chancen hast.

Vielleicht ist diese Seite hilfreich. (falls mal noch wer auf die Idee kommt so was zu basteln)

[Sven]

Nö, ist nicht hilfreich. Diese Anleitung toppt alles was ich mir dazu angetan habe um Längen, will sagen, da wird recht viel vorausgesetzt.

Michael hat ja angeregt auf der RKN-Party eine Anleitung zu verfassen. Klingt nicht schlecht, wird aber bestimmt auf das selbe hinauflaufen was sonst so im Netz kursiert, sprich ist nicht narrensicher.


Wäre es nicht einfacher (für den späteren Anwender), wenn die Linuxer eine Anleitung für die Konfiguration erstellen und dazu Skripte schreiben?

[Michael H.W. Weber]

Michael hat ja angeregt auf der RKN-Party eine Anleitung zu verfassen. Klingt nicht schlecht, wird aber bestimmt auf das selbe hinauflaufen was sonst so im Netz kursiert, sprich ist nicht narrensicher.

Was ich schreibe, ist auf Wunsch auch narrensicher.

Michael.

[LinuxFan]

Es ist halt einfach so, dass die ganze Konfiguration (NFS, DHCP, TFTP, PXE etc.) nicht trivial ist und der Teufel wie immer im Detail steckt. Man muss schon einige Zeit investieren, bis man da einigermaßen durchsieht. Deswegen wird einem so ein Tutorial auch nur bedingt weiterhelfen, wenn es mal irgendwo hakt.

Kleines Beispiel aus aktuellem Anlass: Michael wollte den BOINC-Client aktualisiert haben, weil der neue sich mit BAM! besser fernsteuern lässt. Der neueste Client setzt aber System-Bibliotheken voraus, die bei Debian 3.1 noch nicht dabei sind. Also habe ich auf dem Master Debian 3.1 auf 4.0 aktualisiert. Das Update ging auch einwandfrei, nur wollten die Nodes danach nicht mehr per Netzwerk booten. Als letzte Zeile stand immer "Trying to load pxelinux.cfg/XXXXXXX" auf dem Schirm, der Node versuchte also seine Konfiguration zu holen, blieb dabei aber hängen. Völlig unerklärlich, denn es hatte ja vorher alles funktioniert. Intensive Recherche ergab dann, dass bei Debian 4.0 was am DHCP-Server geändert wurde, so dass man nun immer mit "next-server" explizit einen Server angeben muss, der nach dem DHCP-Server belästigt wird. Vorher wurde halt standardmäßig die gleiche IP genommen, die auch der DHCP-Server hat. Was ja auch sinnvoll ist, da man eh meistens alles auf einem Rechner betreibt.

Wenn man's weiß, eigentlich ganz logisch, aber man muss halt erstmal drauf kommen

Und solche Erlebnisse hatte ich schon öfter. Also ist es wirklich nicht verwunderlich, dass Sven es nicht auf Anhieb alles hinbekommen hat. Ich kann mich aber auch gar nicht dran erinnern, dass wir das von ihm gefordert haben. Eigentlich war klar, dass der alte Master weiterhin Master bleiben soll. Schließlich heißt es nicht umsonst "never touch a running system".

Der Quad ist jetzt jedenfalls in der Uni und wird demnächst an den Start gehen. Vorher sind noch ein paar Dinge zu erledigen (Gehäuse muss ins Rack eingebaut werden, es fehlen noch zwei Winkel zum verschrauben, ich werd' mal schauen ob die Werkstatt des Instituts uns was anfertigen kann, außerdem muss noch ein neuer Kernel gepatcht und compiliert werden, da der Treiber für die Onboard-NIC noch nicht im offiziellen Kernel enthalten ist etc.)

[X1900AIW]

Arbeit, Arbeit ... die ihr euch da macht. Das muss mal gesagt sein: ich find´s klasse, daß ihr euch da reinhängt, euer Gehirn und Schmalz auf dem Altar der linuxianischen Rechenkunst opfert. LOB !

[LinuxFan]

Der Quad läuft jetzt, allerdings benutzt BOINC momentan nur 2 Cores, obwohl es 4 Kerne erkennt:

Code: Alles auswählen

2008-05-14 16:22:02 [---] Starting BOINC client version 5.4.11 for i686-pc-linux-gnu
2008-05-14 16:22:02 [---] libcurl/7.16.0 OpenSSL/0.9.8d zlib/1.2.3
2008-05-14 16:22:02 [---] Data directory: /home/rkn/BOINC
2008-05-14 16:22:02 [---] Processor: 4 GenuineIntel Intel(R) Core(TM)2 Quad CPU    Q6600  @ 2.40GHz
2008-05-14 16:22:02 [---] Memory: 883.88 MB physical, 0 bytes virtual
2008-05-14 16:22:02 [---] Disk: 27.30 GB total, 16.66 GB free

Jemand eine Idee? Ich würde ja einen neueren BOINC-Client installieren, aber dazu muss ich erstmal ein Debian 4.0 Image für die Nodes fertig machen.

[yoyo]

Das kann man in dem Projekt wo er rechnet in dem Account einstellen wieviel CPUs genutzt werden sollen. Evtl. steht da ja 2 drin.
yoyo

[Michael H.W. Weber]

Das kann man in dem Projekt wo er rechnet in dem Account einstellen wieviel CPUs genutzt werden sollen. Evtl. steht da ja 2 drin.

Auch wieder eine witzige Erfahrung. Natürlich habe ich in den BAM!-Einstellungen alle 16 möglichen Kerne aktiviert. Jetzt schaue ich eben in den POEM@HOME-Einstellungen nach und dort stehen 2 Kerne. Habe es jetzt auf 4 hochgesetzt. Was lernen wir daraus? Projekt-Einstellungen gehen vor BAM!-Einstellungen.
Sobald Der Cluster jetzt also neue WUs von POEM@HOME holt, sollten alle vier Kerne anspringen.

Michael.

[RT1984]

Auch wieder eine witzige Erfahrung. Natürlich habe ich in den BAM!-Einstellungen alle 16 möglichen Kerne aktiviert. Jetzt schaue ich eben in den POEM@HOME-Einstellungen nach und dort stehen 2 Kerne. Habe es jetzt auf 4 hochgesetzt. Was lernen wir daraus? Projekt-Einstellungen gehen vor BAM!-Einstellungen.
Sobald Der Cluster jetzt also neue WUs von POEM@HOME holt, sollten alle vier Kerne anspringen.

Mal ne dumme Frage : Hast du denn bei BAM unter preferences "save preferences at projects" gewählt? Dann überträgt er die Einstellungen bei BAM auf ALLE Projekte. Hat bei mir ohne Probleme funktioniert. Rechne nun alle Projekte mit den selben Einstellungen. Aber weiß ja nicht, ob du das auch willst.

[Michael H.W. Weber]

Hm, ich dachte schon. Habe es aber nochmal geklickt.

Michael.

[RT1984]

Und schau mal bei ein paar projekten ob es da jetzt drin steht. solange du das noch auswählen kannst, wurde es auch nicht bei allen projekten gespeichert. liegt meistens dran, dass dieser server momentan down ist oder das ganze projekt offline ist, wie proteins mal. aber die aktiven müssten die einstellungen übernehmen

[Michael H.W. Weber]

Ja, es wurde gespeichert. Das hatte ich schon geprüft.

Michael.