Cluster - Stand der Dinge

Alles zu unserer Maschine mit purer Rechenkraft (nur registrierte Benutzer)
Nachricht
Autor
Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 23172
Registriert: 07.01.2002 01:00
Wohnort: Marpurk

Cluster - Stand der Dinge

#1 Ungelesener Beitrag von Michael H.W. Weber » 22.08.2005 15:59

Da es im Chat in den letzten Tagen zu einigen Unklarheiten gekommen ist, möchte ich das Thema hier noch einmal kurz zusammenfassend darlegen - aus meiner Sicht.

1. Der Cluster lief anfangs in Berlin.
2. Nachdem root ihn nicht mehr betreiben konnte, hatte ich mich darum gekümmert, daß er erst mal nach Marburg kommt. Michael Stoeter hatte ihn auf eigene Kosten dann von Berlin hierher transportiert.
3. Leider hatte root nicht das komplette Gerät abgeliefert und mußte allerlei per Post nachsenden.
4. Ich hatte eine Cluster-Revival Party in Marburg anberaumt, um die Maschinen wieder einsatzbereit zu bekommen. Alleine fällt mir das schwer, da ich erstens keine Linuxerfahrung und zweitens wenig Zeit habe.
5. Bei der Neuinstallation des Clusters stellte sich heraus, daß die Harddisk offensichtlich beim Posttransport zerstört wurde. Da keine Ersatzplatte ausreichender Größe verfügbar war, konnte das System nicht aufgesetzt werden.
6. Martin K. aus Heidelberg hat das gesamte Gerät dann freundlicherweise mit zu sich nach Hause genommen und nachdem wir ihm eine neue Harddisk spendiert hatten, den Cluster einsatzfähig gemacht. Er lief dann eine Weile in seiner Wohnung, mußte dann aber wieder abgeschaltet werden.
7. Der Cluster wurde wieder nach Marburg transportiert, da anderswo kein Interesse / Möglichkeit bestand ihn zu betreiben.
8. Ich hatte mit Prof. Freisleben vom FB Informatik der Universität Marburg ausgehandelt, daß der Cluster in seiner Arbeitsgruppe unter zwei Voraussetzungen rund um die Uhr betrieben werden könne: Erstens, er müßte für Grid-Anwendungen innerhalb der AG nutzbar sein und zweitens müßte er ein Gehäuse bekommen, welches den gängigen Strahlen- und Brandschutzbedingungen genügt.
9. Es wurden verschiedene Vorschläge für einen Gehäusebau präsentiert, jedoch fand sich niemand, der die Zeit und das Know-How hatte, diese in die Praxis umzusetzen.
10. Linuxfan hatte angeboten, daß falls sich keine Möglichkeit böte, den Cluster in Marburg ohne Gehäuse in Betrieb zu nehmen, er die Nodes nun einzeln in Midi-Towergehäusen an der Uni Berlin betreiben könne. Ich bin darauf nicht näher eingegangen, weil es mir trotz all den widrigen Umständen höchst erstrebenswert schien, den Cluster am FB Informatik unterzubringen, um eine Kooperation zwischen Verein und Universität zu etablieren. Ich bin davon ausgegangen, daß solch eine Kooperation für beide Seiten von größter Nützlichkeit sein dürfte und habe die Hoffnung darauf gesetzt, daß sich schon jemand finden würde, das Gehäuse zu bauen.
11. Auf der diesjährigen RKN Party war es dann endlich so weit. Es wurde der konkrete Beschluß gefaßt, ein Gehäuse zu bauen. Allerdings uferten die dann folgenden Bauvorschläge erneut aus und es kam letztlich zu keinem Bau.
12. Inzwischen hat sich bei mir ein neues Projekt ergeben, das im Zusammenhang mit meiner Arbeit steht und zu dessen Lösung ich dringend Linuxrechner brauche, die in meiner AG nicht verfügbar sind (ein Docking-Projekt). Als mein Chef nun heute aus dem Urlaub zurückkam, hatte ich ihn gefragt, ob der Cluster zur Lösung dieses Projekts eingesetzt werden kann. Und ja, er kann, d.h. ich kann ihn hier zumindest solange zum Einsatz brigen, wie das Projekt läuft.
13. Da aalerich inzwischen zwei Miditowergehäuse an Linuxfan gesandt hat und Linuxfan erst mal in Urlaub fährt, denke ich daß es das beste ist, den Cluster jetzt hier zu betreiben, solange es möglich ist und ihn dann entweder nach Berlin zu verfrachten oder - falls sich doch nochmal ein Gehäuse für alle Nodes ergibt (bislang haben wir 2 Miditower, aber 4 Nodes) - einen weiteren Versuch in der AG Freisleben zu probieren.

So, ich hoffe, daß nun einige Dinge etwas klarer sind und ich mich nicht weiter den Vorwürfen ausgesetzt sehe, ich hätte verschuldet, daß die Kiste noch nicht läuft. In gewisser Weise stimmt das natürlich, da ich vehement auf die Kooperation mit der Uni gesetzt hatte - übrigens aus gutem Grund, aber das erkläre ich jetzt nicht näher (Stichwort eigenes dc Projekt mit der Uni). :wink: Offensichtlich hatte ich leider Voraussetzungen angenommen, die (noch) nicht vorhanden sind. Das gestehe ich gerne als Fehler ein, wenn man oben allerdings mal nachsieht, wird man auch feststellen, daß die meisten Initiativen den Cluster wiederzubeleben von mir ausgingen. Und das bitte ich dann die Kritiker doch bitte bei aller Kritik auch mal zur Kenntnis zu nehmen und sich wenigstens in ihrer Wortwahl etwas zu mäßigen.

So - damit ist von meiner Seite aus alles gesagt und ich schlage vor, daß wir einfach eine Abstimmung durchführen, wo und wie der Cluster NACH RÜCKKEHR von Linuxfan betrieben werden soll (diese Woche sende ich definitiv nichts mehr raus, da ich nächste Woche zwecks Heirat in Dänemark bin und es noch mancherlei vorzubereiten gibt).

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

Bild Bild

Benutzeravatar
LinuxFan
Vereinsmitglied
Vereinsmitglied
Beiträge: 1200
Registriert: 17.07.2001 01:00
Wohnort: Berlin

#2 Ungelesener Beitrag von LinuxFan » 22.08.2005 16:55

Ich bin wahrscheinlich frühestens am 9.9. wieder im Lande.

Über die Möglichkeit, den Cluster an der HU-Berlin unterzubringen, hatte ich ja schon berichtet. Vorhanden sind 2x 16A Steckdosen und 100 MBit Netzwerk in einem klimatisierten Raum. Die Uni verlangt dafür keinerlei Gegenleistung, wir können den Cluster also weiterhin so einsetzen, wie wir es möchten.
Foto vom Raum, in dem der Cluster untergebracht werden kann:

http://summa.physik.hu-berlin.de/~mb/cluster/

Wie man sieht, verfügt die Arbeitsgruppe schon über einen selbstgebauten Cluster mit 16 Nodes, Know-How, Scripts etc. sind also vorhanden :D
Und kann man sich was schöneres vorstellen, als unseren Cluster in so netter Gesellschaft zu wissen!? ;)

Über einen der Webserver der Arbeitsgruppe liessen sich übrigens auch Statistiken zugänglich machen, die Auskunft über CPU-Load, Speicher- und Festplattenausnutzung, Temperaturüberwachung etc. geben.

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 23172
Registriert: 07.01.2002 01:00
Wohnort: Marpurk

#3 Ungelesener Beitrag von Michael H.W. Weber » 22.08.2005 19:55

So, ich füge hier der Vollständigkeit halber noch die URL auf die Umfrage zu Clusterunterbringung ein: http://217.160.138.71/phpBB/viewtopic.p ... highlight=

Und merke abschließend noch an, daß ich keine Zweifel daran habe, daß Linuxfan sich gut um die Kiste kümmern wird, sofern die Mehrheit der Leute den Cluster gerne in Berlin haben möchte. Und die Kiste gehört nun mal uns allen, also sollte die Mehrheit auch bestimmen, was damit passiert. Auch wenn ich ihn gerne als Steigbügel für eine Kooperation zwischen Uni und RKN genutzt hätte... :P

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

Bild Bild

EselMetaller

#4 Ungelesener Beitrag von EselMetaller » 25.08.2005 22:16

hmm, seh ich das richtig dass von den vier Rechnern bloss 3 aktiv crunchen und der vierte bloss verteilt?

Benutzeravatar
nico
Vereinsmitglied
Vereinsmitglied
Beiträge: 2211
Registriert: 22.12.2002 13:22
Wohnort: C-Town

#5 Ungelesener Beitrag von nico » 25.08.2005 22:27

Nein, auch der Server cruncht - wenn er es nicht machen würde, wäre er nicht wirklich ausgelastet.
Bild

EselMetaller

#6 Ungelesener Beitrag von EselMetaller » 25.08.2005 22:34

und müssen sämtliche nodes identische Hardware besitzen um als solche fungieren zu können oder bloss die Vorraussetzungen für Netzwerkboot- und Administration etc. erfüllen?
Weil bei einer Erweiterung dieses Miniclusters wäre das wahrscheinlich arg teuer da die XPs ja nicht mehr hergestellt werden. Die Semprons hingegen läuten wohl derzeit eine neue OC Ära ein und sind zudem noch recht günstig zu bekommen.

Benutzeravatar
nico
Vereinsmitglied
Vereinsmitglied
Beiträge: 2211
Registriert: 22.12.2002 13:22
Wohnort: C-Town

#7 Ungelesener Beitrag von nico » 25.08.2005 23:15

Jep, die Netzwerkbooteigenschaft (haben afaik alle aktuellen nForce Chipsätze) ist das Einzige was alle Nodes können müssen - sonst ist die Hardware egal.
Bild

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 23172
Registriert: 07.01.2002 01:00
Wohnort: Marpurk

#8 Ungelesener Beitrag von Michael H.W. Weber » 26.08.2005 06:21

So, wir haben ein ernstzunehmendes Problem. Beim Booten kommen allerlei Meldungen, daß Sektoren auf der einen Partition defekt sind. Aus unerfindlichen Gründen ist /dev/hda5 mit fsck nicht nicht reparierbar (aus dem "maintainance mode" heaus; Passwort hat Martin. K. mir ja gestern noch zugesandt) und es wird ein "uncorrectable error: 0x40" gemeldet. DMA abschalten (sowohl BIOS als auch unter Linux) führt zu keiner Verbesserung, am Controller liegt es daher nicht. Ich befürchte, es liegt ein Hardwareschaden an der Platte vor. Wie dieser entstehen konnte, ist mir schleierhaft. Wie dem auch sei, /dev/hda5 beheimatet /usr und damit sämtliche Daten zu den dc Projekten. Man kann die Maschine übrigens durch ignorieren problemlos durchbooten und die anderen Devices mounten. Diagnose: Ich muß die Platte mit einem externen System an /dev/hda5 prüfen. Werde heute mal probieren, von CD ein Reparatur-Knoppix zu booten (muß dazu erst mal ein CD-Laufwerk aus dem Nichts zaubern). Es wäre hilfreich, wenn mir jemand die Daten, die bei diesem System auf /dev/hda5 abgelegt sein müssen komplett zusenden könnte - gemäß der Cluster-Doku. Ein Komplett HD-Image des lauffähigen Clusters haben wir sinniger Weise nicht verfügbar. Ist das erste, was angelegt werden muß, falls die Kiste wieder ans Laufen kommt. Ich habe nur noch heute Zeit - morgen sause ich für 1 Woche weg.

Ein frustrierter,
Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

Bild Bild

EselMetaller

#9 Ungelesener Beitrag von EselMetaller » 26.08.2005 06:43

wenn beim Booten ein Harddisk Error erscheint kann`s evtl. auch am Übertakten der CPU liegen, ist normalerweise die erste Fehlermeldung die ein zu stark übertaktetes System ausspuckt wenn das BIOS erfolgreich abgespult wurde.
Versuch doch erstmal die CPU wieder auf Standarttakt zu betreiben, danach kannste noch immer CD Laufwerke aus dem Nichts erschaffen ;)

Achja, wie genau habt ihr die Athlons eigentlich übertaktet, also welche Einstelungen bei FSB / Multi / Vcore / Realtakt? Welche Temps packen die Arctic Lüfter? Vielleicht ist da nch etwas verbesserungsbedürftig...

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 23172
Registriert: 07.01.2002 01:00
Wohnort: Marpurk

#10 Ungelesener Beitrag von Michael H.W. Weber » 26.08.2005 08:50

Die Maschinen sind auf Lauffähigkeit getestet und entsprechend eingestellt, daher kann ein Übertaktungsfehler ausgeschlossen werden. Im übrigen würden sonst auch Fehler nicht selektiv von /dev/hda5 kommen.

Ich habe gerade auch das Netzteil testweise ausgetauscht - als Reaktion auf einen Tipp von gestern aus dem Chat. Wie ich vorausgesagt habe, half das kein bischen.

Ein CD/DVD-ROM habe ich soeben angeschlossen und kann von dort auch sauber booten. Habe mal die letzte c't Diagnose CD eingeworfen...

Martin K. meinte, man solle erst mal retten, was zu retten ist von der Partition. Auch seien da angeblich nur config Dateien. Dem ist allerdings wohl eher nicht so, wie ich eben feststellte. Dort liegt normalerweise auch ein ganzer Haufen ausführbarer Programme. Ich spiele deshalb gerade mit dem Gedanken, diese Partition einfach komplett zu formatieren. Müßte dazu aber wissen, ob mir - wie oben angefragt - jemand sämtliche Dateien der /dev/hda5 (=/usr) gemäß der Clusterdoku heute noch zusenden kann. Dann könnte ich die Maschinen heute noch in Betrieb nehmen.

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

Bild Bild

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 23172
Registriert: 07.01.2002 01:00
Wohnort: Marpurk

#11 Ungelesener Beitrag von Michael H.W. Weber » 26.08.2005 12:15

So, das Samsung-Originaldiagnosetool für diese Platte empfihelt dringend das Einsenden an den Hersteller. Mehr als 50% der HD Oberfläche sind defekt. Ich habe Tickers Anrufbeantworter besprochen, er möge bitte umgehend die Quittung für die Platte liefern, damit ich das Ding reklamieren kann. Jetzt will ich mal gucken, was ich mit Knoppix noch rausholen kann. Jedenfalls sieht es nicht gut aus. :roll:

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

Bild Bild

Benutzeravatar
nico
Vereinsmitglied
Vereinsmitglied
Beiträge: 2211
Registriert: 22.12.2002 13:22
Wohnort: C-Town

#12 Ungelesener Beitrag von nico » 26.08.2005 12:40

Für eine Festplattenreklamation beim Hersteller braucht man normalerweise keine Rechnung - zumindest nicht bei IBM/Hitachi und Maxtor. Mußte da nur die Serien- und Teilnummer auf deren Homepage angeben, die RMA aufs Packet schreiben und die Festplatte in die Niederlande schicken (bisher immer unversichert für 7¤ bei der Post)
Bild

Zurück zu „Unser Cluster“