Eigene Computer für BOINC zu einem Cluster zusammenfassen

[Rekrut]

Hallo allerseits,

wie ich sehe haben einige Leute von euch fundamentales wissen über den aufbau eines Clusters unter Linux.

Es ist bei mir zu Hause so, dass ich 3 Computer betreiben möchte, die keine Festplatte und Graka bräuchten. Durch diese Clusterart könnte ich ja dadurch auch günstiger nachrüsten.

Brauche ja dadurch nur 1x tastatur, maus, bildschirm, graka, hdd, cdromlw.
Naja was jetzt nicht reicht, sind die Steckplätze vom Switch/router, habe nur max. 4.

Aber kennt jemand von euch gute Anleitungen, wie man solche Cluster zusammenbauen kann? Oder habt ihr eventuell selber eine?

Da ihr eine Platte benutzt, wie stark wird diese durch BOINC belastet?
Ich habe hier gelesen, dass einige BOINC Projekte mangels Arbeitsspeicher nicht laufen, können Cluster nicht auf eine Swappartition zugreifen? Ist mir natürlich klar, dass RAM schneller ist, nur könnte ja sein, das nicht genutzte Sachen in eine SWAP können.

Obwohl ich bräuchte ja dann auch einen Kontrollrechner, der ja dann praktisch die anderen Computer bedient. Dieser Kontrollrechner dürfte dann ja gar nicht mitrechnen, sehe ich das richtig? Dieser Kontrollrechner, wie gut müsste dort die Ausstattung sein? Reicht da schon eine einfache Maschine, oder muss die etwas gleichgut ausgerüstet sein?

[huraxprax]

So einen Cluster, in der Art wie Du ihn Dir vorstellst, haben wir zum Beispiel einen fuer das Team bei Linuxfan in Berlin.

Erster Rat vorab: Vergiss OpenMosix, das bringt mit BOINC nur Probleme und keinen Vorteil, auch nicht wenn Du spaeter eigene parallele Programme entwickeln willst.

Der Grundaufbau sollte also folgender sein: Ein Master mit Festplatte, von dem die Clients das Betriebssystem uebers Netz holen. Der kuemmert sich dann auch um die Internetverbindung und Logins von aussen. Bei einem kleinen System soll der Master ruhig mitrechnen, ist erst bei groesseren Clustern effizienter wenn er sich nur auf die Steuerung konzentriert.

Bei einem normalen PC brauchst Du aber Grafik damit er ueberhaupt bootet. Aktuelle Mainboards haben aber alle integrierte Grafik, ansosten reicht eine moeglichst sparsame Karte. Ausreichend RAM ist allerdings unverzichtbar. Swap darf nur genutzt werden um inaktive Programme auszulagern, wenn ein aktives Programm anfaengt zu swappen geht die Leistung extrem in den Keller.

Ansonsten viel Spass damit, Du musst aber rechnen schon tiefer in Linux einsteigen zu muessen.

Benno

[HappyL]

Die Sache mit der Grafikkarte sollte man beim Hersteller nachfragen. Hab hier zwei relativ aktuelle MSI-Boards, die beide ohne Grafikkarte laufen (unter Linux)

[nico]

Jep, es sollten zumindest alle Boards mit aktuellen nForce Chipsätzen ohne Grafikkarte booten.

Wie der RKN Cluster eingerichtet und konfiguriert wurde findest Du hier:
http://e-waste.de/pc-linux-cluster.html (das könnte eigenlich mal ins Wiki)

Der Kontrollrechner hat nicht viel zu tun - Internet weiterleiten, Dateisystem zur Verfügung stellen, Nutzerverwaltung - das schaft bei weniger als 10 Clients auch ein 500Mhz Rechner problemlos. Also auf aktuellen Rechnern kannst du auch BOINC nebenbei laufen lassen, das stört nicht.

[Rekrut]

Erst einmal vielen dank für eure Beiträge.

Einige Mainboards verlangen auch nach einer Tastatur (hab ich heute zb gehabt, wo ich am Kaputten Tastaturanschluss hängen blieb).
Muss die Netzwerkkarte (falls nicht onboard ist) besondere merkmale haben?
Kann mich an die alte Schulzeit erinnern, wo alle 486 Netzwerkkarten bekamen, wo zusätzlich ein Chip auf die Karten kam, damit übers Netzwerk das System (Win 3.1) gebootet werden konnte.
Ich denke mal, einfache billige Netzwerkkarten können nicht viel.
Aber die integrierten Netzanschlüsse onboard suchen nach Bootmöglichkeiten, dass habe ich nun gesehen.

Aber ich guck mir morgen mal in ruhe die Wikianleitung durch.

Vor dem ersten Beitrag suchte ich auch in Google und dort tauchte auch öffters mal OpenMosix. Aber wenn das nicht so der bringer ist, lasse ich das lieber.

[SpeedKing]

Kann mich an die alte Schulzeit erinnern, wo alle 486 Netzwerkkarten bekamen, wo zusätzlich ein Chip auf die Karten kam, damit übers Netzwerk das System (Win 3.1) gebootet werden konnte.
Ich denke mal, einfache billige Netzwerkkarten können nicht viel.

Der Chip war das Boot-ROM, das ist heutzutage i.d.R. im eigentlichen Netzwerk-Chip mit integriert. Mir wäre nicht bekannt, daß es noch aktuelle Netzwerkkarten gibt, die nicht vom Netzwerk booten können.

Bei einem kleinen System soll der Master ruhig mitrechnen, ist erst bei groesseren Clustern effizienter wenn er sich nur auf die Steuerung konzentriert.

Dem möchte ich jetzt doch widersprechen - ein DC-Projekt ist dazu da, auf jedem Rechner im Hintergrund zu laufen und die ungenutzten Taktzyklen abzugreifen, ohne den Betrieb des Rechners zu stören. Im Zweifel ist ein Projekt mit geringen RAM-Anforderungen zu wählen...

[Michael H.W. Weber]

Jep, es sollten zumindest alle Boards mit aktuellen nForce Chipsätzen ohne Grafikkarte booten.

Wie der RKN Cluster eingerichtet und konfiguriert wurde findest Du hier:
http://e-waste.de/pc-linux-cluster.html (das könnte eigenlich mal ins Wiki)

Der Kontrollrechner hat nicht viel zu tun - Internet weiterleiten, Dateisystem zur Verfügung stellen, Nutzerverwaltung - das schaft bei weniger als 10 Clients auch ein 500Mhz Rechner problemlos. Also auf aktuellen Rechnern kannst du auch BOINC nebenbei laufen lassen, das stört nicht.

Diese Anleitung sollten wir DRINGEND in einen Artikel für unser Buch umarbeiten! Martin? Wer hat hierzu Lust und auch die Zeit? Ich wäre dabei!

Michael.

[TS]

Hallo zusammen,

ich lese seit einiger Zeit schon interessiert bei euch mit. Mir gefällt einerseits die Strukturierung als Verein sehr gut, und was ihr bislang auf die Beine gestellt habt ist ja auch beachtlich.

Ich würde gerne diesen Thread dazu nutzen um "Werbung" für ein Freizeit-Projekt namens "BOINCpe" von mir zu machen. Ihr findet Details dazu auf folgender Seite zu BOINCpe: http://boincpe.schreiter.info/

Prinzipiell liegt dem Ganzen, was ich vielleicht etwas hochtrabend "BOINCpe" nenne, dieselbe Überlegung zugrunde, wie Rekrut sie formuliert hat: Möglichst einfach und zügig einen Cluster aus diskless & headless Maschinen zusammenzu"stecken". Das Ganze natürlich möglichst lighweight - wie man das auf Neudeutsch formulieren könnte...

Ich habe dazu ein BartPE leicht modifiziert und an den Plugins herumgeschraubt bzw. einen Teil komplett selbst gebaut. Herauskommen tut derzeit eine auf Windows XP bzw. 2003 basierende Live-CD die ab 256 MB RAM recht komfortabel mit 24/7 BOINC-Betrieb zurecht kommt - natürlich ohne Festplatte! Die Hälfte des RAMs ist dabei eine RAM-Disk. Das hat sich als recht gute Größe herausgestellt.

Ich bin noch nicht dazu gekommen, das Ganze in Verbindung mit PXE zu probieren. Grdsl. gibt es im Netz aber diverse Hinweise, ein BartPE-Image über PXE zu laden. Mir fehlt nur oft die Zeit, dort mehr Arbeit 'reinzustecken.

Fazit: Die Geschichte funktioniert wirklich: Bei mir laufen seit ein paar Monaten einige Rechner diskless & headless. Sprich: nur Strom & LAN sind wirklich verbunden. Derzeit sind es konstant 4 Kisten. Eine 5. zickt rum - das liegt aber nicht am Image...

Für Beta-Tests von eurer Seite wäre ich mehr als dankbar...

Viele Grüße,
TS

[Michael H.W. Weber]

Du könntest dieses Projekt in Form eines englischsprachigen Artikles in unserem Buch verewigen, in dem bislang 14 Artikel aktueller DC-Projekte, bzw. DC-Infrastrukturen erscheinen werden. Was hältst Du davon? Mir schwebt da eine detaillierte Anleitung vor, wie man das ganze funktionstüchtig aufsetzt.

Michael.

[TS]

Du könntest dieses Projekt in Form eines englischsprachigen Artikles in unserem Buch verewigen, in dem bislang 14 Artikel aktueller DC-Projekte, bzw. DC-Infrastrukturen erscheinen werden. Was hältst Du davon? Mir schwebt da eine detaillierte Anleitung vor, wie man das ganze funktionstüchtig aufsetzt.

Michael.

Hi,
könnt ihr mir Infos zu dem Buch geben? Wie kommt ihr dazu eines zu schreiben, wer verlegt es, Titel? Welchen Umfang würde ein solcher Beitrag haben?

Ich leide chronisch unter Zeitnot. Desweiteren gibt es etliche gute Gründe, ein solches RAM-Disk basiertes System eher unter Linux aufzubauen als unter BartPE. Im Wesentlichen habe ich es der Einfachheit halber gemacht.
Langfristig wäre ich eher daran interessiert, mit jemand anders zusammen so etwas nochmal als ein DSL-Derivat zu bauen. Ich habe einige Erfahrung gewonnen, wie BOINC sich mit kleinen "Platten" benimmt. Diese Erfahrungen sind für so etwas mit Sicherheit hilfreich. Mir fehlt aber zugegebenermaßen auch etwas Linux-Know How. Die Basics beherrsche ich sicher - aber an der ein oder anderen Stelle hakt es halt doch noch.

Wenn ich auf diesem Wege jemanden finden könnte, der eine solche BOINC-Distri mit mir gemeinsam aufsetzen würde, wäre ich ebenfalls sehr dankbar...

Grüße,
TS

[Michael H.W. Weber]

Hi,
könnt ihr mir Infos zu dem Buch geben?

Schau z.B. mal hier: http://www.rechenkraft.net/phpBB/viewtopic.php?t=6392

Wie kommt ihr dazu eines zu schreiben, wer verlegt es, Titel?

Wir haben beschlossen eines zusammenzustellen und jetzt tun wir es. Verlegt wird es im Tectum Verlag und der Titel ist "Distributed Computing - Science Made Transparent for Everyone. Principles, Applications and Supporting Communities". 15 Artikel liegen bereits vor.

Welchen Umfang würde ein solcher Beitrag haben?

Das liegt ganz an Dir, aber ich würde sagen, daß er genau so lang wird, daß man ihn erfolgreich als "Bauanleitung" einsetzen kann.

Michael.

[TS]

Hi,
könnt ihr mir Infos zu dem Buch geben?

Schau z.B. mal hier: http://www.rechenkraft.net/phpBB/viewtopic.php?t=6392

Welchen Umfang würde ein solcher Beitrag haben?

Das liegt ganz an Dir, aber ich würde sagen, daß er genau so lang wird, daß man ihn erfolgreich als "Bauanleitung" einsetzen kann.

Michael.

Hi Michael,

da fängt das Problem schon an. Habe bislang keine Freigabe von dem Original-Bart (dem Macher von BartPE). Der hat sich halbwegs quergestellt. Ich darf es also quasi derzeit rechtlich nicht veröffentlichen. Daher closed beta-Status...

Desweiteren hat mein Projekt keinerlei wissenschaftlichen Anspruch. Ich denke, dass es dem Niveau des Buches nicht extrem zuträglich wäre. Es ist einfach nicht reif genug, dafür. Schlussendlich wäre es ein besseres Manual - nicht das, was ich unter meinem Namen als Buchbeitrag gerne sehen würde.

Danke dennoch für das Angebot!

Grüße,
TS

P.S.: Was ich für sinnvoller halten würde als einen Installationsguide, wäre eine allgemeinere Beschreibung, was beim Betrieb von Diskless-Maschinen unter BOINC zu beachten ist, weshalb das sinnvoll ist, ein paar Tricks, usw. Und zwar unabhängig von der eingesetzten Lösung (OpenMosix, BOINCpe, Overclockix, zukünftiges DSL-Derivat, weitere)...
Als Beispiel-Implementation könnte man dann vielleicht BOINCpe aufführen - aber nicht als Kern.