Hardware/Software für Grids

[Gast]

Hallo!

Ich weiss nicht ob es hier die richtige Stelle ist. Aber ich denke schon.

Ich suche Hintergrundinfos zum Thema Grid Computing.
Könnt ihr mir da weiterhelfen?

Ich bräuchte Informationen aus was bzw. welchen Komponenten Grid-Systeme aufgebaut sind. Also welche Hardwarekomponenten unbedingt und welche optional benötigt werden und welche Software geeignet ist bzw. welche sich scheint zu etablieren.
Würde mich sehr freuen, wenn mir der ein oder andere von euch da weiterhelfen könnte, oder mir evtl. ein Verweis wo ich darüber nachlesen kann geben kann.

Danke euch im vorraus.

PS: Wär schön wenn es deutschsprachig ist. Englisch würde aber notfalls auch noch gehen.

[Pascal]

Hallo!
Hier im Forum wirst du einige Dinge dazu finden, wenn du die Suchfunktion dazu bemühst.
Was genau willst du denn mit einem Grid machen?

[Gast]

Direkt will ich nichts mit einem Grid machen.

Ich habe die Aufgabe zusammen zutragen, welche Kosten so beim Aufbau und dem betrieb von Grids entstehen.

Könnt ihr mir da weiterhelfen?

[Dennis Kautz]

Die Kosten hängen immer davon ab, für welchen Zweck das Grid gebaut werden soll (also, welche Kapazitäten benötigt werden).
Es gibt nicht eine Art von Grid, die für alle Anwendungen geeignet ist, sondern man baut ein Grid ausgehend von seinem Zweck.

[Gast]

Wenn du data-intensiv und rechenintensive meinst etc., dann weiss ich das schon.

Und genau für diese unterschiedlichen typen suche ich so art grund-gerüste im aufbau (also welche und was für geräte man braucht ) und im betrieb (welche software Administratoren u.ä.) wird benötigt.

oder vielleicht gibt es ja zb ein grund-gerüst was für alle zählt? Bzw. was alle gemein haben.

[Dennis Kautz]

oder vielleicht gibt es ja zb ein grund-gerüst was für alle zählt? Bzw. was alle gemein haben.

Nicht wirklich, bzw. nur ganz allgemeine Dinge wie "Es gibt Server, die verteilen die Arbeit es gibt Rechner, die erledigen sie".

Nicht nur der Unterschied Datenintensiv/Rechenintensiv wirkt sich auf die Konzeption eines Grids aus, sondern vor allem, wie gut parallelisiert werden kann, welche Fehlertoleranz es gibt etc.

Beispiel: Wenn du wenig Datenverkehr zwischen den Nodes und dem Master erwartest und eine gewisse Fehlerquote akzeptieren kannst, kannst du dir nen Haufen Standard-x86er Mobos + CPU + Ram + Netzteil besorgen, evtl. übertakten und die mit normalem 100-MBit oder GBit-LAN verbinden (sowas haben wir gemacht - siehe Cluster-Forum).
Wenn du dagegen große Datenmengen, eine geringe Fehlertoleranz etc. hast und nicht gut parallelisieren kannst, wird das ganze exponentiell teurer - dann ist zum verbinden evtl. was schnelleres als GBit-LAN nötig (beispielsweise Infiniband).

Also wenn du konkrete Infos willst, wie das Grid aufgebaut werden soll und was es kostet, erstmal ein paar Fragen:

- Was soll berechnet werden?
- Was steht an finanziellen Mitteln zur Verfügung?
- Wie schlimm ist es, wenn kleinere Rechenfehler passieren?
- Gibt es Einschränkungen, was die Software betrifft (beispielsweise, wenn du schon was im Auge hast, was die Berechnungen angeht und es das Programm nur für bestimmte Betriebssysteme gibt).

[Pascal]

Guter Einstieg, Herr Kollege frost!

Mir kamen da so ein paar Detailfragen zu deinen gestellten.

..Also wenn du konkrete Infos willst, wie das Grid aufgebaut werden soll und was es kostet, erstmal ein paar Fragen:

- Was soll berechnet werden?

-- Soll überhaupt etwas berechnet werden oder vielleicht sogar "nur" Daten zusammengetragen werden?
-- Vielleicht eher genauer: was genau soll wie berechnet werden? Und was habe ich für Möglichkeiten an Rechnerarchitekturen (sprich: Hardware) und habe ich die richtige dazu passende Software und was muss entwickelt werden?

- Was steht an finanziellen Mitteln zur Verfügung?

.. und personellen. Sprich Manpower, Erfahrungen, Wissen.

- Wie schlimm ist es, wenn kleinere Rechenfehler passieren?

-- Was für eine Datensicherung mache ich und welcher Aufwand ist dafür angebracht?

[Dennis Kautz]

Also Datensicherheit halte ich an und für sich für am unproblematischsten... RAID 5 und USVs bei den Servern müssten für den Stromausfall zwischendurch oder ne kaputte Platte eigentlich reichen.

[Pascal]

Also Datensicherheit halte ich an und für sich für am unproblematischsten... RAID 5 und USVs bei den Servern müssten für den Stromausfall zwischendurch oder ne kaputte Platte eigentlich reichen.

Mir ging es allein darum, die Frage zu stellen. Unser Gast hat lediglich nach allgemeinen Infos gefragt, nicht nach Details.

Im Übrigen haben wir eigentlich immer noch nicht genau diskutiert, was genau Grid Computing überhaupt ist.

Mal Wikipedia bemühen:

http://de.wikipedia.org/wiki/Grid

Code: Alles auswählen

Grid-Computing [grɪd kəmˈpjuːtɪŋ] (englisch grid computing = Gitterberechnung) bezeichnet alle Methoden, die Rechenleistung vieler Computer innerhalb eines Netzwerks so zusammenzufassen, dass über den reinen Datenaustausch hinaus die (parallele) Lösung von rechenintensiven Problemen ermöglicht wird (verteiltes Rechnen). Jeder Computer in dem "Gitter" ist eine, den anderen Computern gleichgestellte Einheit. Damit kann, zu deutlich geringeren Kosten, sowohl die Kapazität als auch die Rechenleistung heutiger Supercomputer übertroffen werden. Grid-Systeme skalieren sehr gut: durch Hinzufügen von Rechnern zum Netz oder Zusammenfassen von Grids zu Über-Grids erhöht sich die Rechenleistung in entsprechendem Maße.

Eine Vision des Grid-Computings ist das computing grid. Es ist vergleichbar mit dem power grid, also dem Stromnetz: Der Verbraucher von Rechenleistung stellt eine Verbindung zum Rechennetz her, so wie der Stromverbraucher zum Stromversorgungsnetz. Alles was hinter der Steckdose passiert ist für den Konsumenten verborgen, er verbraucht einfach Leistung.

Die typischen Probleme bei denen sich Grid-Computing als Strategie anbietet sind solche, die die Leistung einzelner Computer überfordern, jedoch nicht zeitkritisch sind. Dazu gehören beispielsweise die Integration, Auswertung und Darstellung von sehr großen Datenmengen aus der medizinischen oder der meteorologischen Forschung.

Dort gibt's auch noch weitere Links zum Thema.

[Michael H.W. Weber]

Schau Dir mal in den Suchmaschinen die URLs zum Thema Globus Toolkit an.

Michael.

[SpeedKing]

Grid-Computing [grɪd kəmˈpjuːtɪŋ] (englisch grid computing = Gitterberechnung) bezeichnet alle Methoden, die Rechenleistung vieler Computer innerhalb eines Netzwerks so zusammenzufassen, dass über den reinen Datenaustausch hinaus die (parallele) Lösung von rechenintensiven Problemen ermöglicht wird (verteiltes Rechnen).

Das ist noch viel zu eng gefaßt, es geht nicht nur um Rechenleistung, sondern um Resourcen im Allgemeinen.

Jeder Computer in dem "Gitter" ist eine, den anderen Computern gleichgestellte Einheit.

Das ist eben gerade nicht erforderlich. Ein Grid kann durchaus viele Spezialisten enthalten. Die Aufgabe des Grids ist es, die Resourcen transparent zur Verfügung zu stellen und jeweils den am Besten geeigneten Knoten auszuwählen, um eine Aufgabe zu erledigen.

(Und nein, ich hab jetzt keine Lust den Wikipedia-Text zu verbessern.)

Eine kostenlose Grid-Software für Unix/Linux-Rechner findest du hier: http://gridengine.sunsource.net/

[Gast]

Ich danke euch erstemal allen für euer grosses Engagement.

Finde ich wirklich Klasse von euch.
Aber so konkret wir ihr teilweise eure Fragen stellt, kann ich sie momentan nicht zusammenfassen.

Ich kann euch ja mal kurz die Aufgabenstellung genau sagen.
Meine Aufgabe ist es eine Kosten- und Aufwandsabschätzung für gridComputing-Systeme zu machen.

Dabei soll ich alle Kosten für Aufbau, Betrieb und Instandhaltung aufführen.
Und diese dann an ein paar Bsp. konkret nach aufzeigen bzw. berechenen insoweit das möglich ist!

Am Ende soll quasi ne Zahl rauskommen, das man mal sieht wieviel das alles eigentlich kostet. Weil ja viele immer sagen Rechkraft etc. zum Nulltarif so in etwa. Aber schon der aufbau die softwareentwicklung usw. kostet ja schon.

Vielleicht könnt ihr mir in diese richtungen weiterhelfen!