DIMES Output-Erhöhung durch VMs

Projekte zum Check von Webseiten wie PeerReview, CapCal, Grub.
Nachricht
Autor
declis
XBOX360-Installer
XBOX360-Installer
Beiträge: 65
Registriert: 22.06.2008 03:11

DIMES Output-Erhöhung durch VMs

#1 Ungelesener Beitrag von declis » 24.09.2009 17:18

Hi@

Auf Anfrage von "DersaureFritz" möchte ich hier einmal kurz erklären wie man seine Punkte bzw. "Measurements" am Tag erhöhen kann.
Wer von diesem Projekt noch nichts gehört hat, hier ein paar Links:

http://www.netdimes.org
http://www.rechenkraft.net/wiki/index.php?title=DIMES
http://www.chrisharrison.net/projects/I ... index.html

Die folgende Anleitung kann auch im XtremeSystems Forum nachgelesen werden (http://www.xtremesystems.org/forums/sho ... hp?t=80235), ich schreibe hier nochmal eine
eigene Version mit Screenshots und ein paar kleinen Tipps.

Man kann pro Rechner einen DIMES-Client laufen lassen. Das bringt innerhalb von 24h etwa 3-4k Punkte.
Durch virtuelle Maschinen kann man die Punkte erhöhen. Ich möchte hier zeigen wie man mehrere VMs auf einen Rechner installiert. So kann man zB 20-100 (oder noch mehr)
VMs laufen lassen. In jeder VM läuft ein DIMES-Client. Natürlich kann man dies auf mehrere Rechner verteilen. Hier sind einmal die Top-User ( "Measurements" am Tag):

http://stats.free-dc.org/stats.php?page ... sort=today


Benötigt wird die Virtualisierungs-Software "VMware Workstation" (30-Tage Testzeit, für Desktop-Rechner gedacht). Von VMware gibt es auch eine Server-Variante
-> "VMware Server" (kostenlos). Ich arbeite mit der Workstation in dieser Anleitung.

Außderdem wird ein Betriebssystem benötigt. Ich arbeite mit einer extrem kleinen XP-Version (mit nLite bearbeitet), nimmt ~600mb Festplattenspeicher in Anspruch.
Windows 2000 kann auch ohne Probleme installiert werden. Andere Windows-Version bzw. Linux hab ich noch nicht getestet. Linux-Anleitung (DamnSmallLinux)
findet sich im XtremeSystems Forum. Mit einer abgespeckten XP-Version habe ich, in Sachen Bootzeit, die besten Erfahrungen bis jetzt gemacht.


Die VMware Workstation Installation sollte selbsterklärend sein.




Die Workstation Oberfläche:


Bild


Wir klicken auf "New Virtual Machine":


Bild

Bild

Bild

Bild

Bild

Bild


Mit der RAM-Größe kann rumgetestet werden, ich habe 64MB eingestellt:


Bild


Bild

Bild

Bild

Bild

Bild


Je nachdem wie viele VMs und wie viel Festplattenspeicher zur verfügung stehen, sollte "Allocate all disk space now" ausgewählt werden.


Bild

Bild

Bild


Nun wird die Festplatte erstellt. Danach sollte die Installation starten. Normalerweise nimmt VMware die Windows-Installation komplett automatisch vor (Easy Install).


Bild


Die VMware Tools werden installiert, diese beinhalten Treiber für das System:


Bild


Ein paar Screens von dem Task Manager:

Bild

Bild


Das "Vmware Tools"-Icon kann noch entfernt werden, die restlichen Einstellungen können so belassen werden:


Bild


Die erste virtuelle Maschine ist am laufen. Java und DIMES kann installiert werden.
Wie man DIMES installiert sollte eigentlich kein Problem darstellen, der Client sollte später als Service laufen.

Ist alles installiert wird die VM erstmal ausgeschaltet und wir wechseln in die Einstellungen der VM. Hier können CD-ROM/USB/Sound usw. entfernt werden:


Bild

Bild




Die Workstation bietet eine "VM-Team"-Funktion an. Hier können mehrere VMs zu einem großen Team zusammengefasst werden, später mehr dazu.


Der nächste Schritt beinhaltet das "Klonen" von einer VM. Dies kann man direkt über die Workstation-Oberfläche machen oder per Batch-Datei.
Wir erstellen im Ordner

Code: Alles auswählen

C:\Program Files (x86)\VMware\VMware Workstation
eine .bat-Datei mit beliebigen Namen. Zum Beispiel: "clone.bat"


Bild


Der Inhalt der Datei sieht folgendermaßen aus:


Bild


Hier nutzen wir den sehr nützlichen "vmrun command":

Code: Alles auswählen

vmrun clone "E:\VMware\dimesvm00\dimesvm00.vmx" "E:\VMware\dimesvm01\dimesvm01.vmx" full
Mit diesem Befehl wird eine komplette Kopie von der VM erstellt. Hier kann noch zwischen "full" und "linked" gewählt werden. "Linked" würde bewirken, dass die Kopie von der Original-VM abhängig ist, ohne Original-VM läuft der Klon nicht. Dafür wird aber kaum Speicherplatz benötigt.
Die "clone.bat" kann nur gestartet werden. Der Vorgang kann etwas dauern.


Jetzt kann in der Workstation ein Team erstellt werden (natürlich auch schon vorher). Dazu wählen wir "New Team":


Bild

Bild


In diesem Fenster können nun alle VMs hinzugefügt werden: "Add" -> "Existing Virtual Machine...". Ob es hier für auch einen automatisierten Vorgang gibt kann ich nicht genau sagen (50 Vms auswählen ist eine tolle Party).


Bild

Bild

Bild

Bild


Jetzt sollte noch eine Startverzögerung zwischen den Systemen eingestellt werden. Ein guter Wert ist etwa 60-75 Sekunden. Somit kann verhindert werden, dass die VMs gleichzeitig gestartet werden (die komplette Team-Startzeit kann dadurch gesenkt werden, anbesten durchtesten).


Bild

Bild


Der größte Teil ist nun beendet!


Das Team kann über die Workstation gestartet werden oder per vmrun-Command:
Es wird wieder eine Batch Datei erstellt mit folgendem Inhalt:


Bild

Bild

Code: Alles auswählen

vmrun start "E:\VMware\DIMESTEAM01\DIMESTEAM01.vmtm" nogui
Per "nogui" kann man die VMs komplett im Hintergrund starten lassen (ansonsten würd sich die Workstation Oberfläche öffnen und man kann den Bootvorgang der VMs beobachten).
Wenn das Team startet, sollten anbesten keine anderen Programm mit gestartet werden. Das Hostsystem ist in dieser Zeit extrem langsam.


Paar kleine Infos noch:


Ich betreibe die 50 VMs auf einem AMD Quad 9750 mit 8GB RAM (win XP 64bit). (Mehr als 50 VMs sind nicht drin, irgendwann gibt VMware eine Fehlermeldung aus):

Speicherplatz VMs: ~36GB
RAM-Verbrauch: ~5GB



Habe noch 20 weitere VMs am laufen:

AMD 4850e mit 4GB RAM und 20 VMs (win XP 64bit) (24/7)


Hatte noch einen 3. Rechner mit 20 VMs, also insgesamt 90 VMs. Damit war ich eine Zeitlang unter den Top-5 Usern am Tag. Die Bandbreite wird übringens kaum beansprucht, hatte mit 90 laufenden VMs einen Upload von ~10kb/s.

Ein Dual/Quad-Core kann durchaus im Cool'n'Quiet Status mit laufenden VMs bleiben.
Wer gute Tipps hat, wie man diesen beschriebenen Vorgang verbessern kann... immer her damit. Bin kein VM-Profi.



mfg, declis
Bild

DersaureFritz

Re: DIMES Output-Erhöhung durch VMs

#2 Ungelesener Beitrag von DersaureFritz » 25.09.2009 05:01

Tolle Anleitung.Aber da lasse ich lieber die Finger von.Glaube nicht,das ich so Dimes jemals zum laufen bringe! :wink:

L3v3l0rd

Re: DIMES Output-Erhöhung durch VMs

#3 Ungelesener Beitrag von L3v3l0rd » 04.11.2009 10:28

Ich hab jetzt per Virtualbox ein XP (allerdings normale Version)virtuell "mitlaufen" und Dimes installiert.
Die Virtualisierung knappst sich so 1-2% CPU ab, dafür ist RKN jetzt von Platz 15 auf 14 gestiegen, hehe :roll2: .
Ich habs auch unter Ubuntu 9.10 32 Bit versucht, bekomme Dimes hierauf aber nicht zum laufen. Irgendwas fehlt oder so.(Habe das Deb-Paket von der Dimes-Seite probiert) Interessant wirds vielleicht mit Damnsmalllinux, da das ja wirklich nur minimalste Anforderungen stellt.
Diese nLite-XPs sind wohl schon nicht schlecht, tippe aber mal das die Lizensierungsproblematik...problematisch ist? :wink:
Auf jeden Fall Danke für dieses wirklich sehr gut geschriebene How-To!

Gruß, L3v3l

Benutzeravatar
mxplm
Vereinsmitglied
Vereinsmitglied
Beiträge: 966
Registriert: 14.09.2009 13:56
Wohnort: Bielefeld

Re: DIMES Output-Erhöhung durch VMs

#4 Ungelesener Beitrag von mxplm » 04.11.2009 15:31

Wie sieht es eigentlich bei deinen 90 VMs aus, haste da Windows Lizenzen für? :-P

Mich würde eine Umsetzung deiner VM-Lösung mittels (D.S.)Linux auch interessieren, da man hier meiner Meinung nach noch weiter runter skalieren könnte. Am besten DSL ohne GUI. Weniger Ressourcenverbrauch -> mehr VMs -> mehr Punkte xD
Zudem entfällt die Lizenzfrage.

Eventuell könnte man mal VMWare und VirtualBox vergleichen, oder spricht etwas gegen VirtualBox?
:Wiki-Benutzerseite: (Über mich)
:fold.it: (Helfen durch Zocken)

Txt.file

Re: DIMES Output-Erhöhung durch VMs

#5 Ungelesener Beitrag von Txt.file » 04.11.2009 16:05

An dem Linuxclient hab ich mir schonmal die Zähne ausgebissen. Paar Stunden fummeln und am Ende doch nichts. :fist: DIMES unter Linux.

Ansonsten würde ich unter Linux weder VBox noch VMware nehmen, sondern gleich KVM (wenn cpu UND motherboard/BIOS mitarbeiten). Da würde ich bei der Einrichtung auch helfen, soweit ich kann.

Aber dazu bräuchte man erstmal nen bessren Linux-client. Wäre zB schonmal ein großer Erfolg, wenn DIMES auch mit OpenJDK laufen würde.

declis
XBOX360-Installer
XBOX360-Installer
Beiträge: 65
Registriert: 22.06.2008 03:11

Re: DIMES Output-Erhöhung durch VMs

#6 Ungelesener Beitrag von declis » 04.11.2009 17:37

Hatte unter Linux (Ubuntu/Debian) auch nur Probleme mit dem alten Linux-Clienten. Ist leider zu viel Fummelei.
Wie Txt.file schon sagte, VMWare oder Virtualbox unter Linux ist nicht wirklich toll (nach meinen Erfahrungen). Eine VM in VirtualBox oder VMWare ist OK, aber sobald man ~20 VMs am laufen hat, wird das System extrem langsam (nach meinen Erfahrungen). Das booten der VMs hat auch extrem lange gedauert unter Ubuntu. Müsste man sich nochmal genauer mit beschäftigen (Stichpunkt -> "keine grafische Oberfläche", wäre natürlich eine super Sache!)

mfg, declis
Bild

Txt.file

Re: DIMES Output-Erhöhung durch VMs

#7 Ungelesener Beitrag von Txt.file » 04.11.2009 18:51

Hab jetzt 2h an dieser DIMES-Linux-Sch**ß* gefummelt und dann sogar den client starten können. Leider hab ich nichts gefunden, um die preferences sinnvoll einstelen zu können und damit meinte ein DIMES, dass es läuft, aber was es macht hab ich nicht rausfinden können. Also stark gefrustet den Schrott wieder deinstalliert.

Ich bin ja echt mit gutem Willen rangegangen, aber der DIMES-client scheint einfach nur Schrott zu sein.
Txt.file == :x :burn: :bad-words: :firedevil: :fire: :letitout:

[EDIT] sry falls kleinkinder anwesend sind, aber die müssen die welt auch kennen lernen wie sie wirklich ist [/edit]

declis
XBOX360-Installer
XBOX360-Installer
Beiträge: 65
Registriert: 22.06.2008 03:11

Re: DIMES Output-Erhöhung durch VMs

#8 Ungelesener Beitrag von declis » 15.12.2009 16:49

Hab jetzt mal DSL in einer VM (mit VirtualBox) installiert. DIMES läuft, nur wird UDP und ICMP geblockt. Hab aber schon erste Punkte bekommen. Hat jemand einen Tipp? Hab DIMES mit Adminrechten gestartet.

Hier ein Bilder:

Bild
Bild
Bild
Bild

Txt.file

Re: DIMES Output-Erhöhung durch VMs

#9 Ungelesener Beitrag von Txt.file » 16.12.2009 10:16

:o Wie hastn du das geschafft DIMES unter DSL zum laufen zu bekommen?? :o

declis
XBOX360-Installer
XBOX360-Installer
Beiträge: 65
Registriert: 22.06.2008 03:11

Re: DIMES Output-Erhöhung durch VMs

#10 Ungelesener Beitrag von declis » 16.12.2009 16:28

Werde am WE ne kleine Anleitung hier posten :wink:
Bild

declis
XBOX360-Installer
XBOX360-Installer
Beiträge: 65
Registriert: 22.06.2008 03:11

Re: DIMES Output-Erhöhung durch VMs

#11 Ungelesener Beitrag von declis » 21.12.2009 18:14

hi@

1) Java installieren! Auf java.com "Linux (selbstextrahierende Datei)" runterladen.

Code: Alles auswählen

chmod +x jre-6u17-linux-i586.bin
sudo ./jre-6u17-linux-i586.bin
Als nächstes muss die JAVA_HOME Variable gesetzt werden. Ich habe es direkt am Anfang in ".bash_profile" geschrieben:

Code: Alles auswählen

nano .bash_profile
 export JAVA_HOME="/home/dsl/jre1.6.0_u17" (kann man auch direkt in agent.sh schreiben)
2) DIMES als tarball runterladen, entpacken und Agent starten:

Code: Alles auswählen

tar -xzvf Dimes_Agent_052_Linux.tar.gz
cd /DIMES/scripts_linux
chmod +x Makefile
sudo ./fix_permissions
sudo ./configure
sudo ./agent.sh
Nun sollte sich der Agent öffnen. Problem an der Sache: Der Client macht sogut wie keine Punkte, da ich folgende Meldung bekomme:

Code: Alles auswählen

INFO: Destination host didn't reply
Normalerweise sollte es als root funktionieren.. naja
Hab mich weiter damit noch nicht beschäftigt. Wer Tipps hat, immer her damit.
Bild

Txt.file

Re: DIMES Output-Erhöhung durch VMs

#12 Ungelesener Beitrag von Txt.file » 22.12.2009 04:50

Ich hattes damals nur mit OpenJDK versucht und das Problem, dass ich keinen graphischen Client bekommen konnte und auf der Konsole konnt ich nirgendwo meine Daten sinnvoll eintragen.

Vielleicht setz ich mich diese Woche nochmal hin und teste es mit der JRE von Sun.

Antworten

Zurück zu „Leistungstests von Webservern“