ATLAS@Home MultiCore WUs als Beta-App freigegeben

LHC@home etc.
Nachricht
Autor
Benutzeravatar
Yeti
Oberprojektler
Oberprojektler
Beiträge: 1917
Registriert: 01.04.2008 21:15
Kontaktdaten:

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

#49 Ungelesener Beitrag von Yeti » 30.08.2016 14:41

Hier stellt sich auch die Frage, wer oder was verschlechtert denn eigentlich die Performance ... Ist es die gewählte VirtualBoxVersion oder ist es die VM selber ?

Wobei ich das alles entspannter sehe als Michael.

9 WUs a 1 Core ist ziemlich uneffektiv (18.1 GB Speicherbedarf)
3 WUs a 3 Core ist schon deutlich besser und zur Zeit wohl die Konfiguration für effektivste Nutzung der Resourcen (14,7 GB Speicherbedarf)
1 WU a 9 Core wäre wünschenswert (9,7 GB Hauptspeicherbedarf), ist zur Zeit aber ziemlich uneffektiv

Zur Zeit versuche ich, das Limit von 5 Cores / WU nicht zu überschreiten, wenn es irgendwie möglich ist
Bild

Supporting BOINC, a great concept !

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 22419
Registriert: 07.01.2002 01:00
Wohnort: Marpurk
Kontaktdaten:

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

#50 Ungelesener Beitrag von Michael H.W. Weber » 30.08.2016 14:56

Ok, nach einigem Testen komme ich zu dem Schluss, dass da erheblicher Verbesserungsbedarf besteht. Es passieren nämlich unschöne Dinge:

Auf der Kiste, wo 5 Kerne an einer WU rechnen sollen und alles so konfiguriert ist, dass der Arbeitspuffer auf 0 gesetzt ist, wird trotzdem eine ATLAS-WU mit 5 Kernen geladen. Nicht nur das, sie startet auch noch! Und das obwohl bestenfalls ein Kern frei sein kann in genau dem Moment, wo das parallel laufende vLHC gerade eine fertige WU abliefert und also ein Kern frei wird. Dann rödelt BOINC herum, stellt fest, dass da was nicht stimmt und sendet die gestartete ATLAS-WU ins "pending". Das ist so keineswegs hinnehmbar.

Auf dem i5, den ich so konfiguriert hatte, dass er 1 WU mit 2 Kernen belegt, passiert ähnlich ärgerliches. Ist also ein universelles Problem und muss korrigiert werden.

Ich weiss nicht, ob man per app_config.xml verbieten kann, dass überhaupt was geladen wird, sofern nicht gewisse Randbedingungen erfüllt sind (siehe oben).

Grundsätzlich:
Sind das überhaupt echte MT WUs? Oder starten da einfach mehrere WUs je nach zugeordneter Kernzahl parallel?

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

http://signature.statseb.fr I: Kaputte Seite A
http://signature.statseb.fr II: Kaputte Seite B

Bild Bild Bild

Benutzeravatar
gemini8
Vereinsvorstand
Vereinsvorstand
Beiträge: 5898
Registriert: 31.05.2011 10:30
Wohnort: Hannover

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

#51 Ungelesener Beitrag von gemini8 » 30.08.2016 15:16

Im Gegensatz zu euch beiden habe ich ein 'Altersproblem':
Ich nutze auf meinen älteren Macs OS X 10.6.8 - und das ist nicht verhandelbar!
Leider geht das mit der Beschränkung auf Virtual Box 4 einher - und darin bekomme ich die Multicore-WU nicht zum Laufen.
Ich warte zur Zeit auf Multicore-WU, die nur einen Core nutzen, weil die evtl. funktionieren könnten.
Gruß, Jens
- - - - - -
Lowend-User und Teilzeit-Cruncher

Bild Bild Bild
Bild

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 22419
Registriert: 07.01.2002 01:00
Wohnort: Marpurk
Kontaktdaten:

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

#52 Ungelesener Beitrag von Michael H.W. Weber » 30.08.2016 15:25

gemini8 hat geschrieben:Ich warte zur Zeit auf Multicore-WU, die nur einen Core nutzen, weil die evtl. funktionieren könnten.
Die kannst Du bereits nutzen, indem Du MC-WUs auswählst und eine Konfigurationsdatei anlegst, die nur einen Kern zuweist. Ich hatte das bereits erwähnt und selbst am laufen gehabt. Tut auch.

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

http://signature.statseb.fr I: Kaputte Seite A
http://signature.statseb.fr II: Kaputte Seite B

Bild Bild Bild

Benutzeravatar
gemini8
Vereinsvorstand
Vereinsvorstand
Beiträge: 5898
Registriert: 31.05.2011 10:30
Wohnort: Hannover

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

#53 Ungelesener Beitrag von gemini8 » 30.08.2016 15:34

Ist mir bekannt.
Ich habe dem Mac einen Kern verboten.
Ich warte nur, weil keine eintrudeln.
Angeblich keine vorhanden.

Meinem anderen Mini habe ich ATLAS verboten, weil der sich sonst die ganze Zeit über an den Multicores mit zwei Cores verschluckt.
Das MacBook rechnet die fröhlich vor sich hin - Virtual Box 5 funktioniert einwandfrei...
Gruß, Jens
- - - - - -
Lowend-User und Teilzeit-Cruncher

Bild Bild Bild
Bild

Benutzeravatar
Yeti
Oberprojektler
Oberprojektler
Beiträge: 1917
Registriert: 01.04.2008 21:15
Kontaktdaten:

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

#54 Ungelesener Beitrag von Yeti » 01.09.2016 17:09

Wegen schlechter Performance der VirtualBoxVersionen 4.x bei den MultiCore-WUs wird in Kürze die Mindestanforderung für MultiCoreWUs auf VirtualBox 5.x heraufgesetzt.

Es gibt eine klare und deutliche Empfehlung vom Projekt-Team, 5.1.2 oder 5.1.4 zu verwenden.
Bild

Supporting BOINC, a great concept !

Benutzeravatar
Bommer
Vielrechner
Vielrechner
Beiträge: 1274
Registriert: 24.06.2001 01:00

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

#55 Ungelesener Beitrag von Bommer » 07.09.2016 14:20

Hallo

Könnte mal jemand der des Englischen mächtig ist die neue Nachricht vom ATLAS@Home Projekt ins Deutsche übersetzen. Mich würde eigentlich nur interessieren, welche Einstellung für die Multicore WUs am Besten geeignet sind.

Gruss Bommer

Benutzeravatar
gemini8
Vereinsvorstand
Vereinsvorstand
Beiträge: 5898
Registriert: 31.05.2011 10:30
Wohnort: Hannover

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

#56 Ungelesener Beitrag von gemini8 » 07.09.2016 14:39

Schreib mir bitte eine PM, dann übersetze ich das gerne heute Abend, wenn ich von der Arbeit zurückkomme.
Gruß, Jens
- - - - - -
Lowend-User und Teilzeit-Cruncher

Bild Bild Bild
Bild

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 22419
Registriert: 07.01.2002 01:00
Wohnort: Marpurk
Kontaktdaten:

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

#57 Ungelesener Beitrag von Michael H.W. Weber » 07.09.2016 21:53

Bommer hat geschrieben:Könnte mal jemand der des Englischen mächtig ist die neue Nachricht vom ATLAS@Home Projekt ins Deutsche übersetzen. Mich würde eigentlich nur interessieren, welche Einstellung für die Multicore WUs am Besten geeignet sind.
Zwei Dinge: Erstens ist die Variante mit 4 Kernen am effizientesten. Zweitens sollte auf die neuen Virtualbox-Versionen aktualisiert werden.

Das Problem ist derzeit, dass die geforderte Aktualisierung sich mit anderen Projekten beißt. Vor allem vLHC@home. Und ich verstehe ehrlich gesagt nicht, wieso die am selben Institut (CERN) sitzenden Projekte sich da nicht mal sauber koordiniert bekommen. Ich werde das aber auch noch in deren Forum schreiben, denn ich werde unter diesen Umständen den Teufel tun und aktualisieren.

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

http://signature.statseb.fr I: Kaputte Seite A
http://signature.statseb.fr II: Kaputte Seite B

Bild Bild Bild

Benutzeravatar
gemini8
Vereinsvorstand
Vereinsvorstand
Beiträge: 5898
Registriert: 31.05.2011 10:30
Wohnort: Hannover

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

#58 Ungelesener Beitrag von gemini8 » 08.09.2016 01:03

Tipps, wie man eine höhere Leistung aus der ATLAS_MCORE Applikation herausholt

Laut unseren Tests variiert die CPU Leistung im Verhältnis zu der Anzahl Kerne der VM. (Wir messen die CPU-Leistung in CPU-Sekunden pro Event. Wenn z.B. der auf ATLAS_MCORE laufende ATLAS Job 100 events rechnet, und die gesamte CPU-Zeit 30 000 Sekunden sind, dann beträgt die CPU-Leistung 300 Sekunden pro Event.

Im Test verglichen wir auch die CPU Leistung unter verschiedenen VirtualBox-Versionen.

Die Resultate kann man hier sehen:

Bild

Der obere Test lief auf zwei Hosts, von denen Host1 Hyperthreading aktiviert hatte, während Host2 Hyperthreading deaktiviert hatte. Das Ergebnis bleibt mit und ohne gleich.

Außerdem kommen wir durch die ATLAS Job Statistiken von mehr als einem Monat zu einem Ergebnis, das die durchschnittliche CPU-Leistung bei Nutzung unterschiedlich vieler Kerne zeigt. (ATLAS_MCORE unterstützt zur Zeit bis zu zwölf Kerne.)

Bild

Der Vorteil der Nutzung einer größeren Anzahl von Kerne in einer VM zu nutzen, liegt darin, weniger Speicher zu benötigen, aber durch eine größere Anzahl von Kernen wird auch die CPU-Leistung deutlich verringert. Unsere Testergebnisse legen nahe, daß dies nicht nur bei ATLAS@home, sondern auch bei anderen Cloud Computing Plattformen der Fall ist.

Um eine gute Gewichtung zwischen Speichernutzung und CPU-Leistung zu erreichen, raten wir dazu, jeden ATLAS_MRORE Job an die Gesamtzahl der Kerne und des Speichers, der Boinc zugestanden wird, anzupassen. Wenn z.B. euer Host zwölf Kerne für Boinc freigibt, wird ATLAS_MCORE eine VM mit zwölf Kernen und 12,1 GB Speicher anlegen, aber wenn der Host genug Speicher hat, könnt ihr die Einstellungen in der Datei app_config.xml anpassen und z.B. jeder VM sechs Kerne und 7,3 GB Speicher zuweisen, so daß euer Host zwei VMs mit insgesamt 14,5 GB Speicherbedarf laufen läßt.

Ihr könnt die MultiCore-Applikation durch die Nutzung der Datei app_config.xml anpassen (diese Datei muß in eurem Boinc /project/atlasathome.cern.ch/ Verzeichnis liegen).

Hier ist ein Beispiel, um jeden ATLAS_MCORE Job auf sechs Kerne zu begrenzen:

<app_config>
<app_version>
<app_name>ATLAS_MCORE</app_name>
<avg_ncpus>6.000000</avg_ncpus>
<plan_class>vbox_64_mt_mcore</plan_class>
<cmdline>--memory_size_mb 7300</cmdline>
</app_version>
</app_config>

Diese beiden Zeilen sollten an eure Bedürfnisse angepaßt werden:

<avg_ncpus>4.000000</avg_ncpus>
<cmdline>--memory_size_mb 7300</cmdline>

Der Speicherbedarf der ATLAS_MCORE-Applikation errechnet sich folgendermaßen:

Speicher = 2500 MB + (800 MB * Anzahl der Kerne)

Also bei sechs Kernen 7300 MB.


Wir werden auf dem Server bald einige Änderungen machen:
1. Die ATLAS_MCORE-Applikation wird die Mindestversion 5.0.0 von VirtualBox benötigen.
2. Die ATLAS_MCORE-Applikation wird auf höchstens acht Kernen laufen.


Quelle: News im ATLAS@Home-Forum.
Die Adressen der Grafiken wurden direkt aus diesem Beitrag übernommen.
Gruß, Jens
- - - - - -
Lowend-User und Teilzeit-Cruncher

Bild Bild Bild
Bild

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 22419
Registriert: 07.01.2002 01:00
Wohnort: Marpurk
Kontaktdaten:

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

#59 Ungelesener Beitrag von Michael H.W. Weber » 08.09.2016 12:52

Ja, aber die haben einen Fehler drin:
gemini8 hat geschrieben:Diese beiden Zeilen sollten an eure Bedürfnisse angepaßt werden:

<avg_ncpus>4.000000</avg_ncpus>
<cmdline>--memory_size_mb 7300</cmdline>

Der Speicherbedarf der ATLAS_MCORE-Applikation errechnet sich folgendermaßen:

Speicher = 2500 MB + (800 MB * Anzahl der Kerne)

Also bei sechs Kernen 7300 MB.
Genau, bei 6 und nicht bei 4.000000 Kernen. :wink:

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

http://signature.statseb.fr I: Kaputte Seite A
http://signature.statseb.fr II: Kaputte Seite B

Bild Bild Bild

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 22419
Registriert: 07.01.2002 01:00
Wohnort: Marpurk
Kontaktdaten:

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

#60 Ungelesener Beitrag von Michael H.W. Weber » 08.09.2016 12:53

Michael H.W. Weber hat geschrieben:Das Problem ist derzeit, dass die geforderte Aktualisierung sich mit anderen Projekten beißt. Vor allem vLHC@home. Und ich verstehe ehrlich gesagt nicht, wieso die am selben Institut (CERN) sitzenden Projekte sich da nicht mal sauber koordiniert bekommen. Ich werde das aber auch noch in deren Forum schreiben...
Erledigt:

vLHC-Forum: http://lhcathome2.cern.ch/vLHCathome/fo ... 1129#21129
ATLAS-Forum: http://atlasathome.cern.ch/forum_thread ... =5246#5246

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

http://signature.statseb.fr I: Kaputte Seite A
http://signature.statseb.fr II: Kaputte Seite B

Bild Bild Bild

Antworten

Zurück zu „Atom-/Elementarphysik“