ATLAS@Home MultiCore WUs als Beta-App freigegeben

LHC@home etc.
Nachricht
Autor
Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 22419
Registriert: 07.01.2002 01:00
Wohnort: Marpurk
Kontaktdaten:

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

#37 Ungelesener Beitrag von Michael H.W. Weber » 28.08.2016 22:23

Hier stehen die notwendigen Infos.
Bedeutet: Eine selbstbestimmte RAM-Zuweisung ist nicht möglich, sondern fest an die Zahl der Kerne gekoppelt.

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

http://signature.statseb.fr I: Kaputte Seite A
http://signature.statseb.fr II: Kaputte Seite B

Bild Bild Bild

Benutzeravatar
Yeti
Oberprojektler
Oberprojektler
Beiträge: 1917
Registriert: 01.04.2008 21:15
Kontaktdaten:

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

#38 Ungelesener Beitrag von Yeti » 28.08.2016 22:53

Du weißt aber schon, daß das zur Zeit nur bezogen auf die VM funktioniert ?

Der BOINC-Scheduler (auf dem Server) gibt jeder WU eine Informtion mit, wieviel Speicher die WU benötigt. Zur Zeit entspricht dieser Wert immer dem Speicherplatz der größtmöglichen WU (max Anzhal der Kerne).

Beispiel: 12 Core PC, 75% erlaubt für BOINC = 9 Kerne.

Jede WU bekommt vom Server also mitgeteilt, daß sie 2,5 GB + 9 * 0,8 = 9,7 GB Hauptspeicher braucht. Soviel Speicherplatz plant der BOINC-Client also für diese WU ein.

Dieser Wert wird auch zugewiesen, wenn du per APP_CONFIG weniger CPUs zuteilst.Mein TOP-Rechner soll statt 1x9 Core-WU lieber 3x3 Core-WUs rechnen, weil das effizienter ist. Eigentlich benötigt jede dieser WUs nur 2,5 GB + 3 * 0,8 = 4,9 GB. Die VM bekommt auch nur soviel. Der BOINC-Client bekommt aber weiterhin die Info, daß jede WU 9,7 GB braucht. Um also die 3 WUs parallel laufen lassen zu können, muß die Maschine mehr als 30 GB Hauptspeicher haben.

Wenn die Mschine nur 3-Cores für BOINC verwenden darf, bekommt der BOINC-Client die richtige Informtion, daß die WU tatsächlich nur 4,9 GB braucht

Bevor das jetzt jemand falsch versteht: Die VM bekommt immer die richtige Speichermenge mitgeteilt, vorausgesetzt, ihr habt sie richtig berechnet bei Verwendung einer APP_CONIG
Bild

Supporting BOINC, a great concept !

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 22419
Registriert: 07.01.2002 01:00
Wohnort: Marpurk
Kontaktdaten:

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

#39 Ungelesener Beitrag von Michael H.W. Weber » 29.08.2016 15:37

Verstehe Deinen Beitrag ehrlich gesagt nicht.

Ich berechne den RAM-Bedarf entsprechend der Zahl von Cores, die ich einsetzen möchte nach der Formel aus dem ATLAS-Forum (bzw. der Formel, die Du oben ja auch angegeben hast) und baue mir eine entsprechende app_config.xml, die sowohl die Zahl der CPU-Cores, als auch den dafür berechneten RAM-Bedarf ausweist. Und gut is.

Ein Problem:
Wenn ich auf einem 4-Kerner, bei dem ich 1 Kern für die GPU-Steuerung frei halte, die verbleibenden 3 Kerne so aufteilen möchte, dass 1x ATLAS und 2x vLHC gerechnet wird und dazu die ATLAS-Multocre-App nehme (was zukünftig auch in so einer Situation Pflicht ist!), dann kann es passieren, dass plötzlich bis zu 3x ATLAS MC WUs laufen (mit je einem Kern) und keine vLHC. Und das ist Bockmist, weil das u.a. mehr RAM saugt, als 1x ATLAS MC mit 3 Kernen.

Wohlgemerkt: Ich habe die Prioritäten so eingestellt, dass vLHC auf Faktor 6000, ATLAS aber auf nur 100 steht. Auch ist KEIN Puffer für WUs zugelassen (beide Werte auf Null), d.h. die Maschine hängt permanent am Netz und sollte nur WUs ziehen, wenn eine fertig wird. Ich vermute daher, dass vLHC einfach mal keine WUs schnell genug nachgeliefert hat...

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

http://signature.statseb.fr I: Kaputte Seite A
http://signature.statseb.fr II: Kaputte Seite B

Bild Bild Bild

Benutzeravatar
Yeti
Oberprojektler
Oberprojektler
Beiträge: 1917
Registriert: 01.04.2008 21:15
Kontaktdaten:

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

#40 Ungelesener Beitrag von Yeti » 29.08.2016 16:00

Michael H.W. Weber hat geschrieben:Verstehe Deinen Beitrag ehrlich gesagt nicht.
Ja, die Erklärung ist schwierig. Ich versuche es noch mal:

Die Information, wieviel Speicher eine Atlas-WU braucht, muß an 2 Stellen vorhanden und korrekt sein:
  1. In der VM
  2. IM BOINC-Client
Wenn der BOINC-Server selbständig festlegt, wieviele Cores auf deinem PC belegt werden dürfen, sind beide Werte der Liste okay und in Ordnung. Es wird an Hand der gezeigten Rechenformel errechnet, wieviel Speicher die Atlas-MultiCore-WU braucht und gut is.

Wenn du aber mit einer APP_CONFIG arbeitest, wird nur der Wert zu A) richtig berechnet. Der Wert zu B) ist falsch (er entspricht dem Speicherbedarf für die maximal nutzbaren Cores ohne Verwendung der APP_CONFIG)

------------------------------------------------------------------------------------------------------------------------------------------------------------------

Auf meinem Top-Rechner mit 12 Cores darf BOINC 75% davon benutzen, das sind also 9 Cores.

Per APP_CONFIG habe ich nun gesagt, daß eine Atlas-Multi-Core-WU auf diesem Gerät nur 3 Cores nutzen soll. Rechnerisch sollen dann also 3 WUs gleichzeitig mit je Cores rechnen = Gesamt 9 Cores

Gemäß der bekannten Formel sollte also nun eine WU 4,9 GB Speicher brauchen, also brauche ich knapp 15 GB, um die 3 WUs parallel laufen zu lassen. Die Maschine hat 30 GB, sollte also locker passen.

Sollte ? Denkste !

2 Atlas-Multi-Core-WUs liefen jederzeit, die 3.te war pausiert wegen zu wenig Speicher (Ha Ha, dachte ich).

Also, der Speicherbedarf zu A) ist 4,9 GB, der Speicherbedarf zu B) lautet aber 9,7 GB

BOINC weigerte sich, die 3.te WU zu starten, weil es mit dem B)-Wert den Speicherbedarf ermittelt hat (= 3 x 9,7 GB) = 29,1 GB . Erst seit ich die Maschine auf 32 GB gesetzt habe laufen ordentlich alle 3 Tasks parallel.

Ein echter Fehler im Scheduler
Bild

Supporting BOINC, a great concept !

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 22419
Registriert: 07.01.2002 01:00
Wohnort: Marpurk
Kontaktdaten:

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

#41 Ungelesener Beitrag von Michael H.W. Weber » 29.08.2016 18:03

Also meine Kiste hat 16 GB RAM. Die cc_config.xml sorgt dafür, dass 5 der 8 Kerne des i7 mit einer ATLAS-MC-WU bestückt werden. RAM wure nach bekannter Formel berechnet. Läuft. Es besteht aus meiner Sicht kein Bedarf, mehr als eine Multi-Core-WU zu starten, da ich gleich alles an Kernen für ATLAS einsetzen kann, falls gewünscht.

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

http://signature.statseb.fr I: Kaputte Seite A
http://signature.statseb.fr II: Kaputte Seite B

Bild Bild Bild

Benutzeravatar
Yeti
Oberprojektler
Oberprojektler
Beiträge: 1917
Registriert: 01.04.2008 21:15
Kontaktdaten:

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

#42 Ungelesener Beitrag von Yeti » 29.08.2016 18:08

Michael H.W. Weber hat geschrieben:Also meine Kiste hat 16 GB RAM. Die cc_config.xml sorgt dafür, dass 5 der 8 Kerne des i7 mit einer ATLAS-MC-WU bestückt werden. RAM wure nach bekannter Formel berechnet. Läuft. Es besteht aus meiner Sicht kein Bedarf, mehr als eine Multi-Core-WU zu starten, da ich gleich alles an Kernen für ATLAS einsetzen kann, falls gewünscht.

Michael.
Es ist nur solange alles gut, wie du auf den verbleibenden 3 Cores nix speicherhungriges rechnen willst.

Die Performance der MultiCoreWUs wird grottenschlecht, wenn du 6 oder mehr Cores freigibst.
Bild

Supporting BOINC, a great concept !

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 22419
Registriert: 07.01.2002 01:00
Wohnort: Marpurk
Kontaktdaten:

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

#43 Ungelesener Beitrag von Michael H.W. Weber » 29.08.2016 20:04

Yeti hat geschrieben:Es ist nur solange alles gut, wie du auf den verbleibenden 3 Cores nix speicherhungriges rechnen willst.

Die Performance der MultiCoreWUs wird grottenschlecht, wenn du 6 oder mehr Cores freigibst.
Tjo, also von den verbleibenden drei Kernen sind zwei mit vLHC bestückt - also ausgesprochen speicherhungrig. Der dritte bleibt "idle" zur Steuerung der GPU auf der Büchse.

Ich bin mal gespannt, wie sich "grottenschlecht" äußert. Sollte es tatsächlich so sein, dann würde ich mal in deren Forum stürmen müssen, um die Abschaffung der "normalen" ATLAS App verhindern zu helfen.

Auf einer anderen Maschine mit 4 Kernen (ein i5 mit ebenfalls 16 GB RAM) läuft eine ATLAS-MC-WU auf einem Kern. Parallel laufen ebenfalls zwei vLHC-WUs und der vierte Kern befeuert die 290X. Dort ist die initial angezeigte Gesamtlaufzeit der ATLAS-MC-WU bereits jetzt um 2 Std. überschritten. Und das System war auf die MC-WUs mit 3 Kernen seit Wochen sauber eingeschossen, also nix von wegen übliche Laufzeitvorhersageanpassung bei neuem Projekt. Ich deute das als eine sich bereits andeutende Ineffizienz und bereite mich schon mal auf den Biss in die Tischkante vor...

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

http://signature.statseb.fr I: Kaputte Seite A
http://signature.statseb.fr II: Kaputte Seite B

Bild Bild Bild

Benutzeravatar
gemini8
Vereinsvorstand
Vereinsvorstand
Beiträge: 5898
Registriert: 31.05.2011 10:30
Wohnort: Hannover

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

#44 Ungelesener Beitrag von gemini8 » 29.08.2016 21:29

Der Vorschlag, lieber mehrere WU mit weniger Kernen zu nutzen, kam von David selbst, denn das ist die von ihm gemessene Effektivität bei x Kernen:

| 2 | 89.58 |
| 3 | 94.30 |
| 4 | 86.21 |
| 5 | 88.98 |
| 6 | 86.70 |
| 7 | 67.15 |
| 8 | 72.31 |
Gruß, Jens
- - - - - -
Lowend-User und Teilzeit-Cruncher

Bild Bild Bild
Bild

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 22419
Registriert: 07.01.2002 01:00
Wohnort: Marpurk
Kontaktdaten:

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

#45 Ungelesener Beitrag von Michael H.W. Weber » 29.08.2016 21:58

gemini8 hat geschrieben:Der Vorschlag, lieber mehrere WU mit weniger Kernen zu nutzen, kam von David selbst, denn das ist die von ihm gemessene Effektivität bei x Kernen:

| 2 | 89.58 |
| 3 | 94.30 |
| 4 | 86.21 |
| 5 | 88.98 |
| 6 | 86.70 |
| 7 | 67.15 |
| 8 | 72.31 |
Du meinst, auf einem i7 lieber 2 WUs parallel mit je 3 Kernen als 1 WU mit 6 Kernen oder wie soll ich das verstehen?

Ich hatte es immer nur so verstanden, dass man eben multiple ATLAS-Standard-WUs durch EINE WU mit entsprechend vielen Kernen ersetzt, um eben die Zahl parallel laufender WUs zu vermeiden. Irgendwie müssen wir evt. mal die Begriffe sortieren...

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

http://signature.statseb.fr I: Kaputte Seite A
http://signature.statseb.fr II: Kaputte Seite B

Bild Bild Bild

Benutzeravatar
gemini8
Vereinsvorstand
Vereinsvorstand
Beiträge: 5898
Registriert: 31.05.2011 10:30
Wohnort: Hannover

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

#46 Ungelesener Beitrag von gemini8 » 29.08.2016 23:29

Moinmoin.
Michael H.W. Weber hat geschrieben:Du meinst, auf einem i7 lieber 2 WUs parallel mit je 3 Kernen als 1 WU mit 6 Kernen oder wie soll ich das verstehen?
Genau so sollst du das verstehen.
Und dazu kommt noch, daß Hyperthreading eher von Nachteil zu sein scheint.

Ich beschäftige mich gerade damit, meinen Mac Mini Server ebenfalls mit ATLAS zu verseuchen.
Sollte mir endlich mal mehr RAM fürs MacBook zulegen, damit ich das, was gerade drinsteckt, dem Mini verpassen kann.
Gruß, Jens
- - - - - -
Lowend-User und Teilzeit-Cruncher

Bild Bild Bild
Bild

Benutzeravatar
Michael H.W. Weber
Vereinsvorstand
Vereinsvorstand
Beiträge: 22419
Registriert: 07.01.2002 01:00
Wohnort: Marpurk
Kontaktdaten:

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

#47 Ungelesener Beitrag von Michael H.W. Weber » 30.08.2016 10:33

Tjo, also genau das werde ich NICHT tun. ATLAS unterstützende Systeme berechnen bei mir ab sofort nur noch EINE WU zur Zeit mit verschieden vielen zugeordneten Kernen - je nach Austattung der CPU.

Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.

http://signature.statseb.fr I: Kaputte Seite A
http://signature.statseb.fr II: Kaputte Seite B

Bild Bild Bild

Benutzeravatar
gemini8
Vereinsvorstand
Vereinsvorstand
Beiträge: 5898
Registriert: 31.05.2011 10:30
Wohnort: Hannover

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

#48 Ungelesener Beitrag von gemini8 » 30.08.2016 11:08

Das hilft Leuten, die alles in ATLAS reinbuttern wollen, leider überhaupt nicht.

Meiner Meinung nach wäre es sinnvoll, herauszufinden, warum mehr als drei Cores zu unvorteilhafteren Ergebnissen führen, und, falls dies nicht möglich sein sollte, wie man den RAM-Bedarf sauber planen kann.
Das funktioniert aber nur, wenn sich diesbezüglich genug Leute beim Projekt melden.
Gruß, Jens
- - - - - -
Lowend-User und Teilzeit-Cruncher

Bild Bild Bild
Bild

Antworten

Zurück zu „Atom-/Elementarphysik“