Seite 4 von 6

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

Verfasst: 28.08.2016 22:23
von Michael H.W. Weber
Hier stehen die notwendigen Infos.
Bedeutet: Eine selbstbestimmte RAM-Zuweisung ist nicht möglich, sondern fest an die Zahl der Kerne gekoppelt.

Michael.

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

Verfasst: 28.08.2016 22:53
von Yeti
Du weißt aber schon, daß das zur Zeit nur bezogen auf die VM funktioniert ?

Der BOINC-Scheduler (auf dem Server) gibt jeder WU eine Informtion mit, wieviel Speicher die WU benötigt. Zur Zeit entspricht dieser Wert immer dem Speicherplatz der größtmöglichen WU (max Anzhal der Kerne).

Beispiel: 12 Core PC, 75% erlaubt für BOINC = 9 Kerne.

Jede WU bekommt vom Server also mitgeteilt, daß sie 2,5 GB + 9 * 0,8 = 9,7 GB Hauptspeicher braucht. Soviel Speicherplatz plant der BOINC-Client also für diese WU ein.

Dieser Wert wird auch zugewiesen, wenn du per APP_CONFIG weniger CPUs zuteilst.Mein TOP-Rechner soll statt 1x9 Core-WU lieber 3x3 Core-WUs rechnen, weil das effizienter ist. Eigentlich benötigt jede dieser WUs nur 2,5 GB + 3 * 0,8 = 4,9 GB. Die VM bekommt auch nur soviel. Der BOINC-Client bekommt aber weiterhin die Info, daß jede WU 9,7 GB braucht. Um also die 3 WUs parallel laufen lassen zu können, muß die Maschine mehr als 30 GB Hauptspeicher haben.

Wenn die Mschine nur 3-Cores für BOINC verwenden darf, bekommt der BOINC-Client die richtige Informtion, daß die WU tatsächlich nur 4,9 GB braucht

Bevor das jetzt jemand falsch versteht: Die VM bekommt immer die richtige Speichermenge mitgeteilt, vorausgesetzt, ihr habt sie richtig berechnet bei Verwendung einer APP_CONIG

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

Verfasst: 29.08.2016 15:37
von Michael H.W. Weber
Verstehe Deinen Beitrag ehrlich gesagt nicht.

Ich berechne den RAM-Bedarf entsprechend der Zahl von Cores, die ich einsetzen möchte nach der Formel aus dem ATLAS-Forum (bzw. der Formel, die Du oben ja auch angegeben hast) und baue mir eine entsprechende app_config.xml, die sowohl die Zahl der CPU-Cores, als auch den dafür berechneten RAM-Bedarf ausweist. Und gut is.

Ein Problem:
Wenn ich auf einem 4-Kerner, bei dem ich 1 Kern für die GPU-Steuerung frei halte, die verbleibenden 3 Kerne so aufteilen möchte, dass 1x ATLAS und 2x vLHC gerechnet wird und dazu die ATLAS-Multocre-App nehme (was zukünftig auch in so einer Situation Pflicht ist!), dann kann es passieren, dass plötzlich bis zu 3x ATLAS MC WUs laufen (mit je einem Kern) und keine vLHC. Und das ist Bockmist, weil das u.a. mehr RAM saugt, als 1x ATLAS MC mit 3 Kernen.

Wohlgemerkt: Ich habe die Prioritäten so eingestellt, dass vLHC auf Faktor 6000, ATLAS aber auf nur 100 steht. Auch ist KEIN Puffer für WUs zugelassen (beide Werte auf Null), d.h. die Maschine hängt permanent am Netz und sollte nur WUs ziehen, wenn eine fertig wird. Ich vermute daher, dass vLHC einfach mal keine WUs schnell genug nachgeliefert hat...

Michael.

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

Verfasst: 29.08.2016 16:00
von Yeti
Michael H.W. Weber hat geschrieben:Verstehe Deinen Beitrag ehrlich gesagt nicht.
Ja, die Erklärung ist schwierig. Ich versuche es noch mal:

Die Information, wieviel Speicher eine Atlas-WU braucht, muß an 2 Stellen vorhanden und korrekt sein:
  1. In der VM
  2. IM BOINC-Client
Wenn der BOINC-Server selbständig festlegt, wieviele Cores auf deinem PC belegt werden dürfen, sind beide Werte der Liste okay und in Ordnung. Es wird an Hand der gezeigten Rechenformel errechnet, wieviel Speicher die Atlas-MultiCore-WU braucht und gut is.

Wenn du aber mit einer APP_CONFIG arbeitest, wird nur der Wert zu A) richtig berechnet. Der Wert zu B) ist falsch (er entspricht dem Speicherbedarf für die maximal nutzbaren Cores ohne Verwendung der APP_CONFIG)

------------------------------------------------------------------------------------------------------------------------------------------------------------------

Auf meinem Top-Rechner mit 12 Cores darf BOINC 75% davon benutzen, das sind also 9 Cores.

Per APP_CONFIG habe ich nun gesagt, daß eine Atlas-Multi-Core-WU auf diesem Gerät nur 3 Cores nutzen soll. Rechnerisch sollen dann also 3 WUs gleichzeitig mit je Cores rechnen = Gesamt 9 Cores

Gemäß der bekannten Formel sollte also nun eine WU 4,9 GB Speicher brauchen, also brauche ich knapp 15 GB, um die 3 WUs parallel laufen zu lassen. Die Maschine hat 30 GB, sollte also locker passen.

Sollte ? Denkste !

2 Atlas-Multi-Core-WUs liefen jederzeit, die 3.te war pausiert wegen zu wenig Speicher (Ha Ha, dachte ich).

Also, der Speicherbedarf zu A) ist 4,9 GB, der Speicherbedarf zu B) lautet aber 9,7 GB

BOINC weigerte sich, die 3.te WU zu starten, weil es mit dem B)-Wert den Speicherbedarf ermittelt hat (= 3 x 9,7 GB) = 29,1 GB . Erst seit ich die Maschine auf 32 GB gesetzt habe laufen ordentlich alle 3 Tasks parallel.

Ein echter Fehler im Scheduler

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

Verfasst: 29.08.2016 18:03
von Michael H.W. Weber
Also meine Kiste hat 16 GB RAM. Die cc_config.xml sorgt dafür, dass 5 der 8 Kerne des i7 mit einer ATLAS-MC-WU bestückt werden. RAM wure nach bekannter Formel berechnet. Läuft. Es besteht aus meiner Sicht kein Bedarf, mehr als eine Multi-Core-WU zu starten, da ich gleich alles an Kernen für ATLAS einsetzen kann, falls gewünscht.

Michael.

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

Verfasst: 29.08.2016 18:08
von Yeti
Michael H.W. Weber hat geschrieben:Also meine Kiste hat 16 GB RAM. Die cc_config.xml sorgt dafür, dass 5 der 8 Kerne des i7 mit einer ATLAS-MC-WU bestückt werden. RAM wure nach bekannter Formel berechnet. Läuft. Es besteht aus meiner Sicht kein Bedarf, mehr als eine Multi-Core-WU zu starten, da ich gleich alles an Kernen für ATLAS einsetzen kann, falls gewünscht.

Michael.
Es ist nur solange alles gut, wie du auf den verbleibenden 3 Cores nix speicherhungriges rechnen willst.

Die Performance der MultiCoreWUs wird grottenschlecht, wenn du 6 oder mehr Cores freigibst.

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

Verfasst: 29.08.2016 20:04
von Michael H.W. Weber
Yeti hat geschrieben:Es ist nur solange alles gut, wie du auf den verbleibenden 3 Cores nix speicherhungriges rechnen willst.

Die Performance der MultiCoreWUs wird grottenschlecht, wenn du 6 oder mehr Cores freigibst.
Tjo, also von den verbleibenden drei Kernen sind zwei mit vLHC bestückt - also ausgesprochen speicherhungrig. Der dritte bleibt "idle" zur Steuerung der GPU auf der Büchse.

Ich bin mal gespannt, wie sich "grottenschlecht" äußert. Sollte es tatsächlich so sein, dann würde ich mal in deren Forum stürmen müssen, um die Abschaffung der "normalen" ATLAS App verhindern zu helfen.

Auf einer anderen Maschine mit 4 Kernen (ein i5 mit ebenfalls 16 GB RAM) läuft eine ATLAS-MC-WU auf einem Kern. Parallel laufen ebenfalls zwei vLHC-WUs und der vierte Kern befeuert die 290X. Dort ist die initial angezeigte Gesamtlaufzeit der ATLAS-MC-WU bereits jetzt um 2 Std. überschritten. Und das System war auf die MC-WUs mit 3 Kernen seit Wochen sauber eingeschossen, also nix von wegen übliche Laufzeitvorhersageanpassung bei neuem Projekt. Ich deute das als eine sich bereits andeutende Ineffizienz und bereite mich schon mal auf den Biss in die Tischkante vor...

Michael.

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

Verfasst: 29.08.2016 21:29
von gemini8
Der Vorschlag, lieber mehrere WU mit weniger Kernen zu nutzen, kam von David selbst, denn das ist die von ihm gemessene Effektivität bei x Kernen:

| 2 | 89.58 |
| 3 | 94.30 |
| 4 | 86.21 |
| 5 | 88.98 |
| 6 | 86.70 |
| 7 | 67.15 |
| 8 | 72.31 |

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

Verfasst: 29.08.2016 21:58
von Michael H.W. Weber
gemini8 hat geschrieben:Der Vorschlag, lieber mehrere WU mit weniger Kernen zu nutzen, kam von David selbst, denn das ist die von ihm gemessene Effektivität bei x Kernen:

| 2 | 89.58 |
| 3 | 94.30 |
| 4 | 86.21 |
| 5 | 88.98 |
| 6 | 86.70 |
| 7 | 67.15 |
| 8 | 72.31 |
Du meinst, auf einem i7 lieber 2 WUs parallel mit je 3 Kernen als 1 WU mit 6 Kernen oder wie soll ich das verstehen?

Ich hatte es immer nur so verstanden, dass man eben multiple ATLAS-Standard-WUs durch EINE WU mit entsprechend vielen Kernen ersetzt, um eben die Zahl parallel laufender WUs zu vermeiden. Irgendwie müssen wir evt. mal die Begriffe sortieren...

Michael.

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

Verfasst: 29.08.2016 23:29
von gemini8
Moinmoin.
Michael H.W. Weber hat geschrieben:Du meinst, auf einem i7 lieber 2 WUs parallel mit je 3 Kernen als 1 WU mit 6 Kernen oder wie soll ich das verstehen?
Genau so sollst du das verstehen.
Und dazu kommt noch, daß Hyperthreading eher von Nachteil zu sein scheint.

Ich beschäftige mich gerade damit, meinen Mac Mini Server ebenfalls mit ATLAS zu verseuchen.
Sollte mir endlich mal mehr RAM fürs MacBook zulegen, damit ich das, was gerade drinsteckt, dem Mini verpassen kann.

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

Verfasst: 30.08.2016 10:33
von Michael H.W. Weber
Tjo, also genau das werde ich NICHT tun. ATLAS unterstützende Systeme berechnen bei mir ab sofort nur noch EINE WU zur Zeit mit verschieden vielen zugeordneten Kernen - je nach Austattung der CPU.

Michael.

Re: ATLAS@Home MultiCore WUs als Beta-App freigegeben

Verfasst: 30.08.2016 11:08
von gemini8
Das hilft Leuten, die alles in ATLAS reinbuttern wollen, leider überhaupt nicht.

Meiner Meinung nach wäre es sinnvoll, herauszufinden, warum mehr als drei Cores zu unvorteilhafteren Ergebnissen führen, und, falls dies nicht möglich sein sollte, wie man den RAM-Bedarf sauber planen kann.
Das funktioniert aber nur, wenn sich diesbezüglich genug Leute beim Projekt melden.