Wir benötigen eine Option zur Verhinderung der ECM-Monster

Fehler und Wünsche zum Projekt yoyo@home
Bugs and wishes for the project yoyo@home
Nachricht
Autor
Benutzeravatar
[P3D] Crashtest
PDA-Benutzer
PDA-Benutzer
Beiträge: 45
Registriert: 31.07.2011 09:00

Wir benötigen eine Option zur Verhinderung der ECM-Monster

#1 Ungelesener Beitrag von [P3D] Crashtest » 02.03.2017 07:02

Hallo,

seit kurzem werden meine Rechner mit Monster ECM-Wuzen geflutet, die bis zu 10GB RAM pro Wu benötigen.
Eine solche WU können die meisten meiner Rechner vertragen, jedoch nicht 2 oder 3 gleichzeitig.
BOINC erhält jedoch in der Regel gleich mehrere solche Schei*dinger und startet dann halt mehre WU die nach so 3 Sekunden den gesamten RAM verbraucht haben und das System ins Swappinglag verabschieden lassen :evil:

Leider gibt es keine Einstellmöglichkeit, die verhindert, dass BOINC sich solche WUs holt.

Rechner mit bis zu 8GB bekommen diese Teile zum Glück nicht. Rechner jedoch mit 12GB oder mehr erhalten diese.

Beispielname einer solchen systemvernichtenden Wuze:
ecm_as_1488307729_hpb2C207_4496i310_499_P2_0


Lösungsvorschlag a)
- Auslagern dieser Monster Wuzen in ein Subprojekt bei yoyo@home - etwa "ECM-Big"

Lösungsvorschlag b)
- Erschaffung einer Einstellungsoption/-regel im Projekt, die die Verteilung dieser Monster verhindert oder wenigstens auf 1 Wuze/Rechner gleichzeitig begrenzt.

Sonst bleibt derzeit leider nur:
ECM bei den betroffenen Systemen zu deaktivieren :bad:
EPYC ?!? Irgend sowas mit EPYC hab ich auch, so mit 64 Kernen, 128 Threads und so :roll2:
Intel? Dat ist doch ein Hersteller von Netzwerkcontrollern :evil2: und auf der Platine ist so ein Intel Ding mit 10 Gigabit
Bild

Benutzeravatar
Rs232
Brain-Bug
Brain-Bug
Beiträge: 598
Registriert: 06.01.2017 18:37
Wohnort: Harz

Re: Wir benötigen eine Option zur Verhinderung der ECM-Monst

#2 Ungelesener Beitrag von Rs232 » 02.03.2017 12:22

Eine Auswahl wäre echt super zumindest das man diese WU´s auf eine begrenzen könnte.
Ryzen 9 3950X / 32GB Crucial BallistiX LT / ASUS RTX 3050 DUAL OC / Mint 21.3
Bild

Benutzeravatar
yoyo
Vereinsvorstand
Vereinsvorstand
Beiträge: 8045
Registriert: 17.12.2002 14:09
Wohnort: Berlin
Kontaktdaten:

Re: Wir benötigen eine Option zur Verhinderung der ECM-Monst

#3 Ungelesener Beitrag von yoyo » 02.03.2017 17:37

Ja, das ist richtigg, die P2 ecm brauchen 10GB RAM. Meine Annahme war dass Boinc das regeln kann.
Boinc lädt die nur runter, wenn mindestens 10GB frei sind und Boinc startet die, wenn mindestens 10 GB frei sind.
Leider startet Boinc mehrere gleichzeitig, die dann alle gleichzeitig auf 10 GB gehen. Das ist natürlich oft zu viel.
Von diesen ECm liegen jetzt noch ca. 3500 unversandt auf dem Server und müssen noch durch.

Eigentlich dürfte Boinc die nicht gleichzeitig laufen lassen. Die müßten dann auf "warten auf Speicher" gehen oder so. Ich weiß nur nicht wie oft Boinc das prüft. Würde Boinc die nicht gleichzeitig starten, sondern im Abstand von 5s, würde die 2. nicht starten, da nicht genügend Speicher verfügbar ist.

Ich wollte eigentlich keine 2. App dafür machen und pflegen. Ich werd das mal mit den Boincentwicklern diskutieren.

Evtl. hilft eine app_config.xml mit einem -maxmem 2000, dass den RAM auf 2GB begrenzt. Allerdings werden diese WUs dann statt weniger als 1h wahrscheinlich 10h laufen.

yoyo
HILF mit im Rechenkraft-WiKi, dies gibts zu tun.
Wiki - FAQ - Verein - Chat

Bild Bild

Benutzeravatar
gemini8
Vereinsvorstand
Vereinsvorstand
Beiträge: 5898
Registriert: 31.05.2011 10:30
Wohnort: Hannover

Re: Wir benötigen eine Option zur Verhinderung der ECM-Monst

#4 Ungelesener Beitrag von gemini8 » 02.03.2017 18:42

Wieso sollte eine RAM-Begrenzung auf zwei GB etwas helfen, wenn es um zehn GB geht, die der Rechner (frei) haben muß?
Wenn er nur zwei GB hat, bekommt er die Aufgaben nicht.
Und wenn die Aufgaben auch mit zwei GB laufen würden, würden keine zehn GB als notwendig angenommen.
Gruß, Jens
- - - - - -
Lowend-User und Teilzeit-Cruncher

Bild Bild Bild
Bild

Benutzeravatar
yoyo
Vereinsvorstand
Vereinsvorstand
Beiträge: 8045
Registriert: 17.12.2002 14:09
Wohnort: Berlin
Kontaktdaten:

Re: Wir benötigen eine Option zur Verhinderung der ECM-Monst

#5 Ungelesener Beitrag von yoyo » 02.03.2017 18:57

Die App hat einen Schalter mit der man den RAM Bedarf limitieren kann. Aber die läuft dann wesentlich länger.
HILF mit im Rechenkraft-WiKi, dies gibts zu tun.
Wiki - FAQ - Verein - Chat

Bild Bild

Benutzeravatar
[P3D] Crashtest
PDA-Benutzer
PDA-Benutzer
Beiträge: 45
Registriert: 31.07.2011 09:00

Re: Wir benötigen eine Option zur Verhinderung der ECM-Monst

#6 Ungelesener Beitrag von [P3D] Crashtest » 02.03.2017 19:26

Problem ist:

die meisten meiner Rechner haben entweder 12GB oder 16GB; einige sogar bis 32GB - weil 8 bis 16 Kerne.

Beim Saugen, dh. Server Scheduler Request, haben die Kisten gut 10 bis 30 GB frei; erhalten viele P2 Wuzen und fangen durchaus auch an mehrere solche Monster zu starten -> SWAP LAG!

Eine Begrenzung auf 2GB RAM pro WU würde auch nicht viel bringen - da hängen die Wuzen ewig im System und verstopfen dies
EPYC ?!? Irgend sowas mit EPYC hab ich auch, so mit 64 Kernen, 128 Threads und so :roll2:
Intel? Dat ist doch ein Hersteller von Netzwerkcontrollern :evil2: und auf der Platine ist so ein Intel Ding mit 10 Gigabit
Bild

ChristianB
Admin
Admin
Beiträge: 1920
Registriert: 23.02.2010 22:12

Re: Wir benötigen eine Option zur Verhinderung der ECM-Monst

#7 Ungelesener Beitrag von ChristianB » 03.03.2017 09:46

Ich erinnere mich dunkel das die Berechnung im Client, ob genug RAM beim start der Anwendungen zur Verfügung steht, in den aktuellen Versionen der 7.6er Serie abgeschaltet wurde (außer für VM apps). Die Begründung war in etwa so das Projekte oft nicht wissen wie viel RAM Ihre Anwendung benötigt und damit der Wert nicht zuverlässig ist. Das ist natürlich schade für Projekte die genau wissen wie viel RAM Ihre Anwendungen benötigen. Erst nachdem die Anwendungen gestartet sind wird dann alle Sekunde mal geschaut ob die Anwendung zu viel RAM verbraucht. Aber anscheinend auch nur für jede WU einzeln und nicht für alle zusammen.

Benutzeravatar
compalex
WU-Schieber
WU-Schieber
Beiträge: 1112
Registriert: 13.12.2016 17:54
Wohnort: Hockenheim

Re: Wir benötigen eine Option zur Verhinderung der ECM-Monst

#8 Ungelesener Beitrag von compalex » 03.03.2017 09:54

Wie schaut es den mit ECM allgemein einfach auf 1 WU zu begrenzen und erst mal nur die 3500WU s raus hauen, und danach wieder auf unbegrenzte zahl erhöhen. Wer mehr als eine Yoyo WU rechnen kann und will bekommt den Rest als EVO oder ORG usw.

Wie komme ich an diese ECMs mit 8GB dran? Würde gern welche rechnen auch wenn es länger dauert.
Gruß, Alex

Der Schlaue sucht nach einer Lösung, der dumme einen Schuldigen.

#1 Ryzen 3900X + RTX 4070 #2 Ryzen 3900X + GTX 1080
Bild

Benutzeravatar
yoyo
Vereinsvorstand
Vereinsvorstand
Beiträge: 8045
Registriert: 17.12.2002 14:09
Wohnort: Berlin
Kontaktdaten:

Re: Wir benötigen eine Option zur Verhinderung der ECM-Monst

#9 Ungelesener Beitrag von yoyo » 03.03.2017 10:03

Wenn ich mich recht entsinne kann ich die WU Anzahl nicht pro App auf 1 begrenzen.
Du bekommst die ECM nur wenn Du 10G freien RAM hast.
HILF mit im Rechenkraft-WiKi, dies gibts zu tun.
Wiki - FAQ - Verein - Chat

Bild Bild

Benutzeravatar
[P3D] Crashtest
PDA-Benutzer
PDA-Benutzer
Beiträge: 45
Registriert: 31.07.2011 09:00

Re: Wir benötigen eine Option zur Verhinderung der ECM-Monst

#10 Ungelesener Beitrag von [P3D] Crashtest » 03.03.2017 15:21

Tja wie gesagt, ein Rechner, etwa https://www.rechenkraft.net/yoyo/show_h ... tid=283303, hat 16GB RAM als 8Kerner - hat eigentlich immer so 3-12GB frei, daher erhält der solche bösen Wuzen - und je nach Scheduleranfrage starten dann mehre - und das Chaos ist perfekt !

Es muss eigentlich eine Lösung geben - und nein ECM abwählen ist keine Option.

Es sollte übrigens auch kein Problem darstellen die Wuzen in ein Subprojekt zu packen - BOINC ist es total egal ob yoyo@home ECM oder yoyo@home ECM BIG DINGs ein und die selbe Anwendung verwenden (ecmwrapper_700.02_windows_x86_64 und ecm70dev-svn2256-x64-core2).

Daher wäre es wirklich am einfachsten, yoyo@home bekommt ein weiteres "Subprojekt" nur für solche großen Probleme (rna@home hatte auch ähnliche Probleme) und beide ECM-Projekte verwenden die gleichen Anwendungen damit weniger Pflegeaufwand besteht.

Weitere Möglichkeit, man baut eine Auswahloption ein womit die Wuzen bei yoyo@home ecm einfach sperren kann.
EPYC ?!? Irgend sowas mit EPYC hab ich auch, so mit 64 Kernen, 128 Threads und so :roll2:
Intel? Dat ist doch ein Hersteller von Netzwerkcontrollern :evil2: und auf der Platine ist so ein Intel Ding mit 10 Gigabit
Bild

Tom_unoduetre
Team-Joker
Team-Joker
Beiträge: 320
Registriert: 03.08.2010 11:32
Wohnort: HH meine Perle

Re: Wir benötigen eine Option zur Verhinderung der ECM-Monst

#11 Ungelesener Beitrag von Tom_unoduetre » 03.03.2017 15:24

Macht das nicht der <max_concurrent>1</max_concurrent> Parameter in einer app_config.xml? Oder läuft dann immer nur eine ECM WU (auch von denen die nicht so viel RAM verwenden?)

Benutzeravatar
[P3D] Crashtest
PDA-Benutzer
PDA-Benutzer
Beiträge: 45
Registriert: 31.07.2011 09:00

Re: Wir benötigen eine Option zur Verhinderung der ECM-Monst

#12 Ungelesener Beitrag von [P3D] Crashtest » 03.03.2017 15:27

Nee dann läuft nur 1 yoyo@home ECM Wuze (egal welche Sorte) und die 7 anderen Keren frieren !!!
EPYC ?!? Irgend sowas mit EPYC hab ich auch, so mit 64 Kernen, 128 Threads und so :roll2:
Intel? Dat ist doch ein Hersteller von Netzwerkcontrollern :evil2: und auf der Platine ist so ein Intel Ding mit 10 Gigabit
Bild

Antworten

Zurück zu „Fehler, Wünsche / Bugs, Wishes“