offener Betatest für neue cmsearch VM Anwendung

Alles zum Projekt RNA World
Nachricht
Autor
Matthias Lehmkuhl
Prozessor-Polier
Prozessor-Polier
Beiträge: 125
Registriert: 12.03.2008 20:42

Re: offener Betatest für neue cmsearch VM Anwendung

#265 Ungelesener Beitrag von Matthias Lehmkuhl » 08.11.2013 14:34

Hallo,
ich hatte auch wieder einen false negative. (CPU Zeit 322,021 sec) :(
http://www.rnaworld.de/rnaworld/result. ... d=14920999
Der Wrapper meinte, die VM läuft nicht mehr. War aber nicht der Fall.
cmsearch VM (VirtualBox) 1.0.2 v1.03 (vbox64)

3 WUs habe ich noch am Laufen.

Anderes Thema:
Wenn ich ein Projekt auf NNW setze, werden auch die automatischen Trickles nicht (mehr) ans Projekt gesandt. Eventuell werden ja deshalb die WUs nicht automatisch verlängert.

Ich habe das Projekt momentan auf NNW.
Bei mir sah es so aus, das die Verlängerung nach einem Aktualisieren durch user request erfolgt ist.
Matthias

Bild - Bild

ChristianB
Admin
Admin
Beiträge: 1920
Registriert: 23.02.2010 22:12

Re: offener Betatest für neue cmsearch VM Anwendung

#266 Ungelesener Beitrag von ChristianB » 08.11.2013 15:10

Es gibt demnächst eine neue vboxwrapper Version die ich auf den Server bringe und die soll das Problem mit den Abbrüchen beheben. Auch werden wir etwas mehr Informationen bezüglich der Trickles bekommen welche jetzt mit den Zeitpunkten für die Checkpoints synchronisiert sind. Könntest du mal NNW für einen Tag ausschalten, dann kann ich schauen ob das auch ein möglicher Grund ist. Bis jetzt kamen immer noch keine Trickles.

Edit: Die Ursache für das ausbleiben der Trickles ist gefunden. Es ist ein Fehler im vboxwrapper der demnächst behoben wird, sobald eine neue Version zur Verfügung steht wird es wieder ein paar Aufgaben geben.

Matthias Lehmkuhl
Prozessor-Polier
Prozessor-Polier
Beiträge: 125
Registriert: 12.03.2008 20:42

Re: offener Betatest für neue cmsearch VM Anwendung

#267 Ungelesener Beitrag von Matthias Lehmkuhl » 10.11.2013 18:36

Hatte gestern schon die beiden Rechner wieder auf NW zurückgestellt. Konnte leider erst jetzt die Rückmeldung schreiben. :wink:

Dann warten wir mal auf den neuen vboxwrapper zum weiteren testen. :D
Bin wieder mit dabei. :wave:

Bisher laufen die 2 aktiven WUs noch, das dritte muss warten, weil der benötigte Speicher auf dem Rechner nicht reicht.
Matthias

Bild - Bild

ChristianB
Admin
Admin
Beiträge: 1920
Registriert: 23.02.2010 22:12

Re: offener Betatest für neue cmsearch VM Anwendung

#268 Ungelesener Beitrag von ChristianB » 11.11.2013 13:07

Ich habe gerade einen neuen Schwung Testaufgaben erzeugt. Die Laufzeit pro Aufgabe beträgt um die 10h (mit ein paar Ausnahmen). Bitte ruhig mal ausprobieren wie sich ein Neustart auswirkt. Viele der vorherigen Fehler sind hoffentlich behoben. Es wird zur Zeit immer nur eine RNA World VM gleichzeitig gestartet (Serverseitig erzwungen).

Matthias Lehmkuhl
Prozessor-Polier
Prozessor-Polier
Beiträge: 125
Registriert: 12.03.2008 20:42

Re: offener Betatest für neue cmsearch VM Anwendung

#269 Ungelesener Beitrag von Matthias Lehmkuhl » 11.11.2013 17:09

Pünktlich zum neuen Test hat wieder ein Result den Boinc Neustart nicht überlebt. :cry2: Schade
http://www.rnaworld.de/rnaworld/result. ... d=14921058
CPU Zeit 475,102 Sek. :uhoh:

Dafür konnte ich jetzt aber mit 2 Rechnern wieder an den Start gehen. :wave:
Habe je ein Result bekommen.

Mal sehen wie dieser vboxwrapper sich jetzt schlägt. :wink:
Matthias

Bild - Bild

bbmz
Mikrocruncher
Mikrocruncher
Beiträge: 30
Registriert: 26.09.2012 20:29

Re: offener Betatest für neue cmsearch VM Anwendung

#270 Ungelesener Beitrag von bbmz » 11.11.2013 18:13

Auch wenn es sich noch um eine Aufgaben aus dem vorherigen Schwung handelt, würde mich interessieren, ob dieser Fehler (s. hier ) schon bekannt ist. Für mich sieht es so aus, als ob neben dem Fehler der "blockierten VM-Dateien" noch andere Probleme vorhanden sind...

P.S.: Die WU lief bis heute problemlos und hat auch mehrere PC-Neustarts vorher überlebt.

ChristianB
Admin
Admin
Beiträge: 1920
Registriert: 23.02.2010 22:12

Re: offener Betatest für neue cmsearch VM Anwendung

#271 Ungelesener Beitrag von ChristianB » 11.11.2013 19:09

Laut Aussage von Rom Walton sind das alles Fehler mit einer Ursache die in dem aktuellen vboxwrapper behoben sind. Für Windows gibt es noch etwas aktuelleres aber das betrifft wohl hauptsächlich die Serviceinstallation. Schauen wir erstmal wie sich die aktuelle Version schlägt, Michael hat schon einen neuen Fehler gefunden der vorher nicht aufgefallen ist.

Matthias Lehmkuhl
Prozessor-Polier
Prozessor-Polier
Beiträge: 125
Registriert: 12.03.2008 20:42

Re: offener Betatest für neue cmsearch VM Anwendung

#272 Ungelesener Beitrag von Matthias Lehmkuhl » 11.11.2013 22:48

mein erstes Result ist schon durch. :D
http://www.rnaworld.de/rnaworld/result. ... d=14921855
3 Neustarts hat es überlebt.
Progress bar arbeitet auch wieder normal.

Leider ist die BoincTasks Speicheranzeige mit Boinc 7.2.28 für den vboxwrapper nicht mehr brauchbar, hier wird nur noch der max. Speicher für die VM übermittelt. Das liegt aber an Boinc 7.2.28, bis 7.2.26 wurde noch der richtige Wert berichtet.

Mein Wingman hat's auch schon erfolgreich geschafft.
Hier könntest Du prüfen, ob der "Status Report: Trickle-Up Event" angekommen ist, mein Result war vor dem "Trickle-Up Event" beendet.
Matthias

Bild - Bild

ChristianB
Admin
Admin
Beiträge: 1920
Registriert: 23.02.2010 22:12

Re: offener Betatest für neue cmsearch VM Anwendung

#273 Ungelesener Beitrag von ChristianB » 11.11.2013 23:14

Die "Trickle-Up Event"s funktionieren. Da sind schon viele auf dem Server aufgeschlagen und werden ordentlich bearbeitet. Die Fehlerrate ist bisher recht übersichtlich wenn man mal die Fehler wegen falschen BIOS-Einstellungen abzieht. Besser als vorher aber immer noch nicht ideal.

Beorn

Re: offener Betatest für neue cmsearch VM Anwendung

#274 Ungelesener Beitrag von Beorn » 12.11.2013 06:37

Matthias Lehmkuhl hat geschrieben:Leider ist die BoincTasks Speicheranzeige mit Boinc 7.2.28 für den vboxwrapper nicht mehr brauchbar, hier wird nur noch der max. Speicher für die VM übermittelt.
Hier bin ich anderer Meinung. Zuvor wurde ja nur der auch im Windows-Taskmanager ersichtliche Speicherbedarf der Virtual Box Prozesse angezeigt, aber nicht der tatsächliche Speicherbedarf der VM. Jetzt wird zumindest die Speicherbelegung angezeigt, welche der BOINC Scheduler (auf dem Client) seit Version 7.2.24 verwendet um zu berechnen welche Prozesse gestartet werden können. Insofern ein Fortschritt und bessere Transparenz. :good:

Natürlich wäre es am Besten wenn der tatsächliche Gesamtspeicherbedarf der VM angezeigt werden könnte. Vermutlich kann BOINC diesen aber nicht erkennen, denn sonst könnte man ihn ja auch zum Scheduling benutzen.

Matthias Lehmkuhl
Prozessor-Polier
Prozessor-Polier
Beiträge: 125
Registriert: 12.03.2008 20:42

Re: offener Betatest für neue cmsearch VM Anwendung

#275 Ungelesener Beitrag von Matthias Lehmkuhl » 12.11.2013 09:29

Beorn hat geschrieben:
Matthias Lehmkuhl hat geschrieben:Leider ist die BoincTasks Speicheranzeige mit Boinc 7.2.28 für den vboxwrapper nicht mehr brauchbar, hier wird nur noch der max. Speicher für die VM übermittelt.
Hier bin ich anderer Meinung. Zuvor wurde ja nur der auch im Windows-Taskmanager ersichtliche Speicherbedarf der Virtual Box Prozesse angezeigt, aber nicht der tatsächliche Speicherbedarf der VM. Jetzt wird zumindest die Speicherbelegung angezeigt, welche der BOINC Scheduler (auf dem Client) seit Version 7.2.24 verwendet um zu berechnen welche Prozesse gestartet werden können. Insofern ein Fortschritt und bessere Transparenz. :good:

Natürlich wäre es am Besten wenn der tatsächliche Gesamtspeicherbedarf der VM angezeigt werden könnte. Vermutlich kann BOINC diesen aber nicht erkennen, denn sonst könnte man ihn ja auch zum Scheduling benutzen.
Es ist ja so, das der maximal Speicher den die VM nutzen kann per Settings vorgegeben ist. Dieses wird mit der aktuellen Boinc Version berichtet.
Für uns ist es aber interessanter, wie viel Speicher die VM tatsächlich maximal benötigt hat. In der Regel einen Bruchteil davon. Aktuell sehe ich im ProcessExplorer einen echten Speicherbedarf von weniger als 100 MB (Working Set) während des überwiegenden Teils der Laufzeit.
Bisher war es bei cmsearch immer so, das insbesondere bei den langlaufenden WU zum Ende der Berechnung sehr viel mehr Speicher genutzt wurde. Christian müsste wissen ob das immer noch so ist.
Dieses kann man jetzt nicht mehr nachvollziehen.

Ein ähnliches Verhalten tritt z.B. auch beim YOYO Projekt ECM auf, kurz vor dem Checkpointing steigt der Speicherbedarf drastisch.

Boinc sollte beide Werte kennen, da bin ich bei Dir.
Matthias

Bild - Bild

Beorn

Re: offener Betatest für neue cmsearch VM Anwendung

#276 Ungelesener Beitrag von Beorn » 12.11.2013 10:33

Matthias Lehmkuhl hat geschrieben:Aktuell sehe ich im ProcessExplorer einen echten Speicherbedarf von weniger als 100 MB (Working Set) während des überwiegenden Teils der Laufzeit.
Wenn Du den gesamten belegten Speicher analysierst, dürftest Du sehen dass die VM weitaus mehr belegt als jene < 100 MB. Siehe auch die von Jacob Klein in der Newssektion geposteten Links.
Matthias Lehmkuhl hat geschrieben:Bisher war es bei cmsearch immer so, das insbesondere bei den langlaufenden WU zum Ende der Berechnung sehr viel mehr Speicher genutzt wurde.
Da cmsearch hier auf einem Debian Linux innerhalb einer VM läuft ist nicht mehr nur der Speicherbedarf der App selbst relevant für Performance des Wirtssystems und BOINC-Scheduling. Ich bezweifle auch, dass man außerhalb der VM den genauen Speicherbedarf der App selbst noch nachvollziehen kann?

Zurück zu „RNA World Diskussionen (deutsch)“