offener Betatest für neue cmsearch VM Anwendung

[ChristianB]

Was bedeutet diese Fehlermeldung?

13.11.2013 12:36:13 | RNA World | Output file cmsvm_GA-p[BR-Lin64f]_2_Bacillus-amyloliquefaciens-FZB42_CP000560.cir.EMBL_RF00638_MIR159_1384171283_608_0_1 for task cmsvm_GA-p[BR-Lin64f]_2_Bacillus-amyloliquefaciens-FZB42_CP000560.cir.EMBL_RF00638_MIR159_1384171283_608_0 absent

Virtual machine 4.2.16

Die Meldung an sich bedeutet das keine Ergebnisdatei gefunden wurden. Das ist in deinem Fall auch klar weil die VM gar nicht gestartet wurde. Bei dir fehlt die Aktivierung der "AMD-v" Option im BIOS. Die genaue Fehlermeldung findet sich im vboxwrapper-Protkoll der Aufgabe. Es ist kein Projektreset notwendig.

[ChristianB]

Die workunit ist mit einem disk limit von 6000000000 (ca. 6GB) ausgestatet, wenn der erreicht ist bricht Boinc die WU mit obigem Fehler ab.
Wenn wir davon ausgehen, dass die Langläufer 4GB RAM belegen und bei einem Snapshopt auf die Platte geschrieben werden und dass während des snapshottens ja noch der vorherige snapshot auf der Platte liegt, dann müßten es mindestens 8GB disk limit sein. Hinzukommen ja noch die initialen Dateien der Workunit und zum Snashot kommen noch die Inhalte der Platte der VM. Daher würde ich das disk limit wohl eher auf 10GB setzen wollen.

yoyo

Da gebe ich dir recht. Ich hatte das ohne Taschenrechner berechnet Bei den alten WUs ist das auch gar nicht so schlimm, die müssen sowieso repariert werden damit der Fortschrittsbalken wieder richtig funktioniert. Ich werde für zukünftige Aufgaben das Limit auf 10GB setzen. Das Problem mit der sehr großen stderr.txt sollte mit den neuen Version eigentlich behoben sein.

[bbmz]

Auch diese Aufgaben 6330657, 6330656, 6330703, 6330652, sind gestern wegen der Größe der VM gescheitert ... schade um die 7 Millionen Sekunden Rechenzeit! Angesichts der fehlerhaften Einstellungen werde ich alle noch laufenden restlichen Aufgaben mit v1.03 jetzt abbrechen.

Vor einiger Zeit war zudem angekündigt worden, dass neben dem Checkpointing an einer Multithreading-Version gearbeitet werden soll - gibt es inzwischen detailliertere Informationen, wann damit zu rechnen ist?

[Norman]

ich denke man sollte die platzreservierung "fix" und großzügig einstellen (10GB+) und nicht "dynamisch", dass die VM direkt den benötigten platz zur verfügung hat und wenn nicht eben eine passende fehlermeldung erscheint.
das hat den vorteil wenn man mal filme oder irgendwelche daten hin und her kopiert und es fehlt der VM jetzt 200MB platz und deswegen platzt die WU, das wäre sehr schade gerade bei Introns.
heutige rechner verfügen doch meist über unmengen speichplatz und wenn da mal paar GB mehr für Boinc drauf gehen sollte kein weltuntergang sein, was vor 10 jahren noch unzumutbar gewesen ist.
so starten eben nur WU die auch im vorfeld genügend platz auf der kiste vorfinden und wenn nicht läuft die WU eben nicht an - basta.

Norman

[ChristianB]

Wenn ich die maximalen Platz zu groß ansetze dann wird die Aufgabe auch nur an Rechner verteilt die soviel zur Verfügung haben. Das würde bedeuten das bestimmte Rechner nicht beliefert werden. Die Allozierung von Plattenplatz funktioniert schon jetzt so ähnlich wie Norman das skizziert. Der Platz wird fix angegeben und wenn die Aufgabe den Platz überschreitet dann wird diese Abgebrochen. Das ist eine Sicherheitsmaßnahme damit eine fehlerhafte Aufgabe nicht die ganze Festplatte vollschreiben kann.

An Multithreading arbeitet zur Zeit meines Wissens nach keiner. Auch T4T sind wieder von einer MT-VM abgewichen und setzen auf eine Single-Threaded VM ähnlich wie wir. Worin die Probleme lagen kann ich allerdings nicht sagen. Auch muss wohl noch geklärt werden ob die MT-cmsearch Ergebnisse mit den Single-cmsearch Ergebnissen validiert werden können. Das hat wohl in der Vergangenheit nicht funktioniert.

[Michael H.W. Weber]

Vor einiger Zeit war zudem angekündigt worden, dass neben dem Checkpointing an einer Multithreading-Version gearbeitet werden soll - gibt es inzwischen detailliertere Informationen, wann damit zu rechnen ist?

An Multithreading arbeitet zur Zeit meines Wissens nach keiner... Worin die Probleme lagen kann ich allerdings nicht sagen. Auch muss wohl noch geklärt werden ob die MT-cmsearch Ergebnisse mit den Single-cmsearch Ergebnissen validiert werden können. Das hat wohl in der Vergangenheit nicht funktioniert.

MT läuft mit unseren aktuellen Apps aus technischen Gründen nicht (Validierungsproblem wegen einer CPU-kernabhängigen Zufallszahl) und läßt sich in diese Version deswegen auch nicht einbauen.

Die Science-Apps, die wir nutzen, liegen inzwischen aber in einer Version vor, die auf Basis unserer Rückmeldungen an den Originalentwickler MT erlaubt. Wir hatten zudem in einem "stand-alone" Ansatz mit den aktuellen Apps getestet, dass MT tatsächlich zumindest für einzelne Apps skaliert. Will heissen, dass konkret gesprochen 4 CMCALIBRATE WUs unter MT-Einsatz schneller fertig sind, als diese 4 WUs beim jetzigen ST-Ansatz. Für CMSEARCH scheint das allerdings nicht der Fall zu sein.

Dort wo keine Skalierung greift, ist es hinsichtlich Rechenleistung/Watt definitiv nicht sinnvoll, MT einzusetzen (man würde mehr Strom investieren für dasselbe Ergebnis). Es kann dennoch Sinn in anderer Hinsicht machen, wenn man beispielsweise eine extrem lange Rechenaufgabe auf einem Quadcore-System einfach mal in einem guten Vierteljahr statt in einem Jahr abgeliefert haben möchte und dafür bereit ist, etwas mehr Strom zu investieren.

Ich gehe davon aus, dass wir MT in einer kommenden RNA World Version einsetzen werden. Inwieweit uns die BOINC-Architektur dabei allerdings einen unerwarteten Strich durch die Rechnung machen könnte, das vermag ich momentan noch nicht einzuschätzen.
Ich denke aber schon, dass wir auch hier wieder Pionierideen an die Entwickler werden weitergeben können - so, wie es auf dem BOINC-Workshop 2009 in Barcelona mit dem von mir geforderten universellen, d.h. Science-App-unabhängigen Checkpoiting geschehen ist (also VM-Ansatz, wie zunächst vom CERN ausgearbeitet und dann vom BOINC-Team aufgegriffen).
Ob solche MT-WUs auch Checkpinting betreiben können, ist eine weitere Frage. Allerdings ist diese für uns insofern zumindest vorläufig sekundär, als die neue Version in den Standardanwendungen ohenhin eine ca. 100-fache Geschwindigkeitserhöhung zur Folge haben wird (die meisten XXL WUs sind keine Standardparametrisierungen!).

Michael.

[Beorn]

Freue mich ein weiteres, auf den ersten Blick gültiges Resultat vermelden zu können. Diese Wutze brauchte gut 150% der geschätzten Zeit auf dem Ref.-System sowie des Forecasts innerhalb der VM.

http://www.rnaworld.de/rnaworld/workuni ... id=6330753

@Dunuin: Jetzt liegt es an Dir, Flügelmann!

[Matthias Lehmkuhl]

Mein letztes v1.03 Result hat sich heute nach einem notwendigen Boinc Reboot leider auch verabschiedet.
http://www.rnaworld.de/rnaworld/result. ... d=14921150
Ich hatte die stderr.txt verschoben und leer neu angelegt.
Somit sind nur noch die aktuellen Einträge nach dem Reboot hoch geladen worden.
Beim vorletzten Boincclient beenden wurden in die stderr.txt auf einmal 1,2GB VBox Log Daten geschrieben.
Damit war die Datei auf einmal 1,5 GB groß.
Habe etwas länger benötigt um überhaupt ein Tool zu finden, mit dem die Datei geöffnet werden konnte.
gVim war ein gutes Tool.

Somit steht der Rechner wieder für neue Tests für dem VBoxWrapper bereit, wobei er das Prioritätsscheduling erst noch wieder abarbeiten muss.

[Michael H.W. Weber]

Hauptsache, die drückst jetzt mal auf "Project Reset", damit sicher die neuste App geladen wird.

Michael.

[ChristianB]

Der Projektreset ist nur für hartnäckge Fälle interessant. Für neue Aufgaben wird generell die neueste Version auf dem Server gewählt.

[Dunuin]

Wenn man die Anzahl der gleichzeitigen RNAWorld-Prozesse auf 1 begrenzen will, dann kann man ja bei sich im Projektverzeichnis unter "C:\ProgramData\BOINC\projects\www.rnaworld.de_rnaworld\" die Datei "app_config.xml" mit folgendem Inhalt erstellen:

Code: Alles auswählen

<app_config>
    <app>
        <name>cmsearch3</name> 
        <max_concurrent>1</max_concurrent> 
    </app> 
</app_config>

Was muss man denn da für "NAME_KURZ" eingeben?

[ChristianB]

Das sollte eigentlich schon passieren. Ich habe das entsprechend auf dem Server geändert. Ob das funktioniert konnte ich aber noch nicht herausfinden. Der kurzname für cmsearch VM ist "cmsearch3".