offener Betatest für neue cmsearch VM Anwendung

[Matthias Lehmkuhl]

Das Verhalten mit dem Sprung von 0% auf 98,765% nach 10 Minuten Laufzeit (1. Checkpoint) tritt bei mir seit dem Update nach cmsearch VM (VirtualBox) 1.03 (vbox64) auf.

[ClaudiusD]

Ach das soll garnicht? Bei mir stehts auch bei 98,7650 % (falls das irgendwie von Bedeutung ist)

[Crystal Pellet]

Ich erkläre den Test hiermit für abgeschloßen. Es sind noch ein paar Aufgaben unterwegs, unter anderem auch 5 konvertierte Langläufer (6330530, 6330531, 6330532, 6330533, 6330534). Wer eine davon hat kann die ruhig weiterrechnen lassen. Leider funktioniert für diese 5 die automatische Deadlineverlängerung nicht. Das werde ich aber selbst im Auge behalten.

Task 14919681 bitte verlängern:

14919681 6330531 18 Sep 2013, 11:48:34 UTC 22 Oct 2013, 11:48:34 UTC In progress --- --- --- cmsearch VM (VirtualBox) 1.0.2 v1.01 (vbox64)

[ChristianB]

ist verlängert

Das mit den 98,765% sollte eigentlich nicht gleich am Anfang passieren, wenn doch ist aber auch nicht so schlimm. Der Wert wird recht umständlich aus den forecasts ermittelt und ist recht fehleranfällig. Wenn jemand dsehr gut in Bash Programmierung ist kann er ja gerne mal einen Blick darauf werfen.

[Beorn]

Weitere Beobachtungen:

1. Da hier vor allem von Problemen mit AMD CPUs der K10 Generation berichtet wurde, habe ich gestern die erste Arbeit für meinen Phenom II X6 (Link) geholt. Ich bekam eine halbe Arche: 1 Pferd, 1 Hund, 1 Fadenwurm, 1 Gras und 1 Darmbakterium Alle 5 VM wurden nach dem Download gestartet, weitere WU (außer WUProp) waren nicht in Bearbeitung. Der Rechner wurde in der Bedienung merklich zäher, war aber noch ordentlich bedienbar. RAM-Auslastung lag bei ca. 6,9 von 8 GB, die CPU-Auslastung beschränkte sich im Wesentlichen auf die 5 VM, d.h. stieg nicht merklich über 5/6tel (83%). Ich habe nach rund 40 Min. den BOINC-Manager inkl. Aufgaben beendet. Die versch. VM-Prozesse benötigten ca. eine halbe Minute bis sie beendet waren (also sehr lange). Auffällig: der Prozess VBoxSVC.exe wurde auch nach einigen Minuten nicht beendet. Nach einem Kaltstart des PC wurde der BOINC-Manager manuell wieder gestartet. Lt. Taskmanager wurden die fünf Wrapper und die fünf headless-VM einer nach dem anderen gestartet (Wrapper 1, VM 1, Wrapper 2, VM 2, u.s.w.), das dauerte rund zwei Minuten (also ebenfalls sehr lange). Dabei trat jedoch ein Fehler auf, der im BOINC-Manager zum Abbruch der fünf WU mit Berechnungsfehler führte. Die fünf VM liefen mit voller CPU-Last weiter. Als die abgebrochenen WU bereits zurückgemeldet waren, konnte ich die noch laufenden VM regulär über die (erst dann gestartete) Oracle VM VirtualBox GUI schließen.

Warum die AMD K10 bei mehreren parallelen VM solche Probleme machen, die bei Intel i7 oder AMD FX anscheinend nicht auftreten, erschließt sich mir nicht.

2. Sowohl auf dem i7 (Link) als auch auf dem FX-8350 (Link) kam es wieder zum starken Anwachsen der stderr, ausgelöst durch einen Fehler nach einigen Stunden Rechenzeit. Der Fehler tritt bei mehreren parallelen VM nicht zur gleichen Uhrzeit, sondern nacheinander auf. Bsp. FX-8350 (die normalen Snapshotmeldungen dazwischen sind herausgelöscht):

VM #1
2013-10-21 19:38:41 (3956): Status Report: Job Duration: '0.000000', Elapsed Time: '48976.126680', Network Bytes Sent (Total): '0.000000', Network Bytes Received (Total): '0.000000'
(...)
2013-10-21 20:57:02 (3956): Error in get vm log for VM: 1

VM #2
2013-10-21 19:42:55 (2404): Status Report: Job Duration: '0.000000', Elapsed Time: '49004.344259', Network Bytes Sent (Total): '0.000000', Network Bytes Received (Total): '0.000000'
(...)
2013-10-21 21:01:05 (2404): Error in get vm log for VM: -182

VM #3
2013-10-21 19:55:04 (156): Status Report: Job Duration: '0.000000', Elapsed Time: '49015.984241', Network Bytes Sent (Total): '0.000000', Network Bytes Received (Total): '0.000000'
(...)
2013-10-21 21:13:03 (156): Error in get vm log for VM: -182

VM #4
2013-10-21 20:08:05 (4064): Status Report: Job Duration: '0.000000', Elapsed Time: '48893.320164', Network Bytes Sent (Total): '0.000000', Network Bytes Received (Total): '0.000000'
(...)
2013-10-21 21:25:42 (4064): Error in get vm log for VM: 1


Der danach folgende stderr-Output entspricht dem bereits weiter oben beschriebenen. Ich werde also im besten Falle in den nächsten Wochen alle paar Tage Textdateien löschen dürfen.

Angesichts der hohen Anzahl an Fehlern im Moment: Wäre es nicht vllt. doch sinnvoll serverseitig einen Standardwert von max. 1 VM gleichzeitig vorzugeben? Wäre das dann über den Benutzeraccount veränderbar? Dann könnte man über die Venues (standard, home, school, work) immerhin vier versch. Möglichkeiten pro Benutzer einstellen. Das sollte für die meisten Rechnerflotten doch reichen, oder? Und der noch unwissende Benutzer fährt halt erst mal auf Nummer sicher.

[Michael H.W. Weber]

Die vom Manager angezeigte verbleibende Laufzeit errechnet sich aus den FLOPS Schätzungen des Servers.

Diese sind bereits bei der VM Version völlg falsch im Vergleich zur bisherigen Standard CMSEARCH App und können unter keinen Umständen den auf dem Server ermittelten Werten entsprechen. Beispiel: Ich erhielt etliche Introns mit Schimpanse, Reis, usw. Das sind DEFINITIV XXL WUs mit Laufzeiten über 1000 Std. auf meiner Kiste. Angegeben wurden entweder ca. 40 Std. nach Donwload ODER es wurde tatsächlich initial eine lange ("korrekte" bzw. gewohnte) Laufzeit angegeben, die dann nach Neustart des Rechners runterkorrigiert wurde, nachdem dann die Fortschrittsanzeige den (grundsätzlich falschen) 98,765% Standardwert anzeigte.

Die Fortschrittsanzeige errechnet sich aus den FLOPS Schätzungen auf dem jeweiligen Rechner und wird bei 98,765% gehalten falls zu niedrig geschätzt wurde.

Die Anzeige zeigt nach Download grundsätzlich 0.000% an und verharrt dort, bis entweder die WU pausiert oder die Maschine neu gestartet wird. Dann springt sie grundsätzlich auf 98,765%, wo sie bleibt.

@Plonk: Wird ein Teil bei Dir möglicherweise ausgelagert?

Auffällig: der Prozess VBoxSVC.exe wurde auch nach einigen Minuten nicht beendet.

Das kann ich für meinen Phenom II bestätigen.

Michael.

[René]

Hallo!

Die VM zeigt folgende Angabe:

Runtime error opening 'C:\ProgramData\BOINC\slots\5\boinc_b7df345211909b12\boinc_b7df345211909b12.vbox' for reading: -103 (Path not found.).
D:\tinderbox\win-4.2\src\VBox\Main\src-server\MachineImpl.cpp[725] (long __cdecl Machine::registeredInit(void)).
Fehlercode:
E_FAIL (0x80004005)
Komponente:
Machine
Interface:
IMachine {22781af3-1c96-4126-9edf-67a020e0e858}

Sie Hatte auch bei der letzten Aufgabe nicht zwischen gespeichert, sondern nach Neustart wieder bei 0 % begonnen. Was mache ich falsch?

Danke René.
Sie hatte auch bei der letzten Anwendung

[René]

Entschuldigung, vielleicht ist das auch noch wichtig:

<?xml version="1.0"?>

<!-- ** DO NOT EDIT THIS FILE. ** If you make changes to this file while any VirtualBox related application ** is running, your changes will be overwritten later, without taking effect. ** Use VBoxManage or the VirtualBox Manager GUI to make changes. -->
-<VirtualBox version="1.12-windows" xmlns="http://www.innotek.de/VirtualBox-settin ... raDataItem value="general,preview,system,display,storage,audio,network,usb,sharedFolders,description" name="GUI/DetailsPageBoxes"/><ExtraDataItem value="m=bf198ee3-6b82-4e21-9f9e-3f3aea0e315c" name="GUI/GroupDefinitions/"/><ExtraDataItem value="false" name="GUI/HostScreenSaverDisabled"/><ExtraDataItem value="true" name="GUI/Input/AutoCapture"/><ExtraDataItem value="163" name="GUI/Input/HostKeyCombination"/><ExtraDataItem value="m=boinc_b7df345211909b12" name="GUI/LastItemSelected"/><ExtraDataItem value="127,94,770,550" name="GUI/LastWindowPosition"/><ExtraDataItem value="198,567" name="GUI/SplitterSizes"/><ExtraDataItem value="false" name="GUI/TrayIcon/Enabled"/><ExtraDataItem value="5" name="GUI/UpdateCheckCount"/><ExtraDataItem value="1 d, 2013-10-23, stable, 4.2.16" name="GUI/UpdateDate"/></ExtraData>-<MachineRegistry><MachineEntry src="C:\ProgramData\BOINC\slots\5\boinc_b7df345211909b12\boinc_b7df345211909b12.vbox" uuid="{bf198ee3-6b82-4e21-9f9e-3f3aea0e315c}"/></MachineRegistry>-<MediaRegistry><HardDisks/><DVDImages/><FloppyImages/></MediaRegistry>-<NetserviceRegistry>-<DHCPServers><DHCPServer enabled="1" upperIP="192.168.56.254" lowerIP="192.168.56.101" networkMask="255.255.255.0" IPAddress="192.168.56.100" networkName="HostInterfaceNetworking-VirtualBox Host-Only Ethernet Adapter"/></DHCPServers></NetserviceRegistry><SystemProperties LogHistoryCount="3" webServiceAuthLibrary="VBoxAuth" VRDEAuthLibrary="VBoxAuth" defaultHardDiskFormat="VDI" defaultMachineFolder="C:\Users\Agando\VirtualBox VMs"/><USBDeviceFilters/></Global></VirtualBox>

VirtualBox COM Server 4.2.16 r86992 win.amd64 (Jul 4 2013 15:51:44) release log
00:00:00.031000 main Log opened 2013-10-22T13:34:21.657561300Z
00:00:00.031000 main OS Product: Windows 7
00:00:00.031000 main OS Release: 6.1.7601
00:00:00.031000 main OS Service Pack: 1
00:00:00.125000 main DMI Product Name: A960G+
00:00:00.140000 main DMI Product Version:
00:00:00.140000 main Host RAM: 7935MB total, 5786MB available
00:00:00.140000 main Executable: C:\Program Files\Oracle\VirtualBox\VBoxSVC.exe
00:00:00.140000 main Process ID: 3696
00:00:00.140000 main Package type: WINDOWS_64BITS_GENERIC
00:00:00.140000 Loading settings file "C:\Users\Agando/.VirtualBox\VirtualBox.xml" with version "1.12-windows"
00:00:00.172000 usbLibDevStrDrEntryGet: DeviceIoControl 1 fail winEr (31)
00:00:01.763000 VDInit finished
00:00:01.763000 ERROR [COM]: aRC=E_FAIL (0x80004005) aIID={22781af3-1c96-4126-9edf-67a020e0e858} aComponent={Machine} aText={Runtime error opening 'C:\ProgramData\BOINC\slots\5\boinc_b7df345211909b12\boinc_b7df345211909b12.vbox' for reading: -103 (Path not found.).
00:00:01.763000 D:\tinderbox\win-4.2\src\VBox\Main\src-server\MachineImpl.cpp[725] (long __cdecl Machine::registeredInit(void))}, preserve=false
00:00:02.434000 ERROR [COM]: aRC=E_FAIL (0x80004005) aIID={22781af3-1c96-4126-9edf-67a020e0e858} aComponent={Machine} aText={Runtime error opening 'C:\ProgramData\BOINC\slots\5\boinc_b7df345211909b12\boinc_b7df345211909b12.vbox' for reading: -103 (Path not found.).
00:00:02.434000 D:\tinderbox\win-4.2\src\VBox\Main\src-server\MachineImpl.cpp[725] (long __cdecl Machine::registeredInit(void))}, preserve=false
00:00:02.434000 ERROR [COM]: aRC=E_FAIL (0x80004005) aIID={22781af3-1c96-4126-9edf-67a020e0e858} aComponent={Machine} aText={Runtime error opening 'C:\ProgramData\BOINC\slots\5\boinc_b7df345211909b12\boinc_b7df345211909b12.vbox' for reading: -103 (Path not found.).
00:00:02.434000 D:\tinderbox\win-4.2\src\VBox\Main\src-server\MachineImpl.cpp[725] (long __cdecl Machine::registeredInit(void))}, preserve=false
00:00:02.434000 ERROR [COM]: aRC=E_FAIL (0x80004005) aIID={22781af3-1c96-4126-9edf-67a020e0e858} aComponent={Machine} aText={Runtime error opening 'C:\ProgramData\BOINC\slots\5\boinc_b7df345211909b12\boinc_b7df345211909b12.vbox' for reading: -103 (Path not found.).
00:00:02.434000 D:\tinderbox\win-4.2\src\VBox\Main\src-server\MachineImpl.cpp[725] (long __cdecl Machine::registeredInit(void))}, preserve=false
00:00:02.449000 ERROR [COM]: aRC=E_ACCESSDENIED (0x80070005) aIID={22781af3-1c96-4126-9edf-67a020e0e858} aComponent={Machine} aText={The object functionality is limited}, preserve=false
00:00:02.449000 ERROR [COM]: aRC=VBOX_E_OBJECT_NOT_FOUND (0x80bb0001) aIID={3b2f08eb-b810-4715-bee0-bb06b9880ad2} aComponent={VirtualBox} aText={Could not find a registered machine named 'boinc_b7df345211909b12'}, preserve=false

Dies sind die Angaben in der VM.

René

[ClaudiusD]

@Plonk: Wird ein Teil bei Dir möglicherweise ausgelagert?

Wie meinen?

[Norman]

hab mal testweise auf 8 cores umgestellt und beim boincstart hats mir dann 5 WU zerballert
bin wieder zurück zu 4 cores.

http://www.rnaworld.de/rnaworld/result. ... d=14921055
http://www.rnaworld.de/rnaworld/result. ... d=14920987
http://www.rnaworld.de/rnaworld/result. ... d=14920965
http://www.rnaworld.de/rnaworld/result. ... d=14920960
http://www.rnaworld.de/rnaworld/result. ... d=14920735

muss man eigentlich wieder verlängerung beantragen falls meine restlichen 4 introns überleben sollten oder geht das jetzt automatisch ?

Norman

[ChristianB]

Die vom Manager angezeigte verbleibende Laufzeit errechnet sich aus den FLOPS Schätzungen des Servers.

Diese sind bereits bei der VM Version völlg falsch im Vergleich zur bisherigen Standard CMSEARCH App und können unter keinen Umständen den auf dem Server ermittelten Werten entsprechen. Beispiel: Ich erhielt etliche Introns mit Schimpanse, Reis, usw. Das sind DEFINITIV XXL WUs mit Laufzeiten über 1000 Std. auf meiner Kiste. Angegeben wurden entweder ca. 40 Std. nach Donwload ODER es wurde tatsächlich initial eine lange ("korrekte" bzw. gewohnte) Laufzeit angegeben, die dann nach Neustart des Rechners runterkorrigiert wurde, nachdem dann die Fortschrittsanzeige den (grundsätzlich falschen) 98,765% Standardwert anzeigte.

Für die aktuellen von XXL konvertierten VM Jobs habe ich keinen neuen Forecast gemacht sondern den Wert einfach kopiert von daher scheint es eher ein Clientproblem zu sein. Es kann natürlich sein das der Fortschrittswert da mit reinspielt. Bei den kurzen Testunits hat das mit dem Fortschritt ja sehr gut funktioniert, ich habe jetzt noch nicht geschaut woran es genau liegt das das jetzt nicht mehr so gut funktioniert.

Die Anzeige zeigt nach Download grundsätzlich 0.000% an und verharrt dort, bis entweder die WU pausiert oder die Maschine neu gestartet wird. Dann springt sie grundsätzlich auf 98,765%, wo sie bleibt.

Die Anzeige wird nur dann aktualisiert wenn der vboxwrapper auch was auf der Festplatte macht, daher kann es durchaus eine Weile zwischen den Updates dauern. Wie schon gesagt sollte er eigentlich nicht gleich auf 98,765% springen aber ich kann ja schlecht eine Prozentzahl auswürfeln und anzeigen.

@Rene: Ich kann mit den geposteten Logs leider nichts anfangen. Für uns ist nur der Inhalt der stderr.txt aus dem slot-Verzeichnis interessant (bei dir: C:\ProgramData\BOINC\slots\5) da steht dann auch ein Teil des VM-Log drin wenn das wichtig ist.

@Beorn: Ich kann serverseitig den Wert für gleichzeitige cmsearch VM nur fest einstellen und der ist dann für alle gleich und kann auch nicht geändert werden. Ich weiß jetzt nicht ob man den Wert mit einer lokalen app_config.xml überschreiben kann gehe aber mal nicht davon aus. Über die Einstellungen (auch projektspezifisch) können wir da leider nichts machen weil der Client das nicht unterstützt.

@Norman: Die Automatik geht wieder, nur die 5 vom Anfang müssen per Hand verlängert werden.

[Norman]

Hat jemand auch das "problem" mit mehreren gestarteten vbheadless.exe obwohl z.b. nur 4 WU am werkeln sind.
ich beende dazu den boinc-client und schiesse die CPU-fressenden vbheadless im taskmanager einfach ab. das war jetzt das 2. mal.
woher kommt das ?