WUs sind da, aber doch nicht da... ? [gelöst]

Fehler und Wünsche zum Projekt yoyo@home
Bugs and wishes for the project yoyo@home
Nachricht
Autor
Benutzeravatar
Grubix
Prozessor-Polier
Prozessor-Polier
Beiträge: 103
Registriert: 27.08.2008 09:03

WUs sind da, aber doch nicht da... ? [gelöst]

#1 Ungelesener Beitrag von Grubix » 07.01.2010 12:26

Ich war lange am überlegen ob ich den Beitrag schreibe, ich will ja keinem unnötig Arbeit machen. Aber lieber einmal zu viel, als zu wenig geschrieben. Für das Projekt selber ist mein Anliegen auch sicherlich kein Problem. Trotzdem würde ich mir wegen meines schlechten Gewissens gerne eine "Absolution" abholen. :wink:

Aufgrund diverser Internetprobleme die bei mir liegen und auch längerfristig nicht geändert werden können, gehen mir WUs verloren. Meine Rechner haben also laut Internet WUs, die nie bei mir angekommen sind. An einem Beispiel wird das deutlicher: Dieser Rechner soll laut Abfrage eine Menge WUs haben, die tatsächlich nicht vorhanden sind. Im Moment liefert er WUs ab, die er am 4.1. bekommen hat. Alle unfertigen WUs die älter sind (z.B. vom 1.1.), liegen nicht auf dem Rechner, nie bekommen.

Ich weiß, nach Ablauf der Deadline werden die wieder ausgegeben. Aber bis zum 21.1. lungern die jetzt im Datenhimmel vor sich hin. Leider passiert mir das regelmäßig, sonst würde ich dazu gar nichts schreiben. Zum Glück nur beim Empfang von WUs, von mir zum Server sind noch nie fertig WUs verschwunden. Merkwürdig, dass es nur in einer Richtung passiert. :roll:

Ich vermute mal beim BOINC-Client kann ich nichts einstellen, damit mir die verschwundenen WUS nochmal zugesandt werden? Der Server müsste nämlich eigentlich wissen das ich die nicht habe, denn beim Anfordern neuer WUs habe ich gesehen, dass alle vorhandenen WUs dem Server mitgeteilt werden.

Bis denn dann, Grubix.
Zuletzt geändert von Grubix am 09.01.2010 11:44, insgesamt 1-mal geändert.

Benutzeravatar
yoyo
Vereinsvorstand
Vereinsvorstand
Beiträge: 8045
Registriert: 17.12.2002 14:09
Wohnort: Berlin
Kontaktdaten:

Re: WUs sind da, aber doch nicht da... ?

#2 Ungelesener Beitrag von yoyo » 07.01.2010 12:41

Mach dir mal keine Sorgen.
Das OGR Projekt läuft sicherlich noch 10 Jahre. Da ist es nicht schlimm, dass der Server erst am 21.1. mitbekommt, dass keine Results von Dir kommen und die wus dann erneut verschickt werden. Genau für solche Fälle gibts ja die Deadline und ich habe versucht die eben so zu setzen wie ich es im entsprechenden Subprojekt verkraften kann. Das ist bei OGR und EVO eben sehr lang.

Es gibt beim Server eine Einstellung resent_lost_results oder so ähnlich. Dein Boinc schickt bei jedem Request mit welche wus er hat und der Server sollte das dann mit seiner Liste vergleichen und verloren gegangene WUs erneut schicken. Geht das nur bei yoyo@home nicht und bei anderen Projekten funktioniert das?

Wenn das nicht geht kann es an 2 Dingen liegen.
a) Ich habe den Schalter nicht gesetzt, prüfe ich heute Abend mal.
b) Der Server ist so alt, dass er die Option noch nicht kennt.

yoyo
HILF mit im Rechenkraft-WiKi, dies gibts zu tun.
Wiki - FAQ - Verein - Chat

Bild Bild

Benutzeravatar
Grubix
Prozessor-Polier
Prozessor-Polier
Beiträge: 103
Registriert: 27.08.2008 09:03

Re: WUs sind da, aber doch nicht da... ?

#3 Ungelesener Beitrag von Grubix » 07.01.2010 13:11

Hallo Yoyo.
yoyo hat geschrieben:... ich habe versucht die eben so zu setzen wie ich es im entsprechenden Subprojekt verkraften kann.
Das war einer meiner Hintergedanken, denn diese "Löcherliste" wird auf deinem Server mit der Anzahl nicht zurückgemeldeten WUs sicherlich größer. Wenn die Quote also insgesamt nicht zu hoch ist, ist es ja OK.
yoyo hat geschrieben:Es gibt beim Server eine Einstellung resent_lost_results oder so ähnlich. Dein Boinc schickt bei jedem Request mit welche wus er hat und der Server sollte das dann mit seiner Liste vergleichen und verloren gegangene WUs erneut schicken. Geht das nur bei yoyo@home nicht und bei anderen Projekten funktioniert das?
Da musste ich jetzt ganz tief in die Outputfiles schauen, denn die Computer rechnen fast nur ORG. Das optimale Projekt für die PCs: lange WUs, lange Deadline, kleine Up/Download-Files. :good:
Also, sollte Yoyo mal nicht da sein, habe ich als Ausfallprojekt noch Enigma drauf. Und tatsächlich, dort konnte ich in den Logfiles Meldung der Art "Message from server: Resent lost result ..." finden. Demnach werden mir von Enigma die WUs nochmal zugesandt.
yoyo hat geschrieben:Wenn das nicht geht kann es an 2 Dingen liegen.
a) Ich habe den Schalter nicht gesetzt, prüfe ich heute Abend mal.
b) Der Server ist so alt, dass er die Option noch nicht kennt.
Ich habe danach gegoogelt, ab welcher Serverversion es geht weiß ich nicht genau. Ich habe aber gelesen, dass diese Option eine hohe Serverlast verursacht. Falls du es also für sinnvoll hältst es einzuschalten, sollte man das beobachten. Nur für mich brauchst du das aber nicht machen, ich habe meine Sünden gebeichtet und Absolution bekommen... :lol: :wink:

Danke für die Antwort, Grubix.

scsimodo
Vereinsmitglied
Vereinsmitglied
Beiträge: 1856
Registriert: 30.09.2005 19:33
Wohnort: Puchheim
Kontaktdaten:

Re: WUs sind da, aber doch nicht da... ?

#4 Ungelesener Beitrag von scsimodo » 07.01.2010 14:47

Grubix hat geschrieben:Dieser Rechner[/url] soll laut Abfrage eine Menge WUs haben, die tatsächlich nicht vorhanden sind. Im Moment liefert er WUs ab, die er am 4.1. bekommen hat.
Klingt nach dem sog. "Ghost-WU-Problem". Das hatte mich vor ca. 2-3 Jahren bei einigen Projekten auch schon ereilt. Kannst ja mal danach googeln, ich fürchte aber, das ist eines der ungelösten Boinc-Probleme. Tritt immer wieder mal auf aber kein Mensch weiss so recht warum und wieso. Wenn es nur ein geringer Prozentsatz ist, dann ignorier das einfach und nimm es wie ein Mann :D

Falls nicht, dann würde ich mal das Projekt wechseln und schauen, was da passiert...
Ich habe viel Geld für Alkohol, Weiber und schnelle Autos ausgegeben.
Den Rest hab’ ich einfach nur verprasst.

(George Best, britische Fußball-Legende)

Benutzeravatar
Grubix
Prozessor-Polier
Prozessor-Polier
Beiträge: 103
Registriert: 27.08.2008 09:03

Re: WUs sind da, aber doch nicht da... ?

#5 Ungelesener Beitrag von Grubix » 07.01.2010 15:48

scsimodo hat geschrieben:Klingt nach dem sog. "Ghost-WU-Problem" ... Kannst ja mal danach googeln...
Habe ich gemacht. Die Beschreibungen anderer User entsprechen dem, was bei mir passiert. Ich habe also ständig Geister auf meinen PCs, vielleicht sollte ich die daher "Sam 1", "Sam 2" usw. nennen. :lol:
Es wird auch immer wieder von Netzwerkproblemen berichtet, wie bei mir. Es fehlt bei BOINC wohl an einem richtigen Handshake, wie ich es aus den Antworten rausgelesen habe. Mein Rechner fordert Arbeit an, einen Moment später ist die Internetverbindung weg und ich bekomme die Antwort vom Server nicht mit. Für den Server sind die WUs aber raus. So kann ich das bei mir beobachten.
scsimodo hat geschrieben:Wenn es nur ein geringer Prozentsatz ist, dann ignorier das einfach und nimm es wie ein Mann :D
LOL, der war gut. Bild
scsimodo hat geschrieben:Falls nicht, dann würde ich mal das Projekt wechseln und schauen, was da passiert...
Wie gesagt, passiert auch bei Enigma. Liegt eben an der Internetverbindung, die ist bei diesen Rechnern etwas kompliziert. Ich werde versuchen das irgendwie zu verbessern. Zuhause habe ich keine Geister, da ist noch nie eine WU verloren gegangen.

Wenn es das Projekt bzw. den Server nicht stört (meine erste Sorge), ist das Problem auf meiner Seite letztendlich nur ein "optisches". Sieht halt blöd aus wenn am 21. in meiner Liste 30 unerledigte Aufgaben stehen. Aber dann werde ich Sache mit dem Mann machen. :P :wink:

Bis denn dann, Grubix.

Benutzeravatar
yoyo
Vereinsvorstand
Vereinsvorstand
Beiträge: 8045
Registriert: 17.12.2002 14:09
Wohnort: Berlin
Kontaktdaten:

Re: WUs sind da, aber doch nicht da... ?

#6 Ungelesener Beitrag von yoyo » 07.01.2010 16:33

Ich hab das resent_lost_results mal eingeschaltet.
yoyo
HILF mit im Rechenkraft-WiKi, dies gibts zu tun.
Wiki - FAQ - Verein - Chat

Bild Bild

Benutzeravatar
Grubix
Prozessor-Polier
Prozessor-Polier
Beiträge: 103
Registriert: 27.08.2008 09:03

Re: WUs sind da, aber doch nicht da... ?

#7 Ungelesener Beitrag von Grubix » 07.01.2010 17:04

Cool, Danke. :)

Ich kann dir leider erst am Samstag berichten was passiert, vorher werde ich die Rechner nicht sehen.

Benutzeravatar
yoyo
Vereinsvorstand
Vereinsvorstand
Beiträge: 8045
Registriert: 17.12.2002 14:09
Wohnort: Berlin
Kontaktdaten:

Re: WUs sind da, aber doch nicht da... ?

#8 Ungelesener Beitrag von yoyo » 07.01.2010 21:04

Ich vergaß noch zu sagen, dass ich die Deadline gern auch noch hochsetzen kann. Das wird erst gegen Ende des Projektes kritisch. Bis dahin ist es bei OGR aber noch eine Weil hin. Lediglich bei muon und ecm kann ich das nicht machen.
yoyo
HILF mit im Rechenkraft-WiKi, dies gibts zu tun.
Wiki - FAQ - Verein - Chat

Bild Bild

Benutzeravatar
Grubix
Prozessor-Polier
Prozessor-Polier
Beiträge: 103
Registriert: 27.08.2008 09:03

Re: WUs sind da, aber doch nicht da... ?

#9 Ungelesener Beitrag von Grubix » 08.01.2010 11:59

yoyo hat geschrieben:Ich vergaß noch zu sagen, dass ich die Deadline gern auch noch hochsetzen kann...
Ich komme mit der Deadline gut hin. Trotz meiner hohen Bunkereinstellung von 7-8 Tagen (habe ich wegen meiner Netzwerkprobleme so hoch eingestellt), liefere ich WUs nur selten nach mehr als 10 Tagen zurück. Meistens liege ich bei 6-7 Tagen, was recht gut der Bunkereinstellung entspricht. Damit habe ich die halbe Deadline als Puffer, das finde ich völlig ausreichend. Ich kann mich auch nicht daran erinnern eine WU mal nicht rechtzeitig geschafft zu haben.

Also für mich ist die Deadline in Ordnung, danke für dein Angebot. :)

------------------------

Übrigens, ich habe vorhin auf dem Server meine Hostliste durchgeschaut. Alle Ghost-WUs haben jetzt das Datum von heute. Ich würde sagen, da wurden reichlich Geister ausgetrieben. 8) Wenn ich heute Abend meine Rechner sehe, werden mir die verschwundenen WUs sicherlich alle angezeigt. Und der BOINC-Manager ist bestimmt schon in Panik (Modus) verfallen, bei so viel Arbeit. :lol: Ist aber kein Thema, das crunche ich alles weg.

Klasse Support, Danke. :good:

Benutzeravatar
Grubix
Prozessor-Polier
Prozessor-Polier
Beiträge: 103
Registriert: 27.08.2008 09:03

Re: WUs sind da, aber doch nicht da... ?

#10 Ungelesener Beitrag von Grubix » 09.01.2010 11:41

Hallo Yoyo,

es sah so aus wie ich schon vermutet habe, es hat wunderbar geklappt. :good:

Hier das Logfile eines Rechners:
08.01.2010 04:07:29 yoyo@home Sending scheduler request: To fetch work.
08.01.2010 04:07:29 yoyo@home Reporting 4 completed tasks, requesting new tasks
08.01.2010 04:09:34 yoyo@home Started upload of ogr_100103145004_7_0_1
08.01.2010 04:09:56 yoyo@home Temporarily failed upload of ogr_100103145004_7_0_1: connect() failed
08.01.2010 04:09:56 yoyo@home Backing off 1 min 0 sec on upload of ogr_100103145004_7_0_1
08.01.2010 04:14:16 yoyo@home Scheduler request completed: got 28 new tasks
08.01.2010 04:14:16 yoyo@home Message from server: Resent lost result ogr_091231132003_23_0
08.01.2010 04:14:16 yoyo@home Message from server: Resent lost result ogr_091231132003_26_0
08.01.2010 04:14:16 yoyo@home Message from server: Resent lost result ogr_091231132003_29_0
08.01.2010 04:14:16 yoyo@home Message from server: Resent lost result ogr_091231132003_34_0
08.01.2010 04:14:16 yoyo@home Message from server: Resent lost result ogr_091231132003_39_0
08.01.2010 04:14:16 yoyo@home Message from server: Resent lost result ogr_091231132003_40_0
08.01.2010 04:14:16 yoyo@home Message from server: Resent lost result ogr_091231132003_45_0
08.01.2010 04:14:16 yoyo@home Message from server: Resent lost result ogr_091231132003_52_0
08.01.2010 04:14:16 yoyo@home Message from server: Resent lost result ogr_091231132003_55_0
08.01.2010 04:14:16 yoyo@home Message from server: Resent lost result ogr_091231132003_67_0
08.01.2010 04:14:16 yoyo@home Message from server: Resent lost result ogr_091231132003_74_0
08.01.2010 04:14:16 yoyo@home Message from server: Resent lost result ogr_091231132003_76_0
08.01.2010 04:14:16 yoyo@home Message from server: Resent lost result ogr_091231132003_77_0
08.01.2010 04:14:16 yoyo@home Message from server: Resent lost result ogr_091231132003_91_0
08.01.2010 04:14:16 yoyo@home Message from server: Resent lost result ogr_091231132003_96_0
08.01.2010 04:14:16 yoyo@home Message from server: Resent lost result ogr_091231150004_6_0
08.01.2010 04:14:16 yoyo@home Message from server: Resent lost result ogr_091231150004_9_0
08.01.2010 04:14:16 yoyo@home Message from server: Resent lost result ogr_091231150004_11_0
08.01.2010 04:14:16 yoyo@home Message from server: Resent lost result ogr_091231150004_12_0
08.01.2010 04:14:16 yoyo@home Message from server: Resent lost result ogr_091231150004_15_0
08.01.2010 04:14:16 yoyo@home Message from server: Resent lost result ogr_091231150004_18_0
08.01.2010 04:14:16 yoyo@home Message from server: Resent lost result ogr_091231150004_19_0
08.01.2010 04:14:16 yoyo@home Message from server: Resent lost result ogr_091231150004_20_0
08.01.2010 04:14:16 yoyo@home Message from server: Resent lost result ogr_091231150004_21_0
08.01.2010 04:14:16 yoyo@home Message from server: Resent lost result ogr_091231150004_22_0
08.01.2010 04:14:16 yoyo@home Message from server: Resent lost result ogr_091231150004_23_0
08.01.2010 04:14:16 yoyo@home Message from server: Resent lost result ogr_091231150004_24_0
08.01.2010 04:14:16 yoyo@home Message from server: Resent lost result ogr_091231150004_25_0
08.01.2010 04:14:18 yoyo@home Started download of ogr_091231132003_23-in.og2
08.01.2010 04:14:28 yoyo@home Finished download of ogr_091231132003_23-in.og2
08.01.2010 04:14:28 yoyo@home Started download of ogr_091231132003_26-in.og2
08.01.2010 04:14:32 yoyo@home Finished download of ogr_091231132003_26-in.og2
...
Dann werde ich mich mal an die 2. Millionen bei Yoyo ranmachen... :grinbounce:

Ananas
WU-Schieber
WU-Schieber
Beiträge: 1184
Registriert: 27.04.2008 18:37
Wohnort: Nordlichter Köln

Re: WUs sind da, aber doch nicht da... ?

#11 Ungelesener Beitrag von Ananas » 11.01.2010 02:24

scsimodo hat geschrieben:... Ghost-WUs ... Tritt immer wieder mal auf aber kein Mensch weiss so recht warum und wieso. ...
Stimmt nicht so ganz.

Ein verlorenes Paket ist bei einem Protokoll wie HTTP normal. Anders als FTP bietet HTTP kein vollstaendiges Handshake und auch keine Paket-Wiederholung.

Eine Anwendung, die auf HTTP aufsetzt, aber darauf angewiesen ist, dass alle Pakete auch ihren Empfaenger erreichen, muss diesen letzten Schritt des Handshake-Protokolls (die Quittierung) selbst abhandeln. Der Server schickt also ein Paket mit der WU-Liste los, bekommt aber keine Empfangsquittung dafuer.

Auch unverfaelschte Pakete sind bei HTTP nicht garantiert, auch Pruefsummen muessen also ggf. von einer Client-Server-Anwendung abgehandelt werden.

Fuer beide (beabsichtigten) Unzulaenglichkeiten des Protokolls hat BOINC keine Loesung sondern nur einen Workaround.
(edit: Wenn man ueberlegt, wofuer HTTP entwickelt wurde, wird klar, dass es kein Mangel im HTTP ist. HTTP ist fuer das, wofuer BOINC es nutzt, eigentlich nicht gedacht.)

Die absolut saubere Loesung waere gewesen, fuer die Client-Server-Kommunikation von BOINC ein eigenes Protokoll mit Paketpruefung und vollstaendigem Handshake zu schreiben. Der Grund, warum man das nicht getan hat, liegt vermutlich an der Firewall-Problematik insbesondere in Firmennetzen.

Man haette ein eigenes Protokoll ueber HTTP legen koennen, das alle von HTTP nicht behandelten Protokollfragen abhandelt. Das OSI-Modell gibt sowas her, da HTTP nicht unbedingt die obere Anwendungsschicht (Layer 7) sein muss.

Das haette bedeutet, dass der BOINC-Client sofort nach Erhalt der WUs eine Empfangsquittung zurueckschickt. Das hat man nicht implementiert - moeglicherweise, weil HTTP keine echten Sessions auf Protokollebene bietet.
(edit: Siehe dazu auch Zustandslosigkeit, in diese Protokollgruppe gehoert auch HTTP.)


Also ... man weiss durchaus, wieso das Problem immer mal wieder auftritt :-)
vi BOINC/checkin_notes
:1,$s/bug/feature/g
:wq!

Erzaehlen sich Biologen eigentlich Klein-RNA-Witze?

Benutzeravatar
Grubix
Prozessor-Polier
Prozessor-Polier
Beiträge: 103
Registriert: 27.08.2008 09:03

Re: WUs sind da, aber doch nicht da... ? [gelöst]

#12 Ungelesener Beitrag von Grubix » 20.01.2010 12:54

Ich habe da eine kleine Frage, nur um evtl. andere Probleme ausschließen zu können: Ist die Funktion "Resent lost result" nur bei den OGRs eingeschaltet, nicht z.B. bei ECM?

Es gab gestern Nacht vermutlich Probleme mit dem Server. Mein Home-Rechner hängt an einer normalen DSL Leitung und andere Projekte konnten zu der Zeit erreicht werden. Daher vermute ich das Problem auf der Server-Seite. Hier ein Auszug aus dem Logfile:
...
19-Jan-2010 05:49:50 [yoyo@home] Sending scheduler request: To report completed tasks.
19-Jan-2010 05:49:50 [yoyo@home] Reporting 44 completed tasks, requesting new tasks for CPU and GPU
19-Jan-2010 05:51:57 [yoyo@home] Computation for task ecm_xy_1263843918_C168_116_45_5825_0 finished
19-Jan-2010 05:51:57 [yoyo@home] Starting ecm_xy_1263843918_C168_116_45_3650_0
19-Jan-2010 05:51:57 [yoyo@home] Starting task ecm_xy_1263843918_C168_116_45_3650_0 using ecm version 3
19-Jan-2010 05:51:59 [yoyo@home] Started upload of ecm_xy_1263843918_C168_116_45_5825_0_0
19-Jan-2010 05:52:00 [yoyo@home] Finished upload of ecm_xy_1263843918_C168_116_45_5825_0_0
19-Jan-2010 05:54:55 [yoyo@home] Scheduler request failed: HTTP bad gateway
19-Jan-2010 05:55:55 [yoyo@home] Fetching scheduler list
19-Jan-2010 05:56:35 [yoyo@home] Master file download succeeded
19-Jan-2010 05:56:40 [yoyo@home] Sending scheduler request: To report completed tasks.
19-Jan-2010 05:56:40 [yoyo@home] Reporting 45 completed tasks, requesting new tasks for CPU and GPU
19-Jan-2010 05:59:55 [yoyo@home] Computation for task ecm_xy_1263843918_C168_116_45_5820_0 finished
19-Jan-2010 05:59:55 [yoyo@home] Starting ecm_xy_1263843918_C168_116_45_3645_0
19-Jan-2010 05:59:55 [yoyo@home] Starting task ecm_xy_1263843918_C168_116_45_3645_0 using ecm version 3
19-Jan-2010 05:59:57 [yoyo@home] Started upload of ecm_xy_1263843918_C168_116_45_5820_0_0
19-Jan-2010 05:59:59 [yoyo@home] Finished upload of ecm_xy_1263843918_C168_116_45_5820_0_0
19-Jan-2010 06:01:45 [yoyo@home] Scheduler request failed: HTTP bad gateway
19-Jan-2010 06:02:45 [yoyo@home] Sending scheduler request: To report completed tasks.
19-Jan-2010 06:02:45 [yoyo@home] Reporting 46 completed tasks, requesting new tasks for CPU and GPU
19-Jan-2010 06:04:24 [yoyo@home] Computation for task ecm_xy_1263843918_C168_116_45_3660_0 finished
19-Jan-2010 06:04:26 [yoyo@home] Started upload of ecm_xy_1263843918_C168_116_45_3660_0_0
19-Jan-2010 06:04:28 [yoyo@home] Finished upload of ecm_xy_1263843918_C168_116_45_3660_0_0
19-Jan-2010 06:07:21 [yoyo@home] Computation for task ecm_xy_1263843918_C168_116_45_3655_0 finished
19-Jan-2010 06:07:23 [yoyo@home] Started upload of ecm_xy_1263843918_C168_116_45_3655_0_0
19-Jan-2010 06:07:25 [yoyo@home] Finished upload of ecm_xy_1263843918_C168_116_45_3655_0_0
19-Jan-2010 06:07:50 [yoyo@home] Scheduler request failed: HTTP bad gateway
...
Alle ECM WUs (ca. 60 Stück) die der Rechner während der "HTTP bad gateway" Zeit angefordert hat, sind jetzt Ghost-WUs. Ich hatte damit gerechnet, dass ich die erneut bekommen, nachdem die Verbindung zum Server wieder klappt. Wenn das bei ECM nicht so ist, ist das in Ordnung, ich wollte nur fragen. Bei OGR kann ich das Neusenden gut gebrauchen, bei ECM ist es für mich nicht wichtig.

Bis denn dann, Grubix.

Antworten

Zurück zu „Fehler, Wünsche / Bugs, Wishes“