Muss das mit Modem sein? Ich hab ein Motorola Kabelmodem und den Router (wire) dahinter.yoyo hat geschrieben:Kennt jemand Consumer wlan router mit dsl modem, die das Problem nicht haben?
Projekte wie Majestic-12, DIMES, usw.
- Michael H.W. Weber
- Vereinsvorstand
- Beiträge: 22435
- Registriert: 07.01.2002 01:00
- Wohnort: Marpurk
- Kontaktdaten:
ASUS und Freecom kann ich als Router unter Majestic-12 nicht empfehlen.
Michael.
Michael.
Fördern, kooperieren und konstruieren statt fordern, konkurrieren und konsumieren.
http://signature.statseb.fr I: Kaputte Seite A
http://signature.statseb.fr II: Kaputte Seite B
http://signature.statseb.fr I: Kaputte Seite A
http://signature.statseb.fr II: Kaputte Seite B
Weiß leider immer noch nicht woran es gelegen hat. Hab es jetzt mal neu installiert. Mitlerweile läuft es seit einer Stunde bei durchschnittlich 8.700 kbit/s. Irgendwie ist mir das zu wenig. Wie kann ich noch mehr raus holen? Hab auch nur 23 buckets obwohl ich maximal 100 eingestellt habe. Warum holt sich der nicht mehr?RT1984 hat geschrieben:Hab nun ein kleines Problem mit Majestic-12. Er scheint alle Buckets abgearbeitet und hochgeladen zu haben. Allerdings hat er sich dann einfach keine neuen mehr geholt. Woran könnte es liegen?
wichtiger als die Buckets sind meiner Meinung nach die Worker - ich weiß aber nicht genau wieviele Worker man pro Bucket braucht
die Buckets sind ja nur eine Ansammlung von URLs die abgearbeitet werden - und jeder Worker beschäftigt sich mit einer URL - d.h. wenn man 10 Worker hat, werden 10 URLs gleichzeitig abgearbeitet und wenn man 1000 Worker hat 1000 URLs - sofern genug URLs in den Buckets drin sind
da manche Webseiten recht lange brauchen muß man auch genug Buckets haben, weil wenn die letzte URL im Bucket 10 min braucht um erledigt zu werden und man keine weiteren Buckets aktiv hat, dann tun die übrigen Worker erst mal gar nix - aber in erster Linie ist die Anzahl der Worker für die Geschwindigkeit verantwortlich - ein Vergleich mit "normalem" DC die Anzahl der Worker entspricht der Anzahl der CPUs/Cores und die Anzahl der Buckets entspricht der Anzahl der WUs im Bunker
die Buckets sind ja nur eine Ansammlung von URLs die abgearbeitet werden - und jeder Worker beschäftigt sich mit einer URL - d.h. wenn man 10 Worker hat, werden 10 URLs gleichzeitig abgearbeitet und wenn man 1000 Worker hat 1000 URLs - sofern genug URLs in den Buckets drin sind
da manche Webseiten recht lange brauchen muß man auch genug Buckets haben, weil wenn die letzte URL im Bucket 10 min braucht um erledigt zu werden und man keine weiteren Buckets aktiv hat, dann tun die übrigen Worker erst mal gar nix - aber in erster Linie ist die Anzahl der Worker für die Geschwindigkeit verantwortlich - ein Vergleich mit "normalem" DC die Anzahl der Worker entspricht der Anzahl der CPUs/Cores und die Anzahl der Buckets entspricht der Anzahl der WUs im Bunker
- Jkcapi
- Partikel-Strecker
- Beiträge: 991
- Registriert: 29.12.2001 01:00
- Wohnort: Braunschweig
- Kontaktdaten:
Hm, hat er wirklich alle Hochgeladen? Das kannst Du unter Status-Lokal-Uploaded sehen:steht dort nur eine Zahl sind die Buckets hochgeladen steht dort aber zb. +3 mit mb angabe dann sind nicht alle Hochgeladen! Sollten alle Hochgeladen sein dann bin ich da auch etwas überfragt, denn in der Regel ist es so, wenn Du keine neue Arbeit bekommst dann ist der Server down aber dann wird auch nix hochgeladen. Ob der Server wirklich Down war weis ich nicht da ich erst gestern wieder eingestiegen bin.RT1984 hat geschrieben:Hab nun ein kleines Problem mit Majestic-12. Er scheint alle Buckets abgearbeitet und hochgeladen zu haben. Allerdings hat er sich dann einfach keine neuen mehr geholt. Woran könnte es liegen?
Es hat doch schon Prima geklappt bei Dir und wenn Du nix verstellt oder sonstirgendwie an Deiner Verbindung gefummelt hast, sollte es eigentlich laufen!
Hoffe Du hast die Flinte nicht gleich ins Korn geworfen, denn eine Dicke Leitung könnten wir wirklich noch gebrauchen
Gruß Jürgen
Nachtrag: 8700kb/s im Durchschnitt ist für eine 16000 Leitung absolut OK!
Bedenke bitte das es auch Traffic verbraucht um die URLs abzufragen!
Dann kommt es auch darauf an ob Deine Leitung wirklich 16mb/s liefert, das ist in der Regel seltens der Fall!
Hier mal meine eistellungen als ich nur 1PC am start hatte :
Max open Buckets 45
Workers 250
Downspeed volle Pulle
Upspeed 128kbit
PC hat P$ 3,4ghz und 1giga an Ram
So sollten etwa 4 Millonen URLs möglich sein!
Schön das Du wieder da bist!
@S_Garbe: Vielen Dank für die Erklärung von Workers und Buckets. Hab bei Workers 250 und bei Buckets 100 eingestellt. Ist das bei ner 16000er Leitung ok?
@Jkcapi: Hab momentan anscheinend 15 Uploads ausstehend. Warum lädt er die nicht gleich hoch? Mitlerweile bin ich bei 9000 kbit/s. Anscheinend liefert meine Leitung schon 16000. Wenn ich Dateien von nem schnellen server downloade hab ich oft 1,6-1,8 Mb/s. Seh du hast die selbe Anzahl Worker. Warum schwankt bei mir dann die Verbindung so stark? Von 3000-20000 ist alles dabei. In der einen sekunde 3000 und plötzlich wieder 12000. So geht das die ganze Zeit. Bei mir sind auch nur durchschnittlich 50-70 worker aktiv. Selten über 100. Das ist dcoh so nicht in ordnung oder? Bin jetzt bei 550.000 urls in 3 Stunden
@Jkcapi: Hab momentan anscheinend 15 Uploads ausstehend. Warum lädt er die nicht gleich hoch? Mitlerweile bin ich bei 9000 kbit/s. Anscheinend liefert meine Leitung schon 16000. Wenn ich Dateien von nem schnellen server downloade hab ich oft 1,6-1,8 Mb/s. Seh du hast die selbe Anzahl Worker. Warum schwankt bei mir dann die Verbindung so stark? Von 3000-20000 ist alles dabei. In der einen sekunde 3000 und plötzlich wieder 12000. So geht das die ganze Zeit. Bei mir sind auch nur durchschnittlich 50-70 worker aktiv. Selten über 100. Das ist dcoh so nicht in ordnung oder? Bin jetzt bei 550.000 urls in 3 Stunden
- Jkcapi
- Partikel-Strecker
- Beiträge: 991
- Registriert: 29.12.2001 01:00
- Wohnort: Braunschweig
- Kontaktdaten:
Das mit dem schwanken des Speed ist absolut OK!
Es ist so das das Abarbeiten der Urls immer ein paar Sekunden dauern kann, es sind auch nie alle Worker gleichzeitig aktiv das schwank immer etwas auf und ab, das passt schon alles so wie es läuft. Grda zum schluss wenn ein Bucket zb. nur noch 100 URL hat kann es unter umständen sogar 1 Minute oder länger dauern bis eine URL abgearbeitet ist. Das kannst Du selber beobachten wenn Du Dir das Activity-Fenster anschaust, dort gibt es weiter rechts die angabe "Secs from last" dort siehst Du wie lange es dauert bis eine URL abgearbeit ist.
Wenn Du der Englischen sprche mächtig bist, dann schau mal ins Projektforum, dort steht genau wie das Programm arbeitet und bei Fragen bekommst Du vom Projektbetreiber Alexc in der Regel fast sofort immer eine Antwort, kann ich wirklich nur empfehlen!
Ach ja, es dauert auch einige Stunden bis der Client richtig in Fahrt kommt, wirst sehen, die 9000kbit wirst Du bestimmt noch etwas steigern, aber 10000 wirst Du wohl nicht schaffen mit ner 16000er.
Weiterhin Happy Crawling!
Gruß Jürgen
PS.Das hochladen ist von Natur aus auf 120sec.Pause eingestellt! Das heist Upload-120sec Pause Upload usw. Kannst Du aber auf 1 stellen im Bereich Tool-Option-Crawler-Upload dort Wait between Barrel uploads auf 1 stellen und dadrüber bei No delays between Upload Chunks ein häckchen setzen, und schon geht der Upload ohne Pause weiter!
Es ist so das das Abarbeiten der Urls immer ein paar Sekunden dauern kann, es sind auch nie alle Worker gleichzeitig aktiv das schwank immer etwas auf und ab, das passt schon alles so wie es läuft. Grda zum schluss wenn ein Bucket zb. nur noch 100 URL hat kann es unter umständen sogar 1 Minute oder länger dauern bis eine URL abgearbeitet ist. Das kannst Du selber beobachten wenn Du Dir das Activity-Fenster anschaust, dort gibt es weiter rechts die angabe "Secs from last" dort siehst Du wie lange es dauert bis eine URL abgearbeit ist.
Wenn Du der Englischen sprche mächtig bist, dann schau mal ins Projektforum, dort steht genau wie das Programm arbeitet und bei Fragen bekommst Du vom Projektbetreiber Alexc in der Regel fast sofort immer eine Antwort, kann ich wirklich nur empfehlen!
Ach ja, es dauert auch einige Stunden bis der Client richtig in Fahrt kommt, wirst sehen, die 9000kbit wirst Du bestimmt noch etwas steigern, aber 10000 wirst Du wohl nicht schaffen mit ner 16000er.
Weiterhin Happy Crawling!
Gruß Jürgen
PS.Das hochladen ist von Natur aus auf 120sec.Pause eingestellt! Das heist Upload-120sec Pause Upload usw. Kannst Du aber auf 1 stellen im Bereich Tool-Option-Crawler-Upload dort Wait between Barrel uploads auf 1 stellen und dadrüber bei No delays between Upload Chunks ein häckchen setzen, und schon geht der Upload ohne Pause weiter!
So, hab bei den Pausen zwischen den Uploads mal eine Sekunde eingestellt. Jetzt lädt er grad alles hoch. Wenn ich im Projektforum richtig gelesen haben, hattest du mal 1200 Uploads in der Warteschleife? Bist du das?
Mach grad ein paar Tests zur Geschwindigkeit. Hab die Prioritäten unter options/misc anders eingestellt. Normal/high/high/normal/high. Jetzt hab ich eigentlich zu 90% über 10000 bei current. wenn ein Upload läuft gehts logischerweise etwas runter. Sieht schon mal nicht schlecht aus. Jetzt bleibt nur noch zu hoffen, dass der Client diesmal durchhält. Ach ja, übrigens danke für deine Hilfe. Scheinst ja schon einige Erfahrung damit zu haben. Mal schaun, in wie weit ich dem Team helfen kann. Bin gespannt, wann die Telekom das erste mal anruft Gibt es noch andere Einstellungen, die du empfehlen kannst?
Mach grad ein paar Tests zur Geschwindigkeit. Hab die Prioritäten unter options/misc anders eingestellt. Normal/high/high/normal/high. Jetzt hab ich eigentlich zu 90% über 10000 bei current. wenn ein Upload läuft gehts logischerweise etwas runter. Sieht schon mal nicht schlecht aus. Jetzt bleibt nur noch zu hoffen, dass der Client diesmal durchhält. Ach ja, übrigens danke für deine Hilfe. Scheinst ja schon einige Erfahrung damit zu haben. Mal schaun, in wie weit ich dem Team helfen kann. Bin gespannt, wann die Telekom das erste mal anruft Gibt es noch andere Einstellungen, die du empfehlen kannst?
- Jkcapi
- Partikel-Strecker
- Beiträge: 991
- Registriert: 29.12.2001 01:00
- Wohnort: Braunschweig
- Kontaktdaten:
Hehe,jo das mit den 1200 könnte gewesen sein, da hatte ich mal auf 6 Clienten je 200 Buckets gesammelt und dann hochgeladen.Aber das ist schnee von vorgestern
Weitere einstellungen sind wohl nicht nötig, nur mit den Prioritäten mußt Du selber schauen wie es läuft, zb. wenn man vieleicht noch andere dinge mit dem PC tut.
Es könnte durchaus sein das der Client ab und zu mal einen Restart macht, ist aber so gewollt um den Arbeitsspeicher mal kurz Luft zu verpassen, bei 1gb Ram oder größer ist das eigentlich nicht mehr nötig und kann auch abgestellt werden unter Tools-Option-Misc, weiter unten "Enable Automatic Reestarts", da einfach das Häckchen rausnehmen!
Das Du zb. bei veränderung der Workerzahl den Client neustarten musst, wirst Du sicher bemerkt haben?!
Wenn alles gut läuft dann ollten doch 4-4,5 Millonen in 24 Stunden drin sein,hehe, das sollte uns, vorrausgesetzt "firstomega" steigt nicht aus, in der tageswertung auf Platz 1 halten,hehe.
Gruß Jürgen
Weitere einstellungen sind wohl nicht nötig, nur mit den Prioritäten mußt Du selber schauen wie es läuft, zb. wenn man vieleicht noch andere dinge mit dem PC tut.
Es könnte durchaus sein das der Client ab und zu mal einen Restart macht, ist aber so gewollt um den Arbeitsspeicher mal kurz Luft zu verpassen, bei 1gb Ram oder größer ist das eigentlich nicht mehr nötig und kann auch abgestellt werden unter Tools-Option-Misc, weiter unten "Enable Automatic Reestarts", da einfach das Häckchen rausnehmen!
Das Du zb. bei veränderung der Workerzahl den Client neustarten musst, wirst Du sicher bemerkt haben?!
Wenn alles gut läuft dann ollten doch 4-4,5 Millonen in 24 Stunden drin sein,hehe, das sollte uns, vorrausgesetzt "firstomega" steigt nicht aus, in der tageswertung auf Platz 1 halten,hehe.
Gruß Jürgen
-
- Vereinsvorstand
- Beiträge: 919
- Registriert: 12.11.2003 20:41
- Wohnort: Stavenhagen
- Kontaktdaten:
Solange mein Rechner nicht abstürzt während ich nicht zu Hause bin, bleibe ich euch erhalten.Jkcapi hat geschrieben: Wenn alles gut läuft dann ollten doch 4-4,5 Millonen in 24 Stunden drin sein,hehe, das sollte uns, vorrausgesetzt "firstomega" steigt nicht aus, in der tageswertung auf Platz 1 halten,hehe.
So, mitlerweile scheint der Client einigermaßen zu laufen:
Laufzeit: 4 Std. 47 min.
Overall-Rate: 8.805 kbit/s
Traffic-Session 18,5 GB
Crawled Total: 815.000
Completed URL buckets: 96
Wenn man das auf 24 Stunden hochrechnen würde, bekäme man eine ordentliche Werte zusammen. Leider kann ich meinen PC mitlerweile nicht mehr 24/7 laufen lassen
Laufzeit: 4 Std. 47 min.
Overall-Rate: 8.805 kbit/s
Traffic-Session 18,5 GB
Crawled Total: 815.000
Completed URL buckets: 96
Wenn man das auf 24 Stunden hochrechnen würde, bekäme man eine ordentliche Werte zusammen. Leider kann ich meinen PC mitlerweile nicht mehr 24/7 laufen lassen
Welches DSL-Anbindung hast du? Legst ja doch einiges an Output vor. Welche Einstelllungen hast du bei Majestic?omega hat geschrieben:Solange mein Rechner nicht abstürzt während ich nicht zu Hause bin, bleibe ich euch erhalten.Jkcapi hat geschrieben: Wenn alles gut läuft dann ollten doch 4-4,5 Millonen in 24 Stunden drin sein,hehe, das sollte uns, vorrausgesetzt "firstomega" steigt nicht aus, in der tageswertung auf Platz 1 halten,hehe.