Majestic-12

[RT1984]

Danke für deine Hilfe. Mal schaun, was ich so an output erreichen kann

[achims311]

Bei meinem 6000er DSL ist so bei 120 Worker schluss, dann wird auch das surfen etwas zäher, obwohl ich einen Traffic-Shaper einsetze (www.cfos.de).

Ich denke da bringt das shaping nicht so viel.
sowohl MJ12 als auch Dein Browser sprechen http.
Es dürfte für den Shaper sehr schwer sein das zu unterscheiden.

[Jkcapi]

Danke für deine Hilfe. Mal schaun, was ich so an output erreichen kann

Und nu? War das schon alles an Output?

Bin jetzt auch wieder dran!
So 5-6 User mit ner 16000er oder mehr Leitung währen nicht schlecht, da könnte man mal 30 Millionen URLs am Tag raushauen! Dazu müsste die Leitung aber voll ausgelastet werden und wirklich 24 Stunden am Tag laufen!
Ich möchte aber auch darauf hinweisen das unter oben genannten umständen der PC bzw. die CPU doch ganz schön Arbeiten muß! Archiving und Crawling bringen die CPU doch knapp an die grenze und bei Volllast einer 16000er Leitung sind die Lücken zwischen den einzelnen Archiv-vorgängen recht kurz!
Nur bei kleinen Leitungen wie DSL 1000 oder 2000 macht sich das kaum bemerkbar.

Happy Crawling

Gruß J.Kampmeier

[achims311]

Nur bei kleinen Leitungen wie DSL 1000 oder 2000 macht sich das kaum bemerkbar.

Naja auf meinem PIII 600Mhz merke ich es auch bei dieser kleinen Leitung, aber besser wenig als gar nichts, oder?

[Thommy3]

Gut, aber ob man eine weitere Suchmaschine braucht ist auch die Frage. Hat sie mal wer ausprobiert? http://mj12search.kicks-ass.org:8888/

Ich find die liefert ziemlich ebscheidene Ergebnisse.

[Jkcapi]

Nur bei kleinen Leitungen wie DSL 1000 oder 2000 macht sich das kaum bemerkbar.

Naja auf meinem PIII 600Mhz merke ich es auch bei dieser kleinen Leitung, aber besser wenig als gar nichts, oder?

Das ist richtig! Mit der Maschine würdest Du eine 16000er Leitung erst ganet ausnutzen können da der Archivprozess zu lange dauert! Der würde mit dem Archivieren ganet hinterher kommen

An Google kommt die Suchmaschine noch nicht ganz ran, aber bei der geringen Zahl an Mitcrawlern ist das auch nicht weiter verwunderlich.Es fehlt einfach die Power und die dicken Leitungen von ein paar Usern mehr!
Es sind knapp 100 User die da täglich mitmachen und davon sind rund 70% User mit "kleinen Leitungen" bzw. die Ihre Bandbreite anderwertig nutzen und keinen vollen Speed geben.
Also haut rein, je mehr mitmachen deso effektiver die Suchmaschine!

Gruß Jürgen Kampmeier

[achims311]

Nur bei kleinen Leitungen wie DSL 1000 oder 2000 macht sich das kaum bemerkbar.

Naja auf meinem PIII 600Mhz merke ich es auch bei dieser kleinen Leitung, aber besser wenig als gar nichts, oder?

Das ist richtig! Mit der Maschine würdest Du eine 16000er Leitung erst ganet ausnutzen können da der Archivprozess zu lange dauert! Der würde mit dem Archivieren ganet hinterher kommen

Nur die 16000 gibt es hier erst gar nicht als adsl (nur 15000 und die sind mit 64? auch nicht gerade billig).
Richtig ich lebe nicht in Deutschland.

Achim

[Torbjörn Klatt]

Ich habe jetzt ein ganz andere Problem mit Majestic. Und zwar meckert mein GData-AntiVirus bei jedem Komprimieren von einem Bucket, dass er einen Trojaner gefunden hat.
Aus dem Protokoll:

Beim Öffnen der Datei "C:\Programme\Majestic-12\MJ12node\data\barrels\work\tmp\chunk12.nvd" wurde der Virus "Trojan-Downloader.JS.Remora.w" von der Engine "KAV" entdeckt. Datei gesäubert: nein. Datei gelöscht: nein. Quarantäne: nein.

Es war ein Bucket mit .pl-TLDs. Wird wohl eine verseuchte polnische Seite dabeigewesen sein, oder?

Grüße,
Bohne

PS: Ich habe jetzt erstmal eingestellt, dass er nur noch .de, .eu, .edu und .gov crawlen soll.

[Michael H.W. Weber]

Das solltest Du mal im Majestic-12-Forum melden.

Michael.

[Torbjörn Klatt]

Ich sah mich nun gezwungen Majestic zu deinstallieren. Sämtliche Dateien von Majestic zu löschen und neu zu installieren. Da mein GData die infizierte Datei in die Quarantäne verschoben hat, war das Komprimieren jedes mal gescheitert und von vorne gestartet. Eine vernünftige Möglichkeit, dieses - fehlerhafte - Bucket abzubrechen bzw. zu überspringen scheint es nicht zu geben.

Leider sind mit meiner Löschwut gerade eben alle interessanten Daten verschwunden, so dass ich keinen vernünftigen Bug-/Fehler-/Virus-Bericht im MJ12-Forum abgeben kann.

Wenn das Problem noch einmal auftritt, werde ich alles genaustens festhalten.

Grüße,
Bohne

[BrainMcFly]

Zum, Virenthema:

http://www.majestic12.co.uk/forum/viewt ... ight=virus

also einfach das MJ12 Verzeichnis nicht durch den Virenscanner prüfen lassen

BrainMcFly hat Folgendes geschrieben:
Bei meinem 6000er DSL ist so bei 120 Worker schluss, dann wird auch das surfen etwas zäher, obwohl ich einen Traffic-Shaper einsetze (www.cfos.de).

Ich denke da bringt das shaping nicht so viel.
sowohl MJ12 als auch Dein Browser sprechen http.
Es dürfte für den Shaper sehr schwer sein das zu unterscheiden.

doch bringt was, denn erstens kann der cfos anwendungen unterscheiden und zweitens bremst der upload von barrels nicht die suche aus, was ja der hauptgrund ist, einen shaper einzusetzen.

[achims311]

bremst der upload von barrels nicht die suche aus, was ja der hauptgrund ist, einen shaper einzusetzen.

Hmm,

Du kannst Doch im setup einstellen wieviel von der bandbreite beim upload genutzt werden soll.
Deshalb denke ich sollte die upload leitung nicht durch den barrel upload voll sein müssen. Die requests brauchen auche einen teil der upload Leitung, aber dafür sollte doch das gleiche gelten, oder?
Nachteil ist, daß möglicherweise die Leitung nicht voll ausgelastet ist.
Das ist dann aber eine Entscheidung einmalig Geld ausgeben (für den Shaper) oder immer etwas langesamer arbeiten.

Ich habe mich für zweiteres entschieden. Unter anderem auch, da dahinter noch SIP Telefonier läuft und das alles nicht sauber durch den shaper im Router getrennt wird.