Majestic-12

[Norman]

im moment sind wir da ganz schön dabei.
ein wenig unterstützung schadet garnix.
also rann ans netz und die leitung glühen lassen

[Norman]

neuer client 1.6.4 raus mit vielen bugfixes:

Code: Alles auswählen

v1.6.4 05/08/08 
      + New approach to versions: even versions will be stable release builds and odd ones will be testing betas.

      ! Fixed rare condition when anchor text won't be taken
      ! Fixed rare entity decoding problem in HTML parsing
      ! Improved support for XML content types
      + Added support for parsing of XML data streams (like RSS/Atom feeds)
      + Added support for text analysis for domain/url mention without being explicitly put between proper HTML tags
      ! Blank content-type no longer prevents crawling of the page
      ! Fixed bug resulting in inability to saved cached urls in some fairly rare cases
      ! Switched off web server request logging
      ! Longer urls are now taken for analysis + too long urls are handled in a smarter way then just dropping them
      ! Fixed bug with buckets failing to archive 3 times and then never getting a chance again until restart
      ! Dup url debug message removed
      ! Fixed incorrect message about buckets that failed archiving 3 times - ETA for next attempt should be correct now
      ! Less useless entries in log
      ! Fixed issue with some rare buckets hanging to be archived but never making it due to archiving being done before
      ! Fixed rare url decoding case
      ! Better support for character encoding detection
      ! If robots.txt block is detected during redirection then Abort is issued for compatibiity with
        some web servers that would otherwise cause timeout, same result but cleaner error.
      ! We will avoid crawling site if we get hard errors like 501 Server unavailable when requesting robots.txt
      ! Domains that disallow all requests will get finished faster (main benefit for deep crawl ones)
      ! Better session ID detection in urls
      ! Fixed parser bug not taking ?xml element from feeds thus not setting correct enconding
      ! Smarter handling of too long urls if they were url encoded (mainly helps non-Latin based content types)
      ! Improved removal of sessionIDs used in URLs
      ! Fixed possibility of some buckets never get selected for crawling - now oldest received bucket for its priority
        will be chosen for crawling
      ! MJ12bot version increased to 1.2.2 due to enhanced behavior when dealing with robots.txt errors 

http://www.majestic12.co.uk/projects/ds ... wnload.php

[Norman]

wieder verbesserte version:

Code: Alles auswählen

v1.6.5 09/08/08
      ! Back to old version scheme (stable/release odd/even versions is scraped)
      ! More session IDs filtered
      ! Fixed bug with second pass parsing in XML parsing when encoding was non-Latin :(
      ! Some plain text urls were not taken from analysed data
      ! External links that look like images (when not part of <img src> tag are saved now (won't be crawled though)
        (excludes XML like RSS feeds) 

[Norman]

nochmal bugfix:

Code: Alles auswählen

v1.6.6 14/08/08
      ! Fixed failure to clean up some urls with session ids that were already removed (also make session clean up process more reliable)
      ! Removed more unnecessary warnings
      ! Change in how Accept header is set for Mono builds 

[hias]

Ich lass Majestic bei mir auch mal laufen. Gefällt mir das Projekt

[Norman]

nur zu
wir stehn auf platz 4 der tageswertung und auf platz 5 der teamplatzierung

[hias]

Unter Linux läuft das eigentlich auch ganz gut muss ich sagen, obwohl man Mono verwenden muss. Frisst nur paar MB mehr Ram wegen Mono, aber ich hab ja unter Linux noch jede Menge frei har har har
Muss das Programm nur mal irgendwie in den Autostart packen. Das konfigurieren über den Webserver läuft auch sehr gut.

[achims311]

Ja ein schönes package inclusive user (eigener user ist immer gut) und start up scripten wäre noch was.
Das habe ich bisher nicht gefunden.

[Norman]

neue version:

Code: Alles auswählen

v1.6.7 19/08/08
      ! Changed referer set when robots.txt is requested to make it shorter and avoid potential
      false positive by faulty security software that should have never checked it in the first place 

diese sollte jeder updaten !!!

[Peter Fanghänel]

Ich mache jetzt auch mal mit.

Habe es neben F@H SMP und GPU laufen, wirkt sich ja kaum auf die CPU aus.

Workers und Buckets habe ich auf ihr jeweiliges Maximum gesetzt. Ich probiere es einfach aus und bis jetzt hat das Prog meine Leitung (25/5) nicht auslasten können. Mal gucken, was so bei raus kommt...



Ist es normal, dass ich lt. Programm-Statistik in 42 Minuten bereits 1,4 GB herunter-, aber nur einen MB hochgeladen habe? Finde ich etwas merkwürdig. Oder ist der Kompressionsalgorithmus so effizient?


Edit: Ich bekomme beim Update der Stats eine Fehlermeldung im Log:

Code: Alles auswählen

[29.12.2008 14:31:48] Failed to get server stats: ConnectivityProblem -- TIMEOUT!

Wie ist das zu interpretieren?


Edit2: Das Downloadproblem habe ich nun im Griff, Schuld waren die "Half-Open" Connections die lt MS bei max 10 pro Sekunde liegen dürfen. Habe dieses mittels des Patches von http://www.lvllord.de/ beheben können.

Allerdings bricht trotzdem nach wie vor ab und zu die Verbindung zusammen. Ich vermute, weil mein supi T-Home Router nicht genügend Verbindungen packt. Ich experementiere nun mit einer möglichen Zahl von Workern und Buckets, um die arme Kiste nicht in die Knie zu zwingen.
Ein Ersatz steht zwar herum, kann aber wegen mangelnder Funktionalität für Entertain aktuell nicht eingesetzt werden.

[ripp0r]

ich bin jetzt auch angemeldet aber hab zur zeit nur ne auslastung meines wlans(!) von 3 % kann mir einer nochmal die einstellungen sagen die ich dazu brauch.
habe 6000er dsl
lg
edit:einstellungen natürlich dann für kabel
danke

[Peter Fanghänel]

Da wurschtel ich auch gerade dran herum. Habe nun erst mal meinen Router neu gestartet und die Treiber aller Netzwerkkomponenten aktualisiert. Zudem habe ich den DNS vom Router auf einen externen verlegt. Siehe Liste hier.
Jetzt flutscht es gerade mit 1 MB / sec... Bin gespannt, wie lange das nach andauert.

Als Einstellung habe ich 135 workers und 15 buckets. Mal gucken, wie lange das lüppt, ohne meinen Rechner wie vorhin wieder komplett lahm zu legen.

Edit: Des Weiteren habe ich für alle Prozessprioritäten unter "Options > Misc" den Wert "Above normal" festgelegt, damit es flutscht. Ich habe keine höhere Belastung als 8 % gesehen, was ich akzeptabel finde. Sie schwankt eher zwischen 1 und 6 %.