Neuer Distributed Crawler

Nachricht

bull · #1 Ungelesener Beitrag von **bull** » 09.01.2005 19:32

Hallo.

Seit ein paar Wochen gibt es bei http://majestic12.co.uk/projects/dsearch/ ein neues "distributed"-Projekt. Ziel ist die Erstellung eines Suchmaschinenindex, eine erste öffentliche Beta der Suche soll es Ende Januar/Anfang Februar geben. Crawler-Clients gibt es bislang nur für Win32 zum herunterladen.

Jkcapi · #2 Ungelesener Beitrag von **Jkcapi** » 10.01.2005 12:17

Hallo,habs ausprobiert.Ist schrott!Der Cient braucht im lauf der Zeit immer mehr Arbeitsspeicher,bei mir waren es dann über 400mb.
Desweiteren muß man nach beendigung eines Pakets nochmal rund 55mb
hochladen!Ein Paket besteht aus 50001 URLs.Zudem brauch das Teil auch noch Bandbreite während er Arbeitet,vorallem Uplstream.Ich frage mich wieso ich dann auch noch 55 mb hochladen muß.
Fazit:Das Projekt wird nicht viele Freunde finden unter diesen Bedingungen.
Gruß Jkcapi

#3 Ungelesener Beitrag von **Michael H.W. Weber** » 11.01.2005 09:22

Ich halte diese Webseitentestprojekte ohnehin für Schwachfug.

Michael.

Dennis Kautz · #4 Ungelesener Beitrag von **Dennis Kautz** » 11.01.2005 09:43

Wie ich es verstanden habe, ist es kein Webseitentest, sondern ein Suchmaschinenindex... angesichts der Zensur bei Google kann man das denk ich schon brauchen

#5 Ungelesener Beitrag von **frank** » 11.01.2005 12:54

Ich habe noch nie verstanden, was die Webseitentester eigentlich testen und vor allem "Warum?". Ob diese Suchmaschinenklamotte sinnvoll ist, habe ich für mich persönlich noch nicht entschieden

frank

#6 Ungelesener Beitrag von **Michael H.W. Weber** » 11.01.2005 13:01

Auf jeden Fall löhne ich für derlei Anstalten keine Stromkosten.

Michael.

Jkcapi · #7 Ungelesener Beitrag von **Jkcapi** » 23.04.2006 16:08

Hallöchen.
Mitlerweile hat sich das Projekt deutlich weiterentwickelt.
Trotzdem,ohne eine "dicke" Leitung wird es schwer voranzukommen.
Aber die Uploads der fertigen Pakete hat sich von über 50mb auf 2-8mb reduziert!
Auch Arbeitsspeicher wird weniger gebraucht,liegt aber denoch zwischen 200-300 mb.
Die Datenpakete werden nach beendigung komprimiert,das geht entweder mit dem Programminternen Format LZMA oder auch mit Winrar.
Benutze selber Winrar dafür,geht etwas schneller.Ansonsten kann die Komprimiren etwas Zeit in anspruch nehmen,kommt auf die CPU an.
Ich brauch dafür mit einem P4 1,6ghz etwa 4-10 min pro Packet.
Der verbrauch an Traffic ist bei mir etwa 35-45 gb in 24 Stunden (Arcor DSL 16000) !!
Wer also mal seinem Provider etwas Traffic verursachen möchte kann das ja mal ausprobieren,hihi.
Ein Team Rechenkraft gibt es auch schon,wurde aber nicht von mir erstellt!Bin aber der einzige der für das Team mit dabei ist.
Nuin den,wer mal etwas Bandbreite übrig hat und seinen Provider ärgern möchte,der kann ja mal etwas mitmachen

Gruß Mkcapi

Ich bin in der Tageswertung in der Regel immer in den Top Ten

Thommy3 · #8 Ungelesener Beitrag von **Thommy3** » 23.04.2006 18:33

runde 40 gb in 24 stunden hab ich glaub ich nicht übrig. wow. ich bin froh, wenn ich in der zeit 4 gb laden kann, der uplaod ist noch 10 mal langsamer

Roland Schneider · #9 Ungelesener Beitrag von **Roland Schneider** » 24.04.2006 15:35

Hab mich gerade mal angemeldet, hatte auch prompt ein Login Problem auf der Webseite, wodurch ich keinem Team beitreten konnte.
Habs ins Forum geschrieben und hatte innerhalb von 10 Minuten eine Antwort, und wurde auch prompt gelöst.
War positiv überrascht über die schnelle Antwort und Lösung des Problems.

Hab leider nicht soviel Bandbreite übrig, krieg hier nur DSL 2000

Und mein Benutzername war auch schon vergeben

huraxprax · #10 Ungelesener Beitrag von **huraxprax** » 25.04.2006 22:43

hab das mal laufen aber als ich gerade zurückgekommen bin hat es die cpu-zeit für sich genommen (nicht auf nice), wenn das nochmal vorkommt lass ich es wieder sein, simap soll davon nicht blockiert werden.

Mystwalker · #11 Ungelesener Beitrag von **Mystwalker** » 26.04.2006 17:03

Für die Kompression der Daten wird CPU-Zeit benötigt. Je größer die verfügbare Bandbreite, desto häufiger müssen die Daten komprimiert werden.

In der Regel sollte sich dies aber in Grenzen halten.

aalerich · #12 Ungelesener Beitrag von **aalerich** » 11.07.2006 07:44

Man kann bei dem Ding über "Tools - Options" ziemlich fein abstimmen, wieviele Ressourcen es in Anspruch nimmt. Zum einen über die Bandbreite, dabei ist der Download wichtig (was man nicht herunterlädt kann nicht verarbeitet und komprimiert werden - Prozessor - und ebenso kann es auch nicht hochgeladen werden - Upload).

Zum anderen kann man den eingebauten, besseren und rechenintensiveren Kompressor einstellen, wobei die Wortgröße einen stärkeren Einfluß auf die Prozessorlast hat als die Wörterbuchgröße, oder WinRar benutzen.

Die Prozessorlast läßt sich auch sehr gut über die Zahl der "Maximum number of async workers" beeinflussen. Wenn ich auf 100 gehe und mein DSL 6 000 voll freigebe bleibt bei meinem Athlon XP 2600 nur noch wenig für andere Sachen übrig. Stelle ich 10 Worker ein nimmt das Teil ein paar Minuten Prozessorzeit pro Tag in Anspruch. Wichtig kann hier auch sein, den Wert bei "Stop if upload is greater than" im Auge zu behalten. Kommt das Programm mit dem Upload nicht hinterher, z.B. wegen extrem asymetrischer Anbindung oder Leitungsfreigabe, so stapelt sich das Zeug unkomprimiert auf der Platte. So kann man schonmal 2 gigs pro Tag Plattenplatz in Beschlag nehmen.

Ansonsten sind noch die Prioritäten wichtig, setzt man die auf "normal" oder gar noch höher kommt es schonmal zu einem kurzzeitig ausgelasteten System. Etwas heruntergehen und solche Spitzen werden vermieden.

Soweit ich das nach ein paar Tagen beurteilen kann läuft der Klient stabil. Die Angaben über die jeweilige Up- und Downloadgeschwindigkeit haben keinen Bezug zur Realität, die Transfermengen hingegen stimmen.

Mit freundlichen Grüßen
aalerich