Majestic-12

[Velociraptor]

hi

also das mit den Prozess prioritäten weis ich nicht ob das so klug ist aber das mit dem externen DNS find ich schon eine gute Idee und auch vielen dank für den Hint mit dem Half open

[Peter Fanghänel]

Also nach dem ich das nun diese Nacht habe durchlaufen lassen kann ich keine negativen Auswirkungen auf F@H feststellen. Laufen mit geringfügig niedrigeren PPDs als vorher.

Übrigens auch wichtig: Im Log habe ich immer wieder die "Starvation of Workers" angezeigt bekommen. Gleichzeitig aber auch mit dem Hinweis, dass eine Erhöhung der Buckets dagegen hilft. Bin dabei es beständig zu erhöhen, aktuell bin ich bei 60.
Und unbedingt das MJ-12 Verzeichnis beim Virenscanner von der Suche ausnehmen. Sonst bekommt man ständig Funde gemeldet und das bremst es doch arg aus.

[thorlin]

Ein paar Helfer waeren in dem Projekt noch schoen, derzeitig sind es nur 13 aktive (http://www.majestic12.co.uk/projects/ds ... .php?id=26).

Man kann mit dem Teil wunderbar brachliegende Bandbreiten zumachen (derzeitig mein Grund fuer den Einsatz).

[Jkcapi]

Nicht nur Bandbreite verbrauchen, sondern wohl demnächst auch noch etwas Geld verdienen!
Lest mal hier: http://www.majestic12.co.uk/forum/viewtopic.php?t=3590
Dauert sicher noch etwas aber es scheint sich in der Richtung etwas zu tun

Gruß J.Kampmeier

[Jkcapi]

Das man mit Majestic 12 demnächst Geld verdient kann wird immer wahrscheinlicher!
Man muß aber 90 Tage für das Projekt arbeiten um sich zu Qualifizieren!
Hier mal ein Auszug aus dem Forum:

Based on discussion thread "Distributed Computing Partners LLP" - next steps here is the calculator that implementa very very BETA version of formulae that we discussed. The ratios were taken from suggestion by magnus.



WARNING: None of this is final! The community will have to vote on formulae once we get close to one that is more or less final!



It's not fast either (will speed it up) - takes a few seconds - be patient! Shocked

Calculator URL: http://www.majestic12.co.uk/dcp.php - enter your user ID (I'll make it more user-friendly by allowing to accept nickname).

Example for refic: http://www.majestic12.co.uk/dcp.php?id=233

The source code will be made public as well as actual formulae (obviously!), so that anyone could check calculations.

Key features:

1) my crawling (or that any of future Majestic-12 Ltd employees using company resources) is excluded, thus I personally won't gain any money from how shares are allocated among members in DCP LLP (but I'll reserve the right to vote using Majestic-12 Ltd shares on DCP LLP behalf) - this is to ensure that I don't have any conflict of interest (or rather not seen as one having it)

2) crawled data sizes (rather than URLs) are used as basis for calculations

3) minimum participation is set to:
a) 90 days of activity (defined as non-zero data returned in any given day)
b) 20,000 MB of crawled data (subject to change - totally took it out of my head)

4) each year starting from 2005 allocated %-tage of shares that will be assigned to users who crawled in that year on permanent basis - this means those shares will always be owned by users apart from a few exceptional cases such as:
a) user kicked out for fraud/cheating
b) user refuses to accept shares
c) we can't get to user after long period of time
d) something else of that nature

If that happens share will be re-allocated among other users in that year

5) "Floating" shares - those that ain't permanent will still be assigned to users at any given time when it is required (say dividends are paid or voting is necessary) but will be reallocated in the next calculation (whenever that happens)

------------

TODO:
1) we need to allocate small number of shares to be awarded to users who did additional stuff (help with bugs, ideas etc)
2) we probably need to award permanent shares once a year when new year starts because until year is not over final share of data in that year is not known for any given user

Note: these are shares in Distributed Computing Partnership (DCP), not Majestic-12 Ltd. It is DCP itself that owns those shares, but partners do own shares in DCP.

Therefore in refic's example he (under current formulae that will almost certainly change before it becomes final!) will own 26,987 permanent shares (I think those should be assigned at the year end) and 26,987 "floating" shares, total: 53,974 or 5.397% of total DCP LLP shares.

Since right now DCP LLP owns 200 Majestic-12 Ltd shares, which is currently is 20% of total shares, it means that refic personally will stand to gain 1.079% of any money paid by Majestic-12 Ltd to shareholders such as DCP LLP.

Phew, that was hard! Shocked

I'll go get well deserved beer

[Andreas38871]

So, ich bin jetzt auch wieder dabei. Nach "harten" Verhandlungen mit der Telekom kriege ich auch Mitte August die 6000er DSL-Leitung zum gleichen Preis wie meine jetzige 2000er. Dann geht der Duchsatz sicherlich noch etwas nach oben. Eine Frage zu den Einstellungen habe ich noch. Ich habe in meinem Netz vier Rechner, die teilweise recht datenintensive Netzlast erzeugen. Da möchte ich natürlich, dass diese bevorzugt werden. Ich habe dort unter Connection beim Downstream 20 % und beim Upstream 30 % eingestellt. Wenn ich jetzt andere Netzlast habe müßte er ja auf diese Werte zurückgehen, und sobald die Netzlast nicht mehr da ist wieder nach oben schnellen. Ist diese meine Logik so richtig?

Andreas

[Velociraptor]

soweit ich mich erinnern kann gab es die Möglichkeit auf jedem Rechner eine Software zu installieren die dann mit dem crawler kommuniziert und ihm sagt wie viel er zur Verfügung hat aber ich bin mir nicht ganz sicher

[Michael H.W. Weber]

Hmmm, was ist da los, zum Deibel:

Code: Alles auswählen

[03.08.2009 18:42:03] Could not connect to server to get more urls, will retry later.
[03.08.2009 18:44:17] Could not connect to server to get more urls, will retry later.
[03.08.2009 18:46:29] BucketManager: Server seems to be down persistently, so we will wait for at least 60 secs
[03.08.2009 18:49:56] BucketManager: Server seems to be down persistently, so we will wait for at least 60 secs
[03.08.2009 18:53:23] BucketManager: Server seems to be down persistently, so we will wait for at least 60 secs
[03.08.2009 18:56:50] BucketManager: Server seems to be down persistently, so we will wait for at least 60 secs
[03.08.2009 18:57:13] Could not connect to server to start uploading, looks like it's down, will retry later.
[03.08.2009 18:57:52] The line above was repeated 1 more time
[03.08.2009 18:57:52] UploadManager: Server seems to be down persistently, so we will wait for at least 60 secs
[03.08.2009 18:59:27] UploadManager: Server seems to be down persistently, so we will wait for at least 60 secs
[03.08.2009 19:00:19] BucketManager: Server seems to be down persistently, so we will wait for at least 60 secs
[03.08.2009 19:01:02] UploadManager: Server seems to be down persistently, so we will wait for at least 60 secs
[03.08.2009 19:02:37] UploadManager: Server seems to be down persistently, so we will wait for at least 60 secs
[03.08.2009 19:03:46] BucketManager: Server seems to be down persistently, so we will wait for at least 60 secs
[03.08.2009 19:04:12] UploadManager: Server seems to be down persistently, so we will wait for at least 60 secs
[03.08.2009 19:05:46] UploadManager: Server seems to be down persistently, so we will wait for at least 60 secs
[03.08.2009 19:07:13] BucketManager: Server seems to be down persistently, so we will wait for at least 60 secs
[03.08.2009 19:07:23] UploadManager: Server seems to be down persistently, so we will wait for at least 60 secs
[03.08.2009 19:08:57] UploadManager: Server seems to be down persistently, so we will wait for at least 60 secs
[03.08.2009 19:10:32] UploadManager: Server seems to be down persistently, so we will wait for at least 60 secs
[03.08.2009 19:10:40] BucketManager: Server seems to be down persistently, so we will wait for at least 60 secs
[03.08.2009 19:12:07] UploadManager: Server seems to be down persistently, so we will wait for at least 60 secs
[03.08.2009 19:13:42] UploadManager: Server seems to be down persistently, so we will wait for at least 60 secs
[03.08.2009 19:14:07] BucketManager: Server seems to be down persistently, so we will wait for at least 60 secs
[03.08.2009 19:15:16] UploadManager: Server seems to be down persistently, so we will wait for at least 60 secs
[03.08.2009 19:16:51] UploadManager: Server seems to be down persistently, so we will wait for at least 60 secs
[03.08.2009 19:17:34] BucketManager: Server seems to be down persistently, so we will wait for at least 60 secs
[03.08.2009 19:18:25] UploadManager: Server seems to be down persistently, so we will wait for at least 60 secs
[03.08.2009 19:20:00] UploadManager: Server seems to be down persistently, so we will wait for at least 60 secs
[03.08.2009 19:21:01] BucketManager: Server seems to be down persistently, so we will wait for at least 60 secs
[03.08.2009 19:21:34] UploadManager: Server seems to be down persistently, so we will wait for at least 60 secs

...ich kann die Liste beliebig fortführen.

Michael.

[Xentar]

Sieht so aus, als sei der Server down.. *duck*

[Jkcapi]

Aber Michael,tztz, steht doch da das der Server down ist
Das kommt immer mal wieder vor dauert aber in der Regel nicht so lange 1-2 Stunden vieleicht!
Du kannst Dir Buckets auf vorrat laden und zwar so: TOOLS-OPTION-CRAWLER und im Fenster unter General findest Du die einstellung Reserved Buckets, steht normal auf 5. Bei Deinem Output kannst Du es auf 20-25 hochsetzen und schon hast Du für paar Stündchen Arbeit auch wenn der Server mal down ist Läst sich bis 200 einstellen.
Und wenn Du mal für längere Zeit keine Lust mehr hast, gibt es im Fenster "Aktivity" rechts unten den Bouton "Migrate node".Drückt man da drauf, werden alle Reserved Buckets unbearbeitet zum Server zurück geschickt und alle angefangenen Buckets natürlich fertig bearbeitet und hochgeladen und danach beendet sich der Client automatisch! Das nur mal so nebenbei erwähnt, ich glaub die Deadline liegt bei 5-7 Tagen!
Weiterhin fröhliches Crawlen und bald gibt es ja auch Bares dafür!
Gruß Jürgen

[Michael H.W. Weber]

Ja - schon klar, daß der Server down ist, bloß wieso kann ich munter auf deren Webseite surfen ohne irgendeine Info dazu zu bekommen?

Michael.

[Velociraptor]

Ja - schon klar, daß der Server down ist, bloß wieso kann ich munter auf deren Webseite surfen ohne irgendeine Info dazu zu bekommen?

Michael.

weil der webserver nicht der selber server is wie derjenige der die WUs zurücknimmt