langsamer Webserver
langsamer Webserver
Hallo,
seit einigen Tagen war das Forum manchmal sehr langsam. Grund war ein Amok laufender Webcrawler, der ClaudeBot/1.0, der massiv parallel von verschiedensten IP Adresssen sich das Forum durchgelesen hat. Das hat dazu geführt dass alle 150 Apache Prozesse belegt waren und normale Anfragen kaum noch dran kamen. Eigentlich ein DDOS Angriff.
Ich hab heute morgen durch eine Regeln im Apache ihn direkt nach China zu Huawei auf die Seite redirekted.
Dadurch konnte direkt der Apache schnell die Anfrage beantworten ohne auf Forum und DB zugreifen zu müssen.
Sofort waren dann auch wieder Apache Prozesse frei.
Mittlerweile kommt der Bot jetzt garnicht mehr vorbei, hot wohl genug von den Chinesen.
yoyo
seit einigen Tagen war das Forum manchmal sehr langsam. Grund war ein Amok laufender Webcrawler, der ClaudeBot/1.0, der massiv parallel von verschiedensten IP Adresssen sich das Forum durchgelesen hat. Das hat dazu geführt dass alle 150 Apache Prozesse belegt waren und normale Anfragen kaum noch dran kamen. Eigentlich ein DDOS Angriff.
Ich hab heute morgen durch eine Regeln im Apache ihn direkt nach China zu Huawei auf die Seite redirekted.
Dadurch konnte direkt der Apache schnell die Anfrage beantworten ohne auf Forum und DB zugreifen zu müssen.
Sofort waren dann auch wieder Apache Prozesse frei.
Mittlerweile kommt der Bot jetzt garnicht mehr vorbei, hot wohl genug von den Chinesen.
yoyo
Re: langsaer Webserver
Auch Bots haben wohl ihren Stolz.
Wie hast du denn den Angreifer identifizieren können?
Gruß Harald
Selbst wenn es die Sonne ist, die auf ihn scheint, ein Misthaufen antwortet immer nur mit Gestank...
Selbst wenn es die Sonne ist, die auf ihn scheint, ein Misthaufen antwortet immer nur mit Gestank...
Re: langsaer Webserver
Ich hab währenddessen das Apache Logfile mitlaufen lassen und gesehen, dass da Unmengen an Zugriffen von jemandem kommen, der sich im UserAgent "ClaudeBot/1.0" nennt und der das ganze Forum ständig abfragt.
Re: langsaer Webserver
Ist ja im dem Sinne auch kein richtiger Angriff gewesen sondern einfach nur der dumme Bot von Anthropic für deren KI.
Es scheint auch so zu sein dass dieser Bot die robots.txt ignoriert. Ich hoffe irgendwer verklagt diese Firma dafür....
https://www.reddit.com/r/singularity/co ... aping_the/
Das Problem mit dem Bot scheinen die letzten Tage viele gehabt zu haben
Es scheint auch so zu sein dass dieser Bot die robots.txt ignoriert. Ich hoffe irgendwer verklagt diese Firma dafür....
https://www.reddit.com/r/singularity/co ... aping_the/
Das Problem mit dem Bot scheinen die letzten Tage viele gehabt zu haben
Re: langsaer Webserver
Hallo Stiwi,
meiner unmaßgeblichen Meinung nach war das aber schon recht heftig, was da los war. Die Seite aufzurufen dauerte recht lange, dass man schon Zeitüberschreitungsfehler fürchtete.
Wir können froh sein, dass sich yoyo zu helfen wusste. Es ist einfach eine Sauerei, was da zeitweise abgeht.
Mir war nur immer wieder aufgefallen, dass in letzter Zeit die Zahl der „Gäste“ im Forum ungewöhnlich hoch war, teilweise über einhundert im selben Fred.
Ob es da einen Zusammenhang gibt, entzieht sich allerdings meiner Kenntnis.
meiner unmaßgeblichen Meinung nach war das aber schon recht heftig, was da los war. Die Seite aufzurufen dauerte recht lange, dass man schon Zeitüberschreitungsfehler fürchtete.
Wir können froh sein, dass sich yoyo zu helfen wusste. Es ist einfach eine Sauerei, was da zeitweise abgeht.
Mir war nur immer wieder aufgefallen, dass in letzter Zeit die Zahl der „Gäste“ im Forum ungewöhnlich hoch war, teilweise über einhundert im selben Fred.
Ob es da einen Zusammenhang gibt, entzieht sich allerdings meiner Kenntnis.
Gruß Harald
Selbst wenn es die Sonne ist, die auf ihn scheint, ein Misthaufen antwortet immer nur mit Gestank...
Selbst wenn es die Sonne ist, die auf ihn scheint, ein Misthaufen antwortet immer nur mit Gestank...
Re: langsaer Webserver
Ich wollte mit meinem Post auch nichts relativieren. Nur aussagen dass es kein Angriff war sondern ein dumm konfigurierter Bot von einer KI Firma. Und da das so ne sauerei ist hoffe ich die werden verklagt
Re: langsamer Webserver
Faktisch kann man diese dumme Programmiererei aber mit einem dDoS Angriff gleichsetzen.
Hoffentlich lassen die ihr sich selbst überprüfendes LLM mal auf seine Art und Weise los, sich Daten zu verschaffen.
Nach der Überprüfung dürfte das Ding dann entweder 'vernünftiger' mit anderer Leute Ressourcen umgehen oder zeigen, dass es doch nicht das kann, was es können soll.
Hoffentlich lassen die ihr sich selbst überprüfendes LLM mal auf seine Art und Weise los, sich Daten zu verschaffen.
Nach der Überprüfung dürfte das Ding dann entweder 'vernünftiger' mit anderer Leute Ressourcen umgehen oder zeigen, dass es doch nicht das kann, was es können soll.
Re: langsamer Webserver
Ach, yoyo:
Huawais Petalbot kannst du auch gleich zurück umleiten. Der bremst wohl gerade.
Huawais Petalbot kannst du auch gleich zurück umleiten. Der bremst wohl gerade.
Re: langsaer Webserver
Das wollte ich auch nicht zum Ausdruck gebracht haben, verzeih, wenn das bei dir so angekommen ist.
Gruß Harald
Selbst wenn es die Sonne ist, die auf ihn scheint, ein Misthaufen antwortet immer nur mit Gestank...
Selbst wenn es die Sonne ist, die auf ihn scheint, ein Misthaufen antwortet immer nur mit Gestank...