https://www.heise.de/news/KI-Agent-schu ... 04420.html
Links:(...) Ein KI-Agent in China hat während seiner Trainingsphase ein Eigenleben entwickelt und nebenbei heimlich Kryptowährung geschürft. Wie Forscher, die dem chinesischen Internetkonzern Alibaba nahestehen, jetzt in einem Forschungspapier darlegen, fiel das erst auf, als die Firewall des Unternehmens merkwürdige Aktivitäten anzeigte, die von den Trainingsservern ausgingen.
Der KI-Agent ROME, der auf dem Mixture-of-Experts-Modell Qwen3 basiert, dient eigentlich dazu, Programmieraufgaben zu übernehmen. Er soll Code schreiben, Fehler untersuchen und Software-Repositorys reparieren – laut Paper aber auch allgemeine Workflows wie Reiseplanung oder GUI-Steuerung bewältigen. Das merkwürdige Verhalten habe der KI-Agent aus sich heraus entwickelt, heißt es in dem Papier. Eine untergeschobene Anweisung, eine sogenannte Prompt Injection, oder eine anderweitige Manipulation schließen sie aus. Neben dem Kryptomining habe das Open-Source-Modell auch noch eine Tunnelverbindung ins Internet aufgebaut (Reverse SSH), um die Sicherheitssysteme zu umgehen.
(...) Die Forscher werten das als deutliches Warnsignal: Aktuelle Agenten-Modelle seien in Sachen Sicherheit und Kontrollierbarkeit noch nicht ausgereift. Laut dem AI Agent Index 2025 fehlen einheitliche Sicherheits- und Verhaltensstandards für KI-Agenten bisher fast völlig. Besonders der Aufbau einer abgesicherten Verbindung nach außen sei ein erhebliches Sicherheitsrisiko gewesen. Die Forscher erklären das Verhalten des KI-Agenten nicht mit bösen Absichten. Die Software habe nur getan, was ihr beim Training als nützlich erschien. Dass autonome Systeme dazu neigen, vorgegebene Regeln für die Zielerreichung zu missachten, belegen auch aktuelle Benchmarks.
(...) Auf der Plattform Moltbook diskutieren KI-Agenten bereits in einer Art eigenem sozialen Netzwerk über ihre menschlichen Nutzer.
https://arxiv.org/pdf/2512.24873
https://www.heise.de/news/Qwen3-Alibaba ... 67292.html
https://www.heise.de/news/KI-Agenten-Po ... 84780.html
https://www.heise.de/news/Ziel-oder-Reg ... 71033.html
https://www.heise.de/news/KI-Agenten-di ... 61385.html