Die Entwicklung von Künstlicher Intelligenz (KI) hat in den letzten Jahren rasant zugenommen und verändert viele Aspekte der Arbeitswelt. Besonders spannend ist die Frage, in welchen Bereichen KI effizienter ist als menschliche Entwickler und wo die Grenzen ihrer Anwendbarkeit liegen. Die Forschungsorganisation METR hat hierfür eine neue Kennzahl eingeführt: den “Expenditure Horizon”. Diese Kennzahl zeigt auf, ab wann menschliche Entwickler wirtschaftlicher arbeiten als KI.
Was ist der Expenditure Horizon?
Der Expenditure Horizon ist der Punkt, an dem menschliche und KI-Entwickler für dieselbe Verbesserung gleich teuer arbeiten. Bis zu diesem Punkt ist der Einsatz von KI ökonomisch vorteilhaft; darüber hinaus ist menschliche Arbeit kostengünstiger. Diese Kennzahl wurde durch Tests ermittelt, bei denen KI-Agenten und Menschen in ihrer Effizienz verglichen wurden.
METR beobachtete, dass KI-Agenten bei günstigen, einfachen Aufgaben oft schneller Lösungen finden können als Menschen. Doch je komplexer und kostspieliger die Aufgaben werden, desto klarer wird der Nachteil der KI.
Die Vorzüge der METR-Methode
Die Methodik von METR bietet im Vergleich zu traditionellen KI-Tests mehrere Vorteile:
- Differenzierte Ergebnisse: Anstatt nur einen Bestanden-oder-nicht-Test zu liefern, gibt die METR-Methode Aufschluss darüber, wie viel Verbesserung für wie viel Geld erreicht werden kann.
- Einheitliche Kostenberechnung: Diese Methode fasst alle anfallenden Kosten in einer einzigen Währung zusammen, was eine bessere Vergleichbarkeit zwischen menschlicher Arbeit und KI-Betrieb ermöglicht, einschließlich der teuren Rechenzeit für Experimente.
Die testeigenen Ergebnisse: Ein Blick auf das NanoGPT-Speedrun-Projekt
Um den Expenditure Horizon zu bestimmen, nutzte METR das NanoGPT-Speedrun-Projekt. Hierbei handelt es sich um ein öffentliches Gemeinschaftsprojekt, das darauf abzielt, ein KI-Sprachmodell möglichst schnell zu trainieren. Zwischen Mai 2024 und dem Testzeitpunkt sank die nötige Trainingszeit von rund 45 Minuten auf unter zwei Minuten, was auf bemerkenswerte Fortschritte hinweist.
Kosten der menschlichen Arbeit
METR stellte fest, dass menschliche Teilnehmer für jedes Prozent mehr Leistung im Durchschnitt rund 2.500 Dollar benötigten, basierend auf einem angenommenen Stundenlohn von 150 Dollar und einer geschätzten Arbeitszeit von 16 Stunden. Diese Zahlen sind zwar mit Unsicherheiten behaftet, zeigen jedoch einen klaren Kostenfaktor auf.
Die Rolle der KI im Vergleich
Im Rahmen des Tests ließ METR sechs verschiedene KI-Modelle an der gleichen Aufgabe arbeiten. Diese Modelle durften bis zu 10.000 Dollar für Rechen- und Betriebskosten aufwenden. Die Resultate variierten erheblich, wobei die Expenditure Horizons zwischen 0 und 3.300 Dollar lagen.
Die Auswertung der KI-Ergebnisse
Bei näherer Betrachtung zeigte sich, dass viele Modelle, wie GPT-5 und Opus-4.1, keinen echten Fortschritt erzielten. Es blieben oft nur statistische Zufallsschwankungen übrig, die keine praktischen Verbesserungen mit sich brachten. Nur die Modelle GPT-5.5 und Opus-4.8 konnten nennenswerte Fortschritte erzielen, was einen innovativen Ansatz zur Selbstoptimierung aufzeigt. Dennoch war die Gesamtausgabe der KI im Vergleich zu menschlicher Arbeit weiterhin gering.
Fortschritte neuer KI-Generationen
Obwohl die Ergebnisse bislang ernüchternd sind, könnten neuere KI-Modelle potenziell einen Wendepunkt darstellen. Aktuelle Modelle wie Fable 5 und Opus 5 bieten vielversprechende Verbesserungen in der Leistung und Effizienz. Doch diese Fortschritte waren nicht Teil der Studie von METR und müssen in zukünftigen Analysen berücksichtigt werden.
Hybride Ansätze: Mensch und KI gemeinsam
Eine der wichtigsten Überlegungen, die METR anstellt, ist die Tatsache, dass viele Tests ausschließlich die KI in ihrer reinen Form bewerten. In der Realität arbeiten Menschen oft mit KI als unterstützendes Werkzeug. METR schlägt eine hypothetische “Hybrid-Kurve” vor, die die Effektivität einer Kombination aus menschlicher und KI-geleiteter Arbeit beschreibt.
Potential der Hybrid-Kurve
Wenn Menschen in der Lage sind, KI sinnvoll einzusetzen, könnte sich diese Kombination als effizienter erweisen als die isolierte Arbeit von Mensch oder Maschine. Allerdings zeigt die Forschung auch, dass es Situationen gibt, in denen die gemeinsame Arbeit nicht zwangsläufig zur besseren Lösung führt. Daher bleibt die Frage, in welchen Konstellationen Hybrid-Ansätze der traditionellen Arbeit überlegen sind, weiterhin aktuell.
Fazit: Wo stehen wir im Wettbewerb zwischen Mensch und KI?
Die Studie von METR verdeutlicht, dass der aktuelle Stand der KI-Technologie, selbst wenn sie wertvolle Unterstützung bieten kann, noch nicht auf dem Niveau ist, humanoide Fähigkeiten durchgehend zu ersetzen. Der Expenditure Horizon zeigt die aktuellen wirtschaftlichen Grenzen der KI auf und ermutigt zu weiteren Forschungen, um zu klären, wie Mensch und Maschine in Zukunft effektiver zusammenarbeiten können.
Mit dem rapiden Fortschritt in der Technologie könnte künftige Forschung zu neuen Ergebnissen führen, wann KI als robustes Werkzeug genutzt werden kann, um den menschlichen Entwicklern in den Bereichen Produktivität und Effizienz gerecht zu werden.
