Moore’s Law ist eigentlich kein Gesetz, sondern die Beobachtung, daß sich die Anzahl der Transistoren eines Chips ca. alle 2 Jahre verdoppeln kann. In den letzten Jahren wurden diese Intervalle aber zunehmend länger, und sie waren mit extrem hohen Investitionskosten verbunden. Parallel dazu entwickelt sich die KI aber weit schneller. Wie geht das und wohin gehen wir?
Intels damaliger CEO Pat Gelsinger hat ja bereits in 2023 gesagt, dass sich die Zyklen in Moore’s Law auf drei Jahre verlangsamen. Wie siehts konkret in der KI aus?
Hardwareinnovation – die Grenzen von Parallellisierbarkeit
Unsere Rechner werden seit vielen Jahren eigentlich nicht direkt schneller, dieser Seiteneffekt von Moore’s Law ist vorbei. Mit dem Mehr an Transistoren, können wir aber mehr Dinge gleichzeitig ausführen.
Leider schlägt hier dann aber ein wirkliches physikalisches Gesetz zu, Amdahl’s Law. Es können nicht alle Teile eines Programmes von hintereinander auf gleichzeitig umgestellt werden. Deshalb sind unsere neue PCs eigentlich nicht deutlich schneller – wir merken ein Mehr an CPUs zumeist gar nicht mehr.
Die KI hat hier einen großen Vorteil – sie ist in grossen Teilen parallel ausführbar – siehe AI 2027 is a Bet Against Amdahl’s Law
KI-Hardwareinnovationen
KI besteht nämlich technisch aus dem Abarbeiten einer enormen Anzhl an Arithmetik-Operationen. Ein typisches großes KI-Modell wie LLama 3.1 mit 405B (Milliarden) Parametern benötigt zum Erzeugen jedes einzelnen (nächsten) Antwort-Wortteils beinahe eine Billion (ca. 810,000,000,000) Arithmetik-Operationen. Und dazu müssen für etwas mehr als die Hälfte der Operationen auch zusätzlich Daten aus dem Speicher gelesen werden. Wir brauchen damit:
- Extrem schnelle Berechnungen, die meist nicht hintereinander sein müssen, d.h tausende parallel arbeitende Rechenwerke. Die sogenannten „GPUs“ in den Chips sind spezialisiert darauf, solche Operationen auszuführen. Mein aktueller Laptop (mit einem Apple M4 Pro Chip) besitzt in der GPU beispielsweise ca. 2,500 Rechenwerke, die parallel arbeiten können.
- Einen extrem schnellen und großen Speicher. Dieser muss groß genug sein, um die Milliarden von Parametern und den Kontext bzw. das Kurzzeitgedächtnis der KI zu speichern. Und er muss die vielen Rechenwerke für jedes Antwort-Worteil jeweils aufs Neue mit diesen Daten füttern.
Hardwareinnovationen erhöhen sowohl die Rechenleistung als auch die Speicherbandbreite. Mehr zu den Innovationen von NVIDIA im foldenden Youtube-Interview: Computerphile: Jensen Huang on GPUs.
Softwareinnovationen
Die einfachste Softwareinnovation war, die Genauigkeit der Berechnungen zu reduzieren (Fachbegriff: „quantization“ – hat nichts mit Quantencomputern zu tun, sondern mit gröberer Abstufung der Werte). Das spart sowohl Rechenleistung als auch Speicherplatz und damit auch das Gesamtvolumen der zu übertragenden Daten.
Ein weitere Optimierung war beispielsweise der „Mixture of Experts“ (MoE) Ansatz. Das Gesamtmodell wird hier auf mehrere Experten unterteilt. Bei der KI-Ausführung wird dann für jeden Wortteil dynamisch entschieden, welcher Experte oder Experten dafür verwendet werden sollen. Dieses Konzept wurde mit dem Modell Mixtral der französischen Mistral-AI zuerst öffentlich und breit verwendet. Die „Chinesen-KI“ DeepSeek-R1 ist auch ein MoE KI-Modell mit insgesamt 671 Milliarden Parametern, von diesen sind aber nur immer 37 Milliarden in einer Antwort-Wortteil Berechnung aktiv – das bewirkt eine ca. 18-fache Beschleunigung.
Es werden dauernd auch weitere algorithmische Verbesserungen gefunden, um Aufwände zu vermindern. Ein aktuelles Problem ist, dass in der bisher verwendeten Technik, der Speicher- und Rechenaufwand quadratisch mit längerem Kontext (allen Ein-/Ausgaben eines Dialogs) wächst. Damit „vergisst“ die KI in langen Dialogen die Anfänge. Dazu gibts immer wieder Detailverbesserungen.
Die Innovationsrate von Hardware und Software für die KI in Kombination ist dramatisch schnell. Und aktuell ist kein Verlangsamen dieser absehbar.
Aber, wie gehts weiter?
Die technische Entwicklung der KI ist rasant, wie sehen aber die verbundenen Gesellschaftlichen Auswirkungen aus?
Innovation im Vergleich Mensch zu KI
Die Publikation RE-Bench: Evaluating frontier AI R&D capabilities of language model agents against human experts versucht die Fähigkeiten von KIs im Vergleich zu Menschlichen Experten darzustellen. Und die Publikation Measuring AI Ability to Complete Long Tasks vergleicht im Detail, wie gut die Top-KI länger dauernde, hochqualifizierte menschliche Problemlösungs-Aufgaben bewältigt. Und sie vergleicht dabei auch die Kosten dieser KI-Problemlösung mit den entsprechenden Lohnkosten eines Menschen. Ihre Messwerte seit 2017 tendieren zu einer Verdopplung der KI-Leistungsfähigkeit alle 7 Monate, mit einer zusätzlichen Beschleunigung seit 2024. Aktuell (Mai 2025) schafft die Top-KI bereits viele Aktivitäten besser, die menschliche Experten in unter einer Stunde erledigen können. Sie prognostizieren, daß die KI ab 2028-2031 allgemein besser und billiger für Problemlösungs-Projekte sein wird, für die Menschliche Experten maximal ein Monat Arbeitszeit benötigen.
Ein Spekulativer Ausblick auf KI in 2027
AI 2027 zeigt mögliche Szenarien, wie sich die KI entwickeln könnte.
Informatiker, Marketer und Fotograf. Versucht Funktion, Nutzen und Risken komplexer Informationstechnologie verständlich darzustellen. Arbeitete in lokalen und internationalen Rollen, beispielsweise als Geschäftsfeldleiter bei Microsoft. Windows/MacOS/Linux KI-Enthusiast.