Gemeinsame Benchmarks auf der OCI-H100-Infrastruktur ergaben zehnmal so viele gleichzeitig unterstützte Nutzer, einen zehnmal höheren Token-Durchsatz und siebenmal mehr bereitgestellte Token ohne zusätzliche GPUs

CAMPBELL, Kalifornien, 9. Juni 2026 /PRNewswire/ -- WEKA, das Unternehmen für KI-Daten- und Speicherinfrastruktur, gab heute Benchmarks im Produktionsmaßstab bekannt, die zeigen, wie Unternehmen die Wirtschaftlichkeit von KI-Inferenz mit langem Kontext verbessern können, indem sie mit gleichem GPU-Bestand mehr Nutzer unterstützen und mehr Token verarbeiten. Die Benchmarks zeigen, dass die NeuralMesh-Plattform von WEKA mit Augmented Memory Grid auf Oracle Cloud Infrastructure (OCI) zehnmal so viele Nutzer gleichzeitig unterstützt, einen zehnmal höheren Token-Durchsatz erreicht und siebenmal mehr Token pro GPU verarbeitet als reine DRAM-Konfigurationen, und das ohne zusätzliche Infrastruktur. Die Ergebnisse wurden auf einem OCI-Bare-Metal-H100-Cluster mit neun Knoten und Kontextfenstern mit 100 000 Token validiert.

„KI-Workloads in Unternehmen bringen Kontextfenster und GPU-Auslastung an neue Grenzen", sagte Pablo Selem, leitender Direktor für Softwareentwicklung bei Oracle Cloud Infrastructure. „Diese Benchmarks zeigen, wie die NeuralMesh-Plattform von WEKA mit Augmented Memory Grid auf OCI Speicherengpässe beseitigt, sodass Kunden größere, anspruchsvollere Inferenz-Workloads unterstützen können, ohne einfach weitere GPUs hinzuzunehmen."

Drei Ergebnisse, die neue Maßstäbe für die Inferenzkalkulation setzen

Im Produktionsmaßstab auf einem Bare-Metal-H100-Cluster validiert (neun Knoten, 72 GPUs, Kontextfenster mit 100 000 Token, Tausende gleichzeitig unterstützte Nutzer), lieferte NeuralMesh mit Augmented Memory Grid auf OCI:

• Zehnmal so viele Nutzer gleichzeitig, ohne zusätzliche Infrastruktur. NeuralMesh mit Augmented Memory Grid ließ sich auf über 5000 gleichzeitig unterstützte Nutzer skalieren, verglichen mit etwa 600 bei reinen DRAM-Konfigurationen. Dadurch wird der abrupte Leistungseinbruch vermieden, der bei einer Cache-Sättigung auftritt, indem der aktive Cache-Arbeitsdatensatz von 8,64 TiB DRAM auf 287 TiB nutzbaren NVMe-Speicher erweitert wird. Außerdem bedeutet eine höhere Nutzerzahl pro GPU, dass dieselbe Investition weiter reicht.
• Zehnmal höherer Token-Durchsatz. Mehr Leistung von jeder GPU im Cluster. Auf OCI erreichte NeuralMesh mit Augmented Memory Grid etwa zwei Millionen Token pro Sekunde, verglichen mit weniger als 200 000 Token bei der reinen DRAM-Baseline. Für Produktteams, die Echtzeit-KI-Funktionen wie Suche, Zusammenfassung, Code-Unterstützung sowie Multi-Turn-Agenten betreiben, bestimmt der Durchsatz die Obergrenze dafür, wie viele Nutzer unterstützt werden können, wie schnell Funktionen reagieren und wie viel Umsatz die Infrastruktur tragen kann.
• Siebenmal mehr Token bereitgestellt. Geringere Kosten pro Token bei Skalierung. NeuralMesh mit Augmented Memory Grid stellte in einem einzigen einstündigen Test mit 2400 Nutzern fünf Milliarden Token bereit, verglichen mit 700 Millionen Token bei der reinen DRAM-Baseline. In Unternehmen mit agentenbasierten Arbeitsabläufen zehrt die DRAM-Sättigung durch ständige Neuberechnungen unbemerkt GPU-Kapazität auf und belastet damit unmittelbar die Kosten pro Token sowie die Investitionsrendite.

„Die Inferenz wird dadurch begrenzt, wie viel effektiver Speicher den GPUs zur Verfügung steht", sagte Liran Zvibel, Geschäftsführer von WEKA. „Diese Ergebnisse belegen, dass sich die Token-Ökonomie von KI nicht allein durch Hardware verbessern lässt, sondern durch die Beseitigung der Speicherbarriere, die bislang die tatsächliche Obergrenze für die Leistung bestehender Hardware darstellt. NeuralMesh mit Augmented Memory Grid auf OCI stellt Kunden auf äußerst kosteneffiziente Weise um Größenordnungen mehr Token bereit."

Transformation der KI-Wirtschaftlichkeit durch eine Infrastruktur für Kontextspeicher

Mit wachsender Nachfrage nach Inferenz verstärken sich Ineffizienzen in der KI-Infrastruktur. Jede Verdrängung aus dem Schlüssel-Wert-Cache (KV-Cache) ist eine Belastung: für GPU-Zyklen, Latenz, Benutzererfahrung und die Kosten jedes bereitgestellten Tokens. Bei Workloads mit langem Kontext und agentenbasierten Workloads, bei denen Eingaben regelmäßig 100 000 Token oder mehr umfassen, ist diese Belastung kein Rundungsfehler. Sie wirkt sich direkt auf die Wirtschaftlichkeit jedes Unternehmens aus, das KI im Produktionsbetrieb einsetzt.

Augmented Memory Grid, eine Funktionalität von NeuralMesh, löst das Problem auf Architekturebene, indem der KV-Cache vom lokalen GPU-Speicher entkoppelt und in einem leistungsstarken Token-Warehouse (Token-Speicher) gespeichert wird, auf das der gesamte Cluster zugreifen kann. Jeder Host kann jede Sitzung mit erhaltenen Cache-Treffern bedienen. Dadurch entfällt starre Sitzungsbindung, während zugleich die DRAM-Leistung übertroffen, der Lastausgleich verbessert und eine saubere horizontale Skalierung bei zunehmender Parallelität ermöglicht wird. Das Ergebnis ist ein persistenter Kontextspeicher für KI-Agenten und ein Kostenhebel, der Inferenz mit langem Kontext bei Skalierung wirtschaftlich macht.

Produktionsreifer Nachweis

OCI veröffentlichte die vollständige Benchmark-Methodik, die Systemkonfiguration und die Ergebnisse am 13. Mai 2026 in seinem KI- und Datenwissenschaftsblog. Die Benchmarks, die auf einem OCI-Bare-Metal-H100-Cluster mit neun Knoten durchgeführt wurden, gehen über die vorherige Validierungsphase hinaus, in der eine 1000-fach höhere KV-Cache-Kapazität und eine bis zu 20-fach schnellere Zeit bis zum ersten Token bei 128 000 Token nachgewiesen wurden. In dieser neuesten Phase wird die volle Wirtschaftlichkeit der Inferenz im Produktionsbetrieb getestet: Dichte gleichzeitiger Zugriffe, dauerhafter Durchsatz, Cache-Persistenz und Stabilität der Service-Level-Ziele (SLO) bei Bedarfsspitzen unter hoher Last.

Erhältlich im Oracle Marketplace

NeuralMesh mit Augmented Memory Grid ist für WEKA-Kunden allgemein verfügbar und im Oracle Marketplace erhältlich, wobei OCI WEKAs exklusiver Cloud-Partner für die Markteinführung ist. Unternehmen, die Inferenz mit langem Kontext auf OCI einsetzen, können bereits heute eine validierte, produktionsreife Architektur bereitstellen. Weitere Informationen zum Benchmark von OCI und WEKA zu Augmented Memory Grid finden Sie im OCI-Blog: https://blogs.oracle.com/ai-and-datascience/scaling-long-context-inference-on-oci-with-wekas-augmented-memory-grid.

Informationen zu WEKA

WEKA ist das Unternehmen für KI-Daten- und Speicherinfrastruktur, das die Wirtschaftlichkeit agentenbasierter KI verändert. Die NeuralMesh™-Plattform vereint Hochleistungsdatenspeicher mit erweitertem GPU-Speicher und bietet Unternehmen, KI-Cloud-Anbietern sowie KI-Entwicklern eine einheitliche Grundlage für Training, Inferenz und agentenbasierte Workloads. Mit Augmented Memory Grid erweitert NeuralMesh die GPU-Speicherkapazität um das 1000-fache, beschleunigt die Zeit bis zum ersten Token um das bis zu 20-fache und unterstützt bei gleichem GPU-Bestand zehnmal so viele Nutzer gleichzeitig, wie Produktionsbenchmarks belegen. WEKA, dem 30 % der Fortune 50-Unternehmen vertrauen, unterstützt Unternehmen dabei, KI schneller zu skalieren, die GPU-Auslastung zu optimieren und die Kosten jedes bereitgestellten Tokens zu senken. Weitere Informationen finden Sie auf www.weka.io oder vernetzen Sie sich mit uns auf LinkedIn und X.

WEKA und das W-Logo sind eingetragene Marken von WekaIO, Inc. Andere hier genannte Markennamen können Marken der jeweiligen Eigentümer sein.

View original content to download multimedia:https://www.prnewswire.com/de/pressemitteilungen/weka-und-oracle-cloud-infrastructure-belegen-zehnfache-durchsatzsteigerungen-fur-ki-inferenz-mit-langem-kontext-302794928.html

Die BG Kliniken und das Universitätsklinikum Hamburg-Eppendorf (UKE) treiben eine umfassende Neuordnung der stationären Versorgung in der Hansestadt voran. Kern des Vorhabens sind zwei Neubauten und eine deutlich engere Verzahnung beider Einrichtungen, insbesondere in der Behandlung von Schwerstverletzten. Grundlage bilden Absichtserklärungen, die von Senat, Bezirksvertretern und Klinikverantwortlichen unterzeichnet und im Hamburger Rathaus vorgestellt wurden. Insgesamt sollen mehr als 1,2 Milliarden Euro investiert werden, finanziert aus Mitteln der gesetzlichen Unfallversicherung.

Herzstück des Projekts ist ein neuer Standort des BG Klinikums Hamburg auf dem Campus des UKE in Eppendorf. Das Haus zur Versorgung von Schwerstverletzten wird baulich mit einem geplanten Erweiterungsbau des UKE verbunden. In diesem UKE-Neubau sind unter anderem ein Krebszentrum sowie eine erweiterte Notfallaufnahme vorgesehen. Hamburgs Erster Bürgermeister Peter Tschentscher (SPD) verweist auf die erwarteten Synergien: Es gelte, Spitzenmedizin so zu organisieren, dass sie zugleich medizinisch führend und wirtschaftlich tragfähig sei – ein Vorteil nicht nur für Hamburg, sondern für den gesamten norddeutschen Raum.

Parallel dazu soll der bestehende Standort des BG Klinikums in Hamburg-Bergedorf grundlegend neu ausgerichtet werden. In einem Neubau mit rund 350 Betten sind ein neues Querschnittgelähmten-Zentrum, Einrichtungen für die Frührehabilitation und weitere Reha-Angebote sowie ein sportmedizinisches Zentrum geplant. Der Standort soll sich auf die Versorgung von Menschen mit Rückenmarksverletzungen und auf fachübergreifende Rehabilitation konzentrieren. Ergänzt werden die Strukturen durch ein medizinisches Versorgungszentrum mit Notfallangeboten. Das dortige Luftrettungszentrum und die Rettungswache bleiben nach den bisherigen Plänen bestehen.

Politik und Klinikleitungen sehen in der Verdichtung der Angebote an den zwei Standorten eine Stärkung der regionalen Versorgungslandschaft. Die Gesundheitsversorgung im Hamburger Osten soll ausgebaut, gleichzeitig der Eppendorfer Campus als Knotenpunkt für Spitzenmedizin, Forschung, Lehre und Weiterbildung profiliert werden. Wissenschaftssenatorin Maryam Blumenthal spricht von optimalen Bedingungen für Fächer wie Unfallchirurgie, Traumatologie und muskuloskelettale Medizin. Zusammen mit Ausbauschritten in umliegenden Häusern, etwa der Zentralen Notaufnahme des Agaplesion Bethesda Krankenhauses Bergedorf, entsteht ein Netz zusätzlicher Kapazitäten für die wachsende Bevölkerung der Metropolregion.