Infrastruktur · Inferenz im EWR

KI-Infrastruktur in der EU — eigene Maschinen, eigener Stack

Die Modelle laufen auf Hardware, die wir im Europäischen Wirtschaftsraum betreiben. Die Betreibergesellschaft sitzt in der EU und hat keine US-Mutter, deshalb greift der CLOUD Act nicht. Anfragen werden nicht protokolliert und nicht für Training verwendet. Das ist keine Zusatzleistung, sondern die Voraussetzung dafür, dass ein Projekt an der Datenschutzfrage nicht hängen bleibt.

176Token/s
auf einem Stream, eigene Hardware
0,3–0,9 s
bis zum ersten Token
EWR
Ort der Verarbeitung
0
protokollierte Anfragen

Welche Wege gibt es sonst?

Drei, und jeder kostet etwas anderes. Der Vollständigkeit halber, weil die Entscheidung selten zwischen «wir» und «nichts» fällt.

US-Anbieter und Gateways

Schnell und günstig, aber die Anfragen überqueren den Atlantik und fallen unter den CLOUD Act. Für eine Bank, eine Klinik oder eine Behörde ist das kein Preisvorteil, sondern ein Ausschlusskriterium.

Zuständigkeit fremd

EU-Region eines Hyperscalers

Eine EU-Region ändert nichts an der Muttergesellschaft — es bleibt ein US-Unternehmen. Offene Modelle auf gemieteten GPUs selbst zu betreiben heißt außerdem: Kontingente, Kapazitätsplanung und ein Inferenz-Stack, den nun Sie betreiben.

Zuständigkeit fremd, Betrieb bei Ihnen

Selbst bauen

GPUs mieten und ein Modell ausliefern ist ein Wochenendprojekt. Prefix-Caching, Routing mit Cache-Kenntnis, Prioritäten unter Last und ehrliche Verbrauchsabrechnung sind es nicht — das sind die 80 Prozent der Arbeit, die nach dem Laden des Modells anfangen.

Betrieb vollständig bei Ihnen

Warum reicht ein Rechenzentrum in der EU nicht?

Weil die Zuständigkeit am Unternehmen hängt und nicht am Serverraum. Eine US-Gesellschaft untersteht dem CLOUD Act auch dann, wenn ihre Maschinen in Frankfurt stehen — die Behörde wendet sich an die Firma, nicht an das Gebäude. «Server in der EU» beantwortet die Frage deshalb nicht, es verschiebt sie nur.

Die drei Fragen, die sie tatsächlich beantworten: Wer ist Ihr Vertragspartner, welche Muttergesellschaft steht über ihm, und wird im Hintergrund an einen weiteren Anbieter weitergereicht. Erst diese Kette entscheidet, wessen Recht auf Ihre Dokumente anwendbar ist. Ausführlich steht das unterDatenstandort EU.

Bei uns ist die Kette kurz: eine EU-Gesellschaft ohne US-Mutter, eigene Maschinen, kein Weiterreichen. Nicht weil das eleganter wäre, sondern weil jede zusätzliche Station eine Zusage ist, die wir für jemand anderen geben müssten.

Was mit Ihren Daten nicht geschieht

Diese vier Punkte gehören in den Auftragsverarbeitungsvertrag, nicht auf eine Marketingseite — deshalb stehen sie in beidem.

Keine Protokollierung von Anfragen

Weder die Eingabe noch die Antwort wird in ein Log geschrieben. Gezählt werden Token — frische, zwischengespeicherte und ausgegebene. Der Text selbst wird nirgends abgelegt.

Kein Training auf Ihren Daten

Nichts aus Ihren Anfragen fließt in ein Modell zurück, weder in unseres noch in ein fremdes. Das ist der Punkt, an dem sich Angebote am deutlichsten unterscheiden.

Kein Verlassen des EWR

Inhalte von Anfragen verlassen den Europäischen Wirtschaftsraum nicht. Es gibt keinen Rückfallpfad zu einem Anbieter außerhalb, auch nicht bei Lastspitzen.

Keine Weitergabe an Dritte

Kein Weiterreichen an einen anderen Anbieter im Hintergrund. Wer die Hardware betreibt und wer die Anfrage beantwortet, ist dieselbe Firma.

Kostet das Geschwindigkeit?

Es ist die übliche Erwartung: europäisch, also langsamer. Gemessen im laufenden Betrieb sieht es anders aus — rund 176 Token pro Sekunde auf einem Stream, das erste Token nach 0,3 bis 0,9 Sekunden. Der schnellste öffentliche Anbieter desselben Modells liegt bei etwa 92 Token pro Sekunde, das untere Ende des Feldes bei 25.

Der Vorsprung kommt aus spekulativem Dekodieren auf eigener Hardware, nicht daraus, dass ein kleineres Modell ausgeliefert wird als angekündigt. Bei 50 bis 110 Tausend Token Kontext bleiben 79 bis 95 Token pro Sekunde: lange Kontexte bremsen jede GPU, das ist Speicherbandbreite und keine Frage der Auslastung.

Heabsy
176 Token/s
Schnellster öffentlicher Anbieter
92 Token/s
Unteres Ende des Feldes
25 Token/s

Token pro Sekunde auf einem Stream, dasselbe Modell bei allen dreien. Gemessen im laufenden Betrieb, Stand August 2026 — nichts davon ist eine Hochrechnung.

Nachmessen ist ausdrücklich erwünscht. Zahlen aus fremden Datenblättern sind für Ihre Unterlagen ohnehin wertlos — für die Kalkulation zählt, was Ihr eigener Bestand auf unserer Hardware tut. Stand der Angaben: August 2026.

Warum sind Agenten hier billiger?

Weil ein Agent immer wieder dasselbe liest. In agentischen Sitzungen sind 98,5 Prozent aller verarbeiteten Token Kontext, den das Modell bereits kennt. Unser Router hält ein Gespräch auf der Maschine, die seinen Präfix im Cache hat — dieser Teil wird nicht erneut berechnet, sondern gelesen.

98,5 %
der Token in agentischen Sitzungen sind erneutes Lesen bekannten Kontexts
0,7 s
bis zum ersten Token bei 98 000 Token Kontext im warmen Gespräch
91–97 %
Trefferquote des Caches am äußeren Rand des Kontextfensters
84 ×
schneller bei wiederholter Anfrage: 0,48 s statt 42 s

Der Unterschied ist nicht theoretisch: dieselbe Anfrage mit 34 000 Token wird kalt in 42 Sekunden beantwortet und aus dem Cache in 0,48. Bezahlt wird der zwischengespeicherte Teil mit $0,05 statt $0,40 je Million Token — bei einem Agenten, der zehnmal iteriert, zahlen Sie das volle Lesen einmal und die neun übrigen Male fast nichts.

Nachprüfbar ist das ohne uns: das Feld cached_tokenskommt in jeder Antwort zurück, sodass die Ersparnis in Ihrer eigenen Abrechnung nachgerechnet werden kann statt geglaubt.

Welche Modelle laufen darauf?

Ein Flaggschiff auf eigener Hardware — alles oben Gemessene wurde daran gemessen — und ein weitergereichter Katalog offener Modelle daneben.

Qwen3.8 27B

eigene Hardware

RadixArk/Qwen3.8-27B-NVFP4

ProgrammierenWerkzeugaufrufeStrukturierte AusgabeAgentisch
Kontextvolles Fenster
QuantisierungNVFP4 (fp4)
RegionEWR
StreamingSSE mit Verbrauchsangabe
Eingabe$0,40 / 1M Token
Eingabe aus Cache$0,05 / 1M Token

einer der niedrigsten Cache-Preise am Markt — und bei Agenten der größte Teil Ihrer Eingabe

Ausgabe$3,00 / 1M Token

Keine Mindestabnahme, kein Abonnement. Die Flotte ist elastisch: neue Karten melden sich selbst an, Kapazität wächst etwa im Stundenbereich.

Daneben weitergereichte offene Modelle über globale Anbieter, aber unter unserem europäischen Vertrag: ein Auftragsverarbeitungsvertrag, eine Rechnung, ein europäischer Vertragspartner. Die Berechnung kann dabei außerhalb des EWR stattfinden — wo ausschließlich EWR gefordert ist, gilt das Flaggschiff oben.

Preise aus der Preisliste des Gateways, Stand 29.08.2026, je 1 Million Token. Die Rechnung folgt dem Gateway, und diese Seite folgt der Rechnung. Dervollständige Katalogführt alle vierzehn Modelle mit Eigenschaften und Preisen.

Eine Zeile im Code

Eine Zeile. Die Schnittstelle ist OpenAI-kompatibel — Chat Completions, SSE-Streaming mit Verbrauchsangabe, Werkzeugaufrufe und strukturierte Ausgabe funktionieren mit jedem OpenAI-SDK unverändert. Der Anthropic-kompatible Endpunkt ist ebenfalls keine Ankündigung: diese Plattform bedient im täglichen Betrieb Claude Code.

from openai import OpenAI client = OpenAI(    api_key="hb-...",    base_url="https://api.heabsy.com/v1",)
api.heabsy.com/v1OpenAI-kompatibel — Chat Completions, SSE-Streaming mit Verbrauchsangabe, Werkzeugaufrufe, strukturierte Ausgabe.
platform.heabsy.comAnthropic-kompatibler Endpunkt und Konsole: Schlüssel, Budgets, Verbrauchsübersicht.
api.heabsy.com/docsReferenz der Schnittstelle.

Budgets und Ratengrenzen werden je Schlüssel gesetzt, der Verbrauch wird nach frischen, zwischengespeicherten und ausgegebenen Token getrennt ausgewiesen. Unter Sättigung kommt früh ein 429 statt einer stillen Warteschlange — eine ehrliche Absage ist für einen Agenten brauchbarer als eine Antwort, die nie kommt.

Zugang in drei Schritten

Drei Schritte, ohne Kreditkarte. Welches Modell für Ihren Fall taugt, entscheidet danach der Pilot an Ihren eigenen Unterlagen und nicht ein Datenblatt: bei Dokumentenarbeit auf Deutsch unterscheiden sich Modelle deutlich stärker, als die Ranglisten vermuten lassen.

01

Schreiben Sie uns — wir legen das Konto an und setzen ein Ausgabenlimit.

02

In der Konsole erzeugen Sie so viele Schlüssel wie nötig, jeder mit eigenem Budget.

03

Richten Sie Ihren Client auf den Endpunkt. Ohne Codeänderung — OpenAI- und Anthropic-kompatibel.

Was heißt das für Ihr Projekt?

Praktisch heißt es, dass die Datenschutzfrage vor dem Projekt geklärt ist statt mitten darin. In der Reihenfolge, in der Vorhaben tatsächlich scheitern, steht sie weit vorn: Der Fachbereich ist überzeugt, die Technik funktioniert, und dann fragt jemand, wohin die Personalakten gehen.

Ein Vertragspartner, ein Verarbeitungsort, ein Auftragsverarbeitungsvertrag — das lässt sich der Rechtsabteilung in einer Sitzung vorlegen. Wo der Bestand das Haus gar nicht verlassen darf, istOn-Premiseder zweite Weg: dieselbe Software auf Ihrer Hardware, wirtschaftlich anders gerechnet.

Was diese Seite ausdrücklich nicht ist: ein Angebot für einen Zugang zur Schnittstelle als Selbstbedienung. Wir führen ein und begleiten den Betrieb — die Infrastruktur ist die Grundlage dafür, nicht das Produkt daneben.

Häufige Fragen

Welche europäischen KI-Anbieter gibt es überhaupt?+

Die Frage wird häufiger gestellt, als es Antworten gibt. Auf Modellebene sind Mistral aus Frankreich und Aleph Alpha aus Heidelberg die bekanntesten europäischen Namen; daneben gibt es offene Modelle, die überall betrieben werden können, unabhängig davon, wo sie trainiert wurden. Auf Betriebsebene — wer die Karten besitzt und wer Vertragspartner ist — wird die Auswahl deutlich kleiner, und genau diese Ebene entscheidet über die Zuständigkeit. Ein europäisches Modell auf amerikanischer Infrastruktur löst das Problem nicht.

Reicht ein Rechenzentrum in der EU nicht aus?+

Nein, und das ist der am häufigsten übersehene Punkt. Die Zuständigkeit hängt am Unternehmen, nicht am Serverraum: Eine US-Gesellschaft untersteht dem CLOUD Act auch dann, wenn ihre Maschinen in Frankfurt stehen. Entscheidend ist, wer der Vertragspartner ist und welche Muttergesellschaft über ihm steht. Bei uns ist die Betreibergesellschaft in der EU ansässig und hat keine US-Mutter.

Wo stehen die Maschinen konkret?+

Die Modelle laufen auf Hardware, die wir innerhalb des Europäischen Wirtschaftsraums betreiben. Wir mieten keine Kapazität bei einem Hyperscaler und reichen keine Anfragen weiter; der Serving-Stack gehört uns vom Modell bis zur Schnittstelle. Nur deshalb können wir überhaupt zusagen, was mit Ihren Daten geschieht.

Wie schnell ist das im Vergleich?+

Auf einem einzelnen Stream etwa 176 Token pro Sekunde, das erste Token nach 0,3 bis 0,9 Sekunden. Der schnellste öffentliche Anbieter desselben Modells liegt bei rund 92 Token pro Sekunde. Bei 50 bis 110 Tausend Token Kontext bleiben 79 bis 95 übrig — lange Kontexte bremsen jede GPU, das ist Speicherbandbreite und keine Frage der Warteschlange. Gemessen im laufenden Betrieb, Stand August 2026.

Warum ist das für ein Einführungsprojekt überhaupt wichtig?+

Weil die Datenschutzfrage sonst jedes Projekt aufhält. Wenn der Betriebsrat, die Rechtsabteilung oder ein Kunde fragt, wohin die Dokumente gehen, ist die Antwort entweder belegbar oder das Projekt wartet. Mit eigener Infrastruktur ist sie belegbar: ein Vertragspartner, ein Verarbeitungsort, ein Auftragsverarbeitungsvertrag.

Können wir stattdessen komplett bei uns im Haus betreiben?+

Ja, das ist der zweite Weg und für manche Häuser der richtige. On-Premise heißt dann: die Modelle laufen auf Ihrer Hardware, wir bauen und betreiben den Stack darauf. Der Unterschied ist wirtschaftlich, nicht rechtlich — Sie kaufen GPUs und tragen Auslastungsrisiko, dafür verlässt nichts Ihr Netz.

Was passiert bei einem Ausfall?+

Es gibt keinen stillen Rückfallpfad zu einem Anbieter außerhalb des EWR — das wäre genau die Zusage, die wir nicht brechen wollen. Kapazität wird innerhalb unserer eigenen Standorte umgeschichtet. Für Anwendungen mit harter Verfügbarkeitsanforderung wird das im Projekt gesondert ausgelegt, statt es zu versprechen.

Messen Sie an Ihrem eigenen Bestand

Im Discovery läuft ein Ausschnitt Ihrer Unterlagen auf dieser Infrastruktur, und Sie bekommen Trefferquote und Antwortzeiten an Ihren eigenen Dokumenten — nicht an einem Datenblatt. Wer die technischen Angaben im Detail braucht, findet sie auf derenglischen Plattformseite.

Discovery anfragen

Zuletzt aktualisiert: