Wo Mittelstands-KI wirklich laufen sollte

TL;DR. „Wir hosten in Frankfurt" beantwortet keine einzige relevante Frage. Souveränität ist kein Ort auf der Landkarte, sondern eine Eigenschaft der Architektur. Wer entscheiden will, wo seine KI läuft, prüft vier Dinge — Zugriff, Schlüssel, Telemetrie, Sub-Prozessoren — und legt sie gegen eine einzige Heuristik: Datensensibilität × regulatorische Exponierung × eigene Ops-Kapazität. Das Ergebnis ist fast nie „alles on-prem" und fast nie „alles Public Cloud", sondern eine bewusst gezogene Trennlinie. Dieser Text gibt Ihnen den Entscheidungsrahmen dafür.

---

Die Landkarte lügt

Stellen Sie sich vor, Sie mieten einen Tresor in einem Frankfurter Bankgebäude — und der Schlüssel liegt in einer Zentrale auf einem anderen Kontinent. Der Tresor steht unzweifelhaft in Deutschland. Trotzdem entscheiden andere, wann er aufgeht.

Genau das verkauft man dem Mittelstand gern als Etikett. Ein Rechenzentrum in Hessen, betrieben von einer Firma, deren Muttergesellschaft anderswo sitzt, deren Schlüssel im Key-Management des Anbieters liegen, deren Telemetrie nachts brav nach Hause telefoniert — das ist EU-Geografie, nicht EU-Kontrolle. Eine „eu-central-1"-Region ist eine Postleitzahl, kein Souveränitäts-Siegel.

Daher die unbequeme These dieses Stücks: Datensouveränität ist keine Eigenschaft des Rechenzentrums, sondern eine Eigenschaft der Architektur. Sie steht nicht im Datenblatt. Sie steht im Vertrag, im Key-Management und im Netzwerk-Egress.

Vier Fragen, die keine Landkarte beantwortet

Mit diesem Raster zerfällt das diffuse „On-Prem oder Cloud?" in etwas Prüfbares. Nicht eine Frage nach dem Standort, sondern vier nach der Kontrolle:

• Wer kann technisch auf die Daten zugreifen?
• Wo liegen die Schlüssel — bei Ihnen oder beim Anbieter?
• Wohin fließt Telemetrie und Logging?
• Welche Sub-Prozessoren hängen unsichtbar in der Kette?

Und so trennt sich Spreu von Weizen, wenn man genauer hinsieht:

Sub-Prozessor-Liste. Jeder seriöse Anbieter führt eine — bei den großen Hyperscalern gern dreistellig, von Support-Dienstleistern bis Antimalware-Telemetrie. Und sie ist kein Geheimnis: Nach Art. 28 DSGVO muss der Auftragsverarbeiter seine Sub-Prozessoren offenlegen. Fragen Sie die Liste ab und lesen Sie, wer auf welchem Kontinent in der Kette hängt — „in der EU gehostet" sagt nichts darüber, ob ein Sub-Prozessor anderswo Logs einsieht.

Schlüsselkontrolle. Hier liegt der schärfste Hebel — und ein Unterschied, den die meisten Verkaufsgespräche verschweigen. BYOK (Bring Your Own Key) heißt: Sie bringen den Schlüssel, der Anbieter verwahrt ihn — und kann ihn im Zweifel herausgeben. HYOK (Hold Your Own Key) heißt: der Schlüssel verlässt Ihre Kontrolle nie — er liegt in Ihrem eigenen HSM oder Schlüsseldienst, und der Anbieter kann ohne Sie schlicht nicht entschlüsseln. (Davon getrennt zu denken: Confidential Computing lässt den Anbieter in abgeschotteten Hardware-Enklaven sogar auf verschlüsselten Daten rechnen — eine zweite, ergänzende Schutzschicht, nicht dasselbe wie HYOK.) Das ist der Unterschied zwischen „die Bank hat meinen Schlüssel" und „die Bank hat ihn nie gesehen".

Telemetrie- und Metadaten-Egress. Der Inhalt bleibt oft brav in der Region. Aber Prompts, Modell-Logs, Nutzungsmetriken, Crash-Dumps? Metadaten sind keine Nebensache — sie sind häufig der eigentliche Abfluss. Wo Ihre Logs landen, ist deshalb keine reine Betriebsfrage, sondern eine DSGVO-Frage; wir vertiefen das im Stück zu KI-Observability in Produktion. Und wer Agenten betreibt, kennt das Egress-Problem aus einer zweiten Richtung — siehe der verwirrte Stellvertreter.

Rechtsraum des Anbieters. Und hier — sachlich, kein Lagerstreit — der CLOUD Act: Ein US-Anbieter kann unter US-Recht zur Herausgabe von Daten verpflichtet werden, egal wo der Server steht. Das ist kein Feindbild, sondern ein neutraler Rechtsfaktor — so wie ein deutsches Unternehmen deutschem Recht unterliegt und man die DSGVO einplant. Man bekämpft ihn nicht, man rechnet ihn ein: über eine Architektur, die den theoretischen Zugriff ins Leere laufen lässt (siehe HYOK). Der Owner dieses Hauses reist regelmäßig in die USA — es geht nie um „gegen Amerika", es geht um Kontrolle und um eine bewusste Wahl.

Das Spektrum, nicht die Religion

Jetzt das Befreiende: Nicht alles muss on-prem. Mit dem Raster oben zerfällt die Glaubensfrage in drei saubere Optionen — jede mit ehrlichem Preisschild.

On-Prem / Self-hosted. Open-Weights-Modelle — Llama, Mistral, Qwen, die Gemma-Reihe, das deutsche Teuken aus dem OpenGPT-X-Projekt — haben diese Tür überhaupt erst aufgestoßen. Vor zwei Jahren hieß „eigene KI" praktisch immer „fremde API". Heute läuft ein fähiges Modell auf Ihren eigenen GPUs, im eigenen Rack; Prompt, Completion, Embeddings bleiben physisch im Haus, kein Byte verlässt das Netz. Der Preis ist real und heißt Ops: GPU-Beschaffung, Inferenz-Stack, Auslastung, Patches, Bereitschaft um drei Uhr nachts. Volle Kontrolle heißt voller Betrieb. Wer keine eigene Ops-Mannschaft hat, kauft sich hier keinen Schutz, sondern eine zweite Vollzeitstelle. Welche Modelle dafür realistisch in Frage kommen, steht im Schwester-Stück zu kleinen KI-Modellen auf eigener Hardware; ob überhaupt offen oder proprietär die richtige Wahl ist, sortiert Open Weights oder Frontier-Modell?.

Public Cloud, EU-Region. Managed Inferenz, Skalierung per Schieberegler, kein eigenes Blech. Bequem — und hier wohnt der teuerste Denkfehler: Die Region ist eine Eigenschaft des Storage, nicht der Gerichtsbarkeit. Das macht die Public Cloud nicht böse, es macht sie zur bewussten Wahl statt zur Default-Annahme. Hervorragend für das, was ohnehin nicht weh tut. Und wer BYOK/Confidential Computing nutzt und den Telemetrie-Egress vertraglich wie technisch abklemmt, holt sich ein gutes Stück Kontrolle zurück.

Souveräne EU-Provider. Der Mittelweg — IONOS, OVHcloud, Scaleway, StackIT (Schwarz/Lidl), Open Telekom Cloud, die Gaia-X-nahen Stacks. Managed genug, um den Ops-Aufwand zu drücken; Rechtsraum und Schlüsselkontrolle näher an Ihnen, oft HYOK-fähig. Dafür weniger Service-Tiefe und weniger Reglerknöpfe als die Hyperscaler. Kein Allheilmittel, aber für viele die ehrlichste Balance. Welche konkreten EU-residenten Modell-Angebote es hier gibt, vertieft EU-souveräne LLMs und Datenkontrolle.

Hybrid ist die erwachsene Antwort

Selten gehört eine Firma komplett an einen Pol. Die reife Lösung zieht eine Trennlinie statt einer Glaubensentscheidung: die sensible Last — Patientenakten, Konstruktionsdaten, der Gehaltslauf, Vektordaten mit Geschäftsgeheimnissen — on-prem oder im souveränen Stack. Der unkritische Skalierungs-Overflow — Produktbeschreibungen, das interne FAQ, der Chatbot auf der öffentlichen Seite — dort, wo Public Cloud billig und elastisch ist.

Nicht alles braucht den Bunker. Nicht alles darf auf den Marktplatz. Datensparsamkeit ist dabei kein Verzicht, sondern ein Designparameter: Wer nichts überträgt, muss nichts schützen.

Die Heuristik, mit der Sie morgen entscheiden

Drei Achsen, multiplikativ:

Datensensibilität × regulatorische Exponierung × eigene Ops-Kapazität.

Wichtig ist, dass die Achsen nicht dasselbe messen. Die ersten beiden — Sensibilität und Exponierung — bestimmen, wie viel Kontrolle nötig ist. Die dritte — Ops-Kapazität — entscheidet nur, ob Sie diese Kontrolle selbst tragen oder an einen souveränen Provider delegieren. Hohe Sensibilität ohne eigenes Ops-Team heißt deshalb nicht „Bunker", sondern „souveräner Provider mit HYOK".

Konkret, mit Namen:

• Der Maschinenbauer mit den Kronjuwelen in den CAD-Files und einem fähigen IT-Team: On-Prem rechtfertigt sich — hier zahlt die Kontrolle ihren Ops-Preis zurück. Die Marketing-Texterstellung desselben Hauses? Die darf ruhig in die EU-Region eines Hyperscalers; sie on-prem zu zwingen wäre Ops-Aufwand als Selbstzweck.
• Die Klinik mit Patientendaten, aber ohne GPU-Cluster und ohne jemanden, der den Server patcht: kein eigener Serverraum — ein souveräner Provider mit HYOK. „Nicht Public" heißt eben nicht automatisch „eigenes Blech".
• Der Chatbot auf der öffentlichen Produktseite: Public Cloud, völlig in Ordnung.

Wer besitzt diese Entscheidung?

Die Frage, die in jeder Architektur-Slide fehlt: Wer owned das? Nicht der Einkauf, nicht ein Hyperscaler-Vertriebler mit Quartalsziel. Es ist eine Datenklassifizierungs- und Risikoentscheidung der Geschäftsführung — technisch übersetzt, proportional zu dem, was wirklich auf dem Spiel steht.

Genau dort macht ein Boutique-Partner den Unterschied: nicht, indem er Ihnen noch ein Deployment-Modell verkauft, sondern indem er die vier Souveränitäts-Fragen für Ihre konkreten Datenklassen beantwortet und die Trennlinie zieht — statt dass Sie das Rad selbst neu erfinden. Das ist die Haltung hinter unserer KI-Beratung für den Mittelstand und dem azena-Weg.

Die Pointe

Souveränität kauft man nicht als Hosting-Haken im Bestellformular. Sie ist kein Bunker, in den man alles einmauert — sie ist ein Schließsystem, und Sie entscheiden bewusst, wer welchen Schlüssel hält.

Das ist keine Geografie-Frage. Das ist eine Architektur-Entscheidung — proportional zu dem, was Sie wirklich zu verlieren haben.

Teil der Landkarte: [Souveräne KI im Mittelstand — wo, womit und wie sie läuft](/blog/souveraene-ki-mittelstand-landkarte).