Lokales LLM
Ein lokales LLM ist ein Sprachmodell, das auf eigener oder angemieteter Hardware läuft statt über die Schnittstelle eines Anbieters. Der Begriff wird für zwei sehr verschiedene Dinge verwendet: ein Modell im eigenen Serverraum und ein Modell auf dedizierten Karten in einem Rechenzentrum. Rechtlich und wirtschaftlich verhalten sich beide unterschiedlich, und für die meisten Unternehmen ist keines von beiden die erste Wahl.
Wann lohnt sich eigene Hardware — und wann nicht?
Sie lohnt sich bei dauerhaft hoher, gleichmäßiger Last, bei Daten, die das Haus vertraglich nicht verlassen dürfen, und bei Anforderungen an Antwortzeiten, die über ein öffentliches Netz nicht zu halten sind. Drei Bedingungen, von denen im Mittelstand selten alle drei zutreffen.
Sie lohnt sich nicht bei schwankender Last. Eine Karte kostet dasselbe, ob sie rechnet oder wartet, und die typische Auslastung eines Unternehmensassistenten liegt unter zehn Prozent. Wer zwanzig Anfragen am Tag hat, zahlt für Leerlauf — und für Betrieb, Aktualisierung und Bereitschaft, die in keinem Angebot stehen.
Was heißt «lokal» rechtlich?
Weniger, als der Begriff nahelegt. Die DSGVO verbietet Drittlandübermittlungen nicht, sie knüpft sie an Kapitel V. Verarbeitung im EWR macht dieses Kapitel entbehrlich — das ist eine erhebliche praktische Erleichterung, aber kein gesetzliches Gebot, und es setzt nicht voraus, dass die Hardware im eigenen Keller steht.
Berufsrechtlich kann der Maßstab strenger sein. Für eine Steuerberatung in Deutschland verlangt § 62a StBerG bei Leistungen für ein einzelnes Mandat die Einwilligung des Mandanten, unabhängig vom Ort der Hardware. Die Frage ist also nicht nur «wo», sondern «wer sieht es und mit wessen Zustimmung».
Welche Zwischenlösung übersehen die meisten?
Offene Modelle auf dedizierten Karten im EWR, betrieben von einem Auftragsverarbeiter mit Vertrag nach Artikel 28 DSGVO und ohne Protokollierung der Inhalte. Das liefert den Datenstandort und die Kontrolle über das Modell, ohne Anschaffung, Betrieb und Leerlauf.
Der ehrliche Vergleich fällt für die meisten so aus: eigene Hardware ab einer Last, die ganztägig mehrere Karten auslastet — darunter ist die dedizierte Variante günstiger und schneller verfügbar. Wir betreiben beides und sagen das auch dann, wenn die kleinere Antwort die richtige ist.
Wovon ist das zu unterscheiden?
On-Premise
«On-Premise» meint den Betrieb in den eigenen Räumen. «Lokal» wird umgangssprachlich auch für dedizierte Hardware in einem fremden Rechenzentrum verwendet. Bei Vertragsverhandlungen lohnt es sich, die Begriffe zu trennen — sie haben verschiedene Folgen für Haftung und Auftragsverarbeitung.
Private Cloud beim Hyperscaler
Eine abgeschottete Umgebung bei einem Anbieter mit Muttergesellschaft außerhalb der EU bleibt eine Drittlandkonstellation, auch wenn die Server in Frankfurt stehen. Ob das trägt, ist eine Frage der Vertragsgestaltung und nicht des Standorts allein.
Häufige Fragen
Was kostet ein lokales LLM?+
Die Hardware ist der kleinere Teil. Dazu kommen Strom, Kühlung, Bereitschaft, Aktualisierung von Modellen und Laufzeitumgebung sowie die Fähigkeit, im Störungsfall zu reagieren. Als Faustregel: Wenn Sie diese Rolle nicht ohnehin besetzt haben, sind die laufenden Kosten höher als der Anschaffungspreis vermuten lässt.
Sind offene Modelle schlechter als GPT oder Claude?+
Für allgemeine Aufgaben liegen die stärksten geschlossenen Modelle vorn. Für die typische Unternehmensaufgabe — aus vorgelegten Unterlagen mit Fundstelle antworten — ist der Abstand gering, weil nicht das Modellgedächtnis die Antwort trägt, sondern der vorgelegte Text. Genau deshalb ist die Modellfrage bei diesem Aufbau nachrangig.
Können wir später wechseln?+
Wenn der Aufbau es zulässt, ja. Entscheidend ist, dass Ihre Dokumente, die Aufbereitung und die Systemanweisung nicht an einen Anbieter gebunden sind. Wer das von Anfang an trennt, wechselt das Modell in Tagen; wer es nicht tut, baut beim Wechsel neu.
Verwandte Begriffe
Die Rechnung, die vorher gehört
Nennen Sie uns, wie viele Anfragen pro Tag realistisch anfallen und welche Daten dabei verarbeitet werden. Daraus ergibt sich ohne Demonstration, ob eigene Hardware sich rechnet — meistens lautet die Antwort nein, und das sagen wir Ihnen auch.
Test anfragenZuletzt aktualisiert: