Token Control 5.1: Responses API, Tool-Governance und mehr Modelle

Inhalt

Mit Token Control 5.1 erweitern wir die Governance für die Responses API. Im Mittelpunkt steht eine veränderte Nutzung von KI: Neben einzelnen Antworten entstehen mehrstufige Aufgaben, bei denen Modelle recherchieren, Tools verwenden und Ergebnisse über längere Zeit erarbeiten. Dazu kommen zentrale Freigaben für die Tools dieser Modelle, weitere Modelle aus Azure AI Foundry und ein API-Key, der mehrere freigegebene Deployments bedient.

Von der einzelnen Antwort zur mehrstufigen Aufgabe

Eine Recherche beginnt mit einer Frage. Bis zur Antwort kann das Modell jedoch mehrfach suchen, Dokumente auswerten und zusätzliche Informationen einbeziehen. Die Responses API unterstützt solche Abläufe unter anderem durch Web Search, File Search und spezialisierte Deep-Research-Modelle. Eine Anfrage kann damit zahlreiche Verarbeitungsschritte auslösen.

Längere Aufgaben lassen sich außerdem im Hintergrund ausführen, unabhängig von einer dauerhaft geöffneten Anwendung. Die Aufgabe läuft weiter, und die Anwendung fragt das Ergebnis später ab. Das Schließen der Oberfläche beendet sie nicht.

Für den Betrieb bedeutet das: Nicht nur die fertige Antwort zählt. Auch die laufende Aufgabe braucht eine eindeutige Zuordnung, nachvollziehbare Zugriffsrechte und einen geregelten Umgang mit Status und Abbruch. Mit Token Control 5.0 haben wir im März sichtbar gemacht, was KI im Unternehmen kostet. Token Control 5.1 beantwortet die Frage, die seitdem dazugekommen ist: was die Modelle auf dem Weg zur Antwort tun.

Responses API für moderne KI-Anwendungen und Agenten

Token Control unterstützt die Responses API jetzt für OpenAI und Azure-basierte Deployments, einschließlich Streaming und, abhängig von Anbieter und Freigabe, Hintergrundverarbeitung. Ihre bestehenden Kosten- und Zugriffsregeln gelten damit auch für diese Aufrufe.

Aufgaben lassen sich starten, abrufen, abbrechen und löschen. Token Control hält dabei die Zuordnung jeder Aufgabe fest. Auch eine Antwort, die erst Stunden später abgerufen oder abgebrochen wird, bleibt demselben API-Key, derselben Kostenstelle und denselben Zugriffsrechten zugeordnet wie beim Start. Eine Aufgabe verliert ihren Kontext nicht, nur weil niemand mehr zusieht.

Token Control bedient die Endpunkte, die aktuelle SDKs und Agent-Clients erwarten. Wer mit dem Microsoft Agent Framework, dem .NET-SDK oder einem Copilot-artigen Client arbeitet, muss an seiner Konfiguration nichts ändern.

Alle Freigaben in diesem Release setzen auf derselben Struktur auf. Ein Deployment ist Ihre konfigurierte Modellinstanz bei einem Anbieter. Freigaben setzen Sie auf dem Deployment und, wo es feiner sein muss, auf einzelnen Modellen darin. Als Anbieter unterstützt Token Control neben Azure OpenAI und Azure AI Foundry inzwischen auch OpenAI und Anthropic direkt.

Zentrale Freigaben für Web Search, File Search und MCP

Nicht nur Modelle, sondern auch deren Tools lassen sich jetzt gezielt freigeben oder sperren. Die Regeln werden entlang Ihrer Organisationshierarchie vererbt, untergeordnete Bereiche können sie nicht aufweiten. Externe MCP-Server begrenzen Sie über eine URL-Allowlist.

Warum uns dieser Punkt wichtig ist, zeigt ein Beispiel, das wir für unterschätzt halten. Web Search in der Azure OpenAI Responses API nutzt Grounding with Bing Search. Microsoft schreibt in der eigenen Dokumentation, dass das Data Protection Addendum nicht für Daten gilt, die an Grounding with Bing Search gehen, und dass Ihre Daten dabei Ihre Compliance- und Geo-Boundary verlassen. Wer EU Data Boundary zugesagt hat, sollte diese Funktion nicht unbemerkt aktiv haben.

Konkret gilt in Token Control 5.1:

  • Web Search und File Search sind für Azure OpenAI und Azure AI Foundry standardmäßig deaktiviert und werden pro Deployment oder einzelnem Modell explizit freigegeben. Nicht freigegebene Anfragen lehnen wir ab, bevor sie den Anbieter erreichen. Bei OpenAI als direktem Anbieter bleiben beide Tools unverändert verfügbar, inklusive Kostenerfassung je Tool-Aufruf.
  • MCP und Function Tools bleiben nutzbar. MCP läuft über die URL-Allowlist, Function Tools bleiben wie gewohnt verfügbar, damit Entwickler-Tooling nicht an Tool-Namen scheitert.

Im Portal finden Sie diese Freigaben direkt am Deployment, zusammen mit den dort erlaubten Modellen.

Eigene Dokumente über Azure File Search einbinden

Sie laden Dateien hoch, verwalten Vector Stores und durchsuchen Ihre Dokumente über die Responses API, und zwar über denselben Token-Control-Endpunkt, den Ihre OpenAI-SDK-Clients ohnehin ansprechen. Das vereinfacht die Integration dokumentenbasierter Assistenten spürbar.

Agent-Clients melden ihre Tools bei jeder Anfrage mit an. Solange File Search pauschal gesperrt war, wirkte dadurch der gesamte Endpunkt unbrauchbar. Jetzt geben Sie File Search gezielt frei, standardmäßig bleibt es deaktiviert, und Ihre bestehende Konfiguration reichen wir unverändert an Azure weiter.

Die Kosten für Suche, Indexierung, Vector Stores und Speicher bleiben dabei bei Azure und fließen nicht in Ihre Budgets ein. Token Control bucht die Modell-Tokens und erfasst zusätzlich, wie oft File Search aufgerufen wurde.

Erweiterte Foundry-Modellunterstützung

Chat-Modelle aus Azure AI Foundry laufen jetzt über dieselbe Budget-, Pricing- und Buchungslogik wie Azure OpenAI. Konkret sind das DeepSeek V4 Pro, GLM 5.5 und MiniMax M3. Dazu kommt die GPT-5.6 Familie.

Azure OpenAI und Azure AI Foundry bleiben dabei zwei eigenständige, unabhängig konfigurierbare Wege. Wir erzwingen keinen Migrationspfad.

Zwei Details sind in der Abrechnung viel wert. Input, Cached Input und Output werden getrennt aufgelöst, budgetiert und genau einmal gebucht. Und konfigurierte Modelle werden exakt aufgelöst: Ein unbekanntes Modell wird nie stillschweigend als ein bekanntes verbucht, sondern kontrolliert abgelehnt. Uns ist eine abgelehnte Anfrage lieber als eine falsch zugeordnete Rechnungsposition.

Im bestehenden Kosten-Dashboard finden Sie diese Modelle mit derselben Aufschlüsselung nach Modell, Kostenstelle und Nutzer wie Ihre Azure-OpenAI-Deployments.

Ein API-Key für mehrere freigegebene Deployments

Eine Anwendung kann mit demselben API-Key beispielsweise Chat und OCR verwenden. Token Control wählt anhand des angeforderten Modells das passende zugewiesene Deployment aus. Kommen mehrere geeignete Ziele infrage, legen Sie eine Voreinstellung am API-Key fest und übersteuern sie bei Bedarf pro Anfrage.

Das Ergebnis ist weniger Verwaltungsaufwand bei weiterhin klar begrenzten Zugriffen. Im Portal weisen Sie die freigegebenen Deployments per Mehrfachauswahl zu und sehen je API-Key, welche Deployments er erreichen darf.

Unsere Roadmap

Governance und Compliance bleiben unser Schwerpunkt für die kommenden Releases. Dazu kommt die Dokumentation unserer APIs: Wir wollen sowohl die Anbindung eigener Anwendungen als auch das Management von Token Control über die API deutlich einfacher machen. Parallel halten wir die Modellunterstützung aktuell und nehmen die nächste GPT-Generation, angekündigt als GPT-6 Astra, kurzfristig auf.

Die Modelle direkt von uns beziehen

Die Modelle, die Sie über Token Control nutzen, können Sie auch direkt von uns beziehen. Wir sind CSP-Partner für Microsoft Azure und liefern Ihnen Azure OpenAI und Azure AI Foundry auf Ihrer eigenen Subscription. Bezug, Betrieb und Governance der KI-Plattform kommen damit aus einer Hand: ein Ansprechpartner für die Azure-Leistung, für den Support und für die Kontrollebene darüber.

Token Control ansehen

Am schnellsten bekommen Sie ein Bild in einer 30-minütigen Demo, in der wir Token Control an Ihrem Anwendungsfall zeigen. Mehr zum Produkt finden Sie unter tokencontrol.ai, einen Termin vereinbaren Sie über Kontakt und Demo.