Auf dieser Seite
Die kurze Antwort
Prompt-Caching kann die wiederholte Eingabeverarbeitung reduzieren, wenn Anforderungen ein wiederverwendbares Präfix teilen. Dies bedeutet nicht, dass die Anwendung eine alte Antwort zurückgibt. Messen Sie den tatsächlich abgerechneten Input, ggf. Schreibvorgänge, Output, Latenz und akzeptierte Ergebnisse; Eine hohe Trefferquote allein führt nicht zu niedrigeren Gesamtbetriebskosten.
Was zum Mitnehmen
- Bewahren Sie die wiederverwendbaren Anweisungen möglichst stabil auf.
- Trennen Sie das Zwischenspeichern von Eingabeaufforderungen vom Zwischenspeichern von Anwendungsantworten.
- Überprüfen Sie die Aufbewahrungs- und Abrechnungsregeln für das genaue Modell.
Quellen überprüft . Forschungssynthese und Rubrex-Empfehlungen. Beispiele und lokale Experimente sind gekennzeichnet; es handelt sich nicht um Kundenergebnisse.
Verstehen Sie, was wiederverwendet wird
OpenAI beschreibt das Zwischenspeichern von Eingabeaufforderungen als Wiederverwendung des Zwischenstatus für ein passendes Eingabeaufforderungspräfix. Das Modell verarbeitet weiterhin neue Eingaben und generiert eine Antwort. Die aktuelle Dokumentation macht das Preis- und Aufbewahrungsverhaltensmodell abhängig. Vermeiden Sie es, eine Konfiguration von einem älteren Modell zu kopieren, ohne die Unterstützung zu prüfen. Wir empfehlen, mit einer Anforderungsinventur zu beginnen: Identifizieren Sie wiederholte Anweisungen und Tools und messen Sie dann, wie viel des tatsächlichen Datenverkehrs diese Präfixe gemeinsam nutzt.
Erstellen Sie ein realistisches Verkehrsexperiment
Vergleichen Sie äquivalenten Datenverkehr mit demselben Modell, derselben Aufgabenverteilung und denselben Ausgabeerwartungen. Eine wiederholte synthetische Eingabeaufforderung kann zu einem attraktiven Cache-Ergebnis führen, das bei unterschiedlichen Kundenanfragen verschwindet. Berücksichtigen Sie sowohl Kaltstarts als auch wiederholte Interaktionen und zeichnen Sie das Beobachtungsfenster auf. Wenn das Experiment das Eingabeaufforderungslayout ändert, bestätigen Sie, dass die Antwortqualität immer noch derselben Rubrik entspricht. Eine Kostenverbesserung, die durch das Entfernen nützlichen Kontexts erreicht wird, ist ein anderer Eingriff und verdient eine gesonderte Erklärung.
Konto für die gesamte Anfrage
Behalten Sie zwischengespeicherte Lesevorgänge, nicht zwischengespeicherte Eingaben, zwischengespeicherte Schreibvorgänge dort, wo sie abgerechnet werden, und generierte Ausgaben in separaten Abrechnungsfeldern. Fügen Sie bei der Berechnung der Aufgabensumme Werkzeugkosten und Wiederholungsversuche hinzu. Als anschauliches Beispiel reduziert die Halbierung einer Inputkomponente, die ein Fünftel der Gesamtkosten ausmacht, die Gesamtkosten um ein Zehntel, vorausgesetzt, dass alles andere konstant bleibt. Es halbiert die Rechnung nicht. Verwenden Sie tatsächliche Nutzungsaufzeichnungen und aktuelle Anbietertarife, wenn Sie dieses einfache Beispiel durch eine Prognose ersetzen.
| Metrisch | So berechnen oder prüfen Sie | Entscheidung, die es unterstützt |
|---|---|---|
| Zwischengespeicherte Eingabefreigabe | Zwischengespeicherte Eingabetokens / insgesamt gemeldete Eingabetokens | Wie viel Input profitiert von der Wiederverwendung? |
| Beobachtete Anforderungskosten | Summe der abgerechneten Eingabe-, Schreib-, Ausgabe- und Werkzeugkomponenten | Stimmen die Rechnungen mit der Prognose überein? |
| Zeit bis zum ersten Token p95 | 95. Perzentil vom Beginn der Anforderung bis zum ersten Ausgabetoken | Verbessert die Wiederverwendung die wahrgenommene Verzögerung? |
| Kosten pro angenommener Aufgabe | Gesamtkosten für Versuch und Überprüfung / akzeptierte Aufgaben | Verbessert Caching das Geschäftsergebnis? |
Behandeln Sie Cache-Änderungen als betriebliche Änderungen
Überprüfen Sie, ob das ausgewählte Aufbewahrungsverhalten den Datenverarbeitungsverpflichtungen für die Anwendung entspricht. Behalten Sie die Mandantenautorisierung unabhängig vom Caching bei und vermeiden Sie die Speicherung vertraulicher Materialien, nur um die Trefferquote zu erhöhen. Achten Sie auf Verkehrsänderungen, die die Wiederverwendung von Präfixen verringern, z. B. häufige Eingabeaufforderungsänderungen oder stark variable Tooldefinitionen. Vergleichen Sie nach der Bereitstellung die Prognose mit den beobachteten Kosten und der Qualität. Wenn die Einsparungen verschwinden, untersuchen Sie die Nutzungszusammensetzung, bevor Sie davon ausgehen, dass der Anbieter seine Tarife geändert hat.
Grenzen der Beweise
Caching-Verhalten, Abrechnungsfelder und Aufbewahrungsoptionen unterscheiden sich je nach Anbieter und Modell. Die Berechnung dient der Veranschaulichung; Dieser Artikel meldet keine gemessene Rubrex-Latenz oder Einsparungen und verspricht keinen bestimmten Rabatt.
Häufige Fragen
Ist das Zwischenspeichern von Eingabeaufforderungen dasselbe wie das Speichern von Antworten?
Nein. Beim Prompt-Caching wird die Eingabeverarbeitung wiederverwendet. Das Zwischenspeichern von Anwendungsantworten kann eine zuvor gespeicherte Antwort zurückgeben und benötigt eine eigene Aktualitätsrichtlinie.
Ist eine höhere Cache-Trefferquote immer besser?
Nein. Gesamtkosten, Qualität, Aufbewahrungsanforderungen und Latenz sind wichtig. Eine zwischengespeicherte Anfrage kann dennoch zu einer teuren oder unbrauchbaren Antwort führen.
Quellen & weiterführende Literatur
Primäre Quellen hinter diesem Briefing. Die Erkenntnisse einer Quelle gelten für ihre eigenen Studienbedingungen; Die Veröffentlichung auf arXiv begründet kein Peer-Review.
- OpenAI-Eingabeaufforderungs-Caching OpenAI · Lebende Referenz · Gepflegte DokumentationBewertet: Wiederverwendung von Präfixen, Cache-Abrechnung und modellspezifische Aufbewahrungsanleitung. Zugriff 25. Sept. 2026.
Fragen oder Korrekturen? Schreiben Sie an Rubrex. Lesen Sie unseren redaktionellen Ansatz.