Startseite / Rang #7
Kontext-Hygiene & Token-Management
Chat-Verläufe wachsen unbegrenzt, RAG-Pipelines stopfen 20 Chunks hinein, wo 3 reichen würden, und Agenten schleppen komplette Tool-Outputs durch jeden weiteren Turn. Aufgeblähter Input ist die stille Hälfte der meisten KI-Rechnungen.
Sliding-Window-Verläufe mit periodischer Zusammenfassung, gerankte Retrieval-Ergebnisse, die nur die besten Chunks behalten, und das Kürzen von Tool-Outputs holen routinemäßig 30–50% der Input-Kosten zurück — und verbessern meist sogar die Antwortqualität, weil das Modell weniger Rauschen sieht.
So setzen Sie es um
- Konversationsverlauf deckeln; ältere Turns in einen kompakten Zustand zusammenfassen, statt sie abzuspielen.
- Einen Reranker ins Retrieval einbauen und die übergebenen Chunks auf das Minimum kürzen, das die Antwortqualität erhält.
- Tool-Outputs kürzen oder zusammenfassen, bevor sie in den Kontext gelangen.
- Token pro Request je Feature loggen; bei Drift alarmieren.
Häufig gestellte Fragen
Leidet die Qualität, wenn ich den Kontext kürze?
Meist das Gegenteil — Modelle lassen sich von irrelevantem Kontext ablenken ("lost in the middle"). Gemessenes Kürzen mit Evals verbessert in der Regel Kosten und Genauigkeit zugleich.
Tools für diese Methode
Mitosis Cortex
The cut-spend-at-the-source option: a persistent memory graph over your email, docs, chats, and tools that agents query instead of…
Helicone
Long the default open-source LLM cost dashboard. Acquired by Mintlify in March 2026 and now maintenance-only — existing deployment…
Nächste Methode: #8 Kostenzuordnung & AI FinOps