Kontextfenster
Das Kontextfenster, englisch Context Window, ist die begrenzte Menge an Informationen, die ein Sprachmodell in einer einzelnen Verarbeitung gleichzeitig berücksichtigen kann. Es wird in Token gemessen und umfasst Anweisungen, Eingaben, bereitgestellte Dokumente, den bisherigen Gesprächsverlauf und je nach System auch die erzeugte Antwort.
Was nicht ins Kontextfenster passt, kann das Modell nicht berücksichtigen. Für Content-Teams heißt das: Quellen nach Relevanz auswählen, statt möglichst viel Material ungefiltert mitzugeben.
Wie arbeitet ihr bei langen Dokumenten mit dem Kontextfenster?
Bei langen Dokumenten arbeitet ihr am besten mit dem Kontextfenster, indem ihr Material aufteilt und verdichtet, statt alles auf einmal mitzugeben.
- Gezielt auswählen: Gebt nur die Abschnitte mit, die für die Aufgabe nötig sind. Bei sehr viel Material übersehen Modelle häufiger einzelne Details.
- Aufteilen: Verarbeitet sehr lange Dokumente in Teilen, etwa kapitelweise, und führt die Ergebnisse anschließend zusammen.
- Zusammenfassen: Lasst lange Quellen vorab verdichten und arbeitet mit der geprüften Zusammenfassung weiter.
- Wichtiges wiederholen: Stellt zentrale Vorgaben wie Zielgruppe oder Tonalität an den Anfang und erinnert in langen Gesprächen erneut daran.
- Neu beginnen: Startet bei einem Themenwechsel einen neuen Chat, damit alte Inhalte das Ergebnis nicht verzerren.
Für dauerhaft große Wissensbestände eignet sich Retrieval-Augmented Generation, bei der das System passende Passagen gezielt abruft.
Ein sehr langer Dokumentenbestand wird vor der Verarbeitung nach Relevanz ausgewählt.
Häufige Fragen
Kontextfenster oder Gedächtnis: Was ist der Unterschied?
Das Kontextfenster ist der Arbeitsspeicher einer einzelnen Verarbeitung, das Gedächtnis mancher KI-Assistenten speichert Informationen über einzelne Gespräche hinaus. Was im Gedächtnis liegt, wird bei Bedarf wieder ins Kontextfenster geladen und verbraucht dort Platz. Endet ein Gespräch ohne Gedächtnisfunktion, ist sein Inhalt für das Modell beim nächsten Mal nicht mehr verfügbar.
Wie viel Text passt in ein Kontextfenster?
Wie viel Text in ein Kontextfenster passt, hängt vom Modell ab und wird in Token angegeben, nicht in Wörtern oder Seiten. Ein Token ist oft ein Wortteil, deutsche Texte brauchen dabei meist mehr Token als englische. Die Grenzen unterscheiden sich zwischen Modellen stark und wachsen mit neuen Generationen. Prüft die Angabe für das konkrete Tool, das ihr nutzt.
Was passiert, wenn das Kontextfenster voll ist?
Ist das Kontextfenster voll, werden je nach Tool ältere Teile des Gesprächs abgeschnitten oder zusammengefasst, oder die Eingabe wird abgelehnt. Frühe Anweisungen zu Tonalität oder Zielgruppe können dann verloren gehen, ohne dass das Tool darauf hinweist. Hinterlegt dauerhafte Vorgaben deshalb im System Prompt oder in Projekteinstellungen statt nur in der ersten Nachricht.
Ersetzt ein großes Kontextfenster RAG?
Ein großes Kontextfenster ersetzt RAG nicht vollständig. Es erlaubt, mehr Material direkt mitzugeben, wird mit wachsender Menge aber teurer und langsamer, und Details können übersehen werden. RAG wählt bei jeder Anfrage gezielt passende Passagen aus einem großen Bestand aus. Für einzelne lange Dokumente reicht oft das Kontextfenster, für ganze Wissensbestände eignet sich RAG.