Wählen Sie aus, welchen Chat-Model Sie verwenden möchten. Sie können auch während des Betriebs das Model wechseln. Manche Modelle verbrauchen mehr Tokens, können aber qualitativ bessere Antworten geben. Welches Model für Sie am besten ist, kann sich durch testen herauskristalisieren. Unter “Chats” können sie zurückverfolgen, bei welchem Chat welches Model aktiv war.
Tempereatur
Die Temperatur ist ein Parameter zwischen 0 und 1, der die Kreativität und Zufälligkeit der KI-Antworten steuert – niedrige Werte führen zu konsistenteren, vorhersehbareren Ausgaben, während höhere Werte vielfältigere und überraschendere Antworten ermöglichen.
Token-Limitierung
Sie können eine Obergrenze für den Token-Verbrauch der KI bei Ihren Antworten einstellen. Wählen sie -1, gibt es keine Limitierung. Bedenken Sie, dass 1 Token ca. 4 Zeichen entspricht.
Anzahl der Dokumente
Das Laden einer größeren Anzahl an Dokumenten aus dem Vektorstore bietet zwar mehr Kontext für die KI-Antworten und kann somit die Qualität der Generierung verbessern, birgt jedoch das Risiko, dass die Token-Limitierung des Language Models überschritten wird. Dies könnte dazu führen, dass relevante Informationen abgeschnitten werden oder die Verarbeitung fehlschlägt. Eine sorgfältige Balance zwischen Kontextumfang und Token-Verbrauch ist daher essentiell.
Erweiterte Einstellungen
???
