Bir agent'ın iyi cevap üretmesi LLM'in zekâsından çok kaynak verisinin doğru zamanda doğru paketlenmesine bağlı. Aşağıda kullandığımız çatıyı paylaşıyoruz.
Üç katmanlı bağlam: kalıcı, oturum, anlık
Kalıcı: kullanıcı profili, tercihler. Oturum: konuşma geçmişi, yapılan eylemler. Anlık: sadece son adımın ihtiyacı olan veri (RAG retrieval, tool call sonucu).
Token bütçesini önceden böl
8K context limitin %30'u sistem talimatı, %30'u retrieval, %25'i konuşma geçmişi, %15'i yer payı. Limit aşılınca priority'ye göre kısaltma kuralı.
Eval otomatik olmalı
Her prompt değişikliği için 50+ test case'lik eval suite — LLM-as-judge ile skor + insan örnekleme. Regression olduğunda CI fail.
S
Yazan
Siyarsoft Ekibi
Stüdyodan — mühendislik, tasarım, pazarlama disiplinlerinden