Part 08 · Evaluating LLM Apps
Monitoring LLM Apps in Production
Online evalsUser feedbackDriftAlerts
Test pass করে, তারপরও user অভিযোগ করে। Online eval এর জন্য live traffic থেকে sample নেওয়া, feedback জমানো, drift ধরা, আর শুধু error না, quality নিয়েও alert।
⏱ 1-2 ঘণ্টা · Station 68 / 92