Part 08 · Evaluating LLM Apps
Regression Testing and Benchmarking
Eval in CIPrompt regressionsModel upgradesPublic benchmarks
ছোট একটা prompt fix অন্য দশটা case ভেঙে দিতে পারে। CI তে eval চালানো, model বদলানোর আগে version তুলনা করা, আর কেন public benchmark score তোমার কাজের সাথে খুব কমই মেলে।
⏱ 1-2 ঘণ্টা · Station 67 / 92