Part 08 · Evaluating LLM Apps

Regression Testing and Benchmarking

Eval in CIPrompt regressionsModel upgradesPublic benchmarks

ছোট একটা prompt fix অন্য দশটা case ভেঙে দিতে পারে। CI তে eval চালানো, model বদলানোর আগে version তুলনা করা, আর কেন public benchmark score তোমার কাজের সাথে খুব কমই মেলে।

⏱ 1-2 ঘণ্টা · Station 67 / 92