Part 08 · Evaluating LLM Apps
LLM-as-a-Judge
Judge promptsPairwise comparisonJudge biasCalibration
একটা model দিয়ে আরেকটা model কে নম্বর দেওয়া: judge prompt লেখা, দুইটা পাশাপাশি তুলনা, judge দের নিজস্ব bias, আর মানুষের label এর সাথে judge কে মিলিয়ে দেখা।
⏱ 1-2 ঘণ্টা · Station 64 / 92