はじめに この記事は2024/12/13まで開催されていたKaggle Eedi - Mining Misconceptions in Mathematicsコンペを題材に、限られたリソースでどこまでスコアを上げることができるのかLateサブで検証してみた内容をまとめたものです。 Eediコンペは数学の質問テキストと不正解のペアに対して、その不正解の背景にある誤解(Misconception)を予測するNLPタスクで、ソリューションにはLLMが多く活用されたコンペでした。 本記事では割愛しますがタスク詳細や上位ソリューションについては、kutoさんの「Eediコンペ上位解法まとめ」がとても分かりやすいので、ぜひそちらを参照ください。 モチベーション RTX3090x1で金圏スコアを再現し、潤沢な計算リソースが無くても昨今のNLPコンペで金メダルを取れる可能性があることを証明したいというのが