はじめに どんな人向けの記事？ ローカルLLMに興味がある方 ローカルLLM向けにGPUの購入を検討している方 内容 本記事では、ローカルLLMの推論に向いているGPUの選定を行います。 タイトルにある通り、結論から言うと私はM2 Ultra搭載のMac Studioを購入しました。 なぜ私が60万円以上もするMac Studioを購入するに至ったのか？その経緯を書き留めています。 検討項目 ローカルLLMの推論向けに最適なGPUは何か？ 今後のGPU販売計画も考慮して、今買うべきか待つべきか？ Mac Studioを購入する際の具体的なスペックはどうすべきか？ 背景 昨年、画像生成AI向けにNVIDIAのGeForce RTX 3060 (12GB)を購入しましたが、最近のローカルLLMの性能向上により、このGPUでは物足りなくなってきました。また、メインで使用している第8世代Core
