9th December 2024 Meta’s new Llama 3.3 70B is a genuinely GPT-4 class Large Language Model that runs on my laptop. Just 20 months ago I was amazed to see something that felt GPT-3 class run on that same machine. The quality of models that are accessible on consumer hardware has improved dramatically in the past two years. My laptop is a 64GB MacBook Pro M2, which I got in January 2023—two months a
はじめに どんな人向けの記事？ ローカルLLMに興味がある方 ローカルLLM向けにGPUの購入を検討している方 内容 本記事では、ローカルLLMの推論に向いているGPUの選定を行います。 タイトルにある通り、結論から言うと私はM2 Ultra搭載のMac Studioを購入しました。 なぜ私が60万円以上もするMac Studioを購入するに至ったのか？その経緯を書き留めています。 検討項目 ローカルLLMの推論向けに最適なGPUは何か？ 今後のGPU販売計画も考慮して、今買うべきか待つべきか？ Mac Studioを購入する際の具体的なスペックはどうすべきか？ 背景 昨年、画像生成AI向けにNVIDIAのGeForce RTX 3060 (12GB)を購入しましたが、最近のローカルLLMの性能向上により、このGPUでは物足りなくなってきました。また、メインで使用している第8世代Core
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
