俺が好きなmacでローカルLLMを触れるってことと、来年さらにローカルLLMが熱くなる(はず)ということでm4チップが発売されたことを契機に購入を検討した。 ＃現状、m1 mac book air 16GB所持で、小さめのモデルでも手元で動かすにはちょっと心もとない。 この記事は検討の過程を共有して、誰かの参考になればと思って公開する。 結論 色々悩んだが、整理してみると俺はm4 mac book airのメモリ24GBを待つことにした。(年末セールのm3 mac book airもちょっと候補。) mac book proも悩んだが、持ち運びが多いので重さ、バカ高いPCを持ち運ぶの怖いという観点で諦めた。 一旦mac book airのみで推論ベースで遊んでみて、自分でもモデルを学習してみたいとかでてきたときにm4 mac miniのm4pro-48GBを追加導入しようかなと思う。 ロー
昨年、OpenAIが最後までComputerUse、つまりコンピュータの自動操作する、いわゆる「本物のエージェンティックAI」を出さなかったことが腑に落ちなかったのだが、よくよく考えると、作るのは簡単でも、それを世に放つのは難しい問題というのがある。 特に今年から正式にOpenAIは非営利団体ではなく営利団体になった。 営利団体というものが目指すものは、当然ながら営業利益である。 さて、ではComputerUseがChatGPTのように「誰でも」使えるようになると困るのは誰だろうか。 まず最初に困るのは、おそらくGoogleだ。だが、すでにサム・アルトマンはGoogleは敵に回してもいいという判断をしている。だからChatGPT Searchを作って、デフォルトの検索エンジンとして使うように勧めている。ただ、まだデフォルトの検索エンジンにするにはChat GPT Searchは不便なことが
こんにちは。エンジニアリンググループゼネラルマネジャー & 機械学習エンジニアの大垣です。 さて、私が機械学習エンジニアとして仕事をしているAI・機械学習チームでは、今年一年で28個のプロダクトをリリースしました。月に2つくらいは新規プロダクトが出てる計算ですね。なかなか高速にリリースできているのではないでしょうか。 なお、この1年で5名のメンバーが新規に加わり、チームが12人から17人になったので、来年は更に加速していきたいです！*1 これらのプロダクトを簡単にお見せしつつ、エムスリーという医療xWebの企業でMLのチームはどういう仕事をしているのか、というのをお届けできればと思います！ 多いっちゃ多いので、新メンバーはカルタでプロダクトを覚えています。このカルタ自体もLazzaroniというプロダクトです 年間15個以上のプロダクトをリリースするAIチームを入社したてのフレッシュな目線
🚀 Effortless Setup: Install seamlessly using Docker or Kubernetes (kubectl, kustomize or helm) for a hassle-free experience with support for both :ollama and :cuda tagged images. 🤝 Ollama/OpenAI API Integration: Effortlessly integrate OpenAI-compatible APIs for versatile conversations alongside Ollama models. Customize the OpenAI API URL to link with LMStudio, GroqCloud, Mistral, OpenRouter, and
Introducing the Model Context Protocol (MCP) An open standard we've been working on at Anthropic that solves a core challenge with LLM apps – connecting them to your data. No more building custom integrations for every data source. MCP provides one protocol to connect them all: pic.twitter.com/kYsivQyPDq — Alex Albert (@alexalbert__) November 25, 2024 Model Context Protocolの概要 Model Context Protoc
SLM:小規模言語モデルとは？ 生成AIと言えばLLM (Large Language Model, 大規模言語モデル)ですが、近年提唱されるようになった概念としてSLM (Small Language Model, 小規模言語モデル)があります。 SLMはその名前の通り、LLMよりも比較的小さなパラメータ数のモデルに対する総称です。 厳密な定義はありませんが、以下のような特徴のある言語モデルをSLMと呼んでいることが多いようです。 知識の深さと幅：LLMほどの専門的知識はありませんが、一般常識や日常会話ができる程度の知識があります。専門性の高い文章を扱う場合は、RAG等やファインチューニングを使って追加の情報を与えるような運用が想定されています。 学習の容易性：モデルが小さいためファインチューニングをしやすいことが特徴として挙げられます。LLMのような汎用性は必要無いものの、特定の知識が
小規模言語モデル（SLM）とは？特徴や活用するメリットを初心者向けに分かりやすく解説 2024 7/24 生成AIを利用するためには、膨大な量のデータを処理するためスペックの高いデバイスが必要になることがあります。しかし、コスト的にハイスペックなデバイスを導入をすることが難しい環境もあるでしょう。 そんな時に活躍するのが小規模言語モデルです。この記事では、小規模言語モデルの概要だけではなく、メリットやデメリットまでご紹介します。最後には、代表的な小規模言語モデルもご紹介しますので、ぜひ最後までご覧ください。 小規模言語モデルとは 小規模言語モデル（Small Language Model）とは、名前の通りChatGPTやClaudeのような大規模言語モデル（Large language Models）に比べて、少ないパラメーター数で構成されているモデルのことを指します。 小規模言語モデルと
生成AIをいかに生活やビジネスに生かすか？ 特にデジタル化が進むビジネス環境の中で、DXとともに、大きく注目されるテーマとなった。 AIに関するニュースリリースは続いている。2024年12月1日には、OpenAIが、ChatGPTに月額200ドル（約3万円）の有料プラン「o1 pro mode」を登場させ、またGoogleも「Gemini 2.0」を12月11日に発表。いずれも、推論（論理や規則に基づいて、未知の事柄を論じること）の向上を体験できる。 その一方で、まだまだ生成AIをビジネスに取り入れている人は少なく、その正確性や活用方法についても不透明さが残る。そもそも、AIの可能性について、詳しく理解している人が少ない、という問題もある。 グーグルのAI部門の幹部、セシュ・アジャラプ氏（Google DeepMind プロダクト＆エンジニアリング シニアディレクター）は、生成AI活用を拡
こんにちは。松尾研究所でデータサイエンティストの採用を担当している、開原です。 長年採用に携わっていると「テックブログで採用の話をするのはちょっと気が引けるな」という率直な気持ちがありつつも、今年はデータサイエンティストのメンバーと共に多くの取り組みを実施しましたので、ぜひ紹介させていただきたく、筆をとりました。 採用担当の方や、同じように採用活動に取り組んでいるデータサイエンティストの皆さんに参考になれば嬉しいです。 0. 前提 松尾研究所では、日々のプロジェクトや技術の研鑽だけでなく、次世代の仲間探しにも力を入れています。 入社初日にオンボーディングの一貫で採用についての考え方やご協力いただきたいことの共有をおこなっていることもあり、松尾研究所のメンバーにとって、採用は業務同様、とても重要な取り組みの1つという認識です。 入社初日のオンボーディング資料より 特にデータサイエンティストチ
9th December 2024 Meta’s new Llama 3.3 70B is a genuinely GPT-4 class Large Language Model that runs on my laptop. Just 20 months ago I was amazed to see something that felt GPT-3 class run on that same machine. The quality of models that are accessible on consumer hardware has improved dramatically in the past two years. My laptop is a 64GB MacBook Pro M2, which I got in January 2023—two months a
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 最新の大規模言語モデルを使ってみたいがなかなか手が出ない．Nvidia製のGPUが高すぎる…… そんな需要があり，研究室にMac Studioが導入されました． Nvidia製のGPUではなくMac Studioを用いる理由については，既に多くの方々が検証してくださっているので，そちらを参照ください！ あくまで一例です． 注意が必要なのは，現時点ではMac StudioでのLLMの学習ができないという点で，そのため本記事でも推論のみに焦点を当てて選定しています． 今回の要件 今回，研究室で利用するため，多くの学生が使えるよう，
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
