タグ

LLMに関するUKIBORIのブックマーク (4)

  • M1MacでOllamaを試したら爆速で驚いた

    はじめに いつもNVIDIAが載っているWindowsで楽しくLLMを動かしたり生成AIライフを楽しんでいますが、今回はMacOSでOllamaを入れてLlama3を動かしてみました。 スペック: Apple M1 Pro(16 GB) 少し前だとCUDAのないMacでは推論は難しい感じだったと思いますが、今ではOllamaのおかげでMacでもLLMが動くと口コミを見かけるようになりました。 ずっと気になっていたのでついに私のM1 Macでも動くかどうかやってみました! 結論、爆速で推論できていたのでとても驚きました。OSS開発に感謝です! Ollamaとは OllamaとはローカルでLLMを動かすことができるアプリケーションです。 以下からダウンロードできます。 MacOSLinuxで使うことができます。Windowsもプレビュー版があるみたいです。 #いざ推論 ダウロードができたらシ

    M1MacでOllamaを試したら爆速で驚いた
  • ローカルで気軽にRAGを使って会話することが簡単すぎてビビった。 - Qiita

    Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 今日は、ローカルにてRAG(Retrieval-Augmented Generation)を使って、あるPFDについて質問するチャットを作ろうと思う。 OpenAIを使うので、無料ではないので注意されたい。 今回のソースは LangChain 完全入門 というを参考にしていて、とても勉強になるので購入をお勧めする。 行いたいこと ローカルでPDFを読み込ませて、内容を質問したり、要約させること。 大きな流れ 環境準備 チャットアプリの土台の作成 プロンプトを定義 アップロードされたPDFファイルを分割 内容をベクトル化し保存 入力され

    ローカルで気軽にRAGを使って会話することが簡単すぎてビビった。 - Qiita
  • もし明日、上司に「GPT-4を作れ」と言われたら? Stability AIのシニアリサーチサイエンティストが紹介する「LLM構築タイムアタック」 | ログミーBusiness

    「GPT-4を作ってください」と言われたらどう答える?秋葉拓哉氏:みなさん、こんにちは。秋葉と申します。それでは、発表させていただきたいと思います。 みなさん、さっそくですが、「GPT-4」ってすごいですよね。ここにいらっしゃっている方々はこれについては、もう疑いの余地なく、同意してくださるかなと思います。 では、質問なんですが、もし「GPT-4を作ってください。予算はあるんだよ」と上司に言われたら、どう答えますか? ということをちょっと聞いてみたいですね。 これはけっこう意見が分かれるポイントだと思うのですが、今日は、この質問に対して、少しでもみなさんの回答の解像度を上げられるように話ができればなと思っています。時間が限られていますが、よろしくお願いします。 登壇者の自己紹介とStability AI社の紹介まず、自己紹介ですね。私は、Stability AIという会社に勤めています。

    もし明日、上司に「GPT-4を作れ」と言われたら? Stability AIのシニアリサーチサイエンティストが紹介する「LLM構築タイムアタック」 | ログミーBusiness
  • ChatGPT対抗の本命「Claude 2」ついに日本でも利用可能に

    Anthropicは10月16日(現地時間)、同社が公開するAIチャットボット「Claude 2」の公開範囲を日を含む世界95の国と地域に拡大したことを明らかにした。 リストにEU加盟国なし We’re rolling out access to https://t.co/RxKnLNNcNR to more people around the world. Starting today, users in 95 countries can talk to Claude and get help with their professional or day-to-day tasks. You can find the list of supported countries here: https://t.co/PbMuaqJcjU — Anthropic (@AnthropicAI) O

    ChatGPT対抗の本命「Claude 2」ついに日本でも利用可能に
  • 1