本記事は、DeepSeek-R1の論文とDeepSeekMathの論文を読んだ私の理解をもとに記載しています。 本論文で使われている技術に関しては、ある程度の知識を持っているので、大きくは外していないとは思いますが、私の主観も入っている部分もありますので、ご了承ください。 また、DeepSeek-R1の論文が公開される前に、小型モデルに対して同様の実験（強化学習）をしていたグループがあるようです。 そちらのレポートは下記になります。 意図せず、DeepSeek-R1-Zeroの再現実験のようなレポートになっていますが、レポートの著者はDeepSeek-R1論文の公開前から実験していると主張しています。 こちらも非常に興味深かったため紹介です。 本論文の興味深いところ 本論文は、大きく分けて3つの構成でできています 強化学習による思考能力の強化 LLM（DeepSeek-V3-Base）に対

サイバーエージェントは1月27日、大規模言語モデル（LLM）「DeepSeek-R1」を使った新たなAIモデルを無料公開した。「DeepSeek-R1-Distill-Qwen-14B/32B」をベースに、日本語を追加学習させたLLM「DeepSeek-R1-Distill-Qwen-14B/32B-Japanese」をHugging Face上で公開。ライセンスは、MITライセンスで商用利用なども可能だ。

中国のAIスタートアップ「DeepSeek」は2025年1月20日、数学的推論やコーディング能力でOpenAIの最新モデル「o1」と同等性能を持つ大規模言語モデル「DeepSeek-R1」を公開した。 使用・複製・改変・再配布を自由に許可する寛容なMITライセンス下でのオープンソース提供および従来比95〜97%のコスト減となるAPI価格が特徴で、AI業界に激震が起きている。 強化学習を重視、コールドスタート問題にも対応 論文によると、DeepSeek-R1の特筆すべき点は、強化学習（RL：Reinforcement Learning）を駆使し、従来の教師あり学習（SFT：Supervised Fine-Tuning）に頼らず、自律的に思考連鎖（CoT：Chain-of-Thought）を学習する点だ。このアプローチにより、モデルは複雑な問題を解決するための思考の連鎖を探索し、自己検証や振り

研究を支える拡張性の高い ワークフローツールの提案 / Proposal of highly expandable workflow tools to support research

はじめに どんな人向けの記事？ ローカルLLMに興味のある人 zoltraakに興味のある方 LLMを用いて要件定義書を作りたい方 内容 今回は元木さんのZoltraakを使って、自然言語から要件定義書を作ってみようと思います。 ただし、リリースされてから2ヶ月以上経ったzoltraakを普通に動かすだけでは面白くないので、この記事ではローカルLLMを使った場合にどの程度の品質のアウトプットが得られるか、そもそもまともに使えるのかを検証してみたいと思います。 結論 結論から述べると、下記の通りになりました。 現状のローカルLLMだけでzoltraakを完全に動作させるのは難しそう。 要件定義書は問題なく作成できる。 その後の工程の、ディレクトリ・ファイル構成を作成するための実行可能なpythonコードを作ることができなかった。 grimoiresの記載を工夫することで、ある程度は改善できる

Rustで作るプログラミング言語という書籍が先日発売されました。簡単なプログラミング言語を作ってバイトコードに変換して実行したりネイティブコードに変換して実行してみよう、という本で、大変面白く読みました。最終的にまあまあ本格的な言語になるので、これを元にするとわりとちゃんとした言語を作れそうです。 この書籍で最終的に作られる言語はこちら: GitHub - msakuta/ruscal: Programming language implementation learning project ちょうど私も、以前から構想していた言語があったので、ちょっと作ってみました。というのも、TypeScriptを設定記述言語としてさまざまなプログラミング言語から使えると便利ではないかとずっと思っていたのです。 この設定言語で複雑なことができる必要はなく、最終的にはJSONに準ずるデータ構造になればよい

Claudeの新機能「Projects」が最近リリースされました。その設定の仕方を解説します。 ProjectsはOpenAIのChatGPTの「GPTs」に似た機能です。主な違いは以下の通りです。ただPromptは同じにしてもProjectsの方が多くのタスクにおいてGPTのパフォーマンスを上回っている印象です。 Projects の使い方: 左のメニューから「Projects」を選択 「Create Project」をクリック プロジェクト名と内容を入力して作成。こちらは後でも変更可能（右上の3つの・からEdit detailsを選択）です。 プロジェクト作成後、右のパレットからカスタム指示を設定できます。ちゃんと計測していないので分かりませんがChatGPTのGPTよりも指示に入れられるトークン数は多そうです。（ただし指示が長くなると全ての指示に従ってくれなくなるリスクも上がるのでバ

いまから7年前の2017年、とんでもないCMが世に放たれたことを皆さんはご存知だろうか。 DoCoMo25周年スペシャルムービーCM「いつかあたりまえになることを」。 このCMは4分にもおよぶ長さのためTVCMというより、もはやショートムービーなのだけど、とにかく破壊力が高いのでまずはしっかりと見てほしい。 なにこれ。 おそらく、この動画を見終わって、多くの人がこんな状態に陥ったんじゃないだろうか。 なんかしらんけど泣ける。 ただ、そこにあるのはあまりに複雑な感情なはずだ。 ありきたりで分かりやすいそれと違って、心の奥底がザワザワするような、敏感な場所を得体のしれないもので撫でられているような、まるでどこかで自分が経験したかのような、そんな感覚が生じているのだ。 もちろん、そうでない人もいるのだろうけど、それを言い出すと話が始まらないので、みんなそうなったと思い込んで話を進めていく。 感情

OpenAIからChatGPT-4oが発表されましたが、皆さんガンガンつかっていますでしょうか？ さて、このChatGPT-4oですが、テキスト以外のデータも使用できるようになっているという特徴があります。 普通にテキストでのやり取りをしつつも画像データを扱えるということで、「実はこれいい感じのOCRとして使えるんじゃね？」って思っちゃったわけです。 ということで、今回はChatGPT-4oを使ってOCRを使うとどんなもんなのかやってみたいと思います。 やりたいこと やってみる とりあえずやってみる 請求書 名刺 参考文献 感想 やりたいこと 今回やりたいことはOCRです。早い話が画像ファイルを突っ込んでテキストを読み取りたいって感じです。 ただ、当たり前のようにOCRって言葉を使用していますがOCRって結構奥が深いです。 mediadrive.jp 単純に画像から文字を見つけて対応するテ

Open WebUIを使ってみました。 https://openwebui.com/ 当初は「Ollama WebUI」という名前だったようですが、今はOpen WebUIという名前に変わっています。Ollama専用じゃなくなったということでしょう。OpenAIに対応済みです。 早速使ってみました。もちろんBedrockで。 6/11 続編を書きました。 環境構築 Dockerですんなり構築です。Bedrockに対応はしてないので、「LiteLLM」を使って対応させます。 環境変数でこのあたりを指定 Ollamaを無効化 LiteLLMのエンドポイントをOpenAIのエンドポイントとして登録 APIキーを登録（LiteLLMとの通信には不要ですが、未指定だとOpen WebUIが正しく動作しませんでした） services: open-webui: image: ghcr.io/open-

オルト @oooooooorrt 友人から教えて貰った名大消化器外科作成の名古屋飯ガイドのクオリティが高過ぎて笑った。外科学会に合わせて1回限りになるのもなんなので、勝手ながら有効活用しよう jp.jssoc.or.jp/jss124/kodelin… 2024-04-10 16:48:48

今のLLMを取り巻く状況について紹介します。

株式会社KADOKAWAは、SF小説「三体」作者、劉慈欣さんの短編小説「流浪地球」の無料試し読みをWebマガジン「カドブン」において4月7日まで実施中です。 流浪地球は、同社が1月に文庫版を発売した同名の短編集に収録の一編。舞台は太陽の膨張が目前に迫る地球。人類は岩石を燃料とした「地球エンジン」を構築し、星ごと太陽系外へ脱出する計画を立て、実行に移した先の時代が描かれています。カドブンの試し読みサイトでは本編を8分割して掲載。 本作は中国では2000年発表で、邦訳が初めて発表されたのは2008年。2019年には「流転の地球」として映画化しており、Netflixなどの配信サービスで視聴できます。 3月22日公開の映画「流転の地球 -太陽系脱出計画-」は「流転の地球」の前日譚にあたり、今回の試し読み企画も本作の日本公開記念して実施した企画です。 直近の関連トピックとしては21日にNetflix

OOC 2024 の発表資料です。後のフィードバックを参考に、より妥当な文言に改訂してあります。 ※ 本コンテンツには、一部特定の宗教思想の迫害に言及する表現がございますが、そのような行いを肯定する意図の内容ではございません。

■プレゼンテーションタイトル ・会社名 ・所属 ・氏名 ・2023/12/21 ■目次 ・企画の概要 ・課題 ・提案内容 ・実施要領 ・予算 ・期待できる効果 ・スケジュール ・懸念点 ■企画の概要 ・企画のコンセプト ■課題 ・提案の背景 ・解決したい課題の定義 ■提案内容 ・課題の解決方法 ■実施要領 ・実施する対象範囲(スコープ) ・チーム体制(役割分担) ・やらないことリスト ■予算 ・実際の予算 ■期待できる効果 ・損益シミュレーション ・定量目標 ・定性目標 ■スケジュール ・準備期間 ・実施期間 ・評価方法 ■懸念点

killrain @aloward ドルゴ通気弁。 何回も取り付けたし、使用中のものを見たこともあるけど、こんなに音が出てるのは初めて見ましたｗ ドラム音だけじゃなくて空気が通る時の反響音がいい味出してるｗｗｗ x.com/10chf/status/8… 2017-06-02 01:02:16 SAKUMAMATATA（サクママタタ）｜作曲家 @skmmtt 「駅のトイレ通気孔ビート」がめっちゃカッコよかったのでサンプリングして曲にしてみました。喧騒に溢れる駅構内でトイレへ立ち寄りただ用を足すだけのはずが不運にも凶悪な犯罪者たちに遭遇してしまい、いつの間にかとんでもない事件に巻き込まれてしまう...！的なイメージ。 pic.twitter.com/UCcvTusr9w 2017-05-31 22:02:35

ふくしひとみ @vonchiri ピアニスト／ダンスアーティスト／イラストレーター等「ふくしひとみ芸術文化研究所」代表、日本どうぶつの会CEO、ほくろう(@dot_owl)、ふくしにくたろう(@29shi29taro)、岩手県出身東京在住。弟子の戌一が運営するふくしひとみ公式インスタinstagram.com/fukushihitomi lit.link/fukushihitomi