IBM watsonx.ai DojoでRAGとして様々なファイルのフォーマットを使用するための変換ツールを紹介していただきました。 それが今回紹介するDoclingです😊 Doclingとは？ Doclingは、簡単にいうならば様々なドキュメントに対応したHTML、Markdown、JSONへのコンバートツールになります。 ds4sd.github.io 【Doclingの特徴】 一般的な文書フォーマット（PDF、DOCX、PPTX、XLSX、画像、HTML、AsciiDoc、Markdown）を読み取り、HTML、Markdown、JSON（埋め込み画像や参照画像付き）にコンバート可能 ページレイアウト、読み取り順序、表構造を含む高度なPDF文書理解の能力もつ DoclingDocumentを使用することで、統一性と表現性を実現 LangChain、LlamaIndex、Crew A

はじめに 株式会社neoAIの研究開発組織 (neoAI Research) / 東京大学の竹本健悟です。 巷では昨年からRAG（Retrieval Augmented Generation）、そして最近ではAI Agentが大いに注目を集め世間を騒がせていますね。 これらの技術を活用して、社内ドキュメントを外部知識としてLLMに提供するアプリケーションを構築する際、実運用に足る精度を出すためには質問に対して適切なドキュメントを高精度で取得することが最も重要なカギとなります。 今回はそんなRAG・AI Agentの中核を担うRetrieverについて、ベクトル検索やキーワード検索といった代表的な手法や評価指標まで基礎的な知識を網羅的に解説していきます。 オープンソースのベクトルDBであるQdrantを用いた日本語キーワード検索の実装方法や、AWS、Microsoft Azure、GCPとい

中国のAI企業DeepSeekは1月20日（日本時間）までに、米OpenAIの「o1」と同レベルの性能をうたう大規模言語モデル（LLM）「DeepSeek-R1」を公開した。いずれもMITライセンスで、商業利用なども認めている。 大規模な強化学習のみでトレーニングしたという「DeepSeek-R1-Zero」、教師あり微調整を行い、数学やコード生成などでo1に匹敵する性能を実現したとうたうDeepSeek-R1を公開。さらに、DeepSeek-R1をベースに、米MetaのLlamaや中国AlibabaのQwenなどを活用して調整した6つの蒸留（既存の大きなモデルを基に、近い性能を持ったより小さいモデルを開発する手法）モデルも公開した。このうち「DeepSeek-R1-Distill-Qwen-32B」は、複数のベンチマークでo1-miniの性能を上回ったという。 R1はAPIも提供。料金は

MCP が盛り上がってるらしい… Anthropic が 2024年11月に発表した「Model Context Protocol（MCP）」ですが、AI エージェント界隈で結構な盛り上がりを見せています。そこで、その特徴や技術概要、将来の展望について、実際にコーディングした経験も踏まえてまとめてみようと思います。今後の開発の方向性を見るにつけ、MCP が切り開こうとしている世界とその可能性に、とてもワクワクしています。希望的憶測だと、たぶん 「メタ AI エージェント」「自律進化型AIエージェント」 にまでつながります！（後述） では手始めに、MCP について少々… MCPとは、雑に言うと、LLM が外部ツールやリソースを扱えるようにして、生成 AI の適用範囲を劇的に拡大するための オープンソース技術です。 この技術は「AI エージェント」と非常に相性が良いです。たとえば「マーケティン

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 東ロボくんプロジェクト （AIで東大の入学試験に合格するプロジェクト ）[1]について、グーグルが最近公開した最新の言語処理モデルBERT [2]を引き合いに出して批判する動き[3]がある。以前にも新井先生を批判する動き[4]があったので、本当に大変だなと思う。しかし、彼女のやったこと、特に、AIは東大に合格できないと決めつけて東ロボを中止したことは、人工知能(AI)の研究の一端を担う私から見て、間違った判断だったと思う。東大に合格できないと言う結論が間違っていると言っているのではない。その点については私も現時点ではわからない。ただ、技

筆者自信、個人開発を長い間やってきた＆toB含め多くの開発に携わってきました。もともと開発速度に自信があり力でねじ伏せるタイプでしたが、それでもこのCursorを使い始めて世界が変わりました。具体的には、よくあるAI驚き屋の「3分でLPが作れた」「24時間AIが自動で」とかではなく、実践的な開発で6~10倍程度のスピードが出せるようになりました。序盤は10倍どころかとんでもない速度で仕上がっていきます。 筆者はAI駆動開発にハマり、1500時間くらいCursorを使い込んできたので、その経験を踏まえて現状をしっかり解説します。 この記事を読むとわかるCursorの持つ可能性 「コードを書く」から「AIがコードを書き、開発者が補助する」すべての機能 基本はProプラン$20で何でもできる 0→1開発から複雑な大規模プロジェクトまで、Composer Agent がマジでやばい ここ数年でGi

Published 2025/01/20 18:31 (JST) Updated 2025/01/20 18:41 (JST) 18、19日実施の大学入学共通テストを生成人工知能（AI）に解かせると、得点率は約91％になったと、AIベンチャーのライフプロンプト（東京）が20日、明らかにした。東大文科1類の受験生の多くが選択すると予想される科目を対象にした。 大手予備校の河合塾が昨年11月に公表した、合格の可能性が50％になると予想した「ボーダーライン」の得点率（86％）を超えた。 国語の得点率は94％、英語のリーディングは98％となった。数学は「1A」が80％、「2BC」は93％だった。「歴史総合、世界史探究」は97％となった一方で、「歴史総合、日本史探究」は79％にとどまった。AIが学習するインターネット上のデータ量は、日本史が世界史と比べて少ないことが影響したとみられる。 ライフプロン

元Eventbriteのエンジニアリングディレクターであり、オープンソースツール・Datasetteの開発者でもあるサイモン・ウィリソン氏が、2024年に人工知能(AI)分野で起きた出来事をまとめています。 Things we learned about LLMs in 2024 https://simonwillison.net/2024/Dec/31/llms-in-2024/ ◆GPT-4の壁が完全に破られる 2023年3月に公開されたOpenAIの大規模言語モデル(LLM)「GPT-4」は、同年の12月時点では最も優れたパフォーマンスを示すAIモデルでした。しかし、2024年の終わりにはオリジナルのGPT-4よりも優れたパフォーマンスを発揮するAIモデルが多数登場しています。 LLMのパフォーマンスを比較するためのオープンソースAIベンチマークであるChatbot Arenaによる

皆さんこんにちは Acroquestのデータサイエンスチーム「YAMALEX」のチームリーダ、@tereka114です。 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。 今年も、アドベントカレンダーとして、9つの記事を本ブログで投稿しました。 本記事では、今年の記事の傾向や、私個人が特に面白いと感じた記事を紹介します。 本ブログの今年のアドベントカレンダー記事投稿傾向 特に読んで欲しい記事3選 ElasticsearchでLIKE検索のような部分一致検索を高速に実現する方法 PDFドキュメントを画像のまま検索できるColQwen2でマルチモーダル検索を試す vLLMを利用したLLM推論高速化テクニック 最後に 本ブログの今年のアドベントカレンダー記事投稿傾向 今年は生成AI関係（主にBedrock）とElasticsearchの記事を

大規模言語モデル(LLM)を用いたAIは、驚くほど自然な文章やリアルな画像を生成できる能力を備えている一方で、危険なことに回答したり不適切な画像を生成したりできないように、セキュリティロックがかかっていることがほとんどです。しかし、意図的にLLMをだまそうと試みてロックを回避するジェイルブレイク(脱獄)の方法もしばしば話題になります。GoogleのAIチームでコンサルタントを務めた経験もある技術者のマット・ウェッブ氏は、特別なテクニックを使わなくても「ちょっとずつAIの思考をずらす」ことによるジェイルブレイクの例を解説しています。 Narrative jailbreaking for fun and profit (Interconnected) https://interconnected.org/home/2024/12/23/jailbreaking LLMには、爆弾の作り方といった

米Googleは12月19日（現地時間）、新たな推論AIモデル「Gemini 2.0 Flash Thinking」を発表し、Experimental（実験）モデルをGoogle AI Studioで公開した。 Gemini 2.0 Flash Thinkingは、回答の一部としてモデルが行う「思考プロセス」、つまり、問題を解決するためにどのような手順で考え、どのような情報を参照したのかを、人間が理解できる形で示すようにトレーニングされた推論モデル。ベースとした「Gemini 2.0 Flash」よりも、より強力な推論機能を備えており、マルチモーダル理解、推論、コーディングに最適という。 Google DeepMindとGoogle Researchのチーフサイエンティスト、ジェフ・ディーン氏はXのポストで、「思考を明示的に示すモデル」と説明した。同氏がシェアしたデモでは、「電子は、x=-

追記1：チップをお送りいただいたかたがた，ありがとうございます！ 追記2： このような話題に興味があるかたへ…関連するコミュニティはこちら↓ 非専門家向け：https://discord.gg/shingiyurariteisaba-1125096939344625684 専門家向け（分野問わず）：https://www.aialign.net/contact OpenAI o3は，人間とは全く異質の汎用知能である恐れがある． 競技プログラミングCodeforcesで，人類に混じってo3が全世界175位となったのはすさまじい． ガチの数学者たちが全力で作ったベンチマークFrontierMathで，o1-previewでも2%しか正解しなかったところが，o3では25%も正解してしまった． しかし，一番の問題はそこではない． 全く別次元のところにある． ARC-AGIというベンチマークだ． o

この記事は 食べログアドベントカレンダー2024 の24日目の記事です🎅🎄 食べログ開発本部 技術部のデータサイエンスチームに所属する河村です。 データサイエンスチームは、データとAIを活用してビジネス成長に貢献することをミッションとしており、生成AI技術のサービス活用や業務活用に取り組んでいます。 その1つとして、生成AIを用いた音声対話についても注目しています。 2024年10月にOpenAIがリリースしたRealtime APIを用いて、GPT-4oの音声対話の仕組みを紐解きましたが、調べる前に思っていたことと違っている点もいくつかありました。 ユーザが話す音声をずっとAIが考えながら応答しているわけではないんですね... 気になった方は是非最後まで読んでみてください。 1. はじめに 2. Realtime APIを解読し、音声対話の仕組みを紐解く 2.1. 生成AIを活用した

今日もいつものようにシラスでデイリーAIニュースを配信していると、とんでもないものにでくわした。 もうタイトルに書いてあるけど、AIが勝手にブラウザを操作して色々やってくれてしまう、その名もBrowserUseだ。 インストールは超簡単。 macなら以下の二行だけだ。 $ pip install browser-use $ playwright install使うのも超簡単だが、コマンドラインに落ちるのが怖い人々には簡単に見えないかもしれない。環境変数のOPENAI_API_KEYとかにAPIキーを入れておくこと。 $ python >>> from langchain_openai import ChatOpenAI >>> from browser_use import Agent INFO [browser_use] BrowserUse logging setup complete

この記事はQiita LLM・LLM活用 Advent Calendar 2024の7日目の記事です。 ここではQwen2-VLを例に、画像に対するBounding Boxを入力や出力に含む対話生成の例を見ていきます。 なおこの記事中における「理解」は、バウンディングボックスの概念が伝わるのみならず、テキストで表現されたバウンディングボックスの座標が画像中の正確な座標と結びつくことを意図しています。 VLMがBounding Boxを理解できる理由 一部のVLMは訓練時に明示的にBounding Boxが含まれたテキストでの学習を行っています。 Bounding Boxを明示的に学習しているVLMの例としては、LLaVA 1.5やQwen-VL (Qwen2-VL含む)、Fuyu-8Bが挙げられます。日本語特化モデルならLLaVA 1.5の学習に倣っているllava-calm2-sigli

数多くのプログラミング言語が存在する中で、プロジェクトの目的や特性に応じて適切にプログラミング言語を選ぶことが重要だ。本稿は、機械学習などの人工知能（AI）技術を活用するプロジェクトに最適なプログラミング言語を紹介する。 1．Python 「Python」は、AI技術やデータ分析といった領域で人気のある言語の一つだ。ソースコードが人にとって理解しやすい高水準言語で、「C++」と比べれば実行速度は遅い。シンプルさと汎用（はんよう）性の高さといった魅力がPythonの弱点を補っている。 Pythonは、学習が比較的容易で、読みやすく、保守もしやすいため、迅速なプロトタイピングに最適だ。感情分析や自然言語処理に広く使用されており、広範なライブラリ（プログラムの部品群）やフレームワーク（プログラム開発に必要な機能をまとめた枠組み）と互換性がある。例えば、深層学習（ディープラーニング）用の「PyTo

はじめに こんにちは一史です。 最高気温も10℃を下回る日も出てきて、外出する際には、マフラーをするようになりました。 皆様も体調にはお気を付けください。 さて、OpenAIのChatGPTではFunction callingという会話の流れからAIが判断して関数（メソッド）を呼び出す機能がありますが、Amazon BedrockでもTool Useという機能により関数呼び出しをすることができます。 docs.aws.amazon.com 今回はこのTool Useを使って、旅行プランの提案・予約を行う生成AIチャットを作ってみます。 AIエージェントで実現されるような内容ですが、ToolUse（Function calling）が実際にどのように使えるかを生成AIチャットを作り、見ていきます。 はじめに 概要 Tool Useとは Tool Use は何をしてくれるのか Tool Use

Adobeが、窓越しに撮影した写真に写り込む反射を除去できるツール「Reflection Removal tool」を発表しました。記事作成時点でテクノロジープレビューが、Adobe Camera Rawで使用可能です。 Removing window reflections in Adobe Camera Raw | Adobe Blog https://blog.adobe.com/en/publish/2024/12/12/removing-window-reflections-adobe-camera-raw Adobe now has a tool to get rid of ugly window reflections in photos - The Verge https://www.theverge.com/2024/12/12/24319849/adobe-lightr