こんにちは。エンジニアリンググループゼネラルマネジャー & 機械学習エンジニアの大垣です。 さて、私が機械学習エンジニアとして仕事をしているAI・機械学習チームでは、今年一年で28個のプロダクトをリリースしました。月に2つくらいは新規プロダクトが出てる計算ですね。なかなか高速にリリースできているのではないでしょうか。 なお、この1年で5名のメンバーが新規に加わり、チームが12人から17人になったので、来年は更に加速していきたいです！*1 これらのプロダクトを簡単にお見せしつつ、エムスリーという医療xWebの企業でMLのチームはどういう仕事をしているのか、というのをお届けできればと思います！ 多いっちゃ多いので、新メンバーはカルタでプロダクトを覚えています。このカルタ自体もLazzaroniというプロダクトです 年間15個以上のプロダクトをリリースするAIチームを入社したてのフレッシュな目線
米Google傘下のGoogle DeepMindは12月4日（現地時間）、生成AIベースの高精度天気予測モデル「GenCast」を発表した。最大15日先までの日々の天気と台風などの気象現象の両方を、「従来の最先端システムよりも正確に予測できる」としている。 GenGastは気象軌跡を表す50以上の予測で構成される「アンサンブルモデル」で、従来の単一の推定値を提供する決定論的モデルとは対照的だとDeepMindは説明する。また、複雑なデータの確率分布をモデル化し、新しいサンプルを生成できる生成的な機械学習手法である「拡散モデル」でもある。 例えば、台風の進路予測でも優れた性能を示すという。例として、2019年に日本に上陸した台風19号の予測性能を紹介した。下の画像では、上陸7日前はまだ不確実性が高い状態だが、上陸が近づくにつれて正確な進路予測が可能になることを示している。 DeepMind
私たちは以前にもGPT-4o-miniをファインチューニングして運用しているというお話をシェアして大きな反響いただきました。 上の記事では、GPT-4oの出力を人手で修正（アノテーション）して、GPT-4-miniをファインチューニングする運用をご紹介していますが、蒸留はGPT-4oの出力をそのまま使用するのが大きな違いです。 また、今回の発表の肝は、この蒸留をOpenAIのDashboad上で簡単に行えるようになったことです。 ですが、他社さんでも実際に蒸留を使っているというお話はあまり聞ないので、蒸留の基本とModel Distillationの使い方をご紹介しつつ、使い所と注意点をシェアしたいと思います。 o1-previewとo1-miniが同時に発表されたことを見ても、今後も"高性能で高価なモデル"と"少し性能は劣るが安価なモデル"は（多少の時期の違いがあっても）セットでリリース
OpenAIの最新モデル「o1」が登場 孫正義氏：GPTはいろんな言葉、これをトークンと呼びますけれども、圧倒的な数のトークン・言葉に「この言葉とあの言葉は近しい」と、関係性の近しい度合いにそれぞれ全部ベクトルのインデックスを付けて、それを処理して、言葉と言葉の数珠つなぎをして理解をするということなんです。 質問をしてChatGPTが答えてくれるんですが、理解もしているみたいだと。でも、考えているんだろうかというと、考えているかのように見えるんですが、言葉の数珠つなぎですから、必ずしもChatGPTは考えているわけではなかったということであります。 今日のメインテーマは「考える」です。圧倒的な進化がありました。先週から世に見えてきました。この「考える」ということは、Reasoningという手法で考えることなんですが、ここで聞きたいと思います。 Reasoningをする、考えるという機能を使
2024/11/1(金)に勉強会（第2回 自治体システム標準化・ガバメントクラウド勉強会）を開催し、自らも登壇しました。 gov-cloud.connpass.com どのような勉強会なのか？ 私はデジタル庁が旗振りをする国家事業である地方公共団体の基幹業務システムの統一・標準化に広域自治体の一員としてかかわっており、様々な自治体の職員やシステム構築・運用に携わるベンダーの方々が苦労している状況をみています。 この事業は制度面・業務面・技術面が重なり合う難しさと、期限の厳しさ、さらにそれぞれの地域によっては状況が異なる（クラウド化が進んでいるところもあれば、地場ベンダーがデータセンターをつくりシステムの共同化していたり、メインフレームがまだある自治体もある）ため、同じ仕様や技術を採用すればすべて解決するものではないという状況です。 この状況を少しでも改善すべく標準化・ガバメントクラウドの様
JetBrainsが提供する統合開発環境「WebStorm」および「Rider」が、非商用利用に限り無料で使えるようになりました。学習、オープンソースプロジェクト開発、コンテンツ制作、趣味での開発など、幅広い範囲で利用できます。 WebStorm と Rider の非商用利用が無料になりました | JetBrains のブログ https://blog.jetbrains.com/ja/blog/2024/10/24/webstorm-and-rider-are-now-free-for-non-commercial-use/ WebStormはJavaScriptとTypeScript向け、Riderはゲーム開発向けの開発環境で、記事作成時点では年間契約でWebStormが8970円、Riderが1万9370円で提供されており、継続年数による割引が用意されています。JetBrainsによ
ただのまるちゃん @raccomaru マーケ歴6年 |マーケ全体設計、オーガニック、アドアフィ、予算運用 | 好きな分野は動画媒体 | アンチプリンセスマーケ👸女性の購買心理について物申すご意見番
はじめに 企業での生成AI活用では、GPT-4などのLLMをそのまま利用するのみではなく、企業内の様々なナレッジや特定ドメインの追加情報を活用したいという要望がほとんどです。その場合の方法として、RAG(Retrieval-Augmented Generation) とファインチューニングという選択肢があると思いますが、ファインチューニングに関しては機械学習やプロンプトエンジニアリングに関する専門知識が無いと太刀打ちできない、ということでまずはRAGに取り組んでいる事例が多いと思います。 一方、RAGの精度に関しては課題も多く、Vector検索のみではなくハイブリッド検索を試す、ナレッジグラフを使う、クエリ拡張を行う、など様々な手法で精度向上に取り組んでいることかと思います。 ファインチューニングに関しても、今やる必要は無いと思っていたところ、各社機械学習の専門家でなくてもノーコードでモデ
画像生成AI「Stable Diffusion」開発者たちが突然発表した新モデル「FLUX.1」、これが楽しすぎてはまりこんでいます。私の本業はゲーム会社。出展を予定している東京ゲームショウまで1ヵ月で、やらないといけないことが山積みなのに、FLUX.1が面白すぎて魅力に抗えません。 わずか30分の学習で画風が安定 FLUX.1が決定的に変えてきそうなのはLoRAです。LoRAは学習済みのウェイトモデルを利用することで、少ない枚数であっても学習ができるということで、画像生成AIの分野では広く普及している手法です。FLUX.1は、Stable Diffusionで使われてきたLoRAの方法論を動かすことができることがわかっています。 そのため、FLUX.1のリリース後、ユーザーコミュニティーでさっそくLoRAの環境の整備が始まり、何ができるのかを試すフェーズに入っています。これまでの「Sta
はじめに 新卒エンジニア研修を担当しました ugo です！ 今年も新卒エンジニア研修を実施し、全カリキュラムが無事終了しました。 この記事では、各研修の講師を担当したメンバーが、新卒エンジニア研修のカリキュラムの内容と研修資料をまとめました。ぜひご覧ください。 2024年度新卒エンジニア研修概要 新卒エンジニア研修のコンセプトは 「サービスを作るための技術要素や観点について、現時点で良いやり方を一通り学ぶ」 と設定しました。 サービスを運用していくために必要なオブザーバービリティといった領域も今年から研修に盛り込みました。 研修に参加した新卒エンジニアは3名です。 オフィス内はフリーアドレスとなっていますが、研修のためオフィスに固定席を設け、1ヶ月に1回程度の頻度でオフィスの別に席に移動する形態で実施しました。講師も新卒エンジニアの近くに座ることで、相談をしやすい環境づくりを行いました。
この記事のポイント Perplexity AIはAI検索エンジンで、GPTシリーズやClaude 3.5など最新の言語モデルを利用可能基本無料で利用可能で、有料版（Pro）では高度なAIモデル選択や無制限ファイルアップロードが可能日本語対応、ログイン不要での利用、スマホアプリ、Chrome拡張機能など、使いやすさを重視新機能「Pages」で、引用付きの記事作成が可能に（現在はPro版のみ）ChatGPT、Copilot、Geminiとの比較を通じ、Perplexityの特徴と位置づけを解説 Microsoft AIパートナー、LinkX Japan代表。東京工業大学大学院で技術経営修士取得、研究領域：自然言語処理、金融工学。NHK放送技術研究所でAI、ブロックチェーン研究に従事。学会発表、国際ジャーナル投稿、経営情報学会全国研究発表大会にて優秀賞受賞。シンガポールでのIT、Web3事業の創
前回の記事でLLMアプリケーションの評価について基礎から運用まで丁寧に解説いたしました。 この記事では、評価方法の一部であるLLM-as-a-Judgeについて詳しく解説したいと思います。 LLMアプリケーションの評価といえば、LLM-as-a-Judgeだというように結びつける方もいらっしゃいますが、必ずしもそうではありません。 というのも、LLMアプリケーションの評価には、LLM以外で評価するLLM-as-a-Judge以外にもいろんな方法や観点があるからです。 評価方法や指標について多くの論点が、LLMアプリケーションに限らず、機械学習アプリケーション全般に共通しています。 この10年ぐらいで、機械学習アプリケーションの評価についてはかなりの議論がなされてきており、ある程度成熟してきました。 一方、LLMでLLMの出力を評価するLLM-as-a-Judgeについては、GPT-3.5や
β版では、PLaMo-100Bをベースに指示学習やモデルマージを行い、文章生成能力を高めた。無料トライアルは個人・法人を問わずに提供し、商用利用も可能。同社は今後、トライアルの検証結果から改善や追加学習などを実施し、商用版の「PLaMo 1.0 Prime」を今秋に発売する。 関連記事 PFNが生成AI新会社「Preferred Elements」設立へ 130億パラメータの和製LLMもオープンソースで公開 AIベンチャーのPreferred Networks（PFN）は、生成AI事業に関する新子会社「Preferred Elements」を11月1日に設立すると発表した。併せて、研究・商用利用が可能な、130億パラメータの事前学習済み大規模言語モデル（LLM）「PLaMo-13B」も公開した。 「いつものやつ持ってきて」──PFNの荷物運びロボット、あいまいな指示にも対応可能に LLMの
KDDIグループでアジャイル開発事業を行うKDDIアジャイル開発センター（東京都港区、以下KAG）は7月23日、同社の新卒エンジニア向けに実施した生成AI研修の教材を無償公開した。体験型学習として、プロンプトエンジニアリングやRAG、API利用などの項目の研修メニューを紹介。計2時間程度の研修として想定した内容だという。 全研修メニューは「プロンプトエンジニアリング」（20分）、「いろいろな生成AIアプリを試す」（20分）、「API利用」（20分）、「RAG」（30分）、「AIエージェント」（30分）の5項目。エンジニアとデザイナー共通の体験型新卒研修として実施した。KAGでは事前に講義も実施し、実際の研修では受講者にペアを組ませ、相互フォローさせる形で行ったという。 プロンプトエンジニアリングでは「ChatGPT」を使用。いろいろな生成AIを試す際には、「Claude.ai」や「Perp
Gemini 1.5 のロングコンテキストを活かして AI を育てるアプローチ 〜 RAG の限界を軽やかに突破するために はじめに この記事では、Gemini 1.5 のロングコンテキストを活かして LLM を用いた AI システムを段階的に育てるアプローチを説明します。後半では、RAG システムの導入ハードルを下げるためにこのアプローチを適用するイメージをサンプルコードとあわせて紹介します。 ここではまず、前提知識となるグラウンディングや RAG の仕組みを説明します。 グラウンディングと RAG の違いについて LLM の業務活用に向けて勉強していると、かならず耳にするのが「グラウンディング」や「RAG」というキーワードです。グラウンディングは、LLM の基盤モデル自身が保有していない（学習していない）追加の参考情報をプロンプトに埋め込む事で、参考情報に基づいた回答を生成させるテクニ
サイバーエージェントは7月26日、米Metaの最新AIモデル「Llama 3.1 70B」を使った新たな大規模言語モデル（LLM）を公開した。Llama 3.1 70Bをベースに、日本語データを追加学習させたもので、Hugging Face上で公開している。ライセンスはMetaの「Llama 3.1 Community License」に基づいており、商用利用可能だが、利用規約などに同意が必要となる。 「Llama 3.1」シリーズはMetaが24日（現地時間）に公開した最新LLM。15兆トークンを超えるデータでトレーニングしたとしており、複数のベンチマークで米OpenAIのLLM「GPT-4o」や米AnthropicのLLM「Claude 3.5 Sonnet」より優れているという。
文章を分類したくなったので、fastTextを用いて分類することにしました。 [ポイント] ・pythonでfastTextを利用 ・テキスト分類 データ 今回は元々収集していたtweetデータを用いて分類していきます。今回私は、3つのカテゴリに分割しました。 ラベル1:人が呟いたもの ラベル2:人が呟いたけれど何かのアプリケーション、botを介している？ ラベル3:企業が宣伝でtweet 以下のようなcsvファイルを作成します。今回私が学習に利用するデータは全部で200件です。ファイル名はtrain_data.csvとします。 形式は以下のような感じです。 ラベル(__label__*),tweetの文章 *には数字が入ります。 __label__1,江戸時代の五街道における宿場で東海道五十三次の中間点となる27番目の宿場は袋井宿ですが中山道六十九次の中間点となる35番目の宿場は
日本のAI企業であるSakana AIが、日本を代表する美術のひとつである浮世絵を生成するAIモデル「Evo-Ukiyoe」と、浮世絵を彩色するAIモデル「Evo-Nishikie」を発表しました。 日本の美を学んだAI：浮世絵風画像生成モデルEvo-Ukiyoeと浮世絵カラー化モデルEvo-Nishikieを公開 https://sakana.ai/evo-ukiyoe/ 浮世絵は世界的にも知名度が高く、モネやゴッホなど数々の巨匠に影響を与えたことでも知られています。しかし、既存の画像生成モデルは浮世絵を重点に置いた学習が行われていないため、多くの人が画像生成AIに浮世絵を出力させようとしたにもかかわらず、浮世絵らしい画像を生成することができませんでした。 今回Sakana AIが開発したEvo-UkiyoeとEvo-Nishikieは、同社が開発した日本語対応画像生成モデル「Evo-S
OpenAIは2024年6月27日（米国時間）、同社の生成AI（人工知能）「ChatGPT」における応答の誤りを発見する「CriticGPT」を発表した。CriticGPTは、「GPT-4」をベースとするモデルで、ChatGPTが出力するコードの誤りを発見できるという。 OpenAIは「ChatGPTが生成したコードの人によるレビューにおいて、CriticGPTを使えば、使用しない場合よりも60％の確率でパフォーマンスが向上すると判明した。OpenAIはCriticGPTのようなモデルを私たちのRLHF（Reinforcement Learning from Human Feedback：人間のフィードバックによる強化学習）パイプラインに統合する作業を開始した。これは、AIの学習にAIのサポートを提供することを意味する」と述べている。 生成AIの誤りを生成AIが見抜く意義とは 関連記事 R
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
