みなさん、こんにちは。Retty CTO の樽石です。 この記事は Retty Advent Calendar 25日目です。メリークリスマス。 昨日は @ttakeoka の『MFIにむけてRettyの取り組み』でした。 今年も残りわずかになりました。いかがお過ごしですか？ Retty はこの １ 年でエンジニアがほぼ倍増しました。それによって、情報発信者が増え、Advent Calendar に参加出来るようになりました。みんな楽しそうにしていて、うれしいです。 Retty Inc. Advent Calendar 2016 - Qiita さて、今年最後の Retty Advent Calendar 記事を書くということで、はじめは １年のまとめ的内容にしようかと思いましたが、それでは平凡で面白くありません。そこで、ネタになりそうなマニアックな技術的記事で締めくくりたいと思います。
サービスに機械学習技術(例えばSVM)を入れる際に、「この機械学習技術は本番サービスに投入しても大丈夫なものか?」を考える基準がまとまっていると人に説明するときに便利だなとふと思ったのでまとめてみました。散々言われ尽くされている話だとは思います。 前提 考慮に入る採用基準 予測精度 (コードの)メンテナンスの容易性 計算オーダー 学習時 予測時 挙動のコントロールのしやすさ/予測説明性の容易さ チューニングの必要性 その他 まとめ 前提 機械学習がプロダクトの主要な武器になる(例えば最近話題になっているGoogle翻訳におけるNMT)ものではなく、サービスにデータがまずあり、機械学習でデータを活用することにより、そのサービスを支えていくようなものを前提に考えています(例えばCGMサービスのスパム判定)。また、投稿内容は私個人の意見であり、所属組織を代表するものではありませんとお断りしておき
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 指定した属性を持つ彼女を生成する機械学習を行い、それを使用したデモを開発しました。 初めまして、ドワンゴ2016年新卒の@Hiroshiba です。私は普段、今流行りのディープラーニング技術を使った研究をしています。この技術の表現力は過去の色んな機械学習に比べてとても優秀で、去年の今頃なんかにはDCGANという画像生成系の研究に革命を起こした手法を使って、様々な顔イラストを自動生成する記事が人気を集めました。 DCGANとは 今回作成したデモで用いた技術であるDCGANについて軽く触れておきます（図Ａ）。そもそもDCGANはDeep C
この結果を見て単語ベクトルが変わるとNGTの性能が変わってしまうように感じた方がいるかもしれません。しかし、実はこれらの単語ベクトルはデータの次元数や件数が違っているため、それぞれの条件をあわせてみる必要があります。興味がある方は論文を読んで見比べて欲しいと思いますが、ここで重要なことは、NGTが高い精度にも関わらず、せいぜい100ミリ秒程度で検索できるという規模感であるということです。その規模感を感じてもらうために、これらの実験結果をご紹介しました。この実験以外にも論文の中では単語ベクトルの応用としてアナロジーと呼ばれる合成ベクトルでの実験やその他の比較手法の比較、実験結果の考察などもありますが今回は割愛します。 これまで紹介した内容と同じような実験はLinux系のサーバーであれば公開しているExperimental softwareという実験プログラムを使うと簡単に試すことができます。
このエントリについて 2種類の要件 性能要件のテスト offline と online offline 性能テストの自動化 A/B テストはすぐにほしい 機能要件のテスト 性能テストのみで十分なのでは？ テストデータ生成 機能テストをいつ作るか まとめ このエントリについて ポエムです。 11/8(火) に開催された Cloudera World Tokyo 2016 に参加しました。 大規模データに対するデータサイエンスの進め方 #CWT2016 (以下、発表 1) データ分析グループの組織編制とその課題 マーケティングにおけるKPI設計の失敗例 ABテストの活用と、機械学習の導入 #CWT2016 (以下、発表 2) その中で上記の2つの発表がとてもいい話でした。 多少絡みのある内容として機械学習を利用するプロダクトのテストについて述べたいとちょっと前から考えていたので、いい機会なので
This document discusses Hivemall, an open source machine learning library for Apache Hive, Spark, and Pig. It provides an overview of Hivemall, describing its key features and algorithms. These include classification, regression, recommendation, and other machine learning methods. The document also outlines Hivemall's integration with technologies like Spark, Hive, and Pig and its use cases in ind
執筆者 執筆者：數見拓朗 所属部署：技術本部 秋葉原ラボ 業務経歴：トレンド検知システムやスパムフィルタの開発・運用、Amebaと広告配信のデータ分析業務を担当。 概要 機械学習は、データの複雑な関係を明らかにし、未知データの予測や特徴の発見を得るのに有用である。しかし、一般に提供されている機械学習ライブラリは、長期的な運用を目標としてデザインされていない。そのため、高い識別性能を維持するには、通常のソフトウェア開発・運用の知見では不十分である。本レポートの目的は、アメーバブログに提供している機械学習フィルタを例として、長期的に運用可能な機械学習システムを考察することである。 目次 1.はじめに アメブロは，アメーバで最も古く，情報発信手段として多くのユーザに利用されているブログサービスである．2015年2月のデータでは，一日当たり約数十万件のエントリーが投稿されている．一方で，一部の悪意
機械学習のアルゴリズムの中には�名前のついていない「素朴な方法」がある。 複数の方法を組み合わせて使っている場合に�素朴な方法を無視して混乱が生まれる。 そこで素朴な方法にライトを当てて、�各種アルゴリズムを図解することで�「あー、こういう組み合わせで動いてんだ」�とわかってもらう。 Read less
• – • – • • • – – • – • – – – • • • – • – • – • • • – – – • – – – – • • • • • • • • – – – • – – – – • • • • – – • ∗ , ∗ • ∗ • – • • • – – • ∗ , ∗ • ∗ • – • • – – • • • • – – • ∗ , ∗ • ∗ • – • ∗ ∗ ∗ ∗ arg max • ∈ • ∈ , • • ∗ ∗ ∗ ∗ arg max • • – – • ∗ , ∗ • ∗ • – • • – – – • – – – – • • • • • • • – – • – • – • ∗ – – • – – • • – • – – – • – – – – • • • – – • • • • – – , ∈ 1, … , • • – – • Input depth
「はじめてでもわかるRandomForest (ランダムフォレスト) 入門－集団学習による分類・予測 －」 －第７回データマイニング+WEB勉強会＠東京 濱田晃一 (hamadakoichi) Read less
第一回機械学習ビジネス研究会で話した内容です http://ml-business.connpass.com/event/36234/Read less
28. 28 Appendix: API一覧(1/3) Model • constructor: モデルに必要な構成要素(隠れ層)などの定義 • forward(inference): constructorで定義した構成要素を利用し、入力を出 力にする(伝搬)プロセスを定義する。 • 学習中とそうでない場合で構成が変わる場合(Dropoutなど)、それを引数 に取る。※ここでlossを出さないこと(出してもいいが、outputもちゃんと 返す) ModelAPI • constructor: 最低限Modelのパスを取得し、読み込む • predict: 配列などの一般的な変数から、Modelを利用した予測値を返す 29. 29 Appendix: API一覧(2/3) Trainer • constructor: modelと学習に必要なパラメーターを受け取る。 DataProcess
2. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. ⾃⼰紹介 n 藤川和樹 ⁃ 所属 • DeNA システム本部 分析推進部 分析基盤グループ ⁃ 2014.4 新卒でDeNAへ⼊社（3年⽬） • これまでの主な業務内容 ⁃ ソーシャルゲームの各種課題分析、それに伴うデータ基盤の整備 ⁃ mobageプラットフォーム・キュレーションサービスにおける パーソナライズ・レコメンドシステムの開発 ⁃ mobageプラットフォーム上における対話型⼈⼯知能システムの開発 n 経歴 ⁃ 2014.3 神⼾⼤学⼤学院 システム情報⼯学研究科 修了 • 研究分野 ⁃ 深層学習、⾃然⾔語処理 • テーマ ⁃ 深層学習による複数⽂書の圧縮表現の獲得と株価動向推定への応⽤
ある程度機械学習を知ってる人向けです。 わかりやすさ重視でざっくり書くので、詳しいことは本論文をあたって下さい。 ちなみに私は囲碁のルールは知りません。 元ネタはNature論文です。 http://www.nature.com/nature/journal/v529/n7587/full/nature16961.html とても読みやすい論文だと思います。 オープンアクセス版もどっかに転がってたと思います。 構成要素 AlphaGOは主に、教師あり方策ネットワークp_\sigma, 強化学習方策ネットワークp_\rho, 状態評価関数ネットワークv(s), からなっており、これらをうまく組み合わせて、モンテカルロ法による指し手評価を効率的に行っているようです。 教師あり方策ネットワークp_\sigma 状態s(盤面の石配置など)を入力とし、次の手a(どこに石を置くか)を確率としてp(a|
Webサービスのシステム管理で疲弊している人々を救いたい話
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Hadoop Conference Japan 2016 もともとは2月8日に開催されるHadoop Conference Japan 2016のセッションとしてこの話を応募したのですが、あえなく落選しました……（;_;) しかし、ありがたいことに復活戦のLightning Talkの投票では5位に選んでいただき、ランチタイムA会場でお話することになりました。ありがとうございます！ 今回のスライドはここで公開しています。 とはいえ、5分のLTではこの内容をしっかりと伝えられる自信がないので、以下でスライド内容の詳しい解説をしたいと思いま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
