1.はじめに 通常、姿勢推定などのタスクではヒートマップを使った回帰の手法を使いますが、今回ご紹介するのはヒートマップを使わずに姿勢推定を行うKapaoという技術です。 ＊この論文は、2021.11に提出されました。 2.Kapaoとは？ 通常、姿勢推定などのタスクではヒートマップを使った回帰のアプローチを取りますが、生成と後処理に大量の計算処理が必要です。 Kapao（Keypoints and Poses as Objects）は、もっと処理効率を上げるために、画像を細かなグリッドに分割して、人間のポーズオブジェクトとキーポイントオブジェクトを同時に検出・融合し姿勢推定を行います。 下記は、Kapaoのネットワークの概要です。入力画像を深い畳み込みネットワークでマッピングし、ポーズオブジェクトとキーポイントオブジェクトをそれぞれ検出した後、この２つの情報を融合し結果を得ています。 では
こんにちは ハタ です。 今回は以前iOSのクライアントサイドで実装していた通知ぼかし機能をサーバサイド(配信サーバ)上に再実装した事を書きたいなと思います 今回はかなり内容を絞りに絞ったのですが、長くなってしまいました、、 目次機能があったのでつけてみました、読み飛ばして読みやすくなった(?)かもしれません 目次 目次 通知ぼかし機能とは サーバサイド通知ぼかし プロトタイプの実装 苦労の始まり その1 画像処理速度 苦労の始まり その2 データ量 さらなる計算量の削減を求めて さらなる最適化へ Halide の世界へ 簡単な halide の紹介 苦労の始まり その3 いざ リリース リリースその後 We are hiring! 通知ぼかし機能とは 通知ぼかし機能は、ミラティブ上での配信中に写り込んでしまったiOSの通知ダイアログをダイアログの中身を見えないようにぼかし処理をしてあげる
Deep Learningをやってみたいものの、Caffeだと、何か「書いている」気分もせずに悶々としていたところ、chainerが登場したので試してみることに。 なにはともあれ、かねてよりやりたかった、アニメ顔認識をやってみます。 本当は顔検出器＋顔によるキャラ分類とかをやってみたいのですが、まずは顔とそれ以外を分類することを目指します。 ちなみに、アニメの顔認識というと、OpenCV+カスケードによる検出器があったりして、かなりいい感じに認識してくれます。 しかし、 原則、正面からの顔以外はうまく認識できない 斜めに少し傾いていても、検出されない といった問題があるので、なんとか検出精度を向上させたいところです。 Step1: テスト画像準備 他のタスクにも使うことを考えて、自分で準備することにしました。所要時間20hぐらい。ぽよ～ん。 方針 OpenCVとlbpcascade_ani
Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields arXiv:https://arxiv.org/abs/1611.08050 概要 CNNの組合せで画像内の人物姿勢を検知を達成 NP-hard問題をrelaxationを設けて解く top-downアプローチ（人を検知→検知した人それぞれの姿勢検知)ではなく， bottom-upアプローチ．実時間処理可能． COCO 2016 keypoints challengeとMPII Multi Person benchmarkで好成績を出した Intro 画像に映る人物の姿勢推定の難しさ 人の数，スケール，位置が不定であること 人同士の接触，オクルージョンにより複数人の干渉 人数によって計算量が大きくなること 従来手法は人の検知を行い，その後で個人の姿勢推定を
University of California, Berkeley MPI for Intelligent Systems, Tübingen, Germany University of Maryland, College Park Human Mesh Recovery (HMR): End-to-end adversarial learning of human pose and shape. We present a real time framework for recovering the 3D joint angles and shape of the body from a single RGB image. Bottom row shows results from a model trained without using any coupled 2D-to-3D s
pix2pix pix2pixというモデルがある。入力画像と、それと一対一対応する変換ターゲットの画像を用意すると、その間の変換を自動で学習してくれるというものである。 元論文はこれ: [1611.07004] Image-to-Image Translation with Conditional Adversarial Networks この論文内では、モノクロ写真に着色するだとか、線画に色を付ける、航空写真から地図を生成する、ラベリング画像から写真を復元する、などが行われている。要するに、何らかの画像のペアを用意すれば、ペア間の画像変換が学習できるっぽい。 それで、入力画像としてアニメキャラの顔の画像を用意し、出力画像として入力画像から目のハイライトを消したものを用意すれば、アニメキャラの目からハイライトを消すモデルが学習できないだろうか。 幸い、pix2pixのChainer実装が公
MakeGirls.moe 二次元キャラを自動生成してくれるMakeGirls.moeが今話題になっています。 make.girls.moe 今までの画像生成手法と比べてもかなり綺麗な画像が出力されるので驚きました。 PFNでアルバイトしている方が作ったそうです。流石... ネットの評判（ニコニコの某動画）を見てみると、「ただパーツを組み合わせただけだろ」とか、「データベースからランダムに選んでるだけでしょ」といったコメントをしている人がいて、 いかに高度な画像生成ができているかがわかります。 技術的な詳細は公式ブログにまとまっています。 MakeGirls.moe Official Blog ここでGANとは～～みたいな話をしてもいいのですが、今回はこのWebサービスでもっと遊ぶためのプログラムを書いたので導入方法と使い方を紹介します。 このプログラムを導入すると「2つのイラストの中間の
プリパラ & プリティーリズム Advent Calendar 2015 - Adventarの3日目です。 プリチケの写真を撮ったら、自動でQRコードをかわいく隠してくれるアプリがあると便利だよねって記事です。 プリチケの写真ファイル(png形式)を指定すると、自動でQRコードを隠すプログラムを書いてみようとしました。結論から言うとうまくいきませんでしたが…。 1/13追記 kiito.hatenablog.com 動機 プリチケのカワイイ画像をSNSに投稿するとき、他人に悪用されないように、QRコードを隠す作業が必要となります。 そのため「カメラで画像を撮ったとき、QRコードを認識して、自動で可愛く隠してくれないかな」と思うことがあります。 プリパラで踊（ダンス）ってきた pic.twitter.com/465u6usf0W— 黒めだか (@takeshi0406) Novem
当サイトはPython2系入門篇の管理人が運営しています。 当サイトに掲載されているコンテンツ（文書やプログラム等）を利用したことにより発生したいかなる損失・損害につきまして当サイトは一切の責任と義務を負いません。 これらの利用は自己責任でお願いします。 お問い合わせはこちらのメールフォームからお願いします。
追記 lbpcascade_animeface · GitHub githubに置きました。 追記前 かなりいい。http://j.mp/oMVViM http://j.mp/pKZC4Y イロイロ試すと丸っこいものに対する誤検出がちょっと気になるくらい。 http://twitter.com/#!/ultraistter/status/92775087635312640 金曜日から何度か学習していたLBP版のアニメ顔検出ができていた。前回のOpenCVでアニメ顔を検出するためのXML v2 - デーに比べるとかなりよくなっていると思います。検出速度もこっちのほうが速い。 ダウンロード http://anime.udp.jp/data/lbpcascade_animeface.xml (デカイので右クリックで保存) 使い方 OpenCVのサンプルに入っているfacedetectというプログ
査読付き学術論文誌「あの人の研究論文集 Vol.4 No.2」に、私の執筆した論文「画像補完技術による衣服の除去」が採録されました。私が水面下で開発していた真に革新的なプロダクトに関するものです。人類のロマンであるところの、着衣の透視を実現します。具体的には、以下の画像のようなシステムを実現します。本記事に掲載した画像には強いモザイクをかけていますが、実際の紙面ではモザイクはありません。（一部黒塗りがあります。）上の画像が二次元画像を用いた例、下の画像が三次元画像を用いた例です。この図ではモザイクが粗すぎてわかりにくいかもしれませんが、お察しください。英語力に自信がないのであれなのですが、論文の概要は以下の通りです。Abstract: This paper proposes a novel method to remove clothes in images. When an image
Apple が iPhone 5s の発表会で見せたグラフが示す様に、モバイルデバイス向けのGPUの性能の向上は著しい。GPU を上手に活用すると、３Dゲームだけでなく、画像処理などの科学技術計算が大幅に高速化出来るのだが、開発環境が整っていない点が大きな問題だ。 私自身もカメラから取り込んだ動画をリアルタイムで画像処理するアプリケーションを OpenGL を使って開発していたのだが、（はっきり言って時代錯誤の API である）OpenGLでのプログラミングは苦痛極まりない上に、GPU を効率良く使うためにはさまざまな工夫が必要である。OSを開発した経験のある私としては、ここはなんとかしなければいけないと強く感じた。 そこで、OpenGL プログラミングの煩雑さに煩わせずにGPUを使った画像・動画処理が出来る様な開発環境 Video Shader を開発することにしたのだが、それがようやく
As an avid reader of HAD I was intrigued by this post explaining how someone had broken MintEye’s audio based CAPTCHA. The image version of the CAPTCHA looked interesting and so I thought it might be fun to try and break it. For those unfamiliar with MintEye, the image based CAPTCHAs look as follows: You must adjust a slider to select the undistorted version of the image. Several somewhat naive
まだgithubにはpushしていないのですが、さいきょうの組み込み型画像検索エンジンotamaに計量学習を用いて与えられたデータにあった画像間の距離関数を学習してそれを使って検索するというドライバを入れたので、先行的なデモとしてアニメ顔類似検索v3を作ってみました。 計量学習は、ベクトル間の距離の計り方を機械学習で決めるみたいな分野です。 アニメ顔類似検索v3 AnimeFace Search v3 - Otama LMCA_VLAD_HSV Driver randomボタンを押すと顔画像がランダムに出るのでどれかクリックするとそれをクエリに検索します。color weightは色の重みを調節するパラメーターで、1にすると色だけで検索します。0にすると形状やテクスチャだけで検索します。結果画像の上の数字は類似度的なもので、その横のgglは元画像をGoogle Search by Imag
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
