WhisperとPyannoteを用いた話者分離と音声認識概要 本記事ではWhisperとPyannoteを使った話者分離と音声認識の方法をサンプルコードとともに紹介します。 2022年12月現在、Whisperで話者分離を行うことは難しく、Pyannoteで話者分離した音声に対してWhisperで音声認識を行う手法が主流となっています。本記事ではYoutube動画を上記方法で話者分離と音声認識にかけてみます。なお、本記事は動作環境としてGoogle Colabを想定しています。
2023/01/13 追記 最新版ではこの記事で紹介しているものに加えいくつかの昨日が追加されています。使用の上でこの記事の内容で問題ありませんが、後日アプデ要素について追記します 要旨 機械学習を用いたボーカル除去ソフト「Ultimate Vocal Remover」導入方法・使用方法を解説した上で、いくつかの学習モデルを用い複数条件でボーカル抽出を行い、ボーカル抽出に適したモデル・設定を追求した。その結果、VR Architectureメソッドの3_HP-vocalUVR.pthと、MDX-netメソッドのUVR-MDX-NET Mainモデルでのボーカル抽出が精度が高いという結論になった。両者でのモデルで抽出した後にManual Ensembleで合成するとより良い抽出となるかもしれない。 設定については、結論の項目のスクショを参考のこと。 また、楽曲でのボーカル抽出とは別に、BGM
流行りのAIブームがボイスチェンジャーにもやってきました。 RVCとVC Clientを組み合わせることによって、リアルタイムでAIボイスチェンジャーを利用することができます。 声質は自由自在、学習させたい声の音声ファイルを用意すれば誰だって好きな声で喋ることが可能です。 男性ボイスを女性ボイスに変換した場合のサンプル音声でご確認ください。 普通の地声で喋っています。これの凄さは実際にやってみてお試しください。 2000個のwavファイルを30回学習させた場合(音源はあみたろさんです) 5000個のwavファイルを100回+他の学習モデルを合体させた場合(音源は色々です) RVC導入方法 学習ファイルの選定 VC Client導入方法 ノイズが乗ったりresが無限に伸びて困ってる人向け VB-Audio Virtual Cableの導入 wavファイルの素材量産方法 ノイズ除去 SoXの導
【導入】 ・この記事の最終目標は「リアルタイム変換でずんだもんボイスになってDiscordで通話する」です。 ・大まかな記事の流れは「RVCで学習モデルを作る」→「学習モデルをVC Clientに入れる」→「リアルタイムボイチェン完成!」です。 ・「RVC」という超凄い非リアルタイム音声変換ソフトが話題になったと思ったら、翌日に「VC Client」という超凄いソフトがリアルタイム音声変換に対応したのを聞いたので、急いで記事を書きました。 ・この記事ではずんだもんボイスになることを目標としていますが、学習先の音声さえあればどんな音声にもなれます。 【手順】 ①~RVCのダウンロード~ ・以下のURLを開いて、「RVC-beta.7z」をDLします。(要Hugging Faceアカウント)(Hugging Faceアカウントを持ってない人は無料なので作りましょう) https://huggi
用意するもの①VB-CABLE Virtual Audio Device(仮想オーディオデバイスならなんでも) ②7zip ③Hugging Faceアカウント ④VC Client v.1.5.2.2 ⑤hubert_base.pt ⑥RVC-beta ⑦Audacity どれくらいのスペックが必要かメモリを16GB積んでいてかつ、グラボを積んだゲーミングPCであれば問題ないと思います。 私のパソコンは、 GPU NVIDIA GeForce RTX 2070 SUPER CPU Intel(R) Core(TM) i7-10700 メモリ 32GB です。これくらいのスペックがあれば余裕を持って学習・ボイチェンできます。 追記:強いMacでも動くらしいです ①VB-CABLE Virtual Audio Device DiscordとかゲームのVCでボイチェンを使うのに必要です。 公式
人工知能(AI)を駆使した写真を高品質な線画に変換するサービスが「SketchEdge」です。デザインやマンガの背景や資料に使えそうな「手書きのような自然な線画」を出力してくれるということで、実際に使ってどんな線画が出力されるのか確かめてみました。 SketchEdge https://sketchedge.net/ AIで写真を高品質な線画へ変換するサービス「SketchEdge」をリリースしました。登録後、無料で20枚ほどお試しできます。ぜひぜひ漫画の背景やデザインの素材用途としてお試しください。https://t.co/FcVKUbh5Id pic.twitter.com/bJ0NOIwuaT— まっくす (@minux302) April 7, 2023 まずはSketchEdgeにアクセスして、画面右上にある「Sign in with Google」をクリック。 するとGoogl
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く