気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント31件
- 注目コメント
- 新着コメント
yarumato
“RTX3060(12GB)で、Dockerを使うことで簡単に動かせました。日本語も使えますが一番小さいモデルだったので頭がよくない。<-本体メモリ256GBが必要なところ32GBしか使っていない。結果が悲惨なのは当然だ。”
T-norf
チャットにこだわらなければ、（日本語特化も含め）学習済みモデルは多数配布されてて、Huggingface Transformersというフレームワークで使える。ってとこまでは調べてた。要求スペックが下がるインパクト大きいよ
puhu208n
GPUスペックそのものも欲しいが、VRAM容量がとにかく欲しいよな。「RTX3060(48bit DDR3) 64GB」みたいなGPUカードは作れないんだろうか? NVLinkとDDRを翻訳するFPGAとかでなんとかならんのか?
estragon
“Stable Diffusionもそうですが、やはりローカルでも動くというのは「自分のものになった！」という妙な安心感があって良いですね”、”日本語も使えます（アホですが）”、”メモリ 32GB”
misshiki
“自宅PCでChatGPT的なAIチャットが動くのは驚きですね。 Stable Diffusionもそうですが、やはりローカルでも動くというのは「自分のものになった！」という妙な安心感があって良い”
T-norf
チャットにこだわらなければ、（日本語特化も含め）学習済みモデルは多数配布されてて、Huggingface Transformersというフレームワークで使える。ってとこまでは調べてた。要求スペックが下がるインパクト大きいよ
yarumato
“RTX3060(12GB)で、Dockerを使うことで簡単に動かせました。日本語も使えますが一番小さいモデルだったので頭がよくない。<-本体メモリ256GBが必要なところ32GBしか使っていない。結果が悲惨なのは当然だ。”
puhu208n
GPUスペックそのものも欲しいが、VRAM容量がとにかく欲しいよな。「RTX3060(48bit DDR3) 64GB」みたいなGPUカードは作れないんだろうか? NVLinkとDDRを翻訳するFPGAとかでなんとかならんのか?
kei_1010
うーーん、まだまだ微妙だなぁ。shi3z のマシン(メモリ256GB, VRAM48GB)でもBLOOMの175bはめちゃ遅そう。しかもBLOOMは日本語にだけ非対応という。。。まだしばらくはbing ai弄りながら静観しとこ。
tpircs
AIの日本語対話、これGPU無しのWindowsマシンで普通に動いた（https://github.com/nttcslab/japanese-dialog-transformers/blob/main/README-jp.md）。WSLでも直接でもどちらでも。そこそこ面白い感じだった。
pechiyon
自宅で動かすことができるけれども、資源が遊休すぎると思うのよね。都会ど真ん中で車持つみたいな感じで、便利だけどコスパ悪いみたいな。その辺はクラウドでよしなにしちゃいたいよなと思うも、それはそれでね…
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
自宅で動くChatGPTと噂のFlexGenをDockerで手軽に動かす
自宅で動くChatGPTと噂のFlexGenを試す shi3zさんが興奮して動かしていたFlexGen 関係する記事は以下 ツ... 自宅で動くChatGPTと噂のFlexGenを試す shi3zさんが興奮して動かしていたFlexGen 関係する記事は以下 ツヨツヨGPUが無いと動かないと思っていたのですが、タイムラインでミクミンPさんが、RTX3060でFlexGenを動かしているツイートを発見。 「RTX3060なら自分も持っている！」ということで、試してみることにしました。 追記： 私がこの記事で動かしているのは小さいモデルです。とりあえずお試しで動かしただけで、shi3zさんが動かしているモデルとは異なります。 性能の参考にする記事ではないので、ご承知ください。より大きいサイズのモデルの使用に関しては、FlexGenの公式リポジトリを参照ください。私も今後試したら追記していきます（現状、私の環境では動かせてないです）。 FlexGenをDockerで動かす 結果的には、Dockerを使うことで簡単に動かせました。
ブックマークしたユーザー
すべてのユーザーの
詳細を表示します
詳細を表示します
2023/02/26 リンク