はてなブックマーク

Studio Ousiaと理化学研究所に所属している山田育矢です。 この記事では、大規模言語モデル（LLM）の性能を向上させる新しい方法であるLEIA（Lightweight Entity-based Inter-language Adaptation）を紹介します。 LLMは言語によって性能に顕著な差があり、訓練に使われるテキストが最も多い英語において特に性能が高い傾向があることが知られています。LEIAは、LLMが蓄えている英語の知識を他の言語から使えるようにする訓練を施すことで、英語以外の言語でのLLMの性能を向上させる新しい手法です。 この度、英語・日本語の2言語LLMであるSwallowの7Bと13Bのモデルに対してLEIAによる訓練を施して性能向上を行ったモデルを公開します。 ライセンスは、Swallowと同様のLlama 2 Community Licenseです。これらのモ

ビルドPCで使用していたSSDの空き容量が心もとなくなってきたので、より大容量のものに変更することにしました。 もともと使用していたのはWDS500G3X0C、いわゆるWD Black SN750です。 新しく購入するSSDを何にするかは迷いましたが、Amazonのブラックフライデーで安かったのでEXCERIA PLUS G2の1TBモデルにしました。 KIOXIA EXCERIA PLUS G2 使用前にベンチマークを取ってみたところ、全く速くなくて驚愕しました。ベンチマークはUbuntu 22.04 LTSの「ディスク」で実行しました。まっさらなストレージじゃないと読み込み書き込み両方のテストができないのでちょっと面倒なのですが……。 3回テストを行い、3回目の結果を掲載していきます。今後も同様です。 いちおうカタログスペックではシーケンシャルリードが3.4GB/s、シーケンシャルライ

今回の問題 （この問題が解決した旨を下に追記しました） 世界のどこかが4月21日のうちに、Ubuntu 22.04 LTSがリリースされます。 どのバージョンのUbuntuでも、せめてインプットメソッド（今回はIBusのこと、以下IM）が正しく動作するように気を配っているつもりではあるのですが、今回も不具合があるままリリースされることになっていました。 Waylandセッションでは特に問題ないのですが、ログイン時にX.Orgセッションを選択し、IBusで文字を入力すると候補ウィンドウが左下に表示されます。 候補ウィンドウが左下に表示される 原因 IBusの場合、GTKアプリケーションを使用していて候補ウィンドウが左下に表示されるということは、適切な設定が行われていないのが原因と考えて間違いないです。 GTK2から、IMを動的に変更できるIMモジュールという仕組みが実装されました。原則として

問題を探る Ubuntu 21.10を新規インストールし、（Waylandセッションにならない特殊な環境を除いて）ログインし、Windowsキー+Spaceキーで「日本語(Mozc)」に切り替えると、IBusのステータスは「A」となるはずですが、「あ」のままとなります。 Ubuntu 21.10のログイン直後 ここでIBusのプロセスを確認してみましょう。 WaylandセッションでのIBus関連プロセス なんか起動しているように見えますね。 Xセッションに切り替えて確認してみましょう。 XセッションでのIBus関連プロセス ibus-x11プロセスが起動しているようです。ではWaylandセッションでibus-x11プロセスを起動してみましょう。 ibus-x11プロセスを起動した 違いはibus-x11プロセスの起動で間違いなさそうです。 どうしてWaylandセッションではibus-

linux-vm-toolsのリポジトリがアーカイブに 1月29日にMicrosoftが管理するlinux-vm-toolsのリポジトリがアーカイブになりました。それまで登録されていたissueはすべて強制的に終了し、Pull requestは有用かつ即適用できるものがあるにも関わらずすべて放置となりました。 これは一体何を意味するのでしょうか。 Hyper-Vクイック作成 Windows 10 Pro以上のエディションではハイパーバイザーであるところのHyper-Vが使用できます。さらに「Hyper-Vクイック作成」という仮想マシンのテンプレート選択する機能もあり、随時更新されていってました（たぶん過去形）。 Hyper-Vクイック作成の画像 Windows 10があるのは当然として、Ubuntuもあります。サポートが終了している19.10があるのはMicrosoft流のギャグなんでしょ

以後はUbuntu Weekly Recipe 第689回をご覧ください。 Ubuntu 20.04 LTS/20.10で最新のFcitx5を使用する方法を紹介します。12/6、12/13更新。 概要 Fcitx 5.0.0 is now availableというわけで、試してみました。 原則としてはDebian Sidのソースパッケージをそのままリビルドしただけですが、場合によってはgitから最新のソースを取得しています。 fcitx5-mozcのパッケージは存在しないため、リビジョンe7a97d0のソースコードを取得しました。現在のMozcのバージョンは2.26.4206.102になっており、大幅にバージョンアップしています。そんなわけでパッケージのクオリティはあまり高くないため、何かおかしなところがあったらすみません。 アーキテクチャはAMD64はもちろん、Arm64もサポートしてい