日本銀行がLLM使ってみた　経済分析に有用なのか？　利点と欠点を整理

日本銀行がLLMを経済情勢分析のツールとしてテストしたレポートを公開した。分析結果とLLMを使う価値やデメリットを整理している。

　日本銀行（以下、日銀）は2024年12月25日、大規模言語モデル（LLM）を使ったテキスト分析の実験について発表した。内閣府が実施している「景気ウォッチャー調査」に寄せられたコメントを分析させ、LLM活用の可能性と課題を洗い出した。

　日銀はこれまで経済情勢判断の一環としてテキストデータを活用してきた。特に景気ウォッチャー調査に含まれるコメントデータは物価動向や景況感の解析に使用している。しかし従来の分析手法では単語の頻度や共起関係に焦点を当てるシンプルな方法が主流であり、コメントが持つ文脈的な情報の把握には限界があった。

　LLMはテキストデータや画像データなどの非構造化データを分析しやすい構造化データに変換できる技術として、経済情勢判断のテストを実施した。

　今回の分析では、主に次の手順が採用された。

1. コメントの英訳：　分析に使用するLLMが英語対応であるため、Metaの翻訳モデル「NLLB」を用いて「景気ウォッチャー調査」のコメントを英訳
2. カテゴリー判定：　LLMで各コメントが言及しているテーマを判別（例：「賃金」「価格」「生産」など）
3. 視覚化と解析: 得られた結果を基に、ヒートマップやトピック推移の可視化を実施

　分析の結果、半導体の供給状況に不安があった時期には「サプライチェーン」や「生産」といった話題が多く、2022年下期以降は「コスト」のような物価に関するコメントや「採用難」などの雇用関係のコメントが増加しているなどの関係性を可視化できた。

　物価指数グラフの作成ではLLMが作成したものと、物価指数の計算に特化した機械学習モデルで作成したものがおおむね一致し、物価動向を測るのに有用であることが分かった。

LLMで導き出した物価指数グラフとPSI（日本銀行「大規模言語モデルを用いた新たなテキスト分析の取組み ― 最近の賃金・物価動向に関する分析への応用 」より）

　日銀はLLMの導入による利点を挙げている。指摘されている内容はそれは次の通り。

• 迅速かつ柔軟な分析: 従来必要だった教師データの作成やモデル推計の手間が省ける
• 高度な汎用性：　言語知識を学習済みのLLMは、多様なタスクに即座に対応できる
• 非英語圏への展開可能性：　機械翻訳を介することで非英語圏のテキストも分析できる

　一方で英語への依存やモデルの性能に応じた結果の解釈の難しさといった以下のような課題も残るとされている。

• データのバイアス：　分析に使うデータに偏りがある可能性を認識する必要がある
• データのノイズ：　分析に使うデータにノイズがある場合に完全には取り除けない
• ブラックボックス：　判定プロセスを確認できないため結果の妥当性の検証が必要
• コスト：分析時の計算負荷が高く、計算リソースや時間が必要