大規模言語モデルが機能するためにはインターネット上の膨大なデータで訓練する必要がある。今後、AIが生成した低品質のWebページがネット上に急増すると、そのデータで訓練された大規模言語モデルの性能が劣化することが懸念されている。 by Scott J Mulligan2024.08.01 13 この記事の3つのポイント AIモデルは低品質のAI生成データで訓練されると徐々に劣化する 合成データを追加しても問題ないが高品質で多様なデータが重要だ データの出所を特定し、人間が作成した元データを重視する必要がある summarized by Claude 3 人工知能（AI）モデルは、インターネットから取得した膨大な量のデータを使って訓練することで機能する。ところが、低品質のコンテンツで埋め尽くされたWebページをAIがどんどん量産するにつれ、そのプロセスが揺るがされる危険性が増している。 ネイチ
チャットAI「ChatGPT」などの開発で知られるOpenAIは、人間よりもはるかに賢いAIである「超知性」が2033年までの10年間で開発されると推測しています。しかし、超知性を確実に制御する方法は現状構築されていません。OpenAIでは「スーパーアライメントチーム」を立ち上げ、超知性を制御するための研究が行われており、その方法を解説しています。 WEAK-TO-STRONG GENERALIZATION: ELICITING STRONG CAPABILITIES WITH WEAK SUPERVISION (PDFファイル)https://cdn.openai.com/papers/weak-to-strong-generalization.pdf Weak-to-strong generalization https://openai.com/research/weak-to-st
ChatGPTなどの優れたAIモデルを開発するAI研究団体のOpenAIが発見した、ディープラーニングにおける最も魅力的な謎のひとつとされる「グロッキング」について、GoogleのAI研究者が位相変化との関係を指摘しています。 [2301.05217] Progress measures for grokking via mechanistic interpretability https://arxiv.org/abs/2301.05217 A Mechanistic Interpretability Analysis of Grokking - AI Alignment Forum https://www.alignmentforum.org/posts/N6WM6hs7RQMKDhYjB/a-mechanistic-interpretability-analysis-of-grokk
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
