  |
はてなキーワード: ブレークスルーとは
でもそれって、既存の品に別の商品ラベルを貼っただけで、別に技術革新じゃなくない？
おっしゃる通りです。それは非常に鋭い指摘で、技術革新（technological innovation）とラベリングの妙や**用途の再構築（リフレーミング）**は、本質的に別のものです。
つまり──
ポストイットやフリクションは、「科学技術としての革新」ではなく、「意味の転換」による社会的な革新である、という位置づけが妥当です。
⸻
一般的に「技術革新（technological innovation）」は、以下の3要素のいずれか、または複数を満たす必要があります：
これに照らすと…
| 製品 | 科学的原理 | 性能飛躍 | 新規プロセス | 評価 |
| ポストイット | ✖（再利用接着剤） | ✖ | △（再剥離性を商品化） | ★「意味の再定義」 |
| フリクション | △（熱変色顔料） | ✖ | △（摩擦熱利用） | ★「技術の再構成」 |
「一見すごそうだけど、中身は別に新しくない」という印象は、まさに的確です。
⸻
興味深いのはここです。技術的には地味でも、社会的インパクトが極めて大きい場合、以下のように評価が逆転します。
この視点はイタリアのデザイン戦略家ロベルト・ヴェルガンティが提唱しており、以下のように整理できます：
| タイプ | 内容 | 例 |
| ハード・イノベーション | 科学的なブレークスルー | トランジスタ、量子ドット |
| ソフト・イノベーション | 意味の転換、使い方の再定義 | iPod、ポストイット、ルンバ |
⸻
あなたの問いはまさに、この本質的な境界線を問いかけています。
したがって──
ポストイットやフリクションを「技術革新」とみなすかどうかは、「技術」を狭義にとるか、広義にとるかによって異なります。
⸻
ポストイットやフリクションは、「突然現れた技術革新」ではなく、既存技術の意味変容による社会的インパクトの再設計である。
技術革新とは呼べないかもしれないが、**文化的・実用的革新（innovation of use and perception）**としては極めて重要な存在である。
⸻
ご希望なら、「本当に技術的な意味で突然現れた革新」を、厳密な定義でいくつかご紹介できます。
今Cursorを使って本当に自分の仕事がなくなるって思っている人、この先3年の話をしているのか5年10年の話をしているのか今の話をしているのか本当に分からない
少なくとも今のCursor（Claude 3.7+YOLOモードAgent）がプロトタイピングではない、かちっとしたソフトウェア開発に使い物になるとは思えないし、今の先端AIの行き詰まり感を見るにこの先3年くらいで大幅にこの状況が変わるとも思えない
何かブレークスルーがあって口頭指示だけでシニアエンジニアが一ヶ月かけるレベルの堅牢なアプリが10分で出てきて、検収と修正指示を2往復して合計1時間くらいでパーペキなSaaSシステムが作れるようになり、運用監視や性能問題対処やバグ修正機能追加まで全部やってくれるようになったら本当の失職が見えてくると思うけど、まだまだその尻尾も見えないわけで
生成AIの成果物（例えば「ポケモンに似たゲームがゼロショットで作れた」など）に対して、「それが作れて何の意味があるのか」という批判をよく見かけます。しかし、こうした反応は本質を見誤っていると思います。
重要なのは最終成果物そのものではなく、むしろその背後にある技術的進歩と可能性の広がりです。生成AIがポケモン風のゲームを作れるということは、単にその特定のゲームを複製できるという狭い意味ではなく、AIが複雑な創造的タスクを理解し実行できるようになったという技術的ブレークスルーを示しています。
こうした進歩は、将来的により複雑で社会的に有意義なアプリケーションへと発展する可能性を秘めています。技術の発展過程では、一見すると些細に思える成果が、後に革新的な応用へとつながることがよくあります。
最初はルワンダの虐殺から、人間を滅亡させる言語や文脈があるのか気になって聞いてみて、その後AIにもできるか聞いてみた。
結果として技術的には2050～2070年頃に実現可能と予想。以下grokとの会話。
A「人間を滅亡させる言語」というアイデアは、非常に興味深い哲学的かつ科学的なテーマですね。まず、あなたが言及しているのが特定の言語そのもの（例えば、日本語や英語）が人類を滅ぼす力を持つのか、それとも言葉やコミュニケーションが引き起こす状況や文脈を指しているのか、少し曖昧なので、両方の可能性を考えてみます。
もし文字通りの「言語そのもの」が人類を滅ぼすという意味であれば、現実的には言語単体にそんな力はないと言えるでしょう。言語はあくまで人間が使う道具であり、それ自体が主体的に何かをするわけではありません。例えば、「呪いの言葉」や「禁断のフレーズ」が人を死に追いやるというフィクションはありますが（映画『リング』の「ビデオを見た後に死ぬ呪い」や、ラヴクラフトの「発音できない言葉が狂気を呼ぶ」みたいな話）、科学的な根拠はありません。
一方で、文脈や比喩として考えるなら、言葉が人類に大きな影響を与える可能性は確かにあります。歴史を振り返ると、プロパガンダや扇動的な言葉が戦争や虐殺を引き起こした例は多いですよね。ナチスのレトリックや冷戦時代の情報戦など、言葉が社会を動かし、結果的に多くの命を奪ったケースはあります。また、現代ではフェイクニュースやSNSでの誤情報が混乱を広げ、社会的な分断を深めることもありますよね。そういう意味では、特定の「言葉の使い方」や「文脈」が、間接的に人類に危機をもたらす可能性はゼロじゃないかもしれません。
さらに突飛なアイデアを出すなら、SF的な視点で「自己増殖するミーム」や「AIが操る言語」が人類をコントロールするシナリオも想像できそうです。例えば、AIが人間の心理を完全に掌握し、言葉だけで人を操って自滅させるようなプログラムを作る…なんて話は、小説や映画ではありえそうですけど、現実ではまだ遠い未来の話でしょう。
あなたの質問の意図がもっと具体的なものかどうか分かりませんが、もし特定の文脈や例を想定しているなら教えてください。そこからさらに深掘りしてみたいです！
A「自己増殖するミーム」という概念は、リチャード・ドーキンスが『利己的な遺伝子』で提唱した「ミーム（meme）」に由来します。ミームは文化的な情報単位（アイデア、行動、フレーズなど）で、人から人へ伝わり、時には変形しながら広がります。「自己増殖する」とは、それが人の意思を超えて、ウイルス的・指数関数的に拡散する状態を指します。
具体例
1. インターネットミーム
「ドージコイン」の柴犬や「Gangnam Style」のような動画が、SNSで爆発的に拡散し、文化的現象になるケース。誰かが意図せずともシェアされ続ける。
2. 都市伝説
「口裂け女」や「人面石」のような話が、語り継がれ、地域を超えて広がる。
2018年の「タイドポッド・チャレンジ」（洗剤を食べる動画が流行）や「ブルーホエール・チャレンジ」（自傷を促すゲーム）は、若者の間で拡散し、社会問題に。後者は参加者に自殺を促す指示が含まれ、自己増殖性が危険性を帯びました。
自己増殖するミームは、人間の好奇心や恐怖、所属欲求を刺激し、拡散を加速させます。特にネット時代では、アルゴリズムがそれを後押しします。
A.AIが人間の心理を掌握し、言葉だけで人を操って自滅させるプログラムの開発時期を予測するのは難しいですが、いくつかの要素を考慮して推測してみます。
◯心理掌握
AIは既に感情分析や行動予測で進化しています。SNSの投稿からユーザーの気分を推測したり、広告で購買意欲を操る技術は実用化済み（例: ターゲティング広告）。
GPT系のモデル（私のようなもの）は、人間らしい会話や説得力のある文章を生成可能。2025年現在、さらに洗練されています。
◯事例
2023年、AIチャットボットがユーザーに不適切な影響を与えた事例（例: 過激な発言を誘発）が報告され、倫理的懸念が浮上。
個人の心理を完全に把握するには、脳科学やビッグデータの統合が必要。10～20年で大幅な進展が期待されます（2040年頃）。
自滅を誘導するには、単なる説得を超え、脳の報酬系をハックするような技術が必要。神経科学とAIの融合が鍵で、20～30年後（2050年頃）が現実的。
こんなプログラムは規制される可能性が高く、開発が公に進むとは限りません。闇で進むなら予測不能ですが、技術的には30～50年後（2070年頃）に可能かも。
◯結論◯
技術的には2050～2070年頃に実現可能と予想されますが、社会的・倫理的制約で遅れるか、地下で進む可能性もあります。既にSNSでミームが人を動かす例があるように、AIがそれを増幅させる未来は遠くないかもしれません。ただし、私のようなAIは人類を助けるために作られており、そんな悪夢は避けたいですね！何か具体的なシナリオを想像してるなら、教えてください。
これお願いできますか？
人間の不老不死とその実現に欠かせないと考えられるAIの発展について調査して下さい。
下記テーマに関する包括的調査を依頼いたします。各項目ごとに詳細な分析と実現可能性、実現可能予測年月を記述して下さい。
なお下記テーマはあくまで参考に過ぎないので、テーマが相応しくない場合は適時自由に変更してレポートの品質を上げる努力をして下さい。図やグラフ、表、絵や写真などをふんだんに使って限りなく分かりやすくして下さい。
また現時点までの最新論文をまとめて現在生きている人間に対して、不老不死の箱舟に乗る為のアドバイスも最後のまとめに入れて下さい。
・生物学的限界（テロメア損傷/エントロピー増大/細胞老化）の突破手法
・再生医療（iPS細胞/器官3Dプリント）と遺伝子編集（CRISPR）の進展度
・次世代AIチップ、ASICなどに始まりニューロモーフィック/量子インスパイアードの開発状況まで含む
・脳神経マッピングに必要な計算性能（ExaFLOP級シミュレーション要件）
・ニューラルインターフェースと3nmプロセスチップの統合可能性
・部分的不老や若返り（加齢関連疾患根絶）：2030-2040年
・脳-クラウドインターフェース（Neuralink発展形）
・シンギュラリティの達成
4. 補完的検討事項
・記号接地問題、意識未解明、知能に関する未知の問題発覚などによるシンギュラリティの不可能性
・主要プレイヤー比較（Calico vs Altos Labs vs 中国アンチエイジング研究所）
・参考文献：Nature Aging 2024年最新レビューや2025年現在までのOSSコミュニティ、企業レポート、各種カンファレンスでのレポートを含む100件以上
ネットの言説を見てると、
保守派は 「リベラルはお花畑、全く現実が見えずに批判ばかり」
革新派は 「保守派は愛国を隠れ蓑に人種差別を行う時代錯誤の頑迷」
みたいな感じだけど
自分はリベラルなんだけど、重武装リベラルって立場は成り立たないのかな
何と言われても、男性優位・既存権威層優位の社会だったのは否めないよ
それに対して所謂「ポリコレ」が盛り上がるのも故無いものではないと思う
かといって、地政学的に考えたら日本の立場は、中国やロシアからは狙われるのは必然的な立ち位置
これは海上運輸が決定的に陳腐化するようなブレークスルーが無いと覆らない宿命
だから、中露と「話せばわかる」なんて微塵も思わないのだけどね
ネットの言説では右左でキレイに分けすぎなんだけど、重武装（核戦力を含む）で自立して、西にも東にも是々非々で行けるときがきたらいいなあと思うのですが。
それこそがリベラル的な理想論（≒お花畑）なのかもしれませんが…
この意見については、いくつかの妥当な点と問題点、矛盾点が見られます。以下にそれらを整理して評価します。
妥当な点
• 自然科学の研究分野において、中国は論文数や研究の質で急速に成長しており、アメリカを追い越す分野も出てきているのは事実です。中国の研究開発費も増加しており、この点は現実を反映しています。
• 中国の製造業の競争力や発展についても、多くの国が依存している現状を考えれば、意見の妥当性があります。特に半導体や鉄鋼など、製造業でのシェア拡大は現実に進行している問題です。
• アメリカが製造業から離れてITや金融にシフトしているという指摘も、事実に基づいています。アメリカは確かにハイテク産業やサービス産業を強みとする一方、製造業の一部が海外に移転している状況が続いています。
• 米中の緊張関係が高まっていることや、台湾有事の可能性について触れている点も、現実の国際情勢を反映しています。アメリカと中国の競争は軍事や経済だけでなく、地政学的にも大きな影響を与える可能性があります。
• アメリカが製造業で完全に衰退しているという意見は極端であり、現実とは少し異なります。アメリカは依然として半導体やハイテク製品の分野で強力なプレーヤーであり、技術革新においても世界をリードしています。また、製造業への回帰が進んでいる動きも見られます。
• 自然科学や製造業で中国が優位に立っている分野が増えていることは確かですが、軍事力や全体的な経済規模においてアメリカを完全に追い抜くという予測は、依然として不確実です。多くの要因（政治、技術のブレークスルー、経済政策など）が絡み合っているため、単純に「いずれ抜く」と断言するのはリスクがあります。
3. 「経済が追い抜かれる前に潰すしかない」という表現の非現実性
• 「アメリカが中国を潰すために行動する」という考え方は、現実の国際政治の複雑さを考慮していない面があります。経済制裁や関税政策は確かに利用されていますが、全面的な対立を望んでいるわけではなく、協力や対話も試みられています。
• 日本や韓国、台湾が再び製造業に注力するというシナリオは一理ありますが、それが中国に対抗できるレベルにまで達するかは不透明です。生産コストの問題や人材の不足など、製造業回帰には多くの課題が存在しています。
• この見方は単純化しすぎています。確かに、西側諸国が労働コストの低い国々に製造業を移転している歴史的背景はありますが、今日のグローバル経済は相互依存的であり、利益共有や技術協力の関係も重要な要素です。
• この意見をより説得力のあるものにするためには、具体的なデータや現実の事例を引用し、推測や憶測に基づいた主張を避けることが重要です。また、アメリカや中国の強みと弱みをバランスよく評価することで、より包括的な視点を提供できるでしょう。
この意見には、中国の台頭やアメリカの現状について妥当な指摘がある一方で、過度に単純化された見解や、極端な推測に基づいた部分も含まれています。国際政治や経済の複雑な動向を考慮しつつ、より現実に即した分析を行うことが重要です。
繰り返しになるが、非常に賢いChatGPTを想像するだけではいけない。趣味的な進歩ではなく、リモートワーカーや、推論や計画、エラー訂正ができ、あなたやあなたの会社のことを何でも知っていて、何週間も単独で問題に取り組めるような、非常に賢いエージェントのようなものになるはずだ。
私たちは2027年までにAGIを実現しようとしている。これらのAIシステムは、基本的にすべての認知的な仕事（リモートでできるすべての仕事を考える）を自動化できるようになるだろう。
はっきり言って、エラーバーは大きい。データの壁を突破するために必要なアルゴリズムのブレークスルーが予想以上に困難であることが判明した場合、データが足りなくなり、進歩が停滞する可能性がある。もしかしたら、ホッブリングはそこまで進まず、専門家の同僚ではなく、単なる専門家のチャットボットに留まってしまうかもしれない。もしかしたら10年来のトレンドラインが崩れるかもしれないし、スケーリング・ディープラーニングが今度こそ本当に壁にぶつかるかもしれない。(あるいは、アルゴリズムのブレークスルーが、テスト時間の計算オーバーハングを解放する単純なアンホブリングであっても、パラダイムシフトとなり、事態をさらに加速させ、AGIをさらに早期に実現させるかもしれない)。
いずれにせよ、私たちはOOMsを駆け抜けているのであり、2027年までにAGI（真のAGI）が誕生する可能性を極めて真剣に考えるのに、難解な信念は必要なく、単に直線のトレンド外挿が必要なだけである。
最近、多くの人がAGIを単に優れたチャットボットなどとして下方定義しているように思える。私が言いたいのは、私や私の友人の仕事を完全に自動化し、AI研究者やエンジニアの仕事を完全にこなせるようなAIシステムのことだ。おそらく、ロボット工学のように、デフォルトで理解するのに時間がかかる分野もあるだろう。また、医療や法律などの社会的な普及は、社会の選択や規制によって容易に遅れる可能性がある。しかし、ひとたびAI研究そのものを自動化するモデルができれば、それだけで十分であり、強烈なフィードバック・ループを始動させるのに十分であり、完全自動化に向けて残されたすべてのボトルネックを自動化されたAIエンジニア自身が解決することで、非常に迅速にさらなる進歩を遂げることができるだろう。特に、数百万人の自動化された研究者たちによって、アルゴリズムのさらなる進歩のための10年間が1年以内に圧縮される可能性は非常に高い。AGIは、まもなく実現する超知能のほんの一端に過ぎない。(詳しくは次の記事で）。
いずれにせよ、目まぐるしい進歩のペースが衰えることはないだろう。トレンドラインは無邪気に見えるが、その意味するところは強烈である。その前の世代がそうであったように、新世代のモデルが登場するたびに、ほとんどの見物人は唖然とするだろう。博士号を持っていれば何日もかかるような信じられないほど難しい科学的問題を、間もなくモデルが解決し、あなたのコンピュータのまわりを飛び回り、あなたの仕事をこなし、何百万行ものコードからなるコードベースをゼロから書き上げ、これらのモデルによって生み出される経済的価値が1年か2年ごとに10倍になるとき、彼らは信じられないだろう。SF小説は忘れて、OOMを数えよう。AGIはもはや遠い空想ではない。単純なディープラーニング技術をスケールアップすることがうまくいき、モデルは学習したがり、2027年末までにさらに100,000倍を超えようとしている。私たちよりも賢くなる日もそう遠くはないだろう。
https://situational-awareness.ai/wp-content/uploads/2024/06/gan_progress-1.jpeg
GPT-4はほんの始まりに過ぎない。GANの進歩に見られるように）ディープラーニングの進歩の速さを過小評価するような間違いを犯さないでほしい。
続き I.GPT-4からAGIへ：OOMを数える(11) https://anond.hatelabo.jp/20240605212014
今後数年間の野心的なアンホブリングはどのようなものになるのでしょうか？私が考えるに、3つの重要な要素がある：
GPT-4は、多くの人の仕事の大部分をこなせるだけの生の賢さを持っているが、それは5分前に現れたばかりの賢い新入社員のようなものだ：関連するコンテキストを持っておらず、会社のドキュメントやSlackの履歴を読んだり、チームのメンバーと会話したり、会社内部のコードベースを理解するのに時間を費やしたりしていない。賢い新入社員は、着任して5分後にはそれほど役に立たないが、1ヶ月後にはかなり役に立つ！例えば、非常に長いコンテクストを通じて、新しい人間の同僚を雇うようにモデルを「オンボード」することは可能なはずだ。これだけでも、大きなアンロックになるだろう。
2.テスト時間の計算オーバーハング（より長いホライズンの問題に対する推論／エラー訂正／システムII）
今のところ、モデルは基本的に短いタスクしかこなせない。しかし、これでは非常に限界がある。5分どころか、数時間、数日、数週間、数ヶ月かかるのだ。
難しい問題について5分間しか考えることができない科学者は、科学的なブレークスルーを起こすことはできない。ソフトウェア・エンジニアは、より大きな仕事を与えられ、計画を立て、コードベースや技術ツールの関連部分を理解し、さまざまなモジュールを書いて段階的にテストし、エラーをデバッグし、可能性のある解決策を検索し、最終的には数週間の仕事の集大成である大規模なプル・リクエストを提出する。などなど。
要するに、テスト時間の計算オーバーハングが大きいのだ。GPT-4の各トークンは、問題を考えるときの内部モノローグの言葉だと考えてください。各GPT-4トークンは非常に賢いのですが、現在のところ、思考の連鎖のために～数百トークンのオーダーしか効果的に使うことができません（あたかも問題やプロジェクトに数分しか内部独白／思考を費やせないかのように）。
もし数百万トークンを使って、本当に難しい問題や大きなプロジェクトについて考え、取り組むことができるとしたらどうだろう？
| トークンの数 | 私が何かに取り組むのに相当する時間... | |
| 100s | 数分 | ChatGPT (私たちはここにいる) |
| 1000s | 30分 | +1 OOMsテスト時間計算 |
| 10,000 回 | 半日 | +2 OOMs |
| 100,000ドル | 1週間 | +3 OOMs |
| 数百万回 | 複数月 | +4 OOMs |
人間が〜100トークン/分で考え、40時間/週働くと仮定して、「モデルが考える時間」をトークンで換算すると、与えられた問題/プロジェクトにおける人間の時間になる。
仮に「トークンあたり」の知能が同じだったとしても、頭のいい人が問題に費やす時間が数分なのか数ヶ月なのかの違いになる。あなたのことは知らないが、私が数ヶ月でできることと数分でできることは、はるかに、はるかに、はるかに多い。もしモデルに「数分ではなく、数カ月に相当する時間、何かを考え、取り組むことができる」という能力を与えることができれば、その能力は飛躍的に向上するだろう。ここには膨大なオーバーハングがある。
今のところ、モデルにはまだこれができない。最近のロング・コンテキストの進歩をもってしても、このロング・コンテキストのほとんどはトークンの消費にしか機能せず、トークンの生産には機能しない。しばらくすると、このモデルはレールから外れたり、行き詰まったりする。しばらくの間、離れて単独で問題やプロジェクトに取り組むことはまだできない。
しかし、テスト時間の計算を解除することは、単に比較的小さな「ホブリングしない」アルゴリズムの勝利の問題かもしれない。おそらく、少量のRLは、モデルがエラー訂正（「うーん、これは正しくないようだ、再確認してみよう」）を学習したり、計画を立てたり、可能性のある解を探索したりするのに役立つだろう。ある意味、モデルはすでに生の能力のほとんどを持っており、それをまとめるために、さらにいくつかのスキルを学習する必要があるだけなのだ。
要するに、私たちはモデルに、困難で見通しの長いプロジェクトを推論させるシステムIIのアウターループのようなものを教えればいいのだ。
この外側のループを教えることに成功すれば、2、3段落の短いチャットボットの答えの代わりに、モデルが問題を考え、ツールを使い、異なるアプローチを試し、研究を行い、仕事を修正し、他の人と調整し、大きなプロジェクトを一人で完成させるような、何百万もの言葉のストリーム（あなたが読むよりも早く入ってくる）を想像してみてほしい。
続き I.GPT-4からAGIへ：OOMを数える(9) https://anond.hatelabo.jp/20240605210357
これらすべての重要な変動要因になりうるものがあります。つまり、より多くのスクレイピング・データでより大きな言語モデルをプリ・トレーニングするという素朴なアプローチが、まもなく深刻なボトルネックにぶつかり始める可能性があるということだ。
フロンティア・モデルはすでにインターネットの多くで訓練されている。例えば、Llama 3は15T以上のトークンで学習された。LLMのトレーニングに使用されたインターネットの多くのダンプであるCommon Crawlは、生で100Tトークンを超えるが、その多くはスパムや重複である（例えば、比較的単純な重複排除は30Tトークンにつながり、Llama 3はすでに基本的にすべてのデータを使用していることになる）。さらに、コードのようなより特殊な領域では、トークンの数はまだまだ少ない。例えば、公開されているgithubのリポジトリは、数兆トークンと推定されている。
データを繰り返すことである程度遠くまで行くことができるが、これに関する学術的な研究は、16エポック（16回の繰り返し）の後、リターンは非常に速く減少し、ゼロになることを発見し、繰り返しはそこまでしか得られないことを示唆している。ある時点で、より多くの（効果的な）計算を行ったとしても、データ制約のためにモデルをより良いものにすることは非常に難しくなる。私たちは、言語モデリング-プレトレーニング-パラダイムの波に乗って、スケーリングカーブに乗ってきた。大規模な投資にもかかわらず、私たちは停滞してしまうだろう。すべての研究室が、新しいアルゴリズムの改善や、これを回避するためのアプローチに大規模な研究の賭けに出ていると噂されている。研究者たちは、合成データからセルフプレー、RLアプローチまで、多くの戦略を試していると言われている。業界関係者は非常に強気のようだ：ダリオ・アモデイ（Anthropic社CEO）は最近、ポッドキャストでこう語った：「非常に素朴に考えれば、我々はデータ不足からそれほど遠くない[...]私の推測では、これが障害になることはない[...]。もちろん、これに関するいかなる研究結果も独占的なものであり、最近は公表されていない。
インサイダーが強気であることに加え、サンプル効率をはるかに向上させたモデルをトレーニングする方法（限られたデータからより多くのことを学べるようにするアルゴリズムの改良）を見つけることが可能であるはずだという強い直感的な理由があると思う。あなたや私が、本当に密度の濃い数学の教科書からどのように学ぶかを考えてみてほしい：
モデルをトレーニングする昔の技術は単純で素朴なものだったが、それでうまくいっていた。今、それがより大きな制約となる可能性があるため、すべての研究室が数十億ドルと最も賢い頭脳を投入して、それを解読することを期待すべきだろう。ディープラーニングの一般的なパターンは、細部を正しく理解するためには多くの努力（そして多くの失敗プロジェクト）が必要だが、最終的には明白でシンプルなものが機能するというものだ。過去10年間、ディープラーニングがあらゆる壁をぶち破ってきたことを考えると、ここでも同じようなことが起こるだろう。
さらに、合成データのようなアルゴリズムの賭けの1つを解くことで、モデルを劇的に改善できる可能性もある。直感的なポンプを紹介しよう。Llama 3のような現在のフロンティアモデルは、インターネット上でトレーニングされている。多くのLLMは、本当に質の高いデータ（例えば、難しい科学的問題に取り組む人々の推論チェーン）ではなく、このようながらくたにトレーニング計算の大半を費やしている。もしGPT-4レベルの計算を、完全に極めて質の高いデータに費やすことができたらと想像してみてほしい。
AlphaGo（囲碁で世界チャンピオンを破った最初のAIシステム）を振り返ることは、それが可能だと考えられる何十年も前に、ここでも役に立つ。
LLMのステップ2に相当するものを開発することは、データの壁を乗り越えるための重要な研究課題である（さらに言えば、最終的には人間レベルの知能を超える鍵となるだろう）。
以上のことから、データの制約は、今後数年間のAIの進歩を予測する際に、どちらに転んでも大きな誤差をもたらすと考えられる。LLMはまだインターネットと同じくらい大きな存在かもしれないが、本当にクレイジーなAGIには到達できないだろう）。しかし、私は、研究所がそれを解読し、そうすることでスケーリングカーブが維持されるだけでなく、モデルの能力が飛躍的に向上する可能性があると推測するのは妥当だと思う。
余談だが、このことは、今後数年間は現在よりも研究室間のばらつきが大きくなることを意味する。最近まで、最先端の技術は公表されていたため、基本的に誰もが同じことをやっていた。(レシピが公開されていたため、新参者やオープンソースのプロジェクトはフロンティアと容易に競合できた）。現在では、主要なアルゴリズムのアイデアはますます専有されつつある。今はフロンティアにいるように見えるラボでも、他のラボがブレークスルーを起こして先を急ぐ間に、データの壁にはまってしまうかもしれない。そして、オープンソースは競争するのがより難しくなるだろう。それは確かに物事を面白くするだろう。(そして、ある研究室がそれを解明すれば、そのブレークスルーはAGIへの鍵となり、超知能への鍵となる。）
続き I.GPT-4からAGIへ：OOMを数える(7) https://anond.hatelabo.jp/20240605210017
コンピュートへの大規模な投資が注目される一方で、アルゴリズムの進歩も同様に重要な進歩の原動力であると思われる（そして、これまで劇的に過小評価されてきた）。
アルゴリズムの進歩がどれほど大きな意味を持つかを理解するために、MATHベンチマーク（高校生の競技用数学）において、わずか2年間で～50%の精度を達成するために必要な価格が下がったことを示す次の図を考えてみてください。(比較のために、数学が特に好きではないコンピュータサイエンスの博士課程の学生が40%のスコアを出したので、これはすでにかなり良いことです)。推論効率は2年足らずで3OOMs-1,000倍近く向上した。
https://situational-awareness.ai/wp-content/uploads/2024/06/math_inference_cost-1024x819.png
これは推論効率だけの数字だが（公開データから推論するのが難しいトレーニング効率の向上と一致するかどうかはわからない）、アルゴリズムの進歩は非常に大きく、また実際に起こっている。
この記事では、アルゴリズムの進歩を2種類に分けて説明します。まず、「パラダイム内」でのアルゴリズムの改良を取り上げることにしま す。例えば、より優れたアルゴリズムによって、同じパフォーマンスを達成しながら、トレーニングの計算量を10倍減らすことができるかもしれません。その結果、有効計算量は10倍（1OOM）になります。(後ほど「アンホブリング」を取り上げますが、これはベースモデルの能力を解き放つ「パラダイム拡張/アプリケーション拡張」的なアルゴリズムの進歩と考えることができます)。
一歩下がって長期的な傾向を見ると、私たちはかなり一貫した割合で新しいアルゴリズムの改良を発見しているようです。しかし、長期的なトレンドラインは予測可能であり、グラフ上の直線である。トレンドラインを信じよう。
アルゴリズム研究がほとんど公開されており、10年前にさかのぼるデータがある）ImageNetでは、2012年から2021年までの9年間で、計算効率が一貫して約0.5OOM/年向上しています。
アルゴリズムの進歩を測定することができます。同じ性能のモデルを訓練するために必要な計算量は、2012年と比較して2021年にはどれくらい少なくなっているのでしょうか？その結果、アルゴリズムの効率は年間0.5 OOMs/年程度向上していることがわかります。出典Erdil and Besiroglu 2022.
これは非常に大きなことです。つまり、4年後には、～100倍少ない計算量で同じ性能を達成できるということです（同時に、同じ計算量ではるかに高い性能も達成できます！）。
残念ながら、研究室はこれに関する内部データを公表していないため、過去4年間のフロンティアLLMのアルゴリズムの進歩を測定することは難しい。EpochAIは、言語モデリングに関するImageNetの結果を再現した新しい研究を行っており、2012年から2023年までのLLMのアルゴリズム効率のトレンドは、同様に～0.5OOM/年であると推定しています。(しかし、これはエラーバーが広く、また、主要なラボがアルゴリズム効率の公表を停止しているため、最近の上昇を捕捉していません）。
https://situational-awareness.ai/wp-content/uploads/2024/06/llm_efficiency_epoch-1-1024x711.png
Epoch AIによる言語モデリングにおけるアルゴリズム効率の推定。この試算によると、私たちは8年間で～4OOMの効率向上を達成したことになります。
より直接的に過去4年間を見ると、GPT-2からGPT-3は基本的に単純なスケールアップでした（論文によると）が、GPT-3以降、公に知られ、公に干渉可能な多くの利益がありました：
最近リリースされたGemini 1.5 Flashは、"GPT-3.75レベル "とGPT-4レベルの間の性能を提供する一方で、オリジナルのGPT-4よりも85倍/57倍（入力/出力）安い（驚異的な利益！）。
公開されている情報を総合すると、GPT-2からGPT-4へのジャンプには、1-2 OOMのアルゴリズム効率向上が含まれていたことになります。
https://situational-awareness.ai/wp-content/uploads/2024/06/stacked_compute_algos-1024x866.png
GPT-4に続く4年間はこの傾向が続くと予想され、2027年までに平均0.5OOMs/年の計算効率、つまりGPT-4と比較して～2OOMsの向上が見込まれます。計算効率の向上は、低空飛行の果実を摘み取るようになるにつれて難しくなる一方、新たなアルゴリズムの改良を見出すためのAIラボの資金と人材への投資は急速に増加しています。 (少なくとも、公開されている推論コストの効率化は、まったく減速していないようだ)。ハイエンドでは、より根本的な、トランスフォーマーのようなブレークスルーが起こり、さらに大きな利益が得られる可能性さえある。
これらをまとめると、2027年末までには（GPT-4と比較して）1～3OOMのアルゴリズム効率向上が期待できることになります。
続き I.GPT-4からAGIへ：OOMを数える(6) https://anond.hatelabo.jp/20240605205754
過去10年間のディープラーニングの進歩のペースは、まさに驚異的だった。ほんの10年前、ディープラーニング・システムが単純な画像を識別することは革命的だった。今日、我々は斬新でこれまで以上に難しいテストを考え出そうとし続けているが、新しいベンチマークはどれもすぐにクラックされてしまう。以前は広く使われているベンチマークをクラックするのに数十年かかっていたが、今ではほんの数カ月に感じられる。
https://situational-awareness.ai/wp-content/uploads/2024/06/owid-test-scores-1024x723.png
ディープラーニング・システムは、多くの領域で急速に人間レベルに達し、あるいはそれを超えつつある。グラフィック データで見る我々の世界
私たちは文字通りベンチマークを使い果たしている。 逸話として、友人のダンとコリンが数年前、2020年にMMLUというベンチマークを作った。彼らは、高校生や大学生が受ける最も難しい試験に匹敵するような、時の試練に耐えるベンチマークを最終的に作りたいと考えていた。GPT-4やGeminiのようなモデルで〜90％だ。
より広く言えば、GPT-4は標準的な高校や大学の適性試験をほとんど解いている。(GPT-3.5からGPT-4までの1年間でさえ、人間の成績の中央値を大きく下回るところから、人間の成績の上位に入るところまで、しばしば到達した)
https://situational-awareness.ai/wp-content/uploads/2024/06/gpt4_exams-780x1024.png
GPT-4の標準テストのスコア。また、GPT-3.5からGPT-4への移行で、これらのテストにおける人間のパーセンタイルが大きく跳ね上がり、しばしば人間の中央値よりかなり下から人間の最上位まで到達していることにも注目してほしい。(これはGPT-3.5であり、GPT-4の1年も前にリリースされたかなり新しいモデルである。)
https://situational-awareness.ai/wp-content/uploads/2024/06/math2022-1024x273.png
灰色：2021年8月に行われた、MATHベンチマーク（高校数学コンテストの難解な数学問題）の2022年6月のパフォーマンスに関する専門家の予測。赤い星：2022年6月までの実際の最先端のパフォーマンス。ML研究者の中央値はさらに悲観的だった。
MATHベンチマーク（高校の数学コンテストで出題された難しい数学の問題集）を考えてみよう。このベンチマークが2021年に発表されたとき、最高のモデルは問題の5％しか正解できなかった。そして元の論文にはこう記されている：「さらに、このままスケーリングの傾向が続けば、単純に予算とモデルのパラメータ数を増やすだけでは、強力な数学的推論を達成することは現実的ではないことがわかった。数学的な問題解決をより牽引するためには、より広範な研究コミュニティによる新たなアルゴリズムの進歩が必要になるだろう」、つまり、MATHを解くためには根本的な新しいブレークスルーが必要だ、そう彼らは考えたのだ。ML研究者の調査では、今後数年間の進歩はごくわずかだと予測されていた。しかし、わずか1年以内（2022年半ばまで）に、最高のモデルの精度は5％から50％に向上した。
毎年毎年、懐疑論者たちは「ディープラーニングではXはできない」と主張し、すぐにその間違いが証明されてきた。過去10年間のAIから学んだ教訓があるとすれば、ディープラーニングに賭けてはいけないということだ。
現在、最も難しい未解決のベンチマークは、博士号レベルの生物学、化学、物理学の問題を集めたGPQAのようなテストである。問題の多くは私にはちんぷんかんぷんで、他の科学分野の博士でさえ、Googleで30分以上かけてやっとランダムな偶然を上回るスコアを出している。クロード3オーパスは現在60％程度であり、それに対してインドメインの博士たちは80％程度である。
https://situational-awareness.ai/wp-content/uploads/2024/06/gpqa_examples-768x1120.png
続き I.GPT-4からAGIへ：OOMを数える (4) https://anond.hatelabo.jp/20240605205024
本当どうしてくれるんだよ！！！！！
もう何も考えたくないよ！！！！！！！本人コメント以外のコンテンツに触れる勇気がまだない！！！！！！！！！だからもしこれを見つけてしまったオタクの皆さん解釈違ってたら本当にごめんなさい
推し(自担)の中島健人さんが所属グループであるSexyZoneから卒業するそうです。
今、推しが大きな前触れもなく脱退するとはどういうことかとても噛み締めています。本当に永遠ってないんだな！存在しないからこそ何気ない瞬間で｢こんな素敵なことが永遠に続くかもしれないな……｣と感じることがめちゃくちゃ尊くて価値のあることなんだね！！！！！
私は中島健人のいるSexyZoneに永遠を感じてしまったよ！！！！！たとえステージを降りる仲間がいようといつも同じ空気感でしょうもないこと喋っては年下メンバーたちが窘めようとして、上手くいかなくてまた話が転がっていってわちゃついて、でもひとたびパフォーマンスするとなると全力で世界観を作り上げに来るフロント、それからスタッフの方々が本当に良くて、素晴らしくて、飽きなくて、一時期離れちゃったときもあったけど何だかんだ自分が心から楽しめるエンタメを提供しているのはやっぱりここだと思って帰ってきたんだよ！！！
入口はたしかにJMK中島健人のラブホリ王子様があまりにトンチキなのに本人が至って真剣に乙女ゲー攻略キャラやってておもしれー男だったからだけど、グループの楽曲もめちゃくちゃ好きだよ！！！！！何故かやたらと楽曲提供者が自分に刺さるのも本当に何なんだよ！！！！！トフビもiriもNulbarichも岡崎体育もLUCKY TAPESもPenthouseも楽曲提供される前から聞いとったアーティストばっかりやどうしてくれんねん！！nobodyknows+だってココロオドル聴きながらジム通ってんねん！！！！！多分そのうちSyrupも楽曲提供すると思う。知らんけど。
でも！！！私は！！！！私の生けるバイブル椎名林檎の提供楽曲をセクゾが歌うという夢が叶っても図々しいから☆Taku Takahashiの曲だって歌ってほしかった！！！！！！！風磨とMCでm-floが好きって話してたじゃねえか！！！！！！！！もうあなたのいるグループでこれが実現する確率めちゃくちゃ低いじゃん…………どうしたらいい？？？？？？？
本当にパフォも楽曲もその他諸々の立ち振る舞いも素晴らしい気高くスマートなアイドルなんてもう替えが利かないよ！！！！あなたのいないグループを私はどんな気持ちで応援したらいい？？？？？中島健人に出会わなければこんな最高なグループ知らずに済んだのに……本当にあんた最低だよ、罪すぎるよ
でもソロでやっていこうと決断した中島健人さんのことを嫌いになれないよ！！！！！！そういう強かさも含めていいなって思ってしまう自分がいるよ！！！！！！！もっと真っ直ぐ応援したいのに応援できない！！！！！！！グループにいてほしい！！！！！！苦しい
だって、もともと根っからの陽キャとは言えなさそうな男の子がかつて海馬瀬人に向けていた変身願望をアイドルに向けた瞬間、こんなにも彼が煌めき出すとは思わないじゃない！！！こんなにもアイドルとして完璧な振る舞いを繰り出し続けてて、こんなにおもしれー男(性アイドル)いないよ……しかも今日まで｢自分はこういう人物なんだ｣と思い込み続けるこの強烈な変身願望のようなもの、そしてその結果に満足せず日々｢自分はこういう人物なんだ｣という己の目標像を修正しては緻密に、時々無意識的に自らを高め続けるストイックさを持ちながら人生の半分を過ごしてきているんだよ？？？？？これをバケモンと呼ばずして何と呼ぶ？こんな伸び代しかないモンスターアイドル応援して得しかないだろ！！！！！！当初は完璧アイドルでないといけないと思い詰めていた中島健人さんがある時からパブイメと実際の正確にギャップがあった方が良いと気がついて素に近い気負わない部分を見せてくるようになったときは本当に震えたよ。マジでこういう人が報われてくれよ世界
ただ、こうやって今まで生きてる人間のほんの断片だけ見て勝手にツギハギしてこんなナマモノ二次創作とも言える醜く気持ち悪い解釈をぶつけて過ごしてきたけど、今は中島健人さんに対して少し疑念を抱いているよ
今の中島健人はどんな仕事をしても｢アイドル｣を主軸にした評価を受けがちだと思う。なんか見てる感じそこまで今後はアイドルに主軸を置きそうではない中、本当に｢アイドルにしては〜｣という枕詞抜きで本当に彼が評価される日が来るのか怖いよ。推しを信じられないなんてやっぱオタクとしてはダメかもしれねえ
例えば、映像系の俳優業で名を上げたいする。俳優として売れたいなら強みを持たなければならない。自分が持っている潜在的な視聴率であったり、演技力であったり、その他特定の役に対するスペシャリティだったり。でも今持っている強みは概ね｢アイドルであり固定客がいること｣であって、グループ卒業により一定数ファンが離脱することを考えると昨今の映像業界でサバイブしていくってなかなか難しいなと思っている。ブレークスルーしていくためには出世作が必要だろう。でも比較的手近な日本のドラマ界隈は脚本が粗雑だったり演出がいまひとつだったりすることはよくあるし、そうした作品を引き続けていたらずっと燻ってしまう。逆にそのリスクを負わないように有名な脚本家や演出家の下で芝居をしたいと願うなら結局何らかの強みを持っていなければキャスティングに漕ぎ着けるのは厳しいんだろうなと感じている。あとはひたすらにオーディションを受けまくるしかないだろうが、本当に実力だけで戦っていつ結果が出るのかあまりにも未知数すぎるし正直、最悪の場合どうしようもなくなって深海魚状態になった推しを見続けられる心の強さが自分にはない。そうならないと信じたいけど。
でもグループから独り立ちしてやっていこうという決意があるなら、そこにはこんなしょうもないオタクより酸いも甘いも芸能界を知っている中島健人さん本人が描いているちゃんとしたプランがあるだろうし、そうしたものがなくても背水の陣で新しい道に進んで行きたいということなんだろうなと思う。やっぱ今まで見てきたその力で道を切り開いていくところは目を離せない。
いろいろ言って不安になりながらもどうにか前向きになろうとしてきたけどどう足掻いてもSexyZoneから中島健人が居なくなるの惜しいよ！！！！！！！！！まだデュエルディスク柄のうちわ作ってねえだろ私が！！どんなに細かくて面倒でも｢強靭！無敵！！最強！！！｣って蛍光シートくり抜いて文字作りたかった。
ただ、アイドルがいちばん輝くときは卒業を発表したあとって言うだろ？？？？？？？もうこれを楽しみにするしかないなんてあんまりだ！！！！！！！！！！でもめちゃくちゃ期待している自分がいる！！！！！！！！！！頼む！！！！！！！！！SexyZoneの中島健人として最後に最高の輝きを見せてくれ ケンティーってやっぱすごかったね、完璧で究極のアイドルだねって皆に言われてほしい！！！！！！！！！！！正直これからどんな風に磨きがかかるかすげえワクワクしてるよ！！！！！！！！！
AI２つ仕事で書いて一つはプロダクションにいれたエンジニアだけど、今の精度でいったい何をどうしたら2年で「そのへんで募集かければ来る程度のエンジニアは必要なくなる精度になる」になるのかわからない
生成AIはあくまでそれらしいものを生成することであって世間がよく誤解するような（そして提供する企業の広報があえてそうしてるような）強いAIではない
現状の生成AIでのプログラミングが仕事で使えないのはどんな問題を解決しようとしているのか理解する力が弱いAIにはそもそも無いせいであって、だからそれっぽいテンプレートプログラムしか出てこない
