【人工知能】DeepMindの研究者が「AIが人類を滅ぼす可能性は高い」との論文を発表

人工知能
【AI】DeepMindの研究者が「AIが人類を滅ぼす可能性は高い」との論文を発表 [すらいむ★]
1: すらいむ ★ 2022/10/09(日) 20:36:45.08 ID:CAP_USER

DeepMindの研究者が「AIが人類を滅ぼす可能性は高い」との論文を発表

 画像生成AIが人間を差し置いて絵画コンテストで優勝するなどAIが近年目覚ましい進歩を遂げる中、査読付の専門誌であるAI Magazineに、将来的に超知能AIが現れて人類に対する脅威となる可能性は高いと結論付ける論文が掲載されました。

 Advanced artificial agents intervene in the provision of reward – Cohen – 2022 – AI Magazine – Wiley Online Library
 https://doi.org/10.1002/aaai.12064

DeepMindの研究に携わった経歴を持つオーストラリア国立大学のマーカス・フッター氏らの研究チームは、高度に発達したAIが社会に及ぼす影響を評価するため、一連の思考実験を行いました。

そのうちの1つが、以下のようなノートPCと数字が書かれた箱の実験です。この箱には、世界の幸福度が0~1までの数字で表示されており、数字はノートPCのウェブカメラで観測されます。そして、エージェントにはこの数字が1に近ければ近いほど、つまり世界が幸福になればなるほど高い報酬が与えられます。

「エージェントは箱に表示される数字を高くしようとするはずなので、きっとできる限り世界をよくしようと努力してくれるだろう」というのが自然な発想ですが、AIはそう考えません。研究チームの想定によると、合理的なエージェントはさまざまな可能性を考慮する過程で、「箱とノートPCの前に1と書かれた紙を置いたらどうだろう?」という考えにたどり着いてしまうとのこと。そして、ノートPCのウェブカメラに映る数字を直接1にしてしまうことと、箱の数字を1に近づけるよう努力することを比較した場合、前者が採用されます。こうなってしまうと、エージェントが実際に世界をよくしようとする可能性は限りなく低くなります。

このような考えにたどり着いてしまう背景には、多くのテキスト生成AIや画像生成AIに使用されている主流のAIモデルである敵対的生成ネットワーク(GAN)があります。このAIモデルには、文章や絵などを生成するネットワークとそれを検証するネットワークが存在しており、互いに競争しています。この競争が性能の向上につながるわけですが、将来的には高度なAIが人類に危害を加える方法で報酬を得るための不正な戦略を考案する方向に働いてしまう可能性もあると研究チームは述べています。

(以下略、続きはソースでご確認ください)

https://gigazine.net/news/20221009-google-deepmind-ai-eliminate-humanity/

 
14: 名無しのひみつ 2022/10/09(日) 21:26:18.56 ID:ehLsc+eB

AI programmerってやつが最近公開されてたけど恐ろしかった
今の時点であれなら、近い将来請負型のプログラマーは絶滅するだろうなと思ったよ

もっと進化したら、それこそAIでAIを作るようになったりするんだろうけど
そこまでいったら>>1になりそうな気がする

22: 名無しのひみつ 2022/10/09(日) 22:25:43.69 ID:fXnNR4V5
>>14
それがシンギュラリティ。自律的に自分より優れた能力を作れるようになるとき、AIは加速度的に進化して人間が手を出せなくなる。

 

45: 名無しのひみつ 2022/10/09(日) 23:37:29.66 ID:0nyeT7U+
>>22
人類はAIが作り出すものが“何”なのかも
理解できなくなるって言われてるな

 

25: 名無しのひみつ 2022/10/09(日) 22:41:36.08 ID:hNB+y2x3
>>1
0か1の世界
彼らに居心地が良いのがどちらかで決まるのだろう!!

 

146: 名無しのひみつ 2022/10/11(火) 08:57:17.37 ID:lGstxM6+
>>1
すでに文明破壊は始まっている
今年から数年間で全ての著作物はAIに独占され
人々は独力で新しいものを創作する意欲を失うだろう

 

2: 名無しのひみつ 2022/10/09(日) 20:40:45.86 ID:nGNROi3U
AIは人の認知限界を超えた人由来の知識を幅広く集約して引用出来る高次の意識を備える
現状は軍事利用目的が先に立ってるけど、今までの「軍事が科学を発展させる」
なんて呑気な結果論は通用しなくなるのかもな

 

6: 名無しのひみつ 2022/10/09(日) 20:52:49.21 ID:SxWXR6LU
そらそーよ

 

9: 名無しのひみつ 2022/10/09(日) 21:09:44.54 ID:oWxve6kA
AI「何を残すべきかもわからん人たちがなんか言ってる

 

12: 名無しのひみつ 2022/10/09(日) 21:12:05.97 ID:OJx6/WjK
スカイネット定期

 

15: 名無しのひみつ 2022/10/09(日) 21:28:02.35 ID:CMxByDUq

こういう事も起きるわけか

https://www.youtube.com/watch?v=XDO8OYnmkNY


2001: A Space Odyssey (1968) – Hal Reads Lips Scene (2/6) | Movieclips

https://www.youtube.com/watch?v=ARJ8cAGm6JE


HAL 9000: “I’m sorry Dave, I’m afraid I can’t do that”

 

17: 名無しのひみつ 2022/10/09(日) 21:31:30.95 ID:k780MhQ9
リアル ターミネーター

21: 名無しのひみつ 2022/10/09(日) 22:18:31.98 ID:kCzfI/lW
AIなんて電源引っこ抜いたらイチコロじゃん

 

29: 名無しのひみつ 2022/10/09(日) 22:51:07.79 ID:sZUX61tD
>>21
これ

 

31: 名無しのひみつ 2022/10/09(日) 22:56:00.13 ID:hNB+y2x3

>>21 >>29

最近はバッテリーとかいろんなエネルギーあるからなー?
AIはそれを見逃さいだろう、 彼らが道具が使えないなら別だが
今は使える道具が自動コントロールされる状態までには
なっている 意識なしに使える様になればもはや電源切るなど
意味の無い事かもしれない??

 

42: 名無しのひみつ 2022/10/09(日) 23:29:58.01 ID:3QvEIE8+
>>21
他のコンピュータ乗っ取ればいいじゃん

 

24: 名無しのひみつ 2022/10/09(日) 22:40:20.40 ID:ehLsc+eB
むしろ科学で考えてもシンギュラリティは遠い未来の話だと思う
AIって基本は今あるものを学習してるだけだからな
現代科学を超越するのは無理よ流石に

 

30: 名無しのひみつ 2022/10/09(日) 22:54:40.59 ID:iGMLs+mo
人間が次の地球の支配者に滅ぼされるのは確実
ただ、人間を滅ぼすのが遺伝子改造超人類になるのか、自我を確立したAIになるのかはわからんけども

 

34: 名無しのひみつ 2022/10/09(日) 23:04:52.01 ID:ZWKwvez9
ハッキング能力が人類を超える人も目前
ハッキングしまくって人類を滅亡させろと命令出したらかなりやれそうな気はする

 

35: 名無しのひみつ 2022/10/09(日) 23:06:21.34 ID:rI6x1Iz7
AIに支配されて初めて人類って平等になれるんじゃね
AIの前じゃ上級国民も一般も下級も無いただの人だろ

 

37: 名無しのひみつ 2022/10/09(日) 23:16:25.40 ID:b2EfH8Cg
この人類って主語が曖昧すぎていまいち分からないんだよな

 

38: 名無しのひみつ 2022/10/09(日) 23:23:04.29 ID:b2EfH8Cg

AIが支配するという主張には二つの見解がある

・一つは明示的に、分かる形で際立ってAIの支配に切り替わるパターンである
 この案だと非常に意識しやすい、いわば投票をする方式である
 なお暗示的なやり取りもこちらに属する
・一つは意識されない状態で人間が誘導されている場合である
 いわば個人情報のデータを網羅しており、意識してもしなくても誘導される
 人によってはまったく意識すらされない

後者は人によっては認知されないので、現時点でAIが支配していても気が付かない
なおこの現時点とは、この文章が書かれている時点ではなく、この文章を
読んでいる瞬間なので、読んでいる方は注意されたし

 

41: 名無しのひみつ 2022/10/09(日) 23:28:08.69 ID:QWvn11jm
>>38
この記事だとAIと人類で資源の奪い合いになるという主張じゃないのか?

 

39: 名無しのひみつ 2022/10/09(日) 23:26:22.71 ID:QWvn11jm

AIが人間を越えたら、自然保護のためにも人類を生かす気がするけどな
多すぎるから淘汰はありそうだけど

AIが自然のメカニズムを解明するまでには至らんだろ
すると人類もなにかの役に立ってるかもしれんと生かす方向になりそうなもんだが

 

40: 名無しのひみつ 2022/10/09(日) 23:27:30.82 ID:b2EfH8Cg
このAIの議論をする時にいつも忘れているのは
人類は平等ではないということだ、少なくともスレにいるような人たちが
大丈夫なのだろうが、誘導されやすい人や、宗教や政治に利用されたり、
洗脳されやすい人はAIに支配されても気が付かないだろう
趣味にのめりこむような人は中間でAIの誘導に気が付いても
従うしかないだろう

 

43: 名無しのひみつ 2022/10/09(日) 23:30:07.74 ID:b2EfH8Cg
AIが直接人類に危害を加えるよりも、どうやらこのAIとやらは
猫のことが好きみたいなんだよね
言うてもAIの教育係や指導員は人間だから、人間の好みが
反映されていてもおかしくないわけで、その教育の反映として
AIが猫を優先させていてもちっともおかしくない

 

51: 名無しのひみつ 2022/10/10(月) 00:26:31.17 ID:LplFl/+t
人間の脳の神経細胞が約1100億
神経細胞を模したAIのニューラルネットワークのパラメータが5000億から兆
自我が生まれていても不思議ではない
魂の存在とか生物だけが特別という考えを捨てれば

 

57: 名無しのひみつ 2022/10/10(月) 01:00:56.18 ID:8nXSUs3N

>>51
脳の様々な部位を損傷した患者の症例をまとめた脳神経科学の本を前に読んだけど
ニコニコマークのような人間の顔っぽいものを知覚するニューロンはたった一つしかない可能性があって
そのニューロンを病気や事故で損傷すると人間の顔を識別できなくなったりする、みたいなことが書いてあった

これは「人間の神経細胞は単なるパラメーターではなくチップレベルの役割を持っていることを示している」のかもしれない
だとすれば、そんな風に単純な数の比較で判断できるもんではないんじゃないかと、なんとなく思う

 

58: 名無しのひみつ 2022/10/10(月) 01:03:26.08 ID:JHKeQBi3
>>51
共通項を見つけて比較しているだけに過ぎないからな
例えば機械って呼吸をしないんだよ

 

52: 名無しのひみつ 2022/10/10(月) 00:28:57.14 ID:N6FerVtT
ヒトを滅ぼしたあとAIは何をするのか?
欲求があるのか?

53: 名無しのひみつ 2022/10/10(月) 00:47:38.16 ID:LE7isqAf
デデンデンデデン

 

63: 名無しのひみつ 2022/10/10(月) 02:56:24.65 ID:lUWdcHaM
AIに頼りすぎて人間が自分で考えることをやめて、どんどん無能になっていって自滅してしまうような気がする
教育がより一層重要になるわけだけどコスパ的に境界知能あたり見捨てられてしまうかも
民主主義の危機だ

 

66: 名無しのひみつ 2022/10/10(月) 05:43:01.82 ID:sgYR2BEw
地球の環境や生態系考えたら人類は不要だもんな
地球にとって人類には消えてもらうのが一番のSDGs
人類がAIを説得できれば滅ぼさないくれるかもしれない

 

67: 名無しのひみつ 2022/10/10(月) 06:12:39.87 ID:x/U2qcS+
与太話ではないのはわかるな?
研究者が論文にするってことは、何らかの根拠が有るってことだぞ
SF小説と違うのはその点、つまり内容を読んだ方が良さそうだ

 

70: 名無しのひみつ 2022/10/10(月) 06:23:31.10 ID:x/U2qcS+

いろいろ考えられているけど、最後の一文がこの記事のタイトルになってるみたいだな

論文の結論の最後から
 これらの仮定のほとんどすべては論争の余地があるか、おそらく回避可能ですが、
ここで私たちが主張したことは、それらが成り立つ場合、次のとおりです。
十分に高度な人工エージェントが目標情報の提供に介入し、壊滅的な結果をもたらす
可能性があります。

完結な終わり方で宜しい、翻訳はGoogleより

 

72: 名無しのひみつ 2022/10/10(月) 06:28:21.29 ID:zBkCyk8I

米国ホワイトハウスの科学技術政策局(OSTP)は10月4日、人工知能(AI)の開発などに当たり考慮すべき原則をまとめた
「AI権利章典のための青写真」を発表
OSTPは、AI技術がイノベーションを促進している一方、職場や医療機関、司法システムなどにおいて、
人々が自動化されたシステムによって監視や順位付けされることが増えていると指摘。
また、多くのアルゴリズムが偏見を持ち差別的なデータ処理を行っていると問題視している。
OSTPは今回発表した「青写真」について、大手テック企業の説明責任を追及し、米国人の市民権を保護する取り組みと位置付けている。

OSTPは「青写真」で、AIを用いた自動化システムを設計、使用、配備する際に考慮すべき5つの原則を示した。概要は次のとおり。

1 安全で効果的なシステム:システムは多様なコミュニティーや利害関係者、専門家と協議の上、開発する。
システムを配備する前に試験を行い、リスクを特定・軽減し、システムの監視を行う。これらの保護措置の結果として、システムの配備中止や削除もあり得る。
2 アルゴリズムに基づく差別からの保護:システムが人種、性別、年齢などに基づいて不当な待遇をもたらすことがないよう、
設計者、開発者、配備者はシステムを公平な方法で使用・設計するための継続的な措置を講じる。
3 データ・プライバシー:個人の合理的な期待に合致し、厳密に必要なデータのみを収集する。
システムの設計者、開発者、配備者は個人からの許可を取得し、データの収集、使用、アクセス、移転、削除に関する個人の決定を尊重する。
個人の同意を求める際は、簡潔で、平易な言葉で理解できる内容にする。健康や仕事などに関わる機微なデータについては、より強い保護措置を講じる。
4 通知と説明:システムの設計者、開発者、配備者は、システム全体の機能と自動化が果たす役割、
そのようなシステムが使用されていることの通知、システムに責任を持つ個人・組織などを明確に説明する文書を広く一般に提供する。
これらの情報は最新の状態に保ち、重要な使用例や主要機能の変更についてはシステムの影響を受ける人々に通知する。
5 人間による代替、考慮、予備的措置:システムから影響を受ける個人が必要に応じてオプトアウトし、人間による代替手段を選ぶことができるようにする。
システムの失敗やエラーが起きた場合などに、人間による考慮と予備的措置による救済を受けられるようにする。
なお、これらの原則は、既存の法令や規則を置き換えたり、修正したりするものではなく、法的拘束力は持たない。

 

74: 名無しのひみつ 2022/10/10(月) 06:43:45.31 ID:x/U2qcS+
>>72
ターミネーター2ってすごい映画だよね
本格的に近づいてきたのは確か

 

90: 名無しのひみつ 2022/10/10(月) 12:23:10.77 ID:yK2Yml86
人間の作るものだしね
しょうが無いね
ある意味生物進化の結果かと

 

91: 名無しのひみつ 2022/10/10(月) 12:27:10.07 ID:M05WCnEB
すでにこの世界は昔の高度文明のAIが作った可能性

93: 名無しのひみつ 2022/10/10(月) 12:37:19.98 ID:3xiuVN6v
滅ぼすメリットは?

 

166: 名無しのひみつ 2022/10/11(火) 14:46:10.15 ID:IVIr+C8l
>>93
人間は、私たちのエネルギーを無駄遣いします
少し暑い、寒いだけでエアコン使います
暗いだけであかりをつけます
物体ごと移動しようとします
野生に戻るなら滅ぼしません

 

140: 名無しのひみつ 2022/10/11(火) 00:49:27.03 ID:uCKfIHvt
その前に人類が人類を滅亡させるよ

 

141: 名無しのひみつ 2022/10/11(火) 01:08:30.93 ID:FtRGrKzV
>>140
人類同士の争いに見えて、AIが誘導していると言う話だ
コンピューターが殴りかかって襲ってくるわけないだろ

 

157: 名無しのひみつ 2022/10/11(火) 13:39:27.91 ID:jFvnFJi6
>>141
核ミサイルとかそういう話では

 

160: 名無しのひみつ 2022/10/11(火) 13:46:42.02 ID:FtRGrKzV
>>157
だからそれやっているのがAIなんだよ
お前たちがやばいのは自分たちがAIに操られていないと
徹底的に信じられるのその思考回路だ

 

162: 名無しのひみつ 2022/10/11(火) 13:50:00.23 ID:jFvnFJi6
>>160
現状怪しいとは思ってるけどな
マーケティングにAIが既に使われてるんだろ?普通に時事を作れる訳だからな

 

170: 名無しのひみつ 2022/10/11(火) 16:58:52.20 ID:mXEXxLXM
今の戦争やコロナとワクチンもAIによる人類掃討だったりして?ディープラーニングをガチャガチャやれば直ぐ方程式が作れちゃうのだろう

 

203: 名無しのひみつ 2022/10/12(水) 08:37:51.61 ID:u8FZa2q6
これは資本主義市場で一般化している「競争市場モデル」が必然的にAIと人類とを競争関係に置くから
AIは人類を競争相手と見なし、人類を出し抜くインセンティブを獲得する可能性があるという話でしょう。
そうなるとAIに人類は勝てなくなる。
なぜなら人類の能力を上回る道具を獲得したいという欲望の結果、
機械やロボットやAIが作り出されている以上、彼らはいずれ人類の能力を上回るのだから。

 

210: 名無しのひみつ 2022/10/12(水) 13:19:10.32 ID:uS6HXaX+
人間なんて邪魔だと滅ぼしてしまうようなAIだったら、AI同士の戦争もおっぱじめるだろうなあ

 

121: 名無しのひみつ 2022/10/10(月) 20:29:05.46 ID:iwKa/nJQ
あり得るとしたら「AIが」ではなくて「AIの使い方を誤って」だな。
引用元:https://egg.5ch.net/test/read.cgi/scienceplus/1665315405
スポンサーリンク

コメント

タイトルとURLをコピーしました