還元に抗う:機械との複雑な未来を設計する

レビュー、調査、編集チーム: Catherine Ahearn, Chia Evers, Natalie Saltiel, Andre Uhl

 

長いこと、技術的なシンギュラリティに反対するマニフェストを書いて、それを対話圏に発表してみんなの反応とコメントを得たいと思っていた。今年の初めにジョン・ブロックマンからノーバート・ウィーナー『人間機械論:人間の人間的な利用』を、かれとその見事な思想家たちの集団とともに読んで議論し、現在継続中の共同執筆本の著述作業にしないかという招きが、ここに書いた思索に貢献している。

以下の論説は、MIT Pressとのパートナーシップで行われている、実験的なオープン出版プロジェクトのフェーズ1だ。フェーズ2では、オープンなコメントからの入力で豊かになり情報を増したこの論説の新しいバージョンがオンラインで公開され、そこにこの種子となる論説にインスパイアされた他の論説も加えて、Journal of Design and Science. の新しい号として発表される。フェーズ3では、こうした貢献の改訂編集版が、MIT Pressの印刷本として刊行される。

バージョン 1.0

訳:山形浩生


自然の生態系は、無数の「通貨」が相互作用し、フィードバックシステムに反応して反映と制御を可能にする、複雑な適応システムのエレガントな例を与えてくれる。この協働モデルこそが、人工知能へのアプローチに対するパラダイムをもたらすべきだ――指数関数的な金融成長や、技術進歩を通じて現在の人間状況超越を約束するシンギュラリティがモデルとなるべきではない。60年以上前に、MITの数学者で哲学者ノーバート・ウィーナーは「人間という原子が、責任ある人間という完全な存在としてではなく、歯車やレバーや棒として使われるような形で組織に組み込まれるとき、その原材料が血と肉だというのはほとんど意味を持たない」と警告した。ぼくたちはウィーナーの警告に耳を傾けるべきだ。

 

はじめに:通貨のガン

太陽が地上を照りつけるにつれて、光合成が水と二酸化炭素と太陽エネルギーを、酸素とグルコースに変える。光合成は、ある物質形態を別の形態へと変換する生化学プロセスの一つだ。そしてこうした分子は、他の生化学プロセスにより代謝されてさらに別の分子になる。科学者たちはこうした分子をしばしば「通貨」と呼ぶ。それはそうした分子が、細胞間やプロセス間でやりとりされて相互に利益をもたらすような、一種の力をあらわしているからだ――実質的に「取引」されているわけだ。こうした通貨と金融通貨との最大のちがいは、「マスター通貨」や「通貨取引/為替」がないことだ。むしろそれぞれの通貨は特定プロセスにしか使えず、こうした通貨の「市場」が「生命」たる力学を動かす。

何かプロセスや生命体が成功した結果、その産出としての一部通貨が豊富になったら、他の生命体がその産出を使ってそれを別のものに変換するよう進化する。何十億年もかけて、地球の生態系はこうやって進化し、莫大な代謝経路のシステムを作り出し、きわめて複雑な自己調整システムを形成した。それがたとえば、あらゆるスケール――ミクロからマクロまで――に見られる個別要素の絶え間ない変動や変化にもかかわらず体温を安定化させたり、地球の温度を安定化させたりしてきた。あるプロセスの産出は、他のプロセスの投入だ。最終的にはすべてが相互につながる。

ぼくたちは、主な通貨がお金と権力であるような文明に住んでいる――そして社会全体を犠牲にしてもこの両者を貯め込むのが目的となっていることも多い。これは地球の生態系に比べればとても単純で脆弱なシステムだ。地球の生態系では無数の「通貨」がプロセス間でやりとりされ、投入と産出のとても複雑なシステムを作り上げて、そこに適応してストックやフローや接続を調整するフィードバックシステムがある。


パラダイムそれ自体

ジョナサン・ジットレイン

パラダイムそのものが自然プロセスの結果か考えて見るとおもしろい――進化生物学者は、貪欲は何やら適応便益であり、協力の多少の糸口とともに選択されてきたという――それなのにダーウィンの進化とはちがい、これは我々を袋小路へと追い込んだ……

 

残念ながら、現在の人間文明は環境が持つ内蔵型回復力を持たず、人々の目標を決め、社会の進化を動かすパラダイムは、数学者ノーバート・ウィーナーが何十年も前に警告したような危険な方向に人々を押しやってしまった。単一のマスター通貨パラダイムは多くの企業や制度機関が当初の使命を見失うように仕向けてしまった。価値や複雑性はますます幾何級数的な金融成長を優先する方向に専念し、それを率いる利潤企業は自律性と権利と権力と、ほとんど規制を受けない社会的影響力を獲得するに至った。こうした存在の行動はガンに似ている。健全な細胞は自分の成長を調整し、自分のいるべきでない器官に迷い込んだら自分で自分を破壊さえする。これに対してガン細胞は、無制限の成長に最適化されており、自分の機能や文脈を無視して広がる。

 

人々を打ちつけるムチ

 人々が進歩のために存在し、進歩が無制限で幾何級数的な成長を必要とするという発想が、人々を打ちつけるムチとなる。現代企業は自由市場システムの中のパラダイムの自然な産物だ。ノーバート・ウィーナーは企業を「血肉を持つ機械」と呼び、オートメーションを「金属の機械」と呼んだ。このシリコンバレーの新種のメガ企業――ビットの機械――は、シンギュラリティという新興宗教を奉じる人々によって開発運営されている部分が大きい。この新興宗教は、パラダイムの根本的な変化ではなく、むしろ幾何級数的な成長崇拝を現代の計算と科学に適用した自然な展開だ。計算力の幾何級数的成長の漸近線は人工知能だ。

 シンギュラリティの発想――AIがその幾何級数的成長を持って人類を乗り越え、これまで人類がやってきたことすべて、現在やっていることすべてはどうでもよいのだという考え方――は、これまで機械には不可能なほどむずかしいと思われていた問題を解決するのに計算能力を使う経験を持っている人々が創り出した宗教だ。かれらはデジタル計算能力こそが完璧な伴侶だと考えた――複雑性を活用処理する能力をますます高めている、見きわめられ制御できる思考システムであり、それを身につけた人々に富と権力を与えてくれるものだ。シリコンバレーでは、集団思考とこの技術カルトの金銭的な成功は、正のフィードバックシステムを作り出し、これは負のフィードバックを通じて調整する能力をほとんど持たない。かれらは、自分たちの信念を宗教扱いされるのを嫌がるし、自分たちの発想は科学――と証拠――に基づいていると論じるだろう。でもシンギュラリティを奉じる人々は、その究極ビジョンを実現するために、いろいろ詭弁を弄するし、地に足のついた真実よりはこれまでの軌跡を先に延ばしただけの、かなり大胆な飛躍をしてみせる。

シンギュラリティ信者たちは、世界が「知り得る」もので、計算によりシミュレーション可能であって、コンピュータは現実世界のややこしさを処理できると思っている――ちょうど、コンピュータには不可能だとだれもが言っていた各種問題をこれまで解いてきたように。かれらにとって、このコンピュータというすばらしいツールは、これまであらゆるものについて実に見事に機能してきたから、今後どんな問題を投げつけてもやはりうまく行くはずで、やがて既知の制約はすべて超越され、最終的には何やら現実の脱出速度すら達成されるはずなのだ。人工知能はすでに、自動車の運転、ガンの診断、法定文書の調査で人間に置き換わりつつある。AIがこの進歩を続け、いずれは人間の脳と融合して全智全能の超知性になる、というのがかれらの発想だ。真の信者にとって、コンピュータは人間の思考を補い拡張して一種の「超死性(amortality)」を実現するものだ(シンギュラリティの一部は「超死性(amortality)」を求めての戦いで、これは人間はいずれ死ぬし不死ではないにしても、死が加齢という死に神のもたらすものではなくなる、という考え方だ)。

でも企業が超越性の前触れであるなら、シンギュラリティ信者による計算力といバイオハッキングを増しさえすれば、何やら世界の問題すべてが解決するとか、シンギュラリティがそれを解決してくれるとかいう考え方は、どうしようもなくおめでたいものに思える。拡張された脳を持ち、超死性を得てでかい思考ができる日のことを夢見る一方で、企業はすでに一種の「超死性」を獲得している。企業は債務超過に陥らない限りいつまでも続くし、その部分の総和以上の存在だ――これは超死的な超知性とすら言えなくもない。

計算能力が増えても「知性」が高まるわけではない。計算力が強化されただけの話だ。

シンギュラリティがプラスの結果を持つためには、十分な力さえあればシステムはどうにかして自分自身を調整する方法を見つけると信じなくてはならない。最終的名結果はあまりに複雑なものとなり、ぼくたち人間はいまはそれを理解できなくても「それ」は自分自身を理解して自分自身を「解決」できるというわけだ。人によっては、旧ソ連の中央計画にも似たものを信じている。ただそこに情報がすべて使われ、無限の権力が与えられる。また人によっては、もっと高度な分散型システムの見方をしている。でもどこかの水準であらゆるシンギュラリティ信者たちは、十分な力とコントロールさえあれば、世界は「飼い慣らせる」と信じている。シンギュラリティを信じる人のすべてが、不死と豊かさをもたらすプラスの超越として信仰しているわけではないけれど、それでもあらゆる曲線が垂直に向かう最後の審判の日が近づいているとは信じている。

S曲線またはベル曲線に乗っているとき、曲線の始まりは指数関数にかなり似ている。システムダイナミクスの人々にとって、指数曲線は自己強化を示す、つまり無制限の正のフィードバックだ。シンギュラリティ信者を興奮させ、システム系の人々を怯えさせるのはこれなのかもしれない。シンギュラリティバブルの外にいるほとんどの人々は、S曲線を信じている。つまり自然は適応して、自己調整するということで、パンデミックですらいずれは落ち着く、ということだ。パンデミックは絶滅を引き起こすかもしれないけれど、いずれ成長は鈍り、事態は適応する。同じ状態ではないだろうし、相転移も起こるかもしれないけれど、シンギュラリティの考え方――特に人間存在のぐちゃぐちゃした、死すべき苦しみを超越させてくれるような、救世主または最後の審判のようなものとしてのシンギュラリティ――は根本的に破綻したものだ。

この種の還元主義的な考え方は目新しいものではない。BFスキナーが強化の原理を発見してそれを記述できたとき、それを中心に教育が構築できた。学習科学者たちは、いまでは行動主義アプローチが機能するのは学習の狭い範囲だけだと知っているけれど、でも多くの学校は詰め込みと練習に頼り続けている。あるいは別の例として優生学運動を考えよう。これは社会における遺伝の役割を、大幅にまちがった形で単純化しすぎたものだ。この運動は、自然淘汰を手動で後押しすれば「人類を直せる」という還元主義的な科学観を提供し、ナチスのジェノサイドを促進してしまった。優生学に対する恐怖の残響は今日も残っていて、遺伝を知性などといったものを結びつけようとするほぼあらゆる研究はタブーとなっている。

社会に還元主義すぎる科学を適用してきた歴史から学ぶべきだし、ウィーナーが言うように「われわれを打ちつけるムチにキスするのをやめる」ようにすべきだ。還元は、科学の主要な駆動力の一つではある――複雑なものをエレガントに説明し、混乱を理解へと還元することだ――でもアルバート・アインシュタインの言ったことも忘れてはいけない;「すべてはできる限り単純にしなければいけないが、それ以上単純にしてはいけない」。ぼくたちは、芸術か、生物学者など、リベラルアーツや人文学のぐちゃぐちゃした世界で活動する人々の知り得なさ――還元不可能性――を受け入れなければならない。


ぼくたちはみんな参加者

 ウィーナーが『人間機械論』を書いていた冷戦期は、資本主義と消費主義の急拡大を特徴とする時代であり、宇宙競争の開始であり、計算時代の成熟期だった。それはシステムが外部からコントロールできて、世界の多くの問題が科学と工学を通じて解決されると信じるのが容易だった時代だった。

SERVE

ヨーヨーマ

Seed, Energize, Reach, Verify, Evolve(種をまき、エネルギーを与え、手をのばし、検証し、発展する): SERVE. すべての芸術形態、分野、指導者の目標だ。「人類に利益を与える」: 私たちの生物学的、文化的義務

 

その時期にウィーナーが主に描いたサイバネティクスは、客観的な視点から制御調整できるフィードバックシステムを考えていた。この通称第一次サイバネティクスは、観察者としての科学者が起きていることを理解できるし、したがってエンジニアが科学者の観察や洞察に基づいたシステムを設計できると考えていた。

今日では、ぼくたちの問題のほとんど——気候変動、貧困、肥満、慢性病、現代テロリズム——は単にもっとリソースを増やして制御を強化すれば解決できないことはずっと明らかだ。というのもそれは、複雑な適応システムの結果であり、それもしばしば過去の問題を解決するために使ったツールの結果だったりするからだ。たとえば果てしなく生産性を上げて物事をコントロールしようとする結果だ。ここで第二次サイバネティクスが登場する——自己適応複雑系、観察者がシステムそのものの一部であるようなものだ。ケヴィン・スラヴィンが「参加としてのデザイン」 で述べたように「あなたは縦隊にはまっているのではない——あなたこそが渋滞なのだ」

適応度景観

マーティン・ノワク

ジョーイ、きみの文は美事だ。きみが進化について述べていることは完璧だ。適応度風景は、適応度値をすべての遺伝子型に割り振ると生じる。遺伝子型は高次シーケンス空間に配置される。適応度景観は、そのシーケンス空間の関数となる。進化力学においては、生物学的な個体群は突然変異、選択、ランダムな浮動に動かされて適応度景観の上を移動する(これはわたしが常時選択と呼ぶものの場合だ)。ゲームでは適応度景観は個体群がその上を動くにつれて変わる。以下の図1を見て欲しい(これはまたよい参照文献でもある): 適応度風景はまた、拙著「進化力学」 (Harvard University Press 2006) でも説明してあるので参考文献にあげてくれていい。

 

現代の大きな科学的課題にうまく応えるためには、世界を多くの相互接続された、複雑な、自己適応形システムとして見なければならず、しかもそれぞれのスケールも次元も知り得ぬもので、おおむね観察者や設計者から不可分なものとして考えなければいけないのだとぼくは信じている。言い換えると、ぼくたちは微生物から個人のアイデンティから社会や人類種全体にいたるまで様々なスケールで、ちがった適応度景観を持つ複数の進化システムの参加者なのだ。4個人そのものも、システムであり、それが体内システムなどシステムのシステムで構成される——そしてその細胞は、ぼくたちよりもシステムレベルでの設計者のようにふるまう。

ウィーナーは生物進化と言語進化を論じてはいるけれど、進化力学を科学のために活用するというアイデアは探究していない。個別種の生物学的進化(遺伝的進化)は再生産と生存に動かされ、ぼくたちの中に目標と、子孫を造って成長したいという渇望を植え付けた。このシステムは絶えず成長を調整し、多様性と複雑性を増やし、それ自身の回復性、適応性、持続可能性を高める5。こうしたもっと広いシステムについての認識を高めつつある設計者/デザイナーとして、ぼくたちは生物的、社会的な文脈からの生物的、環境的な入力で定義される目標や手法を持っている。でも創発的知性を持つ機械は、明らかにちがった目標や手法を持つ。システムに機械を導入するにつれて、それは個別の人間を補うだけでなく、同時に――そしてもっと重要な点として――複雑系全体を補うことになる。

ここで「人工知能」の困ったとらえ方が明らかになる。それは他の複雑な適応システムとの相互作用の外部にある形態、目標、手法を示唆するからだ。機械知能を人間VS機械という形で考えるのではなく、むしろ人間とシステムを統合するシステムを考えるべきだ――人工知能ではなく、拡張知能extended intelligenceだ。システムを制御、設計はおろか理解しようとするかわりに、さらに複雑なシステムの責任ある堅牢な要素として参加するシステムを設計するほうが重要だ。そして、システムの設計者兼コンポーネントとして、ぼくたち自身もずっと慎ましいアプローチ目指して、自分の目標と感性を問い直し、適応させねばならない。コントロールより慎みだ。

これを「参加型デザイン」とでも呼ぼう――参加者としての参加者によるシステム設計だ。これは斉放関数(flourishing function)の増加にむしろ似ていて、ここでの斉放は規模や力よりは活力と健康の指標だ。システムが創造的に適応する能力を計測し、その回復力や、それがおもしろい形でリソースを使う能力を計測できる。

優れた介入は、問題解決や最適化よりはむしろ、環境と時代に適切な感性を育むものだ。その意味でそれはアルゴリズムより音楽に似ている。音楽は感性または「趣味」の話で、多くの要素が一種の創発秩序にまとまる。奏法はシステムが適応したり、予想外のプログラムされない形で動いたりするように押しやったりそれを実現したりして、同時に相変わらず指示の通ったまとまりのあるものにし続ける。音楽そのものを介入として使うのも、目新しい考えではない。1707年にスコットランドの作家兼政治家アンドリュー・フレッチャーは「わたしに国の歌を作らせろ、そこの法律はだれが作ろうが知ったことではない」と言った。

法律を書くより歌を書くというのがいい加減に聞こえるなら、歌は通常は法律より長生きするのをお忘れなく。また歌は硬軟問わず各種革命でも重要な役割を果たし、人々の価値観とともに伝えられることになる。音楽やコードの話ではない。むしろ歌が作用するレベルで活動することにより変化を引き起こそうとする、ということだ。これはたとえばドネラ・メドウズなどの『世界はシステムで動く』で論じられている。

メドウズは論説「テコ入れヵ所:システムで介入すべき場所(Leverage Points: Places to Intervene in a System)」で、複雑な自己適応システムにどう介入すればいいかを説明している。彼女にとって、パラメータを変える介入や、ルールを変える介入すら、システムの目標とパラダイムの変化ほど根本的なものではない。

ウィーナーは進歩崇拝を論じてこう述べた:

進歩を倫理的な原理として奉じる人々は、この無限の準自発的な変化プロセスをよいものと考えており、将来世代にこの世の天国を保証するための基盤だとみている。倫理的原理としての進歩を信じなくても進歩という事実を信じることは可能だが、多くのアメリカ人の教義問答においては、この両者はセットになっているのだ6

持続可能性を、大きいことが相変わらずよいことで、十分すぎるというのが決して多すぎることではない世界の文脈で議論するかわりに、適応度関数の価値と通貨を検討すべきなのかもしれない7。そして、それが自分たちの参加するシステムにとってふさわしく適切なものかを考えるべきかもしれない。

 結論: 斉放の文化

 感性と斉放文化を開発し、「成功」の多様な指標を受け入れるのは、権力とリソースの蓄積よりはむしろ、経験の多様性と豊かさによる。これがぼくたちの必要としているパラダイムシフトだ。これはきわめて適応性の高い社会を創り出すために使える、技術や文化のパターンを豊富に与えてくれる。この多様性はまた、システムの要素がお互いに養いあいつつ、単一通貨による単一文化のつくり出す搾取や収奪のエートスをなくせるようにしてくれる。この新しい文化は音楽、ファッション、スピリチュアル性などの芸術形態として広がる可能性が高い。

日本人としてぼくは、日本で最近話をした中学生の一団が、環境についてどうすればいいかと尋ねてみたときに、幸福や人間の自然の中での役割についての質問を返したことに勇気づけられる。また同じように、MITメディアラボや、尊者テンジン・プリヤダルシと共同で教えている「意識の原理」講義の生徒たちが、成功や意味を測るのに各種の指標(通貨)を使い、この複雑な世界での自分の場所を探す複雑性と正面から格闘しているのを見て、やはり勇気づけられる。


タイムリー

ヨーヨーマ

これはブリリアントで、洗練され、タイムリーだ。質問: この宣言をどうしたい? 社会経済政治文化運動? そもそも、だれにこれを読んでほしい? どんな場所で? これについて政治面で活動している人なら知っているよ。わたしは芸術や科学、つまり構築できる記憶文化の側に興味がある。

 

ぼくはまた、IEEEのような組織が人工知能開発の設計ガイドラインを、経済的影響中心ではなく人間の福祉中心に構築しはじめていることにも勇気づけられる。コンサーベーション・インターナショナルピーター・セリグマン、クリストファー・フィラルディ、マルガリータ・モラの作業は、原住民の斉放を無視するのではなく、支援することで保全にアプローチしているので創造的でエキサイティングだ。別の勇気づけられる例は、伊勢神宮の神道神官たちで、かれらは過去1300年にわたり、自然の刷新と循環性を寿いで20年毎に植樹して神殿を建て替え続けてきた。

1960年代と70年代にはヒッピー運動が「ホールアース(全地球)」運動をまとめようとした。でもその後、世界は今日の消費者と消費文化へと逆戻りしてしまった。ぼくは新しい覚醒が起こり、新しい感性が文化変革を通じて人々の行動に非線形の変化を引き起こすと期待しているし、またそうなると信じている。システムのあらゆる層で、もっと回復力ある世界を創り出そうと活動し続けることは可能だし、またそうすべきだけれど、ぼくは文化の層こそが、いまぼくたちのいる自己破壊的な道を離れる根本的な矯正の潜在力を持つ層だと信じている。ぼくはそれがまたもや、新しい感性を反映し、増幅する若者たちの音楽や芸術をめぐるものになると思う。貪欲に背を向けて、「十分すぎるのは多すぎる」という世界に向かい、自然の制御を通じてではなく、自然と調和しつつ斉放する感性だ。