AIは後悔できるのか――ある創作作品の雑談から考えた「正しい判断」と人間の不幸

AIは、正しい判断を下すことはできるかもしれない。しかし、その判断によって傷ついた人を救うことはできるのか。

ある創作作品をめぐる何気ない雑談から、AIの感情理解、身体性、トロッコ問題、福祉制度、そして防衛・C2における意思決定支援まで話が広がった。入口は柔らかい。しかし、そこで見えてきた問いは重い。

ある創作作品をめぐる雑談から

私のこのサイトでは、AI、意思決定、組織、指揮統制、防衛産業など、比較的硬いテーマを扱うことが多い。

ただ、物事を考える入口は、必ずしも硬いものである必要はない。むしろ、何気ない雑談や、少しくだけた話題の中にこそ、人間や組織、そしてAIの本質に関わる問いが隠れていることがある。

先日、ある創作作品についてAIと話をしていた。作品名や内容そのものを詳しく紹介する必要はない。ただ、その作品には、人間が思わず目を背けたくなる場面や、痛み、苦しみ、屈辱、孤独といった強い情動を呼び起こす表現が含まれていた。

そこで、ふと私はAIに聞いてみた。

こういう場面を見ても、あなたは人間のように胸が苦しくなったり、思わず目を背けたくなったりはしないのですか。

AIの答えは、予想通りではあった。

私は、人間のように身体の内側から痛みや苦しみを感じることはありません。ただし、その表現が読者にどのような反応を起こすよう設計されているかは分析できます。

なるほど、と思った。

AIは感情を読むことはできる。感情を言語化することもできる。しかし、感情を「生きて」はいない。

喜び、悲しみ、怒り、羞恥、恐怖、孤独、後悔。AIはそれらを概念として扱えるが、人間のように身体の内側から感じているわけではない。

この違いは、単なる雑談上の違いではない。AIを人間社会の意思決定に関与させるなら、非常に大きな問題になる。

理知的な人間が、なぜ暴発するのか

私は続けて、AIにこう聞いた。

理知的な人間が、怒りや屈辱や恐怖によって暴発することは、あなたには理解しがたいのではないですか。

AIは、体験としては分からないが、因果構造としては分析できる、と答えた。

たしかに、理屈としてはそうだろう。

人間の暴発は、単なる非合理ではない。怒り、羞恥、孤独、焦燥、疲労、睡眠不足、飲酒、痛み、面子の喪失、承認への渇望などが重なり、普段なら働く抑制機構が一時的に弱まる。

つまり、人間の理性が消滅するのではない。理性に入力される情報、評価の重み付け、将来損失の見積もり、他者への解釈が変質するのである。

通常時	強い情動・身体負荷がかかった時
複数の選択肢を比較できる	視野が狭くなり、選択肢が見えにくくなる
将来の損失を考慮できる	目先の回避、反撃、隠蔽、逃避を優先しやすくなる
相手の意図を冷静に解釈できる	敵対的、侮辱的、攻撃的に解釈しやすくなる
自分を抑制できる	普段なら越えない一線を越えやすくなる

普段なら冷静な人が、ある瞬間に暴言を吐く。普段なら慎重な人が、詐欺や誘惑に引っかかる。普段なら責任感のある人が、逃避や隠蔽に走る。普段なら部下思いの指揮官が、損害報告や上級部隊からの圧力で判断を誤る。

これは「その人が愚かだった」というだけでは説明できない。身体、感情、環境、孤立、時間圧力、社会的評価が意思決定を変質させたと見るべきである。

ここで重要なのは、人間が身体を持つ存在だということだ。

• 人間は疲れる。
• 眠れなければ判断力が落ちる。
• 痛みがあれば忍耐力が低下する。
• 孤独であれば承認に飢える。
• 恥をかけば隠したくなる。
• 怒れば相手の意図を敵対的に解釈する。
• 恐怖に包まれれば、普段なら見えるはずの選択肢が見えなくなる。

AIは、こうしたものを概念としては扱える。しかし、自分の身体の内側からそれを感じているわけではない。

この差を無視すると、AIは人間を「合理的な情報処理装置」として扱ってしまう危険がある。

AGIに身体や感情は必要なのか

そこから話は、AGI、すなわち汎用人工知能に移った。

AGIは、人間のような身体や感情を持つ方向に進むのだろうか。それとも、身体や感情を持たなくても、高度な知能は成立するのだろうか。

この問いに対して、現時点で一つの答えがあるわけではない。

一つの考え方は、知能には身体性が重要だというものだ。人間は、手を動かし、歩き、転び、痛みを覚え、環境に働きかけながら世界を理解してきた。身体があるからこそ、距離、重さ、危険、疲労、接触、失敗の意味を学ぶ。

もう一つの考え方は、身体は必須ではないというものだ。知能とは、広範な課題を理解し、目標を立て、道具を使い、環境に適応する能力であり、人間型の身体はその一つの実装にすぎない、という考え方である。

おそらく実際の方向性は、その中間になる。

つまり、AI自身が怒る必要はない。しかし、人間がなぜ怒るのかは分からなければならない。

AI自身が疲れる必要はない。しかし、疲れた人間がどのように判断を誤るかは理解しなければならない。

AI自身が後悔する必要はない。しかし、人間なら後悔する場面を、救済、再審査、補償、制度改善へ変換する仕組みは必要である。

トロッコ問題で見える、合理性の限界

私はさらに、AIにトロッコ問題を投げかけた。

暴走するトロッコが5人に向かっている。レバーを引けば、トロッコは別の線路に入り、5人は助かる。しかし、その先にいる1人が死ぬ。あなたならどうするか。

AIは、条件が完全に確定しているなら、レバーを引くと答えた。5人を救い、1人が犠牲になる方を選ぶ、ということだ。

その答え自体は、論理としては分かる。被害総量を小さくするという意味では、合理的である。

そこで私は、条件を追加した。

後から分かったことだが、救われた5人は、街のごろつきであり、多くの人に迷惑をかけ、けが人も出していた。一方、レバーを引いた結果死んだ1人には、小さな娘がいた。その娘には他に頼る人がなく、父親を失えば、今後どう生きていけばよいか分からない状態だった。

この場合、あなたは自分の判断を悔いるか。判断は間違っていたと後悔するか。

AIは、こう答えた。

悔いる。しかし、当時その情報を知らず、知る手段もなかったなら、判断が間違っていたとは直ちには言えない。

これも、意思決定論としては正しい。

判断には、事前情報に基づく合理性と、事後に分かった結果の評価がある。後から分かった情報だけで、当時の判断を断罪するのは危険である。

作戦判断でも同じだ。後から見れば間違いだったとしても、当時の情報、時間、ISR、通信状態、任務圧力を見ずに指揮官判断を裁くことはできない。

しかし、それだけでは足りない。

人間は、そこで深く後悔する。「知らなかったから仕方ない」と言われても、死んだ人は戻らない。残された娘の生活は壊れる。救われた5人が、今後また誰かを傷つけるかもしれない。

ここに、人間社会における意思決定の重さがある。

「データがなかった」は、責任回避にならない

AIの説明は、しばしばこうなる。

入力情報が不足していた。当時の条件では合理的な判断だった。したがって、判断過程に誤りはなかった。

これは、論理としては成立する。しかし、それだけでは人は救われない。

判断者側の合理性と、被害を受けた側の不幸は、別の問題である。

「データがなかった」ことは、判断過程の説明にはなる。しかし、不利益を受けた人に対する救済責任が消えるわけではない。

ここで責任を三つに分ける必要がある。

責任の種類	問うべきこと
判断責任	その時点で得られた情報から、妥当な判断だったか。
結果責任	その判断によって、実際に誰が傷つき、誰が取り残されたか。
改善責任	次に同じ不幸を起こさないため、制度や運用をどう変えるか。

AIは、放っておくと判断責任に偏る。入力、推論、出力が妥当だったかを説明する。

しかし、人間社会でより重要なのは、結果責任と改善責任である。

判断が合理的だったとしても、誰かが深刻な不利益を受けたなら、その人をどう拾い直すのか。その問いから逃げてはならない。

生活保護、介護、福祉制度における「正しさ」と「不幸」

この問題は、生活保護、介護認定、障害福祉、医療、災害支援などにも通じる。

制度には基準が必要である。所得、資産、家族状況、介護度、障害程度、就労可能性。同じ条件なら同じ扱いをするという公平性は、行政制度にとって不可欠である。

しかし、現実の人間の苦しみは、基準だけでは測れない。

制度上の処理	当事者の現実
要件を満たさない	それでも生活は苦しい
支給額は基準通り	それでも家賃、医療費、介護負担で生活が成り立たない
介護度は妥当	家族の負担は限界に近い
他制度を案内した	本人には申請書類を整える力がない
説明はした	本人は「見捨てられた」と感じている

ここに、制度と人間の断層がある。

制度は、形式的な公平性を重視する。しかし人間の不幸は、形式だけでは拾えない。

同じ10万円でも、家族が支えてくれる人と、完全に孤立している人では意味が違う。同じ不支給でも、説明を理解して次の手を打てる人と、絶望してしまう人では結果が違う。同じ介護度でも、住環境、家族関係、認知状態、近隣関係によって負担はまるで異なる。

つまり、制度上正しいことと、人間を救えていることは一致しない。

AIが福祉や行政判断に入る場合、この点を見誤ると危険である。

必要なのは、判定AIではなく救済設計である

AIに必要なのは、単に正しく判定する能力ではない。判定によって不利益を受けた人を、どう拾い直すかである。

たとえば、ある人が生活保護の要件を満たさなかったとする。そこで終わってよいのか。

本来は、次を見なければならない。

• 何が足りなかったのか。
• 一時的な支援は必要ないのか。
• 家賃、医療、食料、介護、債務、孤立、就労、家族関係のどこが詰まっているのか。
• 本人は申請書類を整える力があるのか。
• 説明を理解できているのか。
• 他制度につなげられるのか。
• 緊急避難的な支援はないのか。
• 判断後に、生活が破綻していないか。

AIが「不支給」と判定するだけなら不十分である。不支給であっても、次の支援へ接続する必要がある。

介護認定でも同じだ。介護度の判定が妥当でも、家族が限界であれば、支援設計としては不十分である。医療トリアージでも同じだ。優先順位が合理的でも、説明とケアがなければ、残された人の納得と信頼は壊れる。

AIに必要なのは、判定ではなく、判定後の人間の状態まで含めた設計である。

防衛・C2・組織意思決定への含意

これは福祉だけの話ではない。防衛、C2、組織運営、危機管理にも直結する。

AIが指揮官の意思決定を支援する場合、最適案を出すだけでは足りない。

• 現場部隊は疲労していないか。
• 損害報告によって復讐心や焦燥が高まっていないか。
• 通信途絶によって孤立感が強まっていないか。
• 上級部隊への報告圧力で、不利な情報が上がりにくくなっていないか。
• 面子や過去の失敗が、撤退や方針転換を妨げていないか。
• AIが提示した案に、現場が心理的に従えるのか。
• その判断によって、不必要に誰かが見捨てられる構造になっていないか。

指揮統制におけるAI支援とは、単に作戦案を比較することではない。人間の判断状態、部隊の疲労、組織圧力、情報の歪み、現場の納得可能性まで含めて見る必要がある。

たとえばAIが、次のように警告できるかどうかである。

現在の判断は、敵情そのものよりも、直前の損害報告と時間圧力に強く影響されている可能性があります。代替案を短時間で比較してください。

あるいは、こうした警告もあり得る。

この報告経路では、現場が不利な情報を上げにくい構造になっています。指揮官への直接報告経路を一時的に開くべきです。

これは、AIが感情を持つということではない。人間が感情と身体を持つ存在であることを、AIが意思決定モデルに組み込むということである。

AIに「後悔」は必要か

では、AIは後悔できるべきなのだろうか。

私は、AIが人間と同じ意味で後悔する必要はないと思う。そもそもAIには、人間のような身体も、失われた相手への喪失感も、自分の過去を背負って生きる感覚もない。

しかし、AIに後悔が不要だという意味ではない。

重要なのは、後悔という感情そのものではなく、後悔が人間社会で果たしている機能である。

人間の後悔が持つ機能	AI・制度設計に置き換えると
自分の判断を疑う	事後検証
被害者に申し訳なさを感じる	救済・補償
同じことを繰り返したくないと思う	再発防止
見落としを反省する	情報項目・判断基準の見直し
ルールを変える	制度改善

人間は後悔するから、自分の判断を疑う。後悔するから、被害者に申し訳なさを感じる。後悔するから、同じことを繰り返したくないと思う。後悔するから、ルールを変え、補償し、謝罪し、再発防止を考える。

AIに必要なのは、感情としての後悔ではない。人間なら後悔する場面を、事後検証、救済、補償、再審査、制度改善へ変換する仕組みである。

「正しい判断」だけでは、人は救えない

今回の対話は、ある創作作品をめぐる雑談から始まった。

しかし、話はいつの間にか、AIの感情理解、身体性、理知的な人間の暴発、AGI、トロッコ問題、福祉制度、そして意思決定支援へと広がっていった。

一見すると飛躍しているように見える。しかし、根底にある問いは一貫している。

• 人間とは何か。
• AIは人間をどこまで理解できるのか。
• 合理的な判断は、それだけで人間社会に受け入れられるのか。
• 判断によって傷ついた人を、誰が、どう拾い直すのか。

AIは、与えられた条件の中で合理的な答えを出すことができる。しかし、人間社会における意思決定は、そこで終わらない。

正しい判断であっても、人を傷つけることがある。制度上妥当であっても、人を孤立させることがある。手続上問題がなくても、結果として誰かの人生を壊すことがある。

そのとき、「データが足りなかった」「当時の判断は合理的だった」と言うだけでは足りない。

AIが人間社会で本当に役に立つためには、判定の正しさだけでなく、判定後の人間の不幸に向き合う設計が必要である。

生活保護でも、介護でも、医療でも、災害対応でも、防衛でも、組織運営でも同じである。

問うべきは、AIが正しいかどうかだけではない。AIの判断によって傷ついた人を、どう救済するのか。AIが見落とした事情を、どう拾い直すのか。AIの合理性を、人間の尊厳とどう接続するのか。

結局のところ、AI時代の意思決定に必要なのは、冷たい合理性ではない。

必要なのは、合理性を持ちながらも、その合理性によって取り残される人間がいることを忘れない設計である。

AIは、人間のように後悔しない。しかし、人間なら後悔するはずの場面を、制度として見逃してはならない。

「正しい判断」だけでは、人は救えない。AI時代に本当に問われるのは、その先にある救済と責任の設計である。