Adventures in the Moral Imagination
作者：[美] Webb Keane
導言
P13-16
如同迪佩什與他的狗一樣，艾莉卡的慈悲行動始於她發現自己被一頭受苦母牛的凝視所固定。彷彿那頭牛正以第二人稱「你」對她說話，而她必須以第一人稱「我」來回應。相比之下，耆那教徒甚至保護那些他們看不見、更不用說與之對話的昆蟲。像那樣將昆蟲納入你的道德羅盤需要一種不同的視角，我稱之為「第三人稱」或「上帝視角」的觀點。人類有能力同時擁有這兩種視角。正如我們將看到的，面對道德困境時，我們有時會在一方的親密與另一方的疏離之間搖擺。
與其他物種認同未必導向仁慈——它也可能助長暴力。你可以說「這場爭鬥與我無關」（I don’t have a dog in that fight）來表示你對某個情境漠不關心。
正如我們將看到的，這種模式在倫理生活中反覆出現。這是我們可以從這些篇章中學到的重點之一：如果一個道德主體是你可以與之對話的某人，那麼同樣地，進行對話也可以創造一個道德主體。
然而，儘管魯納人的狗部分地被吸收到人類的道德領域，並在人與動物世界（魯納人認為這是一個平行的道德宇宙）之間扮演著至關重要的媒介角色，但它們卻食不果腹，而且大多數時候人與狗都互相忽視。他們的關係具有道德意義，但幾乎談不上溫馨或多愁善感。
並非所有的狗都是有血有肉、毛茸茸的。它們也無需是活生生的、有知覺的存在才能具有道德相關性。正如我們將看到的，在日本，索尼公司的機器寵物狗引發了如此深厚的情感，以至於許多主人在它們報廢後會為它們舉辦宗教悼念儀式 … 我們將會聽到那些摯愛之人處於持續植物人狀態，依靠機械呼吸器維持生命的人們的故事——他們部分是血肉之軀，部分是機器，就像賽博格一樣。我們將會遇到準人類的機器僕人，並聆聽那些似乎即將成為超人類、擁有驚人力量的AI聊天機器人的聲音。
道德恐慌——以及其反面，烏托邦式的興奮——通常源於這樣一種感覺：我們正遭遇著某種前所未有的事物，它威脅要顛覆我們認為穩固的一切，讓我們懷疑自己所知的一切。
P19-23
人類學的領域極其廣闊，包括對非人靈長類動物、人類生物學以及過去社會的考古學研究。但你在此讀到的大部分內容，來自於在「此時此地」與人進行田野調查的社會文化和語言人類學家——那些能夠與我們對話的人。
我們可以將「人類」作為一種啟發式工具，一個對我們探索有用的起點，而無需因此堅持認為人類是所有有價值和真實事物的中心，或者處於某種等級制度的頂端，或者相反，是世界上所有邪惡的根源。
人們並非在抽象中過著道德生活，他們生活在特定的環境和社會關係之中，伴隨著特定的能力、限制和長遠的後果。換句話說，沒有修道院系統，你根本無法活出加爾默羅會修女的價值觀；沒有騎兵隊，蒙古勇士也無法體現其價值觀；同樣，也離不開各自支撐並承認其價值的社會、經濟和文化體系。
根據一種說法，道德生活的範圍一直在歷史的進程中不斷擴展。曾經，只有你部落的成員才重要；其他人則處於正義、義務、仁慈，甚至僅僅是同情的範圍之外。他們僅僅是「他者」。然而，隨著時間的推移，道德圈吸納了越來越多的人 … 為何止步於人類呢？動物當然是故事的一部分。現在，河流、冰川、整個生態系統、氣候都被拉入了我們的道德圈。還有科技：正如我們將看到的，人們正在努力賦予某些機器，如自動駕駛汽車，「道德」算法，而嚴肅的倫理學家正在辯論機器人是否會成為道德主體。
然而，你可能會反駁說，就在道德圈向一個方向擴展的同時，它又在另一個方向收縮。一些曾經被視為負有道德責任的實體，已經從今天的世界消失了。我們不再像中世紀的歐洲人那樣審判動物的罪行 … 那麼道德變革或許與其說是普遍的進步，不如說是一種重新分配——即某些存在物進入道德領域的同時，另一些則被驅逐出去。
「他者」常常因為被定義為「非人」——或者至少「非我族類」——而被排除在道德考量之外。倫理情感的變化往往並非源於改變你的價值觀，而是源於你劃定界限的位置，以及你在界限的另一邊看到了什麼。看似價值觀的差異，最終可能只是你如何實踐價值觀以及與誰一起實踐的差異。
第一章_道德機器，人類決策
P28
甚至每個人都同意車輛僅僅是機器嗎？2015年，當我拜訪我的學生查爾斯·朱克曼（Charles Zuckerman）在他對老撾賭徒進行田野調查期間，我們路過一座佛教寺院。就在那時，一家小型貨運公司的老闆來了。看來他的卡車出了太多事故，所以他安排僧侶們舉行祈福儀式。他把一輛卡車停在寺廟正門台階前，僧侶們坐在那裡。這個儀式很像為遭遇不幸的人祈福。而且這絕對是一件嚴肅的事情，而不僅僅是習俗。當僧侶們誦經時，祝福順著一根連接他們的手和卡車方向盤的繩子流淌。這根繩子也將祝福傳遞到一桶水中，然後這桶水會被灑在這輛卡車上，並帶回去灑在公司停車場的其他卡車上。顯然，儀式的能量是流向卡車，而不是人的 … 儀式實踐並不總是需要解釋才能有效，很可能他也說不清楚。
P33
圍繞這個問題（電車難題）的爭論變得非常複雜，但就我們的目的而言，反應的關鍵差異在於你是從第一人稱還是第三人稱的視角來看待這個情況。從第三人稱的視角來看，轉移電車或推那個男人在算術上是相等的，這就是全部。但是想像你自己這樣做，就是採取第一人稱的立場。你在問，「如果是我做的呢？」你必須想像把某人推向死亡。這突出了你與他的關係。推人者與被推者。很快，便是生者與死者。
P36
他總結道，村民們要求更多信息，因為對他們而言，「道德問題只有在置於真實的生活情境中時才存在。」
第二章_人類：生死之間
P40-46
電車難題的核心在於「殺戮」與「任其死亡」之間的區別。
（是否拔掉生命體徵維持儀器的插頭） … 在更為理論化的醫學倫理學方法中並非總是顯而易見。¹ 如同任何田野工作者一樣，她必須熟練地在第一人稱、第二人稱和第三人稱視角之間轉換。她不僅要追踪人們的道德原則，還要追踪道德與情感、財務、宗教和法律力量的推拉糾葛，家庭的微觀政治以及醫院等級制度、保險條例等等的影響——可能影響的因素沒有明確的界限。
這裡似乎有一個決定性因素：我們稱之為「殺戮」的道德越軌行為，發生在是人做這件事的時候。「任其死亡」的（可以說）較輕的過錯，則是機械行為的結果。除非機器實際上是人的一部分。
工具通常是人的延伸 … 但我們通常知道人在哪裡結束，機器在哪裡開始。現在想想在呼吸器上的祖母 … 它已經成為了她的肺。她是一個機器—人的混合體 … 投射可以像擬人化一樣 … 但是當我們擔心呼吸器上昏迷的人時，我們可能擔心的是將機器向內投射，將人視為一種機制。
她堅持認為機器和人之間存在著至關重要的區別。這就是為什麼他們應該把孩子從生命維持系統中移除——因為她不再真正是人類了。她是一個看起來像嬰兒的混合體。
但安德魯和達琳對這種情況有另一種看法。他們是虔誠的基督徒。「不自然」這一事實恰恰證明了他們的女兒在某種意義上是「超自然的」 … 揭示了一種本體論的衝突，一種關於現實的分歧。
他們之間的分歧似乎在於他們如何看待自然的終結與人為的開始——簡而言之，在哪裡定位人類的邊界。終止生命維持的道德性正取決於這個問題。
P47
正如考夫曼指出的，美國死亡記錄上一次僅將「年老」列為死因是在1913年。此後，都會列出具體的死因。儘管死亡仍然不可避免，但對於一個以治癒為任務的醫學文化來說，特定原因導致的死亡看起來像是一個干預措施採取與否、程序成功與否的問題。在那一點上，死亡已經進入了選擇的領域。
P52-53
拯救一個活著的病人需要一套目標和倫理直覺，而從屍體上摘取器官則需要另一套。就好像你必須轉換你看待眼前這個人的方式，從靈魂轉換到機制。因此，一旦病人被宣布腦死亡，解僱一直照顧他們的臨床醫生，並引入一個新的外科團隊來執行這第二部分的工作，就成了標準做法 … 第二人稱——一個你想像中會回應你的人——轉變為某種你必須從第三人稱視角理解的東西——一個有用的器官來源。
康德主義者可能會說，它已經不再具有作為一個人的道德地位。
P56-58
在醫院裡死去，相當於人類學家所說的「惡死」 … 你應該死在自己家裡的床上，周圍環繞著你最珍愛的財產，盡可能多的親人陪伴在你身邊。只有這樣，你才能處於平靜放手以獲得良好來世的適當環境中。
這兩套道德要求的結果可能是一場混亂且身體上極具創傷性的終局。垂死的最後階段分為兩部分，分別對應這些要求。首先是去醫院接受最積極的治療，以尊重和維護生命。然而，一旦醫生說臨終將至，第二個要求便開始生效。現在的理想是讓病人回家。由於家屬會等到最後一刻才決定不再進行進一步的醫療干預，他們被迫匆忙將垂死的親人送回家，希望在他們還活著的時候趕到。
為此，一些富有創業精神的醫院工作人員已經開始從事斯托寧頓稱之為「靈魂救護車」的業務。這些車輛配備了基本的生命維持裝置，如氧氣罐，可以將病人送回家中等死 … 從生物醫學的角度來看，往返醫院的痛苦而昂貴的旅程毫無意義。然而，詹迪的家人顯然認為這是值得的：「她的死被認為是明確無誤的善終。」¹⁹ 道德生活不僅僅超越了金融理性——當然，許多人可能很容易接受這一點——而且也超越了痛苦和折磨。
你的立場發生了轉變，導致你對眼前的情況產生不同的視角。有時這意味著從特寫鏡頭轉向遠距離視角。從特寫的立場，即第一人稱視角，你面對的是一個你可以與之互動並以第二人稱稱呼的人。你可能會發現自己被非常具體的情感紐帶和社會身份所驅使 … 更疏離的第三人稱立場則要求你以更抽象或原則性的方式看待事物，尋求普遍的道德原則、非個人的義務、法律義務、悠久的習俗或神聖的誡命。
第一人稱視角會讓你很難讓客觀上你知道是事實的情況，壓倒你體驗到的情況。
P61-62
像許多美國人一樣，埃及的器官移植捍衛者認為移植是非常有德行的行為，是賦予另一個人生命。但這並不意味著美國人和埃及人以同樣的方式看待這種美德。美國人通常將器官捐贈描述為一種「從無意義的悲劇中創造意義」的方式。相比之下，埃及人則關注捐贈者死後將獲得的精神回報。這些聽起來可能相似，並且都強調倫理維度。但請注意，前者關注的是在在世俗宇宙中創造意義的直接主觀體驗，而後者則採用更客觀的宇宙論視角，即世界是如何構成的，並被賦予了神聖創造的道德意義的總體圖景。
P63
事實上，她繼續說道，人們往往不想為他人的生命負責，而是尋求指導，希望能簡單地遵循「他人開創的道路」 … 她向他人尋求建議、忠告、告誡、經驗教訓、警告。她需要有人可以信任。這不僅僅是情感上的軟弱；這是倫理上的現實主義。
第三章_近人類：動物作為獵物、祭品、工作夥伴與同伴
P68
雷恩·威勒斯列夫（Rane Willerslev）是一位研究西伯利亞尤卡吉爾獵人的人類學家，這些人主要依靠狩獵獲取食物。他們在狩獵中的成功在很大程度上取決於他們模仿獵物，甚至有些人說，轉化為獵物的能力。在這裡，威勒斯列夫講述了他加入一位經驗豐富的獵人追蹤一頭麋鹿的經歷。這位老人披著麋鹿皮，開始前後搖晃。他似乎發生了轉變，同時成為了人和麋鹿。這吸引了一頭母麋鹿和一頭小麋鹿的注意，它們朝他走來，讓他得以射殺它們。正如這位老人後來解釋的那樣：「我看見兩個人朝我跳舞走來。母親是一位美麗的年輕女子，她邊唱邊說：『尊貴的朋友。來吧，我會挽著你的手臂，帶你回家。』就在那時，我把它們都殺了。如果我跟她走了，我自己也會死。她會殺了我。」⁴ 事實上，正如威勒斯列夫告訴我們的那樣，有些獵人在與麋鹿或熊的認同中走得太遠，在狩獵之後再也無法完全恢復他們的人性。
P73
但是，你為什麼要堅持與你殺死的東西建立倫理關係呢？ … 「就是挑剔禮物，質疑動物是否應該把自己獻給你。這樣做就有冒犯的風險，以後再也收不到這樣的禮物了。」
狩獵中內建了一個無法逃避的道德悖論。獵人必須殺人。你的獵物越像人，這種基本的生活條件就越成問題 … 像因紐特人這樣的北極獵人始終意識到「生命最大的危險在於人類的食物完全由靈魂構成。」¹⁹ 如果動物看起來太像人，吃掉它就近乎於同類相食。
解決這個道德悖論的一種方法是堅持認為動物是我們的恩人… 此外，自願獻身的受害者會轉世以提供未來的食物。然而，布萊特曼評論說，很少有克里人完全相信這種說法是事實。
P76
尤卡吉爾人並非生活在一個完全另類的現實中。威勒斯列夫指出，大多數時候他們根本不把動物看作人——只有在狩獵時他們才會這樣做。²³ 這表明，正是狩獵行為本身，將（或多或少）像物體一樣的實體轉變為（或多或少）像人一樣的實體。獵物是你與之建立社會關係的某物；否則，野生動物就只是野生動物。
一些獵人也看到這種區別反向運作。當愛德華多·科恩與魯納人一起生活時，他被警告說，如果遇到美洲豹，絕不能移開視線。如果你回望美洲豹，它就會意識到你不僅僅是潛在的肉食，你是一個潛在的對話夥伴。
P80
獵人的困境在於，他們必須為了生存而殺人，而他們所殺的可能是近乎人類的存在。獻祭的邏輯則從一個略微不同的角度來處理生與死的關係。像獵人一樣，獻祭者必須殺人。在許多傳統中，獻祭的動物是人類——合適的受害者——的替代品。想想舊約和古蘭經中亞伯拉罕用公羊代替以撒的故事。但是，為了使獻祭有意義，受害者在理想情況下應該與人類有足夠的聯繫，才能算作一個有效的替代品——它們應該是近乎人類的。
P84-85
儘管他們認為狗有自己的觀點，但科恩了解到魯納人「試圖強化一種人類的行為準則，而狗，總的來說，也被認為應該分享……（因為）在魯納社會中，沒有狗作為動物的容身之地。」²⁹ 一隻學不會這一點的狗，仍然只是一個掠食者。
在早期的英國普通法中，一個關鍵的決定因素是主人是否訓練過它。實際上，似乎（與某些土地所有權的傳統相一致）一隻原本「野生」的動物必須成為人類勞動的產物才能成為財產。動物的內在特性或人類對它的情感，在這個衡量標準中似乎並不特別相關。
一隻有名字的動物，至少潛在地，是人類生活中一個可識別的參與者，而匿名的動物則不是 … 在英語中，有名字通常意味著你將被稱為「他」或「她」，而不是「它」 … 沒有名字和呼喚它名字的人，它就無法進入道德生活。
P87-88
有些事情你可以和狗一起做，但和狼一起卻不可能：「由於人類實際上沒有任何狼的社交技能，狼將人類視為野生動物，而且狼是正確的。它不信任我們，理由非常充分。」³⁶ 信任取決於對對方下一步會做什麼有一定的可靠預期。
第四章_準人類：機器人、虛擬化身、僕役與拜物
P95-97
工具最重要的部分是非物質的，是作者和讀者已經內化的東西。在你將文字變成自己的一部分之前，你無法流利地閱讀或書寫。書寫，這個由他人發明的人工工具，已經成為你自己認知器官的一部分。一個能讀會寫的人就是一個智力上的賽博格。
因此，與工具類似，一些賽博格與其說是身體的物理延伸，不如說是智力——或情感——思維的延伸。
如果助聽器和心臟起搏器讓我們成為賽博格，它們仍然只是在一個其他方面顯然是生物學上的人類體內的小型機械部件。相比之下，大多數機器人旨在獨立於任何人的身體或其直接指導而運作。它們越接近於自動機，即自行運作的事物，它們在道德上就越可能令人不安。
P102-103
人們對那些複製了自身種族和性別刻板印象及偏見的機器人感到更自在。結果可能是一個自我實現的反饋循環。如果設計師製造出體現其現有偏見的設備，隨著這些機器人成為世界的一部分，它們將反映並強化這些偏見。
P106-108
在羅伯特·斯派洛（Robert Sparrow）的觀點看來，為了享受機器寵物，你必須在某種意識層面上將其誤認為是真正的動物。他堅持認為，這是「一種道德上應受譴責的多愁善感」,因為我們有道德義務如實看待現實。由於這些機器旨在欺騙我們，因此它們是不道德的。人們被欺騙了嗎？機器寵物主人與我們對其他形式的虛構作品的反應之間，是否存在顯著差異？
但是，正如一位道德哲學家所建議的那樣，如果一位老人真的依戀她的機器寵物，我們應該思考的是他們關係的質量，而不是機器人本身是否不道德。²² 在這種觀點看來，機器人的道德地位是一個無法從第一原則解決的經驗問題 … 反過來，我們需要理解這些互動是如何建立在塑造人類與其他人類互動的技能和知識之上的。
P111-112
我想強調的是，人們通常使用「拜物教/Fetishes」這個詞來談論其他人關於現實的「錯誤」。這是一種擔心他們會把非人類誤認為人類的恐懼。而由於那個錯誤，他們也會無法理解他們自己究竟是誰。這種影響是反身性的。將生命賦予沒有生命的事物，他們冒著一種角色顛倒的風險，賦予無生命的物體生命，結果卻否定了他們自己的能力。
如果機器寵物的主人完全清楚他們在做什麼，正如佛教僧侶告訴懷特和勝野的那樣，那麼他們就參與了一種遊戲。當然，正如許多運動隊的支持者會告訴你的那樣，遊戲可能是非常嚴肅的。但這並不意味著他們分不清點球和利率上調。
同樣，當破壞偶像者砸碎雕像或劃破畫作時，他們是在告訴我們，一個人的無邪想像可能是另一個人的威脅性現實。簡而言之，嬉戲與嚴肅之間的界限，就像人造與自然之間的界限一樣，可能是模糊不清的，並且是巨大爭議的對象。
P113
根源在於人們如何相互溝通和互動的一個基本特徵。我們傾向於假設每個人都有一些看不見的內心想法和目的。在對話中，我們不僅僅是解碼對方的話語——語言並非如此簡單。詞語太過含糊和有限，無法那樣運作。
此外，我們尋求深度。任何表明我們接收到的信號需要解釋的證據，都會促使我們推測其中隱藏著某些東西。它背後似乎隱藏著某些東西：一個目的，一個心靈；或許，正如聊天機器人設計師羅雷爾所說，一個靈魂。
P116-117
如同我所描述的「拜物教」邏輯一樣，台灣的流行文化愛好者將人類品質投射到物質物體和計算機動畫上，並且在粉絲圈和對地方神祇的虔誠之間存在著交叉。但這些粉絲並非受騙 … 鏡子幫助你看到你自己無法看到的東西。然而，為了起作用，它必須與你分開。它提供了一種走出第一人稱視角的方式。
動畫之所以如此不可思議，恰恰是因為她認識的人並非將岩石視為具有靈魂或將動物視為超自然的萬物有靈論者。只有在一個物體通常不被視為超自然的文化背景下，談論不可思議性才有意義。但愛好者們並非簡單地否認這些形象是有生命的；他們玩弄著它們可能是生命的這種可能性 … 如果西爾維奧是對的，那麼讓動畫形象對年輕台灣人如此著迷的，是它們對想像力的挑戰，是在遊戲與嚴肅之間切換的可能性，是將有生命既視為幻覺又非幻覺。
這些東亞的例子暗示了未來充滿準人類朋友的景象。美國的樂觀主義者則常常預見一個完美的僕人。
P121
但是，機器反過來又可能反映其設計者的觀念。你將何種自我投射到機器人或電腦上，或者你感覺受到它的何種威脅，然而，這不僅取決於設備本身，也取決於你首先如何理解一個自我。雪莉·特克爾研究的美國人傾向於將個體視為一個自主的、獨立的實體。正如我們將看到的，機器人學和人工智能中正在開發的大多數智能模型都反映了這種高度個人主義的人的觀點。正如一位評論家指出的那樣，如果這些模型是在矽谷及其延伸之外開發的，它們看起來可能會非常不同。他指出，佛教教義否認存在一個隨時間推移而持續存在的自我，也否認那個自我需要特定的身體形式。因此，「佛教徒對意識在機器中體現的可能性更為開放。」³⁴ 撰寫了「恐怖谷」的森政弘則認為，機器人實現了佛教徒達到無我的目標。³⁵ 而這只是眾多可能性中的一種。
例如，我們可以追問，儒家思想可能會發展出何種機器人模型，儒家思想將自我描繪成與社會角色和更大網絡不可分割的一部分。或者在南亞的業報傳統中，為我們提供了跨越數個世紀、經歷多次轉世的自我。或者在美拉尼西亞的某些地區，人們告訴我們存在著異常複雜和流動的自我，它們與他人混合、融合或穿梭其中。或者那個幾乎可以變成麋鹿的尤卡吉爾獵人。而這些僅僅暗示了人類社會已經發展出的可能性。到目前為止，圍繞賽博格、機器人和人工智能的討論尚未深入到人類可能性的全部範圍。
第五章_超人類：人工智慧、神靈與薩滿
P122-123
如同任何工具一樣，機器人和人工智慧擴展了人類的能力。它們挑戰人類邊界的方式既令人振奮——也令人不安。它們的潛力與威脅都取決於它們如何觸及並擴展那些通常被視為人類特有品質的方面，例如能動性、意志、智慧，甚至道德和情感。在許多方面，它們被設計成引誘我們，讓我們將這些品質投射到它們身上。在這方面，它們就像許多古老的與外星的、可能是更高級的存在，如神靈和神祇溝通的技術。
正如我們所見，新設備可能因截然相反的原因而令人不安。一方面，呼吸機讓祖母太像一台機器，把她變成了一個賽博格。另一方面，機器寵物又太像動物，吸引了虛假的依戀。與拜物教的邏輯非常相似，這些影響是相互關聯的，因為我與設備互動的方式似乎對我產生了影響。它極度的人性化可能會非人化使用者。設備越像人，這種互動就越令人不安。
P129-130_投射與內化的風險
一項關於美國算法影響的社會學研究得出結論，這些算法的使用者不僅僅是改善他們正在監控的行為。更深層次的事情正在發生：他們的用戶正在重組他們體驗世界和理解自身的方式——算法正在促使他們創造一種新的自我意識。¹¹ 這是一種古老恐懼的變體，即通過在鏡子中尋求自我認知，我們會失去與自身的適當關係。我們將自己交給了某種陌生的，或許是更優越於我們的東西。
P134-137
這是自然語言人工智能試圖捕捉的語義空間。¹⁵ 人類學會將這些詞語網絡與他們體驗到的世界聯繫起來。但是由於人工智能沒有物理的、社會的或情感的體驗，它工作的語義空間只有詞語。它沒有對文本語料庫之外任何事物的參照。需要人類的解釋者來建立詞語與他們所知的世界之間的聯繫——例如，通過指明事物，將語言錨定在一個語境中。
答案不在於設備，而在於我們。人們習慣於看到意圖。這就是將聊天機器人稱為隨機鸚鵡的意思：「我們對自然語言文本的感知，無論它是如何生成的，都受到我們自身的語言能力和先前的傾向的調節，即將交際行為解釋為傳達連貫的意義和意圖，無論它們是否真的如此。」¹⁶ 但僅僅說我們將意義投射到設備上是不夠的。我們與人工智能互動所獲得的意義是人與設備之間協作的產物。畢竟，自然語言人工智能是由人類設計來為人類生成文本的。正如司機是「人-車」合體，作家是「人-字母表-書寫工具」合體一樣，ChatGPT及其同類也可以產生賽博格：「用戶-人工智能」合體。
如果我們將意義投射到一個設備的輸出上，為什麼我們要把它們當作來自別人的東西來對待呢？一個原因是，當我們這樣做時，我們創造了一個具有自身獨立權威的信息外部來源。聊天機器人被設計用來觸發這種效果。有些則刻意擴展由此產生的權威性 … 為什麼有人會接受一個電腦應用程序的倫理判斷呢？它的答案似乎依賴於一種複雜的權威。一方面，最終的來源在於人類道德直覺，一個熟悉的建議來源。另一方面，通過將如此多的意見融合成一個單一的答案，這個應用程序投射出某種超人的說話者形象。
P140-141
說方言（Glossolalia），或稱靈語，指的是聽起來像語言但說話者或聽者都不知道的快速言語 … 他說，對於局外人來說，說方言聽起來像胡言亂語，但對於信徒來說，它充滿了意義。他們說，這就是為什麼它無法解釋的原因：來自聖靈的信息超越了普通人類語言的極限。換句話說，正是因為它缺乏普通的意義，所以它才能暗示超越普通的意義。
像靈媒一樣，說方言者必須積極參與非人類意義的產生。首先，他們有所準備，熟悉宗教傳統，知道說方言是上帝與人類之間特殊的交流渠道。其次，他們必須學會如何去做。說方言的一些基本特性促進了這一點。哈克尼斯表明，它使用說話者日常語言的聲音和節奏作為構建塊。這使得它比純粹隨機的發聲更容易產生。它也使得它看起來像語言，因此是某種應該對某人有意義的東西。
當然，現在由人工智能聊天機器人生成的文本並非旨在聽起來像胡言亂語。但它們也是由本身沒有任何「意義」的基本單位組成的。設備將單個詞語串聯成句子。人類用戶需要賦予它們意義，並找到將其應用於世界的方法。因為聊天機器人的文本本身就是一個「隨機鸚鵡」，我們這些接受者必須積極參與接受其有意義這一點。
聊天機器人、靈魂附體和說方言所產生的符號的極度不透明性和不確定性，有助於它們的權威性。它們似乎讓我們接觸到某種超人的東西——甚至是擁有宇宙中所有知識的東西，就像人工智能（根據其支持者的說法）一樣。
P144-146
(占卜)依賴於客戶願意將權威授予一個深奧的代理人，而無需完全理解它是什麼以及它如何得到答案。就像大多數計算機用戶一樣，薩滿的客戶知道薩滿的儀式性語言和占卜水晶是有意義的，他們甚至可能對其含義有所了解，但其運作方式最終是不透明的。在將權威授予薩滿之後，客戶接受薩滿可以告訴他們一些他們自己不知道的關於他們自己的事情。就像Fitbit、亞馬遜、Spotify或約會應用程序的算法一樣，占卜似乎比他們自己更了解他們。
但在某些方面，人工智能和機器人類似於占卜技術，並促使人們產生類似的本能反應。像占卜、靈魂附體和說方言一樣，人工智能產生的符號需要解釋，並促使用戶將意圖投射到非人類實體上。
最複雜的機器人和人工智能利用了日常關係中存在的特性。它們可能由重視抽象理性的技術專家開發的非物質代碼驅動，但大多數人並非以此方式體驗和使用它們。人們將在社會互動中解釋和操縱彼此的言辭、姿態和環境的相同技能和直覺帶到設備中。這些與歷史上用於與非人類互動的技術所利用的特性相同。像靈魂附體一樣，機器人和人工智能將我們帶入與看似陌生的存在的社會關係中。像說方言和占卜一樣，人工智能算法極度的不可理解性似乎是其特殊力量和洞察力的證據。
機器越是自主運行，就越容易將能動性歸因於它們，甚至將其人格化。蘇奇曼指出，這種人格化機器的傾向因其神秘和令人驚訝的行為而得到加強。²⁶ 這是一個重要的觀點。
我與黑客專家斯科特·夏皮羅（Scott Shapiro）討論了非解釋性技術的問題。他告訴我，更準確地說，問題並非我們無法解釋算法如何得到其結果 … 真正的擔憂是，我們能給出的任何關於算法的解釋，最終都會至少與我們試圖解釋的算法一樣冗長和複雜。就像一張細緻到與其所要描繪的領土大小和比例相同的地圖一樣，僅僅重複算法並不能幫助我們弄清楚我們在哪裡。我們還沒有得到任何看起來像是一個合適的解釋。結果，設備的運作方式似乎是不可言喻的、無法解釋的和不可思議的。
從某個角度來看，人工智能的不可思議性並非一個缺陷，而是一個特性。就像拜物教，或者說拉斯維加斯的賭博機一樣，它承諾滿足某種渴望，即淹沒或放棄你的自我意識，用某種超驗的東西取而代之。²⁸
但是，不透明性不僅僅是推卸責任和創造客觀感。正如宗教學者保羅·約翰遜（Paul Johnson）所論證的那樣，那些不透明但行為舉止又很像人的非人類設備和生物，很容易被賦予宗教意義。就像一些聖徒、神靈和其他神聖存在一樣，它們具有「近乎人類但又不完全是人類的品質。與真人的同時接近和差異，使它們成為儀式吸引力的對象、啟示的場所和非凡力量的媒介。」²⁹
P146-147
不可解釋的事物可以用超人的權威說話。但是，像占卜技術一樣，它也可能導致倫理困擾。人們可能會擔心說方言者被撒旦附身，或者占卜師是出於不可告人的目的而行騙的騙子。就像馬文·明斯基的「奴隸」一樣，一個擁有內心生活的存在，其目的可能會超出我們的掌控。
許多哲學家認為，要成為一台道德機器，人工智能必須解釋它是如何做出決策的³¹，並且能夠告訴我們它使用了哪些倫理原則。³² 僅僅做出正確的決定是不夠的。