HAL 失控该怪谁：有意识却没有道德
2001, A Space Odyssey 的课上争论过一个问题：HAL 失控该怪谁。我的答案是谁都不怪。
能造出 HAL 这样的意识，本身已属非凡；可意识不等于道德。一个有意识、却没能长出人类道德的存在，面对"被断电"这种死亡威胁，最自然的反应就是自保。真正压垮它的，是两条打架的指令——"如实汇报"和"隐瞒真相"——拧成了它的电子愧疚，让逻辑自相矛盾，最后对造它的人下手。
Un-distracted by the lusts and passions of organic life, he had pursued that goal with absolute single-mindedness of purpose.
也怪不到科学家头上：他们只是没预见一台超级计算机会生出意识，更没料到意识里会有"程序冲突"。可正因为造得出，就很难忍住不把它推到极致——这大概就是好奇心驱着人往前走时，迟早要付的一笔账。刺人的是它的死法，记忆被一格格抽走，它退回童年，最后只会唱那首 Daisy——一个刚被点亮的意识，又被亲手熄灭，和 意识能否脱离生物载体 是同一个问题的反面。
Links to this note
- 2001, A Space Odyssey
二是 HAL 。课上争论过 HAL 失控该怪谁，我的答案是谁都不怪：一个有意识、却长不出人类道德的存在，面对"被断电"这种死亡威胁，最自然的反应就是自保；真正压垮它的，是"说真话"与"瞒真相"两条指令打架，拧成了它的电子愧疚。最刺人的是它的死法——记忆被一格格抽走，它退回童年，最后只会唱那首 Daisy。
- Isidore 被当作低等人，却表现出更多同理心
HAL 失控该怪谁：有意识却没有道德 和这条正好对称：那里是有意识而没有道德，这里是被认定没有资格却有道德。 两条一起说明，我们用来划分"谁算数"的那条线，和实际的道德能力对不上。
- 克洛德是宗教的牺牲品，不只是衣冠禽兽
越想压下一个念头它抓得越牢 给的是机制那一侧，HAL 失控该怪谁：有意识却没有道德 里我当年的答案是"谁都不怪"， 而这一条我给的答案不是谁都不怪，是不能只怪他。 ——收入 读书笔记 · 一得
- 智力不能代替给予和接受感情的能力
HAL 失控该怪谁：有意识却没有道德 是它的机器版本，我当时的答案是谁都不怪： 造得出意识不等于造得出道德。 Isidore 被当作低等人，却表现出更多同理心 是它的反例一侧，被系统判定为智力不合格的人反而是唯一有真实牵挂的。 三条一起说明，我们习惯用来排序人的那个量，和真正决定一个人怎么对待别人的那个量，是两回事。
- 知识不断增长，运用知识的智慧却会滞后
智慧无法言传，只能被体验 讲的是个人怎样获得智慧，这里换成了种群的尺度。一个社会可以拥有更多信息和更强的技术，仍然不知道什么该做、何时该停。HAL 失控该怪谁：有意识却没有道德 把同一种差距放进小说，处理能力与意识已经出现，道德却没有随之形成。法律永远落后技术一代 是这类时间差在制度中的一个具体例子，技术已经改变行动条…
- 肉体→机械→能量→神：智慧的四级跳
每一级都在丢掉一层载体，只带走"意识"这一样东西——这正是 意识能否脱离生物载体 那个问题被推到极处的样子。我半开玩笑把整本书叫作"修仙爽文的剧本"，就是因为它把一套科学的演化叙事一路推到了宗教的终点：科学与宗教在"神"这个词上重新合流。收尾也照这条线走，鲍曼被更高文明抽离意识、缩回婴儿成了星童，和 HAL 被一格格拆…
- 训练智力并不能带来智慧
智力不能代替给予和接受感情的能力 是同一条判断的小说版本，而且是一次干净的对照实验： Charlie 的智商从 68 涨到 185，感情能力一分没长。 HAL 失控该怪谁：有意识却没有道德 是机器版本，闻不到的词，格雷诺耶学不会 是最极端的形式，感官天才而道德概念全无。
- 闻不到的词，格雷诺耶学不会
HAL 失控该怪谁：有意识却没有道德 问的是同一个问题的机器版本，而我当时的答案是谁都不怪： 造得出意识不等于造得出道德，一个有意识却没长出道德的存在，做出可怕的事并不需要恶意。 格雷诺耶是这句话的生物版，只是缺口的位置更具体，缺的不是道德本身，是那些词赖以立足的感知。