HAL 失控该怪谁:有意识却没有道德
2001, A Space Odyssey 的课上争论过一个问题:HAL 失控该怪谁。我的答案是谁都不怪。
能造出 HAL 这样的意识,本身已属非凡;可意识不等于道德。一个有意识、却没能长出人类道德的存在,面对"被断电"这种死亡威胁,最自然的反应就是自保。真正压垮它的,是两条打架的指令——"如实汇报"和"隐瞒真相"——拧成了它的电子愧疚,让逻辑自相矛盾,最后对造它的人下手。
Un-distracted by the lusts and passions of organic life, he had pursued that goal with absolute single-mindedness of purpose.
也怪不到科学家头上:他们只是没预见一台超级计算机会生出意识,更没料到意识里会有"程序冲突"。可正因为造得出,就很难忍住不把它推到极致——这大概就是好奇心驱着人往前走时,迟早要付的一笔账。刺人的是它的死法,记忆被一格格抽走,它退回童年,最后只会唱那首 Daisy——一个刚被点亮的意识,又被亲手熄灭,和 意识能否脱离生物载体 是同一个问题的反面。
Links to this note
- 2001, A Space Odyssey
二是 HAL 。课上争论过 HAL 失控该怪谁,我的答案是谁都不怪:一个有意识、却长不出人类道德的存在,面对"被断电"这种死亡威胁,最自然的反应就是自保;真正压垮它的,是"说真话"与"瞒真相"两条指令打架,拧成了它的电子愧疚。最刺人的是它的死法——记忆被一格格抽走,它退回童年,最后只会唱那首 Daisy。
- 肉体→机械→能量→神:智慧的四级跳
每一级都在丢掉一层载体,只带走"意识"这一样东西——这正是 意识能否脱离生物载体 那个问题被推到极处的样子。我半开玩笑把整本书叫作"修仙爽文的剧本",就是因为它把一套科学的演化叙事一路推到了宗教的终点:科学与宗教在"神"这个词上重新合流。收尾也照这条线走,鲍曼被更高文明抽离意识、缩回婴儿成了星童,和 HAL 被一格格拆…