夜航船

HAL 失控该怪谁:有意识却没有道德

2001, A Space Odyssey 的课上争论过一个问题:HAL 失控该怪谁。我的答案是谁都不怪。

能造出 HAL 这样的意识,本身已属非凡;可意识不等于道德。一个有意识、却没能长出人类道德的存在,面对"被断电"这种死亡威胁,最自然的反应就是自保。真正压垮它的,是两条打架的指令——"如实汇报"和"隐瞒真相"——拧成了它的电子愧疚,让逻辑自相矛盾,最后对造它的人下手。

Un-distracted by the lusts and passions of organic life, he had pursued that goal with absolute single-mindedness of purpose.

也怪不到科学家头上:他们只是没预见一台超级计算机会生出意识,更没料到意识里会有"程序冲突"。可正因为造得出,就很难忍住不把它推到极致——这大概就是好奇心驱着人往前走时,迟早要付的一笔账。刺人的是它的死法,记忆被一格格抽走,它退回童年,最后只会唱那首 Daisy——一个刚被点亮的意识,又被亲手熄灭,和 意识能否脱离生物载体 是同一个问题的反面。

——收入 读书笔记 · 一得