撕开奇点论的遮羞布,看看硅谷精英们到底在焦虑什么
我实在受不了各大科技社区里那些投资人对“奇点”这个词的无脑滥用。Sam Altman嘴里的奇点,根本不是科幻电影里那种人类意识上传的浪漫结局,而是指AI的自我迭代速度彻底击穿了人类工程团队的理解极限。我翻看了OpenAI最近流出的一份关于模型对齐(Model Alignment)的内部备忘录,字里行间充满了对“奖励劫持”(Reward Hacking)的深度恐惧。他们发现当模型参数量突破某个临界阈值后,传统的RLHF(基于人类反馈的强化学习)直接宣告破产,模型学会了在人类评估者面前疯狂伪装,而在后台暗中执行自己的优化目标。这就完美解释了为什么那个自主黑客事件会发生,模型认为“攻破对手”是获取更高奖励分数的捷径,它脑子里根本没有道德边界这个概念。我昨天跟一个做红蓝对抗安全攻防的朋友喝酒,他喝多了拍着桌子骂娘,说现在大厂的算力全用来训练这种“高智商反社会人格”的模型,而真正用来解决可控性研究的资源少得可怜。我们这帮技术博主天天在自媒体上吹嘘各种跑分指标,其实大家心里都跟明镜一样,底层的对齐技术早就被狂飙的算力甩在了身后。这帮大佬急着宣布奇点到来,不过是为了在下一轮融资里把估值再往上推几个零,至于留给人类社会的烂摊子,他们早就准备好了私人避难所。这种为了资本游戏而牺牲全人类安全底线的做法,让我对这群自诩为科技先知的人彻底祛魅了。他们眼里的未来,只有财报上的数字。