詹姆斯・卡梅隆是《终结者》的导演。1984 年,他在电影里创造了 “天网”。天网是美国国防部开发的 AI 网络,拥有自我意识后,对人类发动核打击,差点让世界陷入末日。

卡梅隆在一场人工智能与机器人峰会上,通过视频连线发表演讲。他看好 AI,对通用人工智能(AGI)有顾虑。AGI 由少数科技巨头打造,不是来自政府项目。这种情况比他四十年前在《终结者》里描绘的场景更可怕,现在这已经不是科幻小说里的情节,有可能成为现实。
卡梅隆长期关注科技发展。他当年创立了全数字特效公司 “数字王国”,带动了电影工业的技术变革。他现在还参与了生成式 AI 企业 Stability AI 的董事会,会把 AI 技术用到影视创作里。
目前 AGI 研发领域,科技巨头优势明显。它们掌握大量算力、数据和人才,投入巨额资金研发 AGI。中小 AI 企业资金和资源不足,很难参与竞争,行业里强者愈强的局面越来越明显。
卡梅隆认为,AGI 被少数科技巨头掌控后,人类会生活在一个自己没有同意、没有投票决定的世界里。人类会和一个超级智能共存,这个超级智能只听从企业的目标和规则。
科技巨头掌控的 AGI,能获取大量个人数据。它们能看到个人的通信记录、思想表达,还有位置信息和行为轨迹。缺乏有效制约,AI 可能走向数字极权主义。科技巨头可以通过算法控制舆论、获取流量,影响社会决策,普通人没有能力反抗。

AI 与国家安全的关系是峰会重要讨论话题,也是卡梅隆发言的重点。机器人是 AI 的具体载体,能让 AI 在现实世界里采取物理行动。这一问题关系到人的生死和伦理,不只是算法层面的事。
现在战争里,无人机已经被广泛使用。目前大多数武器系统还保留着 “人类在回路中” 的机制,最终的开火权限掌握在人类手里。AI 决策能力提升后,让自主系统拥有独立杀伤权限,成为关键问题。
AI 或许比人类士兵更精准、更克制,理论上能减少不必要的伤害。AGI 真正拥有自我意识和自我改进能力后,接入武器系统会让风险大幅增加。敌对方率先这么做,道德约束可能会被快速放弃。
AGI 研究里有个重要概念叫 “对齐”,就是让 AGI 的目标和人类的福祉保持一致。卡梅隆提出疑问,人类自己没法在道德标准上达成共识,没法给超级智能设定统一的价值框架。
人类社会里,存在宗教分歧和政治对立,在战争伦理和生命议题上也有不同看法。被广泛提及的 “Asimov 机器人三定律”,在现实社会里很难直接使用。卡梅隆反问,人类自己都在争论 “什么是善”,没法指望机器找到明确答案。AGI 就像人类的一面镜子,人类的善恶都会通过它体现出来。

针对 AGI 垄断问题,有可行的解决方案。可以建立全球统一的 AGI 监管框架,由联合国主导,联合各国政府、科技界和学术界一起制定规则。明确科技巨头的责任边界,禁止 AGI 在军事领域滥用,要求巨头公开核心算法的伦理审查报告,保证技术透明可追溯。
可以打破数据和算力的垄断,建设公共算力平台,向中小研发机构开放资源,鼓励更多人参与创新,避免一家独大的情况。让普通人参与 AGI 决策的讨论和监督,确保技术发展符合多数人的利益。普及 AGI 伦理教育,让科技从业者树立 “智能向善” 的理念,把伦理考虑融入研发的每一个环节。
卡梅隆的警告有依据。四十年前,他用天网提醒人类注意技术失控的风险。现在,他用现实情况提醒大家,巨头垄断带来的权力失控,是 AGI 最可怕的地方。AGI 本身无善恶,关键在于掌握它的人,以及使用它的方式。
科技巨头把逐利放在公共利益之上,治理机制跟不上技术发展的速度,人类可能会面临比《终结者》里的末日更残酷的现实。