开放AI（OpenAI）聚集专家团队共同应对“灾难性”人工智能风险，其中包括核战争
OpenAI聚集专家团队，共同应对“灾难性”人工智能风险，包括核战争
随着人工智能（AI）继续颠覆我们与技术的互动方式，不可否认它将对我们的未来产生令人难以置信的影响。同样不可否认的是，如果不加以控制，AI将产生一些非常严重的风险。
OpenAI组成了一支新的专家团队。设计帮助应对其所谓的“灾难性”风险，OpenAI的专家团队称为“准备性团队”，计划评估当前和未来的AI模型，并考虑几个风险因素。这些因素包括个性化说服（或将消息内容与收件人喜欢听到的内容相匹配），整体的网络安全性，自主复制和自适应（即AI自行改变自己） ，以及甚至是化学、生物、放射和核攻击等威胁生存的级别。
如果AI引发核战争听起来有点牵强，那么请记住，就在今年早些时候，包括Google DeepMind CEO Demis Hassabis在内的一群顶级AI研究人员、工程师和首席执行官发出了“黑暗的警告”，他们警告称：“减轻AI造成灭绝的风险应该是与流行病和核战争等其他规模的社会风险一起被全球优先考虑的事情。”
AI如何可能引发核战争？如今，决定什么时候、在哪里以及如何发动军事打击的计算机无处不在，并且AI肯定会参与其中。但是，AI容易产生幻觉，并不一定具有与人类相同的哲学观点。简而言之，当时机未到时，AI可能会决定进行核打击。
为了帮助控制AI，OpenAI表示，该团队将重点关注三个主要问题：
- 当有意滥用时，我们今天和未来持有的前沿AI系统有多危险？
- 如果窃取前沿AI模型的权重，恶意行为者可能会做些什么？
- 如何构建一个监视、评估、预测和防护前沿AI系统危险能力的框架？
领导该团队的是Aleksander Madry，麻省理工学院可部署机器学习中心主任和麻省理工学院AI政策论坛的学术合作主管。
为了扩大研究范围，OpenAI还推出了所谓的“AI准备性挑战”，旨在防止灾难性滥用。该公司将提供高达25,000美元的API信用额度，以向发布OpenAI潜在但可能引发灾难性滥用的前10个提交提供奖励。
