神秘的Q-Star项目，人工智能再次突破引发恐慌？

#媒体热点# 2023-12-25 06:32 242人围观媒体热点

来源| 首席商业评论
前天我们发布了关于OpenAI宫斗大戏的事件经过，虽然事件以Sam重归CEO告一段落，但是董事会为何突然罢免Sam依然是一片疑团。
不过就在昨天，路透社援引两位知情人士的话透露，在 OpenAI 罢免阿尔特曼之前，曾有多名研究人员向董事会发出了一封信，警告称其人工智能领域的一项技术取得了突破，而它被发现可能会威胁到人类。消息人士称，这封以前未报道的信件和人工智能算法是董事会罢免 Altman 的一个关键线索，也是董事会对 Altman 的诸多不满的因素之一。

路透社还提到，OpenAI 在发给员工的内部信息中承认了一个名为 Q * 的项目，并在 Altman 被开除之前致信董事会。OpenAI 的一位发言人表示，上述内部信息是由长期担任高管的 Mira Murati（OpenAI 前 CTO，在混乱之初曾被任命为临时 CEO）发布的，目的是提醒员工注意某些媒体报道，但不评论其准确性。
Q * 的发音为 Q-Star，网络上一些人士认为，OpenAI可能已经在AGI的研发升级上又有了一次重大突破或者发现。

Q-Star是否真的有那么神奇，目前还没有更多信息可以判断，有一些短视频博主通过Copilot来判断，ChatGPT隐藏的能力越来越可怕，自主意识越来越强。据 The Information 报道，神秘模型 Q-Star 是由 OpenAI 的两位顶级研究人员 ——Jakub Pachocki 和 Szymon Sidor—— 基于 OpenAI 首席科学家 Ilya Sutskever 的研究成果构建的。在 Altman 被开除后，二人也成了首批辞职的高级员工之一。
而这似乎也可以说明为何Sam会没有任何征兆地被罢免而无法向外说明具体原因。
另外这也从侧面解释了为何首席科学家IIya会投票罢免老战友Sam，基于他了解AGI突破带来的影响，以及一直以来他对外表达的对AGI安全的担忧。
其实IIya是ChatGPT之父或许更加贴切，他是最早卷积网络算法的三个作者之一，谷歌Deepmind的核心成员，也是AlphaGo的作者之一。

IIya

作为一个低调的科学家，如果不是因为这次宫斗，恐怕很多人还不认识他。
从他不多的公开发言的视频来看，他很早就在思考通用人工智能AGI到底能给人类带来什么。
一方面他对人工智能不断突破后的发展速度毫不怀疑，另外一方面，他对通用人工智能的风险又有着深深的担忧。
他的理由是，通用人工智能技术的发展和自然生物的发展有着一样的趋势。他认为，AGI可能会像一种新生物一样发展。
如果不在底层编程上加以控制，AGI的发展就如同生物的进化一样，会朝着将自己的生存放在首位的方向发展。

他认为，通用人工智能如果不加以管控，未来它看人类就像人类看其他动物一样，通用人工智能并不会憎恨人类，但是它可以为了自己而无视人类。
他打了一个比方，人类可以爱动物，但并不会因为爱动物而在修建高速的时候咨询一下动物的意见。
这就好像三体里黑暗森林一样，当其他星球的生命暴露自己时，你肯定会优先考虑自己的安全。

IIya认为，如果通用人工智能被利用作为武器，或者被用来实施犯罪，那对人类来说是灾难。
整体来说，他对人工智能的发展是充满信心的，但是他对人类的命运似乎又有一些悲观，他希望届时AGI能对人类好一点。这种既想探索前沿又对新技术充满警惕的想法值得称赞，但也解释了他一开始罢免Sam，后续又欢迎Sam回归的纠结。
作为一个顶尖科学家，他一定想真的看看到底AGI能发展到什么程度，但又害怕OpenAI面临当年奥本海默一样的情况。
所以，在今年 7 月，他组建了一个「超级对齐」团队，致力于让强大的 AI 系统遵循人类的意愿，而不是伤害人类。

但不管如何，人类已经打开了潘多拉魔盒，即便一部分人提出了担忧并行动了起来，但利益的驱动还是可能让人类像当年的原子弹军备竞赛一样不断挖掘AGI的能力。
而我们对待这种可能会有自主意识但又十分强大的新技术有着非常纠结的心态，怕它不来，但是又怕它乱来。未来到底会如何，我们只能希望OpenAI及其投资人能否真的在底层逻辑上控制好AGI了。

文章来源:“首席商业评论”，未经允许不得转载。

文章代表作者观点，版权归原作者所有，热传平台仅提供信息存储空间服务。