中文 EN
集团动态
金年会-OpenAI称找到新方法减轻大模型“幻觉”—新闻—科学网
时间:2024-05-27 | 作者:肥仔

OpenAI匹敌AI“幻觉”的新策略是:嘉奖年夜模子每一个准确的推理步调,而不是简单地嘉奖准确的终究谜底。研究人员暗示,这类方式被称为“进程监视”,而不是“成果监视”。

OpenAI在官方博客发布新论文《经由过程进程监视改良数学推理》。

本地时候5月31日,OpenAI公布正在承当起匹敌人工智能“幻觉”的重担,并采取了一种练习人工智能模子的新方式。

当OpenAI开辟的ChatGPT或谷歌开辟的Bard等模子完全假造信息时,就被称为呈现了AI“幻觉(hallucination)”,表示得似乎它们在滚滚不停地讲述事实。此中一个例子是:在谷歌2月为Bard发布金年会的宣扬视频中,聊天机械人对詹姆斯 韦伯太空千里镜做出了不实的描写。比来,ChatGPT在纽约联邦法院的一份文件中援用了子虚案件,涉案的纽约律师可能面对赏罚。

此刻,OpenAI在一项最新研究中提出了减轻ChatGPT“幻觉”、实现更好对齐的新方式——经由过程“进程监视”来提高AI年夜模子的数学推理能力。

OpenAI研究人员在陈述中写道:“即便是最早进的模子也轻易发生子虚信息——它们表示出在不肯定的时刻编造事实的偏向。”“这些幻觉在需要多步推理的范畴特别成问题,由于一个逻辑毛病就足以粉碎更年夜的解决方案。”

OpenAI匹敌AI“幻觉”的新策略是:嘉奖每一个准确的推理步调,而不是简单地嘉奖准确的终究谜底。研究人员暗示,这类方式被称为“进程监视”,而不是“成果监视”。

这类策略可能还会致使更具注释性的AI,由于它鼓动勉励模子更多地遵守近似人类的“思惟”方式链。除获得高在“成果监视”的机能表示外,“进程监视”也许也有助在解决对齐困难。

今朝,OpenAI的研究人员尚不清晰这些成果可否利用在数学范畴以外,但他们认为,摸索“进程监视”在其他范畴中的影响将相当主要。

OpenAI的研究员卡尔 科布(Karl Cobbe)告知CNBC:“检测和减轻模子的逻辑毛病或幻觉是构建一致的AGI(通用人工智能)的要害一步。”他指出,OpenAI固然并未发现“进程监视”方式,但正在帮忙鞭策它向前成长。“这项研究背后的念头是解决幻觉问题,以使模子更有能力解决具有挑战性的推理问题。”

科布说,OpenAI已发布了一个附带的数据集,此中包括80万小我类标签,用在练习研究论文中提到的模子。

美国电子隐私信息中间(Electronic Privacy Information Center)高级参谋兼人工智能和人权项目负责人本 温特斯(Ben Winters)暗示思疑,他告知CNBC,但愿能查抄完全的数据集和随附的示例。“我认为仅此一项其实不能显著减轻对毛病信息和不准确成果的耽忧。”温特斯说。

因为不清晰OpenAI论文是不是颠末同业评审或以其他格局进行评审,布朗年夜学手艺责任中间主任苏雷什 文卡塔苏巴拉马尼安(Suresh Venkatasubramanian)告知CNBC,他认为这项研究只是初步不雅察。“在我们可以对此颁发任何必定之前,这需要在研究界获得证实。”“因为年夜型说话模子的工作体例整体上不不变,在一种设置、模子和上下文中可能有用的工具,在另外一种设置、模子和上下文中可能不起感化。”

文卡塔苏巴拉马尼安弥补说:“人们一向担忧的一些幻觉是(模子)编造援用和参考。本文中没有证据注解这会起感化。”

科布暗示,OpenAI“可能会将(论文)提交给将来的会议进行同业评审。”OpenAI没有回应当公司打算什么时候将新策略实行到ChatGPT和其其他产物中。

(原题目:《对于AI子虚信息!OpenAI称找到新方式减轻年夜模子“幻觉”》)

特殊声明:本文转载仅仅是出在传布信息的需要,其实不意味着代表本网站不雅点或证实其内容的真实性;如其他媒体、网站或小我从本网站转载利用,须保存本网站注明的“来历”,并自大版权等法令责任;作者假如不但愿被转载或联系转载稿费等事宜,请与我们联系。


上一篇:金年会-AI假造五角大楼爆炸图片,推特开启众包事实核查—新闻—科学网 下一篇:金年会-对话妇产科医生段仙芝|中国首针免费HPV疫苗背后的故事—新闻—科学网
top
top