到目前为止，大多数聊天机器人用户已经接受了人工智能(AI)工具在几乎所有场景中都会产生幻觉的可能性。尽管人工智能内容检测器、事实检查器和越来越复杂的大型语言模型(llm)做出了努力，但还没有开发人员找到解决方案。

与此同时，错误信息的后果只会越来越严重:人们正在使用ChatGPT等生成式人工智能(gen AI)工具来创建虚假研究。

哈佛大学肯尼迪学院最近发表在《错误信息评论》上的一项研究发现，学术文献搜索引擎谷歌学术上的139篇论文似乎是人工智能生成的。研究人员发现，大多数“可疑”论文发表在未被索引(未经验证)的期刊上，尽管其中19篇论文发表在被索引的期刊和知名出版物上。另外19个出现在大学数据库中，显然是学生写的。

更令人担忧的是论文的内容。57%的假研究涵盖了健康、计算技术和环境等主题——研究人员指出，这些领域与政策制定相关，并可能影响政策制定。

在分析了这些论文之后，研究人员认为它们很可能是人工智能生成的，因为它们包含了“使用大型语言模型(LLM)(如OpenAI的ChatGPT)的会话代理返回的两个常见短语中的至少一个”。然后，该团队使用谷歌搜索来查找可以访问这些论文的位置，并在数据库、档案、存储库和社交媒体上找到它们的多个副本。

该研究解释说:“2022年ChatGPT的公开发布，加上谷歌学术的工作方式，增加了非专业人士(如媒体、政治家、病人、学生)遇到有问题(甚至完全是gpt捏造的)论文和其他有问题的研究结果的可能性。”

该研究背后的研究人员指出，他们的论文并不是第一个被怀疑是人工智能生成的学术论文清单，而且这些论文“不断被添加”。

那么，这些虚假的研究在互联网上有什么风险呢?

虽然宣传和草率或伪造的研究并不新鲜，但人工智能使这些内容更容易创建。研究人员在他们的发现中解释说:“大量伪造的‘研究’渗透到研究基础设施的所有领域，有可能压倒学术交流系统，并危及科学记录的完整性。”他们接着指出，有人可以使用人工智能“欺骗性地”创建“令人信服的科学内容”，并对其进行优化，以便在谷歌学术等热门搜索引擎上排名，这令人担忧。

早在今年4月，404 Media就在谷歌图书和谷歌学者上搜索了“截至我上次知识更新”这一短语，发现了类似的完全由人工智能制作的书籍和其他材料的证据。由于之前的数据集有限，这一短语在ChatGPT的回复中很常见。现在免费版的ChatGPT有网页浏览功能，可以访问实时信息，这样的标记可能不那么频繁或完全消失，使人工智能生成的文本更难被发现。

该研究解释说，虽然谷歌学术检索确实拥有大多数高质量的文献，但它“缺乏通常引语数据库所特有的透明度和对标准的遵守”。研究人员指出，与谷歌搜索一样，Scholar使用自动爬虫，这意味着“纳入标准主要基于技术标准，允许任何个人作者——无论是否隶属于科学机构——上传论文。”用户也不能过滤材料类型、出版状态或是否经过同行评议等参数。

谷歌学术搜索很容易访问，而且非常受欢迎。据SimilarWeb称，该搜索引擎上个月的访问量超过1.11亿次，仅次于researchgate.com等学术数据库。有这么多用户涌向Scholar，可能是基于他们日常使用的其他谷歌产品对品牌的信任，他们引用虚假研究的几率只会越来越高。

人工智能聊天机器人的幻觉与完全伪造的研究之间最明显的区别在于语境。如果查询ChatGPT的用户知道会有一些不真实的信息，他们可以对ChatGPT的回答持怀疑态度，并仔细检查它的声明。但是，如果人工智能生成的文本是由人类进行的经过审查的学术研究，并由一个流行的源数据库提供平台，用户就没有理由或手段来验证他们所阅读的内容是真实的。