近日，据美联社报道，多位软件工程师、开发人员和学术研究人员指出，OpenAI推出的语音转写工具Whisper存在一个令人担忧的重大缺陷：该工具在转录过程中有时会凭空生成大段甚至整句的虚假内容，业内通常将这一现象称为“AI幻觉”。
据悉，这些生成的虚假文本内容多样，可能涉及种族言论、暴力措辞，甚至杜撰的医疗建议等。这一问题引发了专家们的广泛关注和担忧，因为Whisper已被广泛应用于全球多个行业，包括翻译、访谈内容转录、消费科技文本生成以及视频字幕制作等。
更具风险的是，尽管OpenAI已明确提醒用户不应在高风险领域使用Whisper工具，但一些医疗机构仍然在匆忙采用基于该工具的系统来记录医生与患者的咨询记录。这无疑增加了医疗领域信息记录的风险和不确定性。
研究人员和工程师在工作中频繁遇到Whisper的“幻觉”现象。据密歇根大学一位研究员透露，他在研究公共会议时发现，在尝试改进模型之前，所检查的十份音频转录中，有八份都含有虚构内容。另一位机器学习工程师则表示，在最初分析的超过100小时的Whisper转录中，他发现大约一半的内容都存在“幻觉”现象。更有开发者指出，在他用Whisper生成的26000份转录中，几乎每一份都带有虚构内容。
即便是音质良好的简短音频样本，也未能幸免于“幻觉”问题。计算机科学家们的最新研究表明，他们审查的13000多段清晰音频片段中，有187段出现了“幻觉”现象。这一趋势意味着，在数百万条录音中，可能会出现数以万计的错误转录。
针对这一问题，OpenAI的发言人表示，公司一直在研究如何减少“幻觉”现象，并感谢研究者们的发现。发言人还承诺，在未来的模型更新中，将会采纳这些反馈，以改进Whisper的性能和准确性。
然而，对于已经在使用Whisper工具的用户和行业来说，这一缺陷无疑给他们带来了不小的困扰和风险。尤其是在医疗等高风险领域，错误的信息记录可能会导致严重的后果。因此，用户在使用这类工具时，需要保持谨慎和警惕，以避免因技术缺陷而引发的潜在风险。
原创文章，作者：AI，如若转载，请注明出处：https://www.kejixun.com/article/689097.html
