近日，據美聯社報道，多位軟件工程師、開發人員和學術研究人員指出，OpenAI推出的語音轉寫工具Whisper存在一個令人擔憂的重大缺陷：該工具在轉錄過程中有時會憑空生成大段甚至整句的虛假內容，業內通常將這一現象稱為“AI幻覺”。
據悉，這些生成的虛假文本內容多樣，可能涉及種族言論、暴力措辭，甚至杜撰的醫療建議等。這一問題引發了專家們的廣泛關注和擔憂，因為Whisper已被廣泛應用于全球多個行業，包括翻譯、訪談內容轉錄、消費科技文本生成以及視頻字幕制作等。
更具風險的是，盡管OpenAI已明確提醒用戶不應在高風險領域使用Whisper工具，但一些醫療機構仍然在匆忙采用基于該工具的系統來記錄醫生與患者的咨詢記錄。這無疑增加了醫療領域信息記錄的風險和不確定性。
研究人員和工程師在工作中頻繁遇到Whisper的“幻覺”現象。據密歇根大學一位研究員透露，他在研究公共會議時發現，在嘗試改進模型之前，所檢查的十份音頻轉錄中，有八份都含有虛構內容。另一位機器學習工程師則表示，在最初分析的超過100小時的Whisper轉錄中，他發現大約一半的內容都存在“幻覺”現象。更有開發者指出，在他用Whisper生成的26000份轉錄中，幾乎每一份都帶有虛構內容。
即便是音質良好的簡短音頻樣本，也未能幸免于“幻覺”問題。計算機科學家們的最新研究表明，他們審查的13000多段清晰音頻片段中，有187段出現了“幻覺”現象。這一趨勢意味著，在數百萬條錄音中，可能會出現數以萬計的錯誤轉錄。
針對這一問題，OpenAI的發言人表示，公司一直在研究如何減少“幻覺”現象，并感謝研究者們的發現。發言人還承諾，在未來的模型更新中，將會采納這些反饋，以改進Whisper的性能和準確性。
然而，對于已經在使用Whisper工具的用戶和行業來說，這一缺陷無疑給他們帶來了不小的困擾和風險。尤其是在醫療等高風險領域，錯誤的信息記錄可能會導致嚴重的后果。因此，用戶在使用這類工具時，需要保持謹慎和警惕，以避免因技術缺陷而引發的潛在風險。
原創文章，作者：AI，如若轉載，請注明出處：http://www.bdzhitong.com/article/689097.html
