在發(fā)布不到一周后，Amazon Q —— 亞馬遜對抗 Copilot 的生成式 AI 助手——已面臨生存威脅，一份新報告顯示這款 AI 助手可能產(chǎn)生「嚴重幻覺」。
據(jù) The Platformer援引泄露文件報道，Q 正面臨準確性和隱私問題，包括幻覺和數(shù)據(jù)泄露。值得注意的是，這一報道正值兩項重要研究顯示，大型語言模型（LLM）在連接企業(yè)數(shù)據(jù)庫時高度不準確，且變得越來越不透明之際發(fā)布。
然而，據(jù)亞馬遜一位發(fā)言人表示，Amazon Q 并未泄露任何機密信息。
「一些員工通過內(nèi)部渠道和工單系統(tǒng)分享反饋，這是亞馬遜的標準做法。那些反饋并未識別出任何安全問題。我們感謝收到的所有反饋，并將繼續(xù)調(diào)整 Q，使其從預覽產(chǎn)品過渡到普遍可用，」該發(fā)言人表示。
盡管亞馬遜聲稱其為數(shù)百萬人的工作伙伴，分析人士認為亞馬遜 Q 可能還未準備好用于企業(yè)環(huán)境。
EIIRTrend & Pareekh Consulting 首席執(zhí)行官 Pareekh Jain 表示：「如果存在幻覺，就不能在企業(yè)環(huán)境中用于決策。它適用于個人使用或獲取信息，但不適用于決策過程?！?/p>
更多測試需求
亞馬遜可能在其生成式 AI 助手準備好商業(yè)發(fā)布之前面臨重大的測試挑戰(zhàn)。Jain 強調(diào)了進行廣泛內(nèi)部試驗以確保準備就緒的重要性。
「我認為他們需要先對內(nèi)部員工進行更多測試，」Jain 補充道?！革@然，這正是他們現(xiàn)在正在做的。最終，沒有外部來源報告這些問題。這里有兩個方面：一是數(shù)據(jù)，另一個是算法。他們必須看看這是數(shù)據(jù)問題還是算法問題?！?/p>
Q 利用了 17 年 AWS 的數(shù)據(jù)和開發(fā)經(jīng)驗，旨在作為企業(yè)的多功能工具。鑒于行業(yè)的發(fā)展方向，亞馬遜在這款 AI 產(chǎn)品上投入了巨大的賭注。
盡管「幻覺」并不削弱生成式 AI 在消費者和企業(yè)用例中的潛力，但適當?shù)挠柧氈陵P(guān)重要，市場研究公司 IDC 的副總裁 Sharath Srinivasamurthy 表示。
「在更高質(zhì)量數(shù)據(jù)上訓練模型、提示增強（引導用戶使用模型容易理解的預定義提示）、針對組織或行業(yè)特定數(shù)據(jù)和政策不斷微調(diào)模型、在響應可疑時增加人工檢查層，這些都是需要采取的步驟，以充分利用這項新興技術(shù)，」Srinivasamurthy 說。
幻覺是否會促使迫切需要進行監(jiān)管？
關(guān)于幻覺的報告引發(fā)了對監(jiān)管需要和可能在某一時刻生效的規(guī)則嚴重性的擔憂。然而，Greyhound Research 首席分析師兼 CEO Sanchit Vir Gogia 指出，任何由此產(chǎn)生的監(jiān)管可能適得其反。
「事實上，任何監(jiān)管都可能減緩數(shù)據(jù)的交換和利用，」Gogia 說?！敢虼?，目前來說，這個行業(yè)越不受監(jiān)管越好。這允許更容易、更順暢地使用數(shù)據(jù)。以 OpenAI 的 GPT 為例——如果對可捕獲數(shù)據(jù)設置嚴格的防護欄，那么它就不會取得成功?！?/p>
Jain 也建議，設置外部邊界可能不是一個可行的想法，但公司本身可能會付出更多努力。
「監(jiān)管可能存在，但重點主要是自我監(jiān)管，」Jain 解釋說。「盡管監(jiān)管和指導方針是必要的，但對于能夠執(zhí)行的審核程度有一定的限制。重點應該是負責任的 AI，其中的邏輯可以向客戶解釋，而不是創(chuàng)建『黑箱』系統(tǒng)。然而，在我看來，有一個閾值，超過這個閾值，責任更多地轉(zhuǎn)向企業(yè)如何作為安全問題來看待和實施這些措施?！?/p>
所有目光聚焦于亞馬遜
雖然這些見解凸顯了更強大的內(nèi)部測試和自我監(jiān)管傾向的必要性，但在企業(yè)環(huán)境中部署 AI 的道路充滿了復雜性?，F(xiàn)在亞馬遜需要在這些挑戰(zhàn)中找到方向，特別是因為它在這一領域的晚期進入。
「AWS 在這個領域有些落后，目前微軟和谷歌正在領先，」Jain 補充道?！敢虼耍藗儗τ诹奶鞕C器人和其他相關(guān)技術(shù)抱有更高的期望。」
有關(guān) Amazon Q 的更多信息：https://top.aibase.com/tool/amazon-q
