Brand Advertisement

Live Now

亞馬遜大舉重整 Alexa+:自家模型取代 Anthropic Claude,AI 成本大降 40%

事件總覽:亞馬遜自去年底開始逐步調整 Alexa+ 的 AI 架構,從依賴第三方模型轉向自家開發,旨在降低成本並提高效率。

📅 2022年12月:初步調整計劃

亞馬遜內部文件顯示,公司在去年底開始制定一系列計劃,旨在降低 Alexa+ 的運營成本。這些計劃的核心是減少對 Anthropic Claude 模型的依賴,轉而使用自家開發的模型。

在此之前,Alexa+ 大量依賴 GPU 密集型雲端服務的大型語言模型,這使得原本成本較低的語音查詢變成了昂貴的 AI 負載。美國擴大上線後,亞馬遜面臨的算力與支出壓力也同步升高。

📅 2023年1月:技術調整與測試

隨後,亞馬遜開始實施這些技術調整,包括使用快取機制和更「確定」的回應機制,以減少不必要的推理運算。這些調整旨在提升每顆 GPU 的使用效率,不大幅增加硬體的前提下處理更多客戶請求。

根據文件,這些調整預計可以將 Alexa+ 的可用運算容量提升約 50%,回應時間縮短約 40%。

📅 2023年2月:成本預測與挑戰

文件還顯示,亞馬遜預測 Alexa+ 的 AWS 雲端成本今年可能達到約 17 億美元,幾乎是前一年的三倍,且比公司設定的每月活躍用戶雲端成本目標高約 60%。即使已找到約 4.5 億美元的潛在節省空間,評估仍認為很難達到財務目標。

為了應對這些挑戰,亞馬遜考慮延遲部分最昂貴的 AI 計畫,包括 Alexa 進階代理核心的 Project Moonraker。

📅 2023年3月:進一步調整與模型轉換

亞馬遜繼續嘗試縮小 Claude 模型在 Alexa+ 中的使用範圍,將部分專門的 Alexa「Experts」從 Claude Sonnet 轉至自家模型。在適合的情況下,直接使用快取回應,不再呼叫 Claude。

這反映了 AI 產業的競爭焦點,從「模型更聰明」轉向「模型更便宜」。亞馬遜也在評估 Nvidia GPU 與自家 Trainium 晶片哪個是更低成本的運算方案。

至今影響與未來展望

亞馬遜的這些調整不僅降低了運營成本,也提高了系統的效率。然而,這些變動也可能影響用戶體驗,特別是在某些特定場景下。未來,亞馬遜需要在成本控制和用戶滿意度之間找到平衡點。

從產業面來看,亞馬遜的這一調整反映了 AI 行業的一個重要趨勢:隨著模型的智能化水平不斷提升,成本管理成為企業不得不面對的挑戰。亞馬遜通過自家模型的優化,成功降低了運營成本,這可能會引發其他科技巨頭的效仿。

亞馬遜的這一舉措對於其他 AI 企業也有著重要的借鑑意義。如何在確保技術先進性的同時控制成本,將成為未來 AI 發展的重要課題。

本文改寫整理自公開新聞來源,原始報導由科技新報發布。

常見問題 FAQ

亞馬遜為什麼要調整 Alexa+ 的 AI 架構?

亞馬遜調整 Alexa+ 的 AI 架構主要是為了降低成本並提高效率。此前,Alexa+ 大量依賴 GPU 密集型雲端服務的大型語言模型,這使得運營成本大幅上升。

調整後的成效如何?

調整後,亞馬遜預計可以將 Alexa+ 的可用運算容量提升約 50%,回應時間縮短約 40%。

亞馬遜的這些調整對用戶有什麼影響?

亞馬遜的這些調整可能會改善系統的響應速度和運算效率,但也有潛在影響用戶體驗的風險,特別是在某些特定場景下。

※ 此篇文章由 AI 改寫或生成,內容僅供參考,可能存在錯誤或不準確之處。