商傳媒「Token成本高於員工」企業反思AI投資效益

「Token成本高於員工」企業反思AI投資效益

由於代理式AI的普及與Token消耗量飆升,全球企業正重新評估其AI投資策略,多數公司發現AI營運成本急遽攀升,甚至可能超越員工薪資,因此Meta、Uber等科技巨頭已開始審視AI工具的效益,並轉向使用開源或小型專業模型以降低成本。

隨著人工智慧(AI)技術的快速發展與應用普及,全球企業對AI的擁抱正逐漸轉變為成本考量。根據《Asia Financial》報導,由於產業重心轉移及對「代理式AI」(agentic AI)需求的飆升,使用AI的成本已急劇增加,迫使各企業重新評估其AI支出策略。

最初為鼓勵業界採用,諸如OpenAI和Anthropic等領先AI公司,在ChatGPT問世後曾以極低的價格吸引客戶。然而,這種「補貼式智慧」的時代已開始轉變。Delphi Labs新創育成中心的Kevin Simback指出,目前許多企業正感受到成本壓力。Omniux科技顧問公司的Mark Barton也表示,特別是在開發者圈中,使用AI進行程式編寫等任務的成本呈指數級增長,「所有成本確實都在飆升。」

成本的關鍵在於「Token」(記號),這是AI公司用來向客戶計費的基本單位。與僅回答問題的聊天機器人不同,代理式AI能實際執行任務,例如預約、編寫程式碼或管理文件。然而,一項代理式任務可能消耗的Token量,是簡單聊天訊息的數十倍,導致營運成本高昂。J.Gold Associates分析師Jack Gold觀察到,某些情況下,Token的成本在短短一兩個月內就可能超越員工薪資,原因正是過度使用。

面對高漲的成本,即使是曾鼓勵員工將Token使用量作為生產力指標的Meta,也已開始重新思考其策略。Meta技術長安德魯·博斯沃思(Andrew Bosworth)明確表示:「不應為了使用AI而使用AI工具。」Uber營運長本週更進一步指出,AI的大量投入並未帶來顯著的生產力提升。此外,支撐這些AI運作所需的電腦晶片和資料中心,供應已無法滿足需求,造成運算資源短缺,進一步增加新興產業的不確定性。

為有效降低成本,企業正採取多種策略。一部分公司轉向採用免費的開源AI模型,儘管其功能不及ChatGPT或Anthropic的Claude模型強大,但足以應對許多任務。另一些企業則選擇體積更小、更專業化的模型,專為房地產或金融等特定行業設計,而非大型通用模型。此外,有企業將大型AI任務分解成多個小步驟,並將每個步驟交由成本最低的模型處理。Envorso顧問公司Adrian Balfour舉例,大型整體模型的每百萬Token成本可能高達15美元,但透過小型模型可降至5美分,價格差異顯著。

這些轉變預示著AI正逐漸商品化,未來選擇AI模型時,其價格與適用性將比特定模型的性能更受重視。


想讓你的品牌在新聞媒體曝光? 立即點我加入官方LINE@免費諮詢

熱門新聞