2025 AI TAIWAN 未來商務展於 6 月 26 日至 28 日在台北圓山花博爭艷館盛大登場。今年以「AI in Action 賦能新商業」為主題,集結超過 250 家企業參展,來自 10 國近 80 組國際解方,展現台灣最大規模的 AI 應用與數位轉型生態系。
《未來商務》編輯團隊也直擊現場,帶來第一手觀察。
「ChatGPT 當然非常方便,但它同時非常傷害地球。僅僅一個 ChatGPT,每一年的電費與碳排放,和一個小型國家差不多。」耐能智慧(Kneron)創辦人暨執行長劉峻誠以此開場,點出雲端架構背後的高能源代價。
在 6 月 26 日登場的「國際趨勢高峰論壇」中,劉峻誠以「從雲端走進現實生活,開啟邊緣運算新時代」為題發表演說,直指當前 AI 發展面臨能源、資安與倫理三大風險。他強調,唯有推動 AI 私有化與邊緣部署,才能真正將 AI 帶入日常生活之中。
他並援引 Bloomberg Intelligence 的預測指出,到 2032 年,邊緣 AI 晶片市場規模將是雲端 AI 的 3.37 倍,顯示市場對可攜式、可控 AI 解方的高度需求。
雲端 AI 耗能驚人,生成式模型難以永續
AI 的高速發展伴隨著急劇成長的能源需求,特別是在以大型語言模型為基礎的雲端 AI 應用上。由於模型龐大、推論頻繁,仰賴資料中心與高階 GPU 的支持,導致整體功耗急遽上升。
「最近不是大家一直在炒核電議題,說台灣應該要蓋核電?為什麼?就是因為想要支援 AI 的發展。」劉峻誠點出,當前能源議題與 AI 發展已緊密相連。
這代表未來的 AI 競爭,不只是演算法與模型的角力,更是各國在能源基礎建設與運算資源上的綜合實力比拼。倘若雲端模型持續擴張,勢必加劇對能源的依賴,也可能造成碳排無法控制的風險。
雲端資料難掌控,AI 治理與信任危機浮現
除了能源挑戰,AI 完全依賴雲端運行也引發資料治理與信任問題。劉峻誠強調,資訊運作若完全託管於外部平台,將導致使用者喪失資料自主性。
「如果台灣的國防部開會,結果你的會議室架在 Microsoft 的伺服器上,那是不是連國家機密都難以自保?」他以敏感場景點出當前雲端架構潛藏的風險。
此外,AI 模型若以開放網路作為訓練來源,亦容易學習錯誤或偏誤資訊,進而影響判斷。「AI 可能會收集太多『負能量』,有一天就會被教壞。」他警告,生成式模型若缺乏管理,將可能出現錯誤回答甚至危險回應。
因此,「AI 運行在哪裡」不僅是技術選擇,更關乎治理安全與長期信任。若企業與政府無法掌握模型資料來源與運行環境,未來的決策系統將面臨難以預測的風險。
私有化與終端部署,才是可控與即時的解方
為解決上述挑戰,劉峻誠提出具體方向:AI 必須落地至終端,實現私有化部署。他指出:「當你把 AI 帶到終端上,它就不會被外面資訊亂交代方向,回應也會非常精準。」
這樣的部署方式不僅能提升系統安全性,也能確保企業可依自身條件調教模型、保護機密數據。他強調:「我們做的是封閉系統,它不會被外面的資訊影響。你自己訓練它,它就根據你公司、你部門的特殊情況去回答。」
此外,在需即時反應的應用情境中,例如自動駕駛與醫療診斷,AI 系統無法容忍 0.2 或 0.3 秒的延遲,邊緣運算便成為唯一選項。「它需要即時判斷,否則 0.2 秒或 0.3 秒的延遲,其實可能就會造成事故。」
劉峻誠認為,透過私有化與邊緣部署,企業可兼顧效能、安全與資料主權,讓 AI 不再是巨頭壟斷的資源,而成為人人可用的實用工具。
NPU 為何是關鍵?因為它讓 AI 回到你身邊
不過,要讓 AI 模型真正在終端裝置上運行,仍需克服一項核心限制——模型大小與運算能耗。而這正是 NPU(Neural Processing Unit)發揮關鍵作用的地方。
劉峻誠指出,NPU 是專為 AI 運算設計的晶片架構,有別於 CPU 與 GPU 的通用運算邏輯,能以更低功耗處理 AI 任務。他補充:「耐能的 NPU 是用類似積木的方式去組成各種應用。」模組化設計也讓 NPU 更能針對不同場景彈性配置。
他表示,具備高效能、低功耗與可縮小的特性,使 NPU 成為邊緣 AI 發展的基礎設施。模型一旦夠小,就能從資料中心移至終端,實現在手機、攝影機、車載系統等設備上的即時應用。
劉峻誠總結指出,NPU 不僅是 AI 晶片領域的重要技術突破,更是實現私有化與去中心化 AI 架構的關鍵支柱,也是產業在 AI 時代中不可忽視的核心技術。
(本文初稿由AI編撰)