文章已取消收藏!
找文章

企業部署 AI,500 萬搞定!專屬 AI 是什麼?雲端、地端有什麼差異?

2025.07.07
王聖華
企業部署 AI,500 萬搞定!專屬 AI 是什麼?雲端、地端有什麼差異?
圖片來源|Freepik

「DeepSeek 出現以前,許多中小企業其實不敢問,也不敢碰 AI,覺得太貴、自己玩不起。」資誠創新諮詢公司董事長盧志浩說道:「是 DeepSeek 讓大家發現,原來有機會可以不用花很多成本訓練,也可以做出表現優異的 AI。」

今年 1 月,由中國新創公司推出的開源語言模型 DeepSeek-R1 橫空出世,號稱訓練成本僅 600 萬美元,迅速引發全球對AI訓練成本的討論。如今 5 個月過去,DeepSeek 究竟對產業造成了哪些改變?如何撼動企業的 AI 部署策略?

盧志浩認為,與其說 DeepSeek 已經對企業使用 AI 的現況造成影響,不如說 DeepSeek 開拓了許多企業的想像,他們終於開始「敢碰 AI」了,甚至已經有企業打造出 AI 法務助手、AI 業務系統等功能。

自 ChatGPT 問世的 2 年多,企業導入 AI 呈現 M 型化趨勢。大型企業有能力拿出每年幾千萬元、幾億元的 AI 預算,直連微軟、AWS、Google 等雲端服務供應商,而小型企業可用 SaaS 模式敏捷導入;唯獨大量中型企業顯得不上不下,既沒有豐沛的預算,又礙於合規、資安因素等,遲遲難以應用AI。

直到 DeepSeek 的出現,企業才看見了「自建 AI」的可行契機。資策會 MIC 產業顧問兼組長朱師右指出, DeepSeek 的出現,使得「開源」與「蒸餾」這 2 項特性正式走入產業視野,為企業指出一條新的 AI 導入路徑——在地端打造專屬 AI 模型 。

所謂開源,意味著企業不再受限於雲端、封閉的 AI 模型,能夠將 AI 部署在自有環境中,不僅提升資安掌控力,也開啟了自行訓練與調整模型的可能性。而蒸餾技術則讓模型變得更小、更輕量,卻仍保有一定的效能;企業得以用更低的運算成本,獨立運行 AI 應用。

換言之,使用雲端服務不再是企業導入AI唯一的選擇。群聯電子技術長林緯進一步指出,相 比雲端 AI 對於雲端服務商較為依賴,地端專屬 AI 能夠全盤操之在己,因而在資安、穩定性與自主性3大因素占有優勢。

數位時代

最怕上雲資安外流!企業自建地端自主掌握機密資料

「ChatGPT 剛推出時,企業導入 AI 多半仰賴雲端服務或串接 API(應用程式介面),但許多關鍵知識、機密資料其實無法上雲,因此愈來愈多企業傾向尋求更具掌控性的方案,降低風險、提高彈性。」資策會 MIC 資深產業顧問兼主任朱南勳表示。

那些顧慮雲端資安問題,或是期待低成本、高度客製化 AI 的企業,這次終於有機會乘上 AI 浪潮。年初至今,硬體廠商群聯電子、資訊服務業精誠資訊等相關廠商,都明確感受到台灣企業對於 AI 導入的企圖心顯著上升。

就像個人用戶為了讓 AI 更懂自己,透過提示(prompt)、自訂指令等方式調整 AI,企業也期待 AI 更了解特定領域知識、公司內部資料,甚至內化企業文化與工作流程。這也推動企業投入自建與調校技術,將通用模型轉為符合自身情境的版本,打造真正「專屬的 AI」。

具體而言,專屬 AI 常用於企業知識管理、流程優化與內部客服等。透過串接內部資料庫,能快速回應查詢、輔助決策,成為懂公司語言的數位助理。

數位時代

精誠資訊以一間汽車零件廠的業務系統為例:過去業務準備報價時,需要先查詢料號、過往交易紀錄,以及庫存情況等,多半需要 3 天左右,若是使用對接公司內部的資料庫的專屬 AI,業務即可直接詢問 AI 得到資料,報價流程成功縮短至 1 小時內。

企業專屬 AI 有多種執行模式,目前討論度高的主流方法之一,是運用開源模型(如 Mistral、Llama 或 DeepSeek),再加上 Fine-tune(微調)、RAG(檢索增強生成)等調整模式,來訓練 AI 特定領域的知識,或是連結外部資料庫。

對此,APMIC AI 生態圈策略夥伴總監蔡宜潔分享,通用模型往往對於專業領域的知識掌握度不足,尤其在製造、法律等領域,需要進一步訓練才能提高可用性。

(延伸閱讀|突破雲端大型 AI 應用困境!APMIC 為企業量身打造地端專屬 AI 大腦)

這種運用「開源模型、自行調整」模式製作而成的專屬 AI,除了非常了解公司、符合使用需求之外,更重要的是能夠放置於「地端」,將機敏資料留在自家設備。

雲端 AI 將資料儲存與運算作業委由遠端伺服器執行,並透過網路將結果傳輸給用戶;地端則是將伺服器、系統及相關運算資源部署於自有環境,自行管理資料儲存與運算作業。基於資安或合規要求,台灣的製造、醫療與金融等產業,對於上雲有所疑慮,因此更傾向將資料保存於自家硬體設備。

即便地端技術可行、符合使用需求,硬體成本仍是常見門檻。相比雲端供應商以 token 或算力彈性計費,地端的運作邏輯是購買 GPU、NPU 或顯示卡做為運算基礎。林緯估算,過往若是使用輝達的硬體方案,地端導入 AI 的成本可能動輒上億元。

然而,目前相關成本持續下降中。根據史丹佛大學人本人工智慧研究中心的研究, AI 的推理成本在 2 年間下降 280 倍以上,硬體成本則是成本每年下降 30%,能源效率每年提高 40% 。許多台灣硬體廠商也推出更便宜的一體機,軟體供應商則提供模型微型化、GPU 管理等降本增效的新方案。

根據多間供應商的估算,目前企業若要初步導入的話,約 200 萬元至 300 萬元即可製作地端專屬 AI,硬體設備占 100 至 150 萬元。整體而言,無論是硬體設備、算力成本都在逐步平價化,讓「落地應用」不再遙不可及。

擁抱地端前,須考量自建門檻、維運成本

在 DeepSeek 效應帶動下,地端專屬 AI 正逐漸成為企業導入的可行選項。然而,考量導入生成式 AI 時,仍應依據資料敏感度、導入資源、應用目標與管理能力,來評估究竟要使用雲端還是地端方案。

相較於雲端的即用即接,地端部署往往伴隨較高的導入門檻與維運成本,不僅需自行建置設備與機房,還須負擔後續維運與擴充規畫,整體流程複雜度遠高於雲端。

數位時代

雲端部署的優勢在於導入速度快、彈性高、維運成本低,特別適合導入初期或缺乏 IT 能力的企業;而地端部署則強調資安、系統穩定性與高度客製化,適用於資料敏感度高(如製造、醫療、金融)、已具備一定數位化基礎,並且對 AI 應用已有明確規畫的企業。

此外,也有愈來愈多企業採用「雲地混合」架構——將機敏資料與關鍵模組保留在地端,其餘則交由雲端運行,實現資安、彈性與效率的平衡。

若從台灣整體產業角度觀察,盧志浩指出,地端部署與小參數模型 AI 的組合,正是台灣產業得以發揮優勢的關鍵場域。台灣擁有高度整合的晶片設計與製造實力,從 AI 晶片、邊緣 AI 裝置到 AIPC 終端設備,皆具備成熟供應鏈與技術支撐。

企業導入 AI 的關鍵,不在於選擇雲端或地端的單一路徑,而是理解自身需求與風險承受度,靈活規畫最合適的部署策略。另外,盧志浩也提醒企業,不需等待所有條件成熟再啟動,只要具備初步的治理能力,就能一邊導入、一邊修正,逐步建立屬於自己的 AI 規範與應用架構。

當生成式 AI 正重塑產業格局,企業若仍選擇觀望,無異於錯失轉型良機。地端、自主、小模型,或許正是台灣企業啟動下一階段創新的起點。

(延伸閱讀|企業導入解決方案容易陷入「閃亮事物症候群」!這是什麼?怎麼避免?)

作者介紹
王聖華
王聖華 /
採訪編輯

清大人社畢業。記者之路由新竹地方創生產業起始,曾參與多本地方刊物與專書撰稿,擅長田野調查與深度採訪。如今踏上探索產業創新的旅途,依然相信文字是能乘載最多想法的媒介。

karina.wang@bnext.com.tw

喜歡這篇文章嗎?分享或收藏起來!

登入未來商務會員

開啟專屬自己的主題內容,

每日推播重點文章

我還不是會員, 註冊去!
找文章 找解方