本地跑 AI 完整選型指南 2026:Ollama、LM Studio、Jan 怎麼選+台灣個資法解析
公司用 ChatGPT 處理客戶合約、員工資料、會議紀錄,這些資料都傳到了雲端。台灣個資法 2025 年 11 月修法後,最高罰款提高到 NT$1,500 萬。很多企業還在等「AI 法規出來再說」,但管得到你的法規早就到了。
這篇從「你是哪種人」出發,幫你選到對的本地 AI 工具、知道自己的硬體夠不夠用、搞清楚法律上現在就該做什麼。
TL;DR
- 三工具是給三種人:Jan(非技術,本地版 ChatGPT)、LM Studio(半技術,個人 AI 工作站)、Ollama(工程師,API 底層基礎設施)。用錯工具是卡關主因
- MacBook M4 16GB 跑 Llama 3.1 8B 有 25-45 tok/s,已夠日常工作使用
- 台灣個資法 PDPA Article 27「適當安全措施」已涵蓋雲端 AI 資料傳輸場景,違規最高罰 NT$1,500 萬。AI Basic Act 目前無可執行義務,子法規最多 2 年後才到
- 本地 AI = 物理隔離(可自行驗證);雲端企業版 = 合約承諾(需信任供應商),隱私模型根本不同
- 月呼叫量 30 萬次以上才值得本地部署(據產業報告),以下規模雲端仍較划算
你選的工具根本不是服務你這種人的
這是整篇文章最重要的一件事。
在繁中社群(iT邦幫忙、PTT)裡,Ollama、LM Studio、Jan 幾乎都被放在一起比較功能。但這三個工具不是功能強弱的排列,它們服務的是完全不同的受眾:
| Jan | LM Studio | Ollama | |
|---|---|---|---|
| 目標受眾 | 非技術使用者 | 半技術使用者 | 工程師 |
| 主要介面 | GUI(像 ChatGPT) | GUI + SDK + CLI | CLI + API |
| 核心場景 | 日常對話、文件摘要 | 模型測試、進階工作流 | 應用程式整合、批量處理 |
| 一句話定位 | 本地版 ChatGPT | 個人 AI 工作站 | 開發者的 AI 底層 |
如果你不是工程師卻在用 Ollama,你不是在用「最強的工具」,你是在用「不是設計給你用的工具」。這是大多數人卡關的真正原因。
Jan:不懂技術也能上手的本地版 ChatGPT
Jan 最新版 v0.7.9(2026-03-23),是這三個工具裡最接近 ChatGPT 使用體驗的選擇。模型點選下載,對話介面直覺,GitHub 41.8k stars。
官方定位很明確:「Personal Intelligence that answers only to you.」本地模型的資料完全不離開你的電腦。
幾個重點:
硬體需求:AVX2 CPU 必要,8GB RAM 最低(16GB 建議),GPU 加速需 6GB VRAM 以上。比 Ollama 和 LM Studio 的入門門檻稍低。
自有模型:Jan 有自家的 Jan Nano 32k 和 Jan V3 模型,初次安裝就能選用,不需要另外去找模型。
Cloud Integration 的陷阱:Jan 支援接入 OpenAI、Claude、Gemini 等雲端模型,但這是 opt-in 功能。一旦啟用,你的資料就會走到對應的雲端供應商,Jan 本身不留存但隱私保護就回到「信任供應商」的模式了。如果你是為了隱私才用 Jan,確保你只用本地模型。
MCP 整合:Jan 支援 MCP 協議,可以擴充工具能力。
適合誰:行政人員、非技術主管、任何想要「像 ChatGPT 但資料不離開公司」的人。
LM Studio:個人 AI 工作站,半技術使用者的最佳選擇
LM Studio 最新版 0.4.11(2026-04-10),定位在 Jan 和 Ollama 之間:GUI 足夠直觀讓非工程師使用,但同時提供 JavaScript/Python SDK 和 lms CLI 給需要自動化的使用者。
重點特色:
免費個人和商業使用:不需要付費就能在公司使用,這對預算有限的團隊是大加分。
雙引擎支援:GGUF(llama.cpp)和 Apple MLX 模型都支援。在 Apple Silicon 上,MLX 引擎的推論速度明顯更快。
LM Link(v0.4.7 新功能):可以連接遠端 LM Studio 實例,搭配 Tailscale 端對端加密。資料走到你自己設定的遠端機器,不經過 LM Studio 的伺服器。這對需要在辦公室共享 AI 算力的小團隊很實用。
適合誰:想在本機測試不同模型的技術好奇者、需要穩定 GUI 介面的半技術開發者、想要「可以演示給老闆看」的本地 AI 方案的人。
Jan vs LM Studio 的選擇邏輯:如果你只需要對話介面,選 Jan。如果你想測試不同模型、需要 API 端點、或者想寫簡單腳本自動化,選 LM Studio。
Ollama:工程師的 AI 底層 API
Ollama 目前 169k GitHub stars,是本地 AI 領域最廣泛採用的開發者工具。它不是一般使用者的工具,它是讓開發者在本機跑模型並透過 API 呼叫的基礎設施。
核心賣點是 OpenAI-compatible API 端點,你可以直接把現有 OpenAI SDK 的 base_url 指向 localhost:11434,不用改其他程式碼。支援 200+ 模型,包含 Llama 3.3、Qwen 2.5、DeepSeek-R1、Gemma 4。
Apple Silicon 加速:Ollama 0.19 版起引入 MLX backend,在 Apple Silicon 上 decode 速度提升約 93%。這讓 MacBook 跑本地模型從「勉強能用」變成「正式可行」。
繁體中文模型:台灣政府推動的 TAIDE v2.0(基於 Llama 3.1)可直接用 Ollama 執行:ollama run willh/taide-lx-7b-chat-4bit。如果你的業務大量處理繁體中文,值得測試 TAIDE 和通用模型的差異。
遙測的重要提醒:Ollama 的本地推論確實在本機完成,官方明確表示「不會收集、儲存或存取你的 prompts 和回應」。但預設會收集設備資訊、IP 位址、應用版本、請求計數等遙測資料。對隱私需求極高的場景(法律、醫療),需要額外設定:
# 方法 1:環境變數
export OLLAMA_NO_CLOUD=1
# 方法 2:啟動參數
ollama serve --no-telemetry
成本經濟學:據產業報告,月呼叫量超過 30 萬次時,本地部署成本(約 NT$30,000/月)約為雲端 API(約 NT$150,000-180,000/月)的 1/5 到 1/6。但前期硬體投資(Mac Mini M4 Pro 48GB 約 NT$55,000)需要 2-3 個月才能回收。小規模用量下,雲端仍是更划算的選擇。
Ghost Pepper:法律事務所和醫療診所的本地語音轉文字選項
Ghost Pepper 是一個非常精準的工具:100% 本地的語音轉文字(STT,不是 TTS),專門針對高敏感場景設計。
2026 年 4 月上線後在 Hacker News 拿到 467 upvotes(截至 2026-04-15),Product Hunt 185 upvotes。MIT License,完全免費。
我特別想說清楚這個工具的隱私設計:轉錄內容不寫入磁碟,debug logs 只在 RAM 中處理。這代表即使電腦被拿走,磁碟上也找不到任何會議紀錄的痕跡。對法律事務所處理客戶諮詢錄音、醫療診所的病患對話記錄,這個設計差異是根本性的。
平台限制很明確:macOS 14.0(Sonoma)以上 + Apple Silicon(M1 以上)。沒有 Windows 版,沒有 Linux 版。如果你的公司用 Windows,這個工具目前不是選項。
模型:使用 WhisperKit 進行語音辨識,搭配本地 LLM 做逐字稿清理(去除贅字、整理格式)。
企業部署:支援 MDM(Mobile Device Management)透過 PPPC payloads 部署,這讓 IT 部門可以大規模推送而不用逐台設定。
Ghost Pepper 使用的 Qwen3-ASR 模型與 Qwen3 系列同源,如果你對這個模型家族有興趣可以延伸閱讀。
你的 MacBook 夠不夠跑本地 AI?硬體現實檢查
很多人以為跑本地 AI 需要高端顯卡。實際上,2026 年的入門門檻比你想的低很多。
可用記憶體公式:(總 RAM × 0.75)− 3.5 GB = 可供 LLM 使用的記憶體
用這個公式對照你手上的設備:
| 設備 | 可用 LLM 記憶體 | 可跑模型 | 速度 |
|---|---|---|---|
| MacBook M4 16GB | ~12-13 GB | Llama 3.1 8B, TAIDE 7B | 25-45 tok/s |
| MacBook M4 Pro 48GB | ~32 GB | 33B 舒適;70B 減量化可行 | 30-50 tok/s |
| Mac Mini M4 Pro 48GB | ~32 GB | 同上(企業建議配置,約 NT$55,000) | 30-50 tok/s |
| Windows + RTX 3060 12GB | 12 GB VRAM | 8B 模型 | 40+ tok/s |
| CPU-only(無 GPU) | 取決於 RAM | 8B 模型可跑 | 3-6 tok/s(僅批次處理) |
反常識的一點:M3 Pro 的記憶體頻寬(150 GB/s)其實低於 M2 Pro(200 GB/s)。如果你從 M2 Pro 升級到 M3 Pro,跑 AI 推論反而更慢。Apple Silicon 的 AI 性能不是單純看世代。
M4 16GB 是可行的入門點。如果你有現成的 MacBook,不需要先買新硬體就能開始試。
台灣個資法早就到了:你以為要等的 AI 法規,其實還沒來
這段可能是很多企業 IT 和法遵人員最需要看的。
現況:很多台灣企業在等「AI 法規出來再說」才決定要不要改用本地 AI。這裡有個關鍵的時間軸誤解。
已經生效的:個人資料保護法(PDPA)2025 年 11 月 11 日公布修正案,個資保護委員會(PDPC)正在籌建中。Article 27 要求企業對個人資料採取「適當安全措施」,這條規定已經涵蓋了「把客戶或員工資料傳給雲端 AI 處理」的場景。
根據 Jones Day 和 K&L Gates 的法律分析,修法後的關鍵變化:
- 最高罰款:NT$1,500 萬(修法後,未在期限內改善者)
- 通報義務:違規需主動通報個資主體和 PDPC,不得延遲
- PDPC 成立:統一監管機關,取代過去多部會分管的碎片化模式
還沒到的:人工智慧基本法(AI Basic Act,2026 年 1 月 14 日通過)設定了 7 項原則(隱私、資料最小化、問責等),但目前沒有具體的可執行義務。子法規最多還要 2 年才會到位。
常見誤解:媒體標題「台灣 AI 法規上路」讓很多企業以為 AI Basic Act 已有強制效力。法律分析明確指出:「企業目前只需要理解 7 項原則的精神」,沒有具體行動要求。真正有罰則的是已修正的 PDPA。
GDPR 管不管得到你? 台灣企業如果只服務台灣客戶,不受 GDPR 管轄。只有當你的業務服務到歐盟居民時,才需要另外考慮 GDPR 的要求。
本地 AI 的合規優勢:面對 PDPA Article 27 的合規審計時,本地 AI 可以用技術手段舉證「適當安全措施」(例如網路封包監控證明資料沒有外傳),這比依賴雲端供應商的合約承諾更容易通過審計。
本地 AI vs 雲端企業版 AI:兩種隱私模型的本質差異
「雲端企業版 AI 也說不會用你的資料訓練,那跟本地 AI 有什麼差?」這是我最常被問的問題。
差異不在「有沒有人看你的資料」,而在風險模型:
本地 AI(如 Ollama):你的 prompts、回應、模型互動資料,物理上無法離開你的電腦。Ollama 官方的說法是:「We do not collect, store, transmit, or have access to your prompts, responses, model interactions, or other content you process locally.」你可以用封包監控工具自行驗證。
雲端企業版(如 ElevenLabs Zero Retention Mode):資料在 volatile RAM 中處理後立即刪除。有 SOC 2 Type II、ISO 27001 認證。但這是一個合約承諾,你需要信任供應商。而且 Zero Retention Mode 只有企業版才有,Starter、Creator、Pro 方案都沒有。
| 本地 AI | 雲端企業版(Zero Retention) | |
|---|---|---|
| 隱私保護機制 | 物理隔離 | 合約承諾 |
| 你可以自行驗證嗎? | 可以(封包監控) | 不行(需信任認證) |
| Article 27 合規舉證 | 技術證據 | 合約+認證文件 |
| 誰承擔風險? | 你自己(但可控) | 供應商(不可控) |
兩種模型都有其適用場景。不是所有資料都需要本地 AI 的隱私等級,但處理客戶個資、醫療紀錄、法律文件時,「可自驗」和「供應商承諾」的差異就變得關鍵。
決策框架:你到底需不需要本地 AI?
本地 AI 不是萬靈丹。以下三個問題幫你在 5 分鐘內決定:
問題 1:你處理的資料有多敏感?
- 客戶個資、醫療紀錄、法律文件 → 強烈建議本地 AI
- 內部行政文件、公開資料分析 → 雲端企業版足夠
- 台灣法規強制本地化的場景:金融業(金管會跨境資料限制)、醫療(衛福部醫療紀錄規定)、國防、政府機關(2025 年 2 月指引)
問題 2:你的月呼叫量有多大?
- 30 萬次以上 → 本地部署成本約 NT$30,000/月,是雲端的 1/5 到 1/6(據產業報告)
- 以下 → 雲端仍較划算,本地部署的硬體前期投資(Mac Mini M4 Pro 48GB 約 NT$55,000)需要 2-3 個月回收
問題 3:你有 IT 維護能力嗎?
- 有 IT 團隊 → Ollama + 企業內部 API 是最佳架構
- 有技術好奇心的個人 → LM Studio
- 完全非技術 → Jan(幾乎零設定)
如果三個問題的答案都指向「不需要」,現階段用雲端企業版 AI 搭配合約審查就好。不需要為了「隱私」而強迫自己用不擅長的工具。
風險揭露:本地 AI 的常見誤解和踩坑
「本地 AI = 完全沒有任何資料傳輸」,這個理解不完全正確。
Ollama 遙測:預設開啟,會收集設備資訊和請求計數。高隱私場景務必設定 OLLAMA_NO_CLOUD=1 或 --no-telemetry。
Jan Cloud Integration:Jan 支援接入雲端模型(OpenAI、Claude、Gemini),一旦啟用就不再是「本地 AI」了。確認你只使用本地模型。
LM Studio LM Link:opt-in 的遠端連線功能,資料流向是你自己設定的遠端機器,不是 LM Studio 的伺服器。但如果設定錯誤,資料就跑到不對的地方了。
Ollama 的 Cloud Model 陷阱:ollama run openai:gpt-4o 看起來像在 Ollama 裡執行,但資料實際走的是 OpenAI 的 API。這不是本地執行。
部署前的 checklist:
- 確認遙測已關閉
- 確認未啟用雲端模型整合
- 確認執行的是本地模型,而非 cloud model wrapper
- 用封包監控工具(如 Little Snitch、Wireshark)驗證沒有非預期的外部連線
結論
選對工具比追求最強工具重要。
如果你是非技術使用者,Jan 讓你在 10 分鐘內擁有一個不傳資料的私人 AI 助理。如果你是半技術使用者,LM Studio 給你更多控制權。如果你是工程師,Ollama 是你的 API 基礎設施。
硬體門檻比你想的低:MacBook M4 16GB 就能開始。
台灣個資法不是未來式:PDPA Article 27 現在就有效,最高罰款 NT$1,500 萬。
從「你是哪種使用者」這個問題開始,5 分鐘就能決定你的工具。
FAQ
本地跑 AI(例如 Ollama)真的完全不會把資料傳出去嗎?有沒有例外要注意?
本地推論確實在本機完成,Ollama 官方明確表示不會收集、儲存或存取你的 prompts 和回應。但 Ollama 預設會收集設備資訊、IP 位址、應用版本、請求計數等遙測資料。高隱私場景需設定 OLLAMA_NO_CLOUD=1 環境變數或啟動時加 --no-telemetry flag。另外要注意:如果你用 ollama run 執行雲端模型(如 openai:gpt-4o),資料會走到該雲端供應商,這不算本地執行。
法律事務所或醫療診所這類對資料保密要求極高的機構,適合用哪種本地 AI 方案?
語音轉文字推薦 Ghost Pepper(macOS + Apple Silicon 限定,完全不寫磁碟),文字處理推薦 Jan(最接近 ChatGPT 的操作體驗,非技術人員也能上手)或 LM Studio(需要進階功能時)。有 IT 支援的機構可考慮 Ollama 建立內部 API。關鍵是所有工具都要關閉遙測設定,並確認使用的是本地模型而非雲端模型。
MacBook M4 16GB 可以跑本地 AI 嗎?速度會不會很慢?
可以。MacBook M4 16GB 可用記憶體約 12-13GB,跑 Llama 3.1 8B 等級模型速度約 25-45 tok/s,日常工作(文件摘要、程式輔助、翻譯)完全夠用。如果想跑 33B 以上模型,需要 M4 Pro 48GB 以上。CPU-only 環境(無 GPU 加速)只有 3-6 tok/s,只能批次處理。
我的公司目前用 ChatGPT 處理客戶資料,這樣有法律風險嗎?
有潛在風險。台灣個資法(PDPA)Article 27 要求企業對個人資料採取「適當安全措施」,這已涵蓋把客戶或員工資料傳給雲端 AI 處理的場景。2025 年 11 月修法後,違規最高罰款 NT$1,500 萬。建議立即盤點哪些雲端 AI 工具在處理個人資料,評估資料類型的敏感度,並考慮敏感資料改用本地 AI 處理。


