HeliosLM tw-preview-7

依顯示卡記憶體選擇套件。每個 zip 含 GGUF、Ollama Modelfile、README 和 manifest。 Pick the package for your GPU memory; each zip holds the GGUF, an Ollama Modelfile, a README and the manifest. Full SHA-256 sums are in packages.json.

預覽版：這些套件是早期試作，尚未通過正式評測，僅供試用。Preview builds: early pilots, not yet past the release evaluation.

CPU／8–16 GB：HeliosLM TW E4B（續訓試作）；24 GB 以上：HeliosLM TW 26B-A4B（指令微調試作，預設直接回答、不先思考）。

晶片設計專用版（HDL 預覽）：HeliosLM HDL 下載

依顯示卡記憶體下載 · Downloads by GPU memory

如何下載並在本機執行 · Run it on your computer

三個步驟：選檔、下載解壓、用 llama.cpp、Ollama 或 LM Studio 執行。 模型完全在你的電腦上跑，不需要網路，對話內容不會傳出去。

1. 選哪個檔

• NVIDIA / AMD 顯示卡：看顯示卡記憶體（VRAM），對照上表的 Memory 欄。 Windows：工作管理員 → 效能 → GPU →「專用 GPU 記憶體」；Linux：nvidia-smi。
• Mac（Apple M 系列）：看「關於這台 Mac」的記憶體：8 GB → L-Edge、16 GB → L8、24 GB → L16、32–48 GB → L24、64–96 GB → L48+、128 GB 以上 → L128。
• Intel Mac、沒有獨立顯示卡的電腦：L-Edge，只用 CPU（至少 8 GB RAM）。

模型差別：L-Edge 等標「基底模型」的層級只做過續訓、沒有對話微調：給它一段開頭，它會接著寫，不適合一問一答。想要對話請用標「對話模型」的層級（L24 起）。12–16 GB 顯示卡也能跑 L24，加上 --cpu-moe，專家權重放在系統記憶體（建議 32 GB RAM 以上，速度較慢）。

2. 下載、驗證、解壓

在上表按右鍵複製下載連結。硬碟要留約兩倍檔案大小的空間，解壓後可刪掉 zip。 算出的 SHA-256 要和 packages.json 的 sha256 相同。

Windows（PowerShell）：

curl.exe -L -O <下載連結>
Get-FileHash .\helioslm-tw-e4b-l-edge-Q4_K-tw-preview-5.zip -Algorithm SHA256
tar -xf .\helioslm-tw-e4b-l-edge-Q4_K-tw-preview-5.zip

Linux：

curl -L -O <下載連結>
sha256sum helioslm-tw-e4b-l-edge-Q4_K-tw-preview-5.zip
unzip helioslm-tw-e4b-l-edge-Q4_K-tw-preview-5.zip

macOS：

curl -L -O <下載連結>
shasum -a 256 helioslm-tw-e4b-l-edge-Q4_K-tw-preview-5.zip
unzip helioslm-tw-e4b-l-edge-Q4_K-tw-preview-5.zip

3. 安裝執行工具（三選一）

• LM Studio（有圖形介面，最簡單）：從 lmstudio.ai 下載安裝，用「匯入模型」選 zip 裡的 .gguf（或命令列 lms import <模型檔>.gguf），載入時把 GPU Offload 拉到最大。
• Ollama：從 ollama.com 下載安裝（Windows / macOS）；Linux： curl -fsSL https://ollama.com/install.sh | sh。
• llama.cpp：Windows winget install llama.cpp；macOS / Linux brew install llama.cpp；也可下載官方預編譯版（NVIDIA 選 CUDA 版， AMD / Intel 顯示卡選 Vulkan 版，Mac 已內建 Metal）。

4. 執行

llama.cpp：在解壓後的資料夾執行上表的指令。llama-server 啟動後用瀏覽器開 http://127.0.0.1:8080 就能對話， 其他程式可用 OpenAI 相容 API http://127.0.0.1:8080/v1。 基底模型用 llama-completion，把 -p 換成你的開頭。

Ollama：在解壓後的資料夾執行上表的 ollama create，再 ollama run <名稱>（名稱同 create 那一行）。

5. 記憶體不夠時

• 把 -c 調小（例如 -c 8192），上下文越長越吃記憶體。
• KV 快取量化：加 -fa on -ctk q8_0 -ctv q8_0（Ollama：啟動前設 OLLAMA_FLASH_ATTENTION=1 和 OLLAMA_KV_CACHE_TYPE=q8_0）。
• 26B-A4B（L24 起）是混合專家模型：加 --cpu-moe 把專家權重放到系統記憶體， 或用 --n-cpu-moe N 只放前 N 層；統一記憶體的電腦不需要。
• 每個 zip 裡的 README.md 有該層級的完整指令。

6. 速度參考（實測）

llama.cpp、單一請求、產生 512 個 token 的中位數（2026-11-04 實測）。 單位 token/秒，越高越快；首字延遲約 0.04 秒（E4B）到 0.2 秒（26B）。 其他顯示卡沒有實測，請自行比較。

• MTP 加速（只建議 26B，L24 起）：另外下載 Gemma 4 26B-A4B 的 assistant（MTP）GGUF （例如 Hugging Face 上的 AtomicChat/gemma-4-26B-A4B-it-assistant-GGUF，Q8_0），在 llama-server 指令加上 -md <assistant 檔>.gguf -ngld 99 --spec-type draft-mtp --spec-draft-n-max 3， 實測快 37–40%，多用約 0.5 GB VRAM。E4B 層級（L-Edge、L8、L16）開 MTP 沒有幫助，L8 反而變慢。
• CPU 執行緒：加 -t <實體核心數>。在核心很多的機器上用預設值可能反而大幅變慢。

版本與功能 · Versions