HeliosLM tw-preview-8
依顯示卡記憶體選擇套件。每個 zip 含 GGUF、Ollama Modelfile、README 和 manifest。 Pick the package for your GPU memory; each zip holds the GGUF, an Ollama Modelfile, a README and the manifest. Full SHA-256 sums are in packages.json.
預覽版:這些套件是早期試作,尚未通過正式評測,僅供試用。Preview builds: early pilots, not yet past the release evaluation.
CPU/8–16 GB:HeliosLM TW E4B(續訓試作);24 GB 以上:HeliosLM TW 26B-A4B(指令微調試作,預設直接回答、不先思考)。
晶片設計專用版(HDL 預覽):HeliosLM HDL 下載
依顯示卡記憶體下載 · Downloads by GPU memory
| Tier | Memory | Hardware | Download | Context | SHA-256 |
|---|---|---|---|---|---|
| L-Edge | CPU, ≤ 8 GB RAM | laptop CPU, Raspberry Pi 5, phone NPU | Q4_K · 4.94 GB preview | 8K | d69c6b75354a2c72… |
| L8 | 8 GB VRAM | RTX 4060, 3060 Ti | Q4_K · 4.94 GB 26B 對話 Q4_K · 15.64 GB(同 L24 檔,專家放系統記憶體,需 32 GB RAM,見下方說明) preview | 32K | 45522eb14c2b6d92…689788a05cb01b9f… |
| L16 | 12–16 GB VRAM | RTX 3060 12GB, 4070, 4060 Ti / 5060 Ti 16GB | Q8_0 · 7.43 GB preview | 32K | a20e9070ef258cef… |
| L24 | 24–32 GB VRAM 或 32 GB 統一記憶體 | RTX 3090, 4090, 5090; 32 GB unified memory (RTX Spark, Ryzen AI Max+ 395, Mac) | Q4_K · 15.64 GB preview | 32K | 689788a05cb01b9f… |
| L48+ | 48–96 GB VRAM 或 64–96 GB 統一記憶體 | RTX PRO 6000 96GB, 2x24 GB, 64-96 GB unified memory (RTX Spark, Ryzen AI Max+ 395, Mac) | Q8_0 · 25.02 GB preview | 128K | e39c2e66817d1419… |
| L128 | 128 GB 統一記憶體 | 128 GB unified memory: NVIDIA DGX Spark, AMD Ryzen AI Max+ 395, Mac (M4 / M5 series incl. Max / Ultra) 128 GB | F16 · 47.04 GB preview | 128K | 0651f8b5000bba10… |
| L256 | 256 GB 統一記憶體 | Mac (M4 / M5 series incl. Ultra; Mac Studio M3 Ultra) 256 GB unified memory | 規劃中 (來源 v4.0 / v5.0) | ||
| L512 | 512 GB 統一記憶體 | Mac (M4 / M5 series incl. Ultra; Mac Studio M3 Ultra) 512 GB unified memory | 規劃中 (來源 v5.0) | ||
Mac(Apple Silicon)· MLX
Apple M 系列 Mac(M1 起)建議用這裡的 MLX 版:Apple 自家的 MLX 執行環境, 在 Mac 上通常比 GGUF 快。上面的 GGUF 套件在 Mac 上也能用(llama.cpp、Ollama、LM Studio 都內建 Metal)。 依「關於這台 Mac」顯示的記憶體選:
| Mac 記憶體 | 模型 | 下載 · SHA-256 | 執行指令(在解壓後的資料夾內) |
|---|---|---|---|
| 8 GB | E4B MLX 4-bit 基底模型(文字續寫) | helioslm-tw-e4b-mlx-4bit-mac-preview-2.zip preview · 4.96 GB6e3a1fbdebada235… | mlx_lm.generate --model ./helioslm-tw-e4b-mlx-4bit --ignore-chat-template --max-tokens 256 --prompt "台灣的夜市文化" |
| 16–24 GB | E4B MLX 8-bit 基底模型(文字續寫) | helioslm-tw-e4b-mlx-8bit-mac-preview-1.zip preview · 7.85 GBb0e51dbbec27f070… | mlx_lm.generate --model ./helioslm-tw-e4b-mlx-8bit --ignore-chat-template --max-tokens 256 --prompt "台灣的夜市文化" |
| 32–48 GB | 26B-A4B MLX 4-bit 對話模型(會先思考再回答) | helioslm-chat-26b-a4b-mlx-4bit-mac-preview-3.zip preview · 13.60 GB6a98e41c524378b2… | mlx_lm.chat --model ./helioslm-chat-26b-a4b-mlx-4bit --max-tokens 1024mlx_lm.server --model ./helioslm-chat-26b-a4b-mlx-4bit --port 8080 |
| 64 GB 以上 | 26B-A4B MLX 8-bit 對話模型(會先思考再回答) | helioslm-chat-26b-a4b-mlx-8bit-mac-preview-3.zip preview · 25.00 GB06a9d34fadc64ac3… | mlx_lm.chat --model ./helioslm-chat-26b-a4b-mlx-8bit --max-tokens 1024mlx_lm.server --model ./helioslm-chat-26b-a4b-mlx-8bit --port 8080 |
安裝 mlx-lm(終端機,需要 Python 3.10 以上;macOS 內建的 python3 太舊時先
brew install python):
python3 -m venv ~/mlx && source ~/mlx/bin/activate
pip install -U mlx-lm
curl -L -O <下載連結>
shasum -a 256 helioslm-tw-e4b-mlx-4bit-mac-preview-2.zip
unzip helioslm-tw-e4b-mlx-4bit-mac-preview-2.zip
mlx_lm.chat在終端機對話;mlx_lm.server啟動 OpenAI 相容 APIhttp://127.0.0.1:8080/v1。- LM Studio:把解壓出來的資料夾放進
~/.lmstudio/models/helioslm/, 在 LM Studio 選它(MLX 引擎)載入。 - 記憶體剛好卡在邊界時,先關掉其他大型程式;E4B 4-bit 在 8 GB Mac 上只適合短對話。
- 先思考再回答:MLX 沒有 llama.cpp 的
--reasoning-budget 0,對話模型會先輸出一段思考(<|channel>thought開頭),再給答案;LM Studio 會把思考摺疊起來。想要直接回答,請用上表的 GGUF 版。 - Intel Mac 沒有 MLX:用上表的 L-Edge GGUF,llama.cpp 只用 CPU。
如何下載並在本機執行 · Run it on your computer
三個步驟:選檔、下載解壓、用 llama.cpp、Ollama 或 LM Studio 執行。 模型完全在你的電腦上跑,不需要網路,對話內容不會傳出去。
1. 選哪個檔
- NVIDIA / AMD 顯示卡:看顯示卡記憶體(VRAM),對照上表的 Memory 欄。
Windows:工作管理員 → 效能 → GPU →「專用 GPU 記憶體」;Linux:
nvidia-smi。 - Mac(Apple M 系列):看「關於這台 Mac」的記憶體:8 GB → L-Edge、16 GB → L8、24 GB → L16、32–48 GB → L24、64–96 GB → L48+、128 GB 以上 → L128。
- Intel Mac、沒有獨立顯示卡的電腦:L-Edge,只用 CPU(至少 8 GB RAM)。
模型差別:L-Edge 等標「基底模型」的層級只做過續訓、沒有對話微調:給它一段開頭,它會接著寫,不適合一問一答。想要對話請用標「對話模型」的層級(L24 起)。12–16 GB 顯示卡也能跑 L24,加上 --cpu-moe,專家權重放在系統記憶體(建議 32 GB RAM 以上,速度較慢)。
8 GB 顯示卡也想用對話模型(RTX 4060、3060 Ti、3070 等):下載 L24 的 26B 檔,
把前 24 層的專家權重放在系統記憶體,顯示卡只用約 5.7 GB,實測每秒約 34 個 token。
系統記憶體要 32 GB 以上。顯示卡記憶體還有空間時,把 N 調小會比較快;
不夠時改用 --cpu-moe(全部專家放系統記憶體,約 2.7 GB)。
Ollama 不能這樣分配,請用 llama.cpp 或 LM Studio(載入設定裡把 MoE 專家權重放到 CPU)。
llama-server -m helioslm-tw-26b-a4b-l24-Q4_K.gguf -c 16384 -ngl 99 --n-cpu-moe 24 -fa on -ctk q8_0 -ctv q8_0 --reasoning-budget 0 --chat-template-kwargs '{"enable_thinking":false}' --port 8080
| Tier | 類型 | zip 內的模型檔 | 執行指令(在解壓後的資料夾內) |
|---|---|---|---|
| L-Edge | 基底模型(文字續寫) | helioslm-tw-e4b-l-edge-Q4_K.gguf | llama-completion -m helioslm-tw-e4b-l-edge-Q4_K.gguf -c 8192 -n 256 -p "台灣的夜市文化"ollama create helioslm-tw-e4b-l-edge -f Modelfile |
| L8 | 基底模型(文字續寫) | helioslm-tw-e4b-l8-Q4_K.gguf | llama-completion -m helioslm-tw-e4b-l8-Q4_K.gguf -c 32768 -ngl 99 -n 256 -p "台灣的夜市文化"ollama create helioslm-tw-e4b-l8 -f Modelfile |
| L16 | 基底模型(文字續寫) | helioslm-tw-e4b-l16-Q8_0.gguf | llama-completion -m helioslm-tw-e4b-l16-Q8_0.gguf -c 32768 -ngl 99 -n 256 -p "台灣的夜市文化"ollama create helioslm-tw-e4b-l16 -f Modelfile |
| L24 | 對話模型 | helioslm-tw-26b-a4b-l24-Q4_K.gguf | llama-server -m helioslm-tw-26b-a4b-l24-Q4_K.gguf -c 32768 -ngl 99 --reasoning-budget 0 --chat-template-kwargs '{"enable_thinking":false}' --port 8080ollama create helioslm-tw-26b-a4b-l24 -f Modelfile |
| L48+ | 對話模型 | helioslm-tw-26b-a4b-l48plus-Q8_0.gguf | llama-server -m helioslm-tw-26b-a4b-l48plus-Q8_0.gguf -c 131072 -ngl 99 --reasoning-budget 0 --chat-template-kwargs '{"enable_thinking":false}' --port 8080ollama create helioslm-tw-26b-a4b-l48plus -f Modelfile |
| L128 | 對話模型 | helioslm-tw-26b-a4b-l128-F16.gguf | llama-server -m helioslm-tw-26b-a4b-l128-F16.gguf -c 131072 -ngl 99 --reasoning-budget 0 --chat-template-kwargs '{"enable_thinking":false}' --port 8080ollama create helioslm-tw-26b-a4b-l128 -f Modelfile |
2. 下載、驗證、解壓
在上表按右鍵複製下載連結。硬碟要留約兩倍檔案大小的空間,解壓後可刪掉 zip。
算出的 SHA-256 要和 packages.json 的 sha256 相同。
Windows(PowerShell):
curl.exe -L -O <下載連結>
Get-FileHash .\helioslm-tw-e4b-l-edge-Q4_K-tw-preview-5.zip -Algorithm SHA256
tar -xf .\helioslm-tw-e4b-l-edge-Q4_K-tw-preview-5.zip
Linux:
curl -L -O <下載連結>
sha256sum helioslm-tw-e4b-l-edge-Q4_K-tw-preview-5.zip
unzip helioslm-tw-e4b-l-edge-Q4_K-tw-preview-5.zip
macOS:
curl -L -O <下載連結>
shasum -a 256 helioslm-tw-e4b-l-edge-Q4_K-tw-preview-5.zip
unzip helioslm-tw-e4b-l-edge-Q4_K-tw-preview-5.zip
3. 安裝執行工具(三選一)
- LM Studio(有圖形介面,最簡單):從 lmstudio.ai 下載安裝,用「匯入模型」選 zip 裡的
.gguf(或命令列lms import <模型檔>.gguf),載入時把 GPU Offload 拉到最大。 - Ollama:從 ollama.com 下載安裝(Windows / macOS);Linux:
curl -fsSL https://ollama.com/install.sh | sh。 - llama.cpp:Windows
winget install llama.cpp;macOS / Linuxbrew install llama.cpp;也可下載官方預編譯版(NVIDIA 選 CUDA 版, AMD / Intel 顯示卡選 Vulkan 版,Mac 已內建 Metal)。
4. 執行
llama.cpp:在解壓後的資料夾執行上表的指令。llama-server
啟動後用瀏覽器開 http://127.0.0.1:8080 就能對話,
其他程式可用 OpenAI 相容 API http://127.0.0.1:8080/v1。
基底模型用 llama-completion,把 -p 換成你的開頭。
Ollama:在解壓後的資料夾執行上表的 ollama create,再
ollama run <名稱>(名稱同 create 那一行)。
5. 記憶體不夠時
- 把
-c調小(例如-c 8192),上下文越長越吃記憶體。 - KV 快取量化:加
-fa on -ctk q8_0 -ctv q8_0(Ollama:啟動前設OLLAMA_FLASH_ATTENTION=1和OLLAMA_KV_CACHE_TYPE=q8_0)。 - 26B-A4B(L24 起)是混合專家模型:加
--cpu-moe把專家權重放到系統記憶體, 或用--n-cpu-moe N只放前 N 層;統一記憶體的電腦不需要。 - 每個 zip 裡的 README.md 有該層級的完整指令。
6. 速度參考(實測)
llama.cpp、單一請求、產生 512 個 token 的中位數(2026-11-04 實測;L8 的 26B 列為 2026-11-09 實測, 專家權重在系統記憶體,速度主要看 CPU 和記憶體頻寬)。 單位 token/秒,越高越快;首字延遲約 0.04 秒(E4B)到 0.2 秒(26B)。 其他顯示卡沒有實測,請自行比較。
| Tier | 檔案 | 顯示卡 | 速度 | 開 MTP | VRAM |
|---|---|---|---|---|---|
| L8 | E4B Q4_K | RTX 5090 | 241 | — | 3.7 GB |
| L8 | 26B-A4B Q4_K + --n-cpu-moe 24 | A40 限 5.7 GB + 7 核 Xeon | 34 | — | 5.7 GB |
| L16 | E4B Q8_0 | RTX 5090 | 196 | — | 5.6 GB |
| L24 | 26B-A4B Q4_K | RTX 5090 | 254 | 349 | 17.2 GB |
| L24 | 26B-A4B Q4_K | L40S 48 GB | 161 | — | 17.1 GB |
| L48+ | 26B-A4B Q8_0 | L40S 48 GB | 121 | — | 26.7 GB |
| L48+ | 26B-A4B Q8_0 | A40 48 GB | 85 | 119 | 26.5 GB |
- MTP 加速(只建議 26B,L24 起):另外下載 Gemma 4 26B-A4B 的 assistant(MTP)GGUF
(例如 Hugging Face 上的
AtomicChat/gemma-4-26B-A4B-it-assistant-GGUF,Q8_0),在llama-server指令加上-md <assistant 檔>.gguf -ngld 99 --spec-type draft-mtp --spec-draft-n-max 3, 實測快 37–40%,多用約 0.5 GB VRAM。E4B 層級(L-Edge、L8、L16)開 MTP 沒有幫助,L8 反而變慢。 - CPU 執行緒:加
-t <實體核心數>。在核心很多的機器上用預設值可能反而大幅變慢。
企業地端建議硬體 · Hardware for on-prem teams
給公司內部共用的建議配置:羲和聊天與文件問答(26B)和 HDL 助理(晶片設計用,需約 63 GB 的 120B 開放模型)。 雙卡或多卡讓「同時能用的人數」變多,不會讓單人變快。
| 硬體(記憶體) | 羲和 26B 聊天/文件問答 | HDL 助理(示範) | 建議用途 |
|---|---|---|---|
| RTX 5060 Ti/5070 Ti/5080 16 GB | 4-bit 版,1–2 人 | 不支援(記憶體不足) | 個人 |
| RTX 5090 32 GB | 可,數人同時 | 不建議(單卡放不下,只能部分放主機記憶體,約 1 人且慢) | 個人或小組工作站 |
| RTX PRO 5000 48 GB | 可(FP8) | 不支援(記憶體不足) | 小組聊天/文件問答 |
| 128 GB 統一記憶體 NVIDIA DGX Spark 與同晶片機種、AMD Ryzen AI Max+ 395、Mac M4 Max 128 GB | 可,單人約每秒 50 字詞 | 同時 1–3 人(團隊約 1–5 人),一題約 1 分鐘 | 入門版、展示機 |
| 2× RTX PRO 5000 48 GB 或 3–4× RTX 5090 96–128 GB | 可 | 同時約 5–10 人 | 中型團隊 |
| RTX PRO 6000 96 GB | 64 人同時,每人約每秒 83 字詞(實測) | 同時 10 人一題約 45 秒、20 人約 1 分鐘、32 人約 1 分 15 秒(實測;單人約 17 秒) | 部門版 |
| 2× RTX PRO 6000 192 GB | 一張卡專跑 26B:64 人同時 | 另一張卡專跑 HDL:同時 10–20 人,一題約 45 秒到 1 分鐘 | 全廠版(兩種服務一台機器) |
- RTX PRO 6000 的兩欄是我們自己的實測(26B 用 FP8 加 MTP 推測解碼;HDL 用 vLLM,每題答案含推理約 2,900 字詞);其他列是依記憶體頻寬與公開測試推估,實際會依題目長短與設定而不同。
- HDL 人數以「一題產生一份答案」計;最高準確度模式(一題產生 8 份再挑選並自動修正)約佔 8 人份容量,RTX PRO 6000 約可同時 3–4 人、一題約 1–2 分鐘。
- 放在機房當共用伺服器請用 RTX PRO 系列;GeForce(RTX 50)驅動程式授權限制資料中心用途,適合放在個人工作站。
評測分數 · Scores
以下分數都是我們用公開的評測集自行測得的,設定寫在各模型的 Hugging Face 頁面。
羲和聊天模型 E4B(helioslm-chat-e4b)
| 評測 | 分數 | 設定 |
|---|---|---|
| MMLU-Pro | 69.51 | 12,032 題,0-shot CoT |
| GSM8K | 93.71 | 1,319 題,0-shot |
| AIME 2026 | 45.83 | 30 題,4 次平均 |
| HMMT Feb 2026 | 31.82 | 33 題,4 次平均 |
| HumanEval | 95.12 | 164 題,pass@1 |
羲和語音辨識(helioslm-asr-tw-v6m)· 字錯誤率 CER,越低越好
| 測試集 | v6m | v5 | 基礎模型 whisper-large-v3 |
|---|---|---|---|
| Common Voice 27.0 zh-TW(華語) | 5.42 | 5.10 | 15.25 |
| FLEURS cmn(華語,繁體參考答案) | 7.61 | 7.33 | 7.54 |
| Common Voice 27.0 nan-tw(台語,漢字) | 32.69 | 38.15 | 231.13 |
台灣評測的完整分數表見 helioslm-tw-eval。
Hugging Face · 模型與資料
以下是我們在 Hugging Face 上公開的項目。
介紹文章:羲和 HeliosLM 正式公開:台灣繁體中文對話、語音辨識與內容安全模型(Hugging Face 文章,含各模型的評測設定與分數)。
| 類型 | 名稱 | 說明 |
|---|---|---|
| 模型 | helioslm-chat-e4b | 羲和聊天模型 E4B(以 Google Gemma 4 E4B 為基礎),繁體中文與英文 |
| 模型 | helioslm-guard-e4b | 羲和內容安全分類模型 E4B(以 Google Gemma 4 E4B 為基礎) |
| 模型 | helioslm-asr-tw-v6m | 台灣華語與台語語音辨識(最新版) |
| 模型 | helioslm-asr-tw-v5 | 台灣華語與台語語音辨識(前一版) |
| 模型 | helioslm | 羲和架構的參考實作與說明 |
| 資料集 | helioslm-tw-eval | 台灣評測分數表(用同一套程式自行測試) |
| Space | helioslm | 小型羲和展示,可在瀏覽器直接試用(CPU) |
版本與功能 · Versions
| 版本 | 模型 | 功能 | 狀態 |
|---|---|---|---|
| v1.0 | HeliosLM Lite 0.5B dense | 基礎版:可重現的訓練與推論、CLI、測試;筆電 CPU 也能跑(L-Edge) | 規劃中 |
| v2.0 | HeliosLM Base 3B dense | 資料管線、SFT / LoRA 微調、評測、SDK / API;8–16 GB 顯卡(L8 / L16) | 規劃中 |
| v3.0 | HeliosLM MoE 30B(每 token 約 3B) | MoE 專家路由、量化部署、HeliosLM Code beta;24–32 GB 顯卡(L24),16 GB 加專家卸載 | 規劃中 |
| v4.0 | HeliosLM Reasoner 100B(約 10B 啟用) | 推理、程式代理、雲端 API、計量與安全閘門;48–96 GB 顯卡(L48+)、128 GB 統一記憶體(L128:DGX Spark、Ryzen AI Max+ 395、Mac 含 Ultra) | 規劃中 |
| v5.0 | HeliosLM Pro 300B(約 20B 啟用) | 多模態與長上下文、企業試點、分散式部署(雲端 C8);本地 Mac 256 / 512 GB 統一記憶體(L256 / L512,M4 / M5 系列含 Ultra) | 規劃中 |
| v6.0 | HeliosLM Frontier 1T(約 40B 啟用) | 前沿研究候選,在既定評測上具競爭力(雲端 CX) | 未排程 |
| HDL | HeliosLM HDL 晶片設計專用版 | 看示範。Verilog / SystemVerilog / VHDL 產生、UVM 測試平台;評測(VerilogEval、RTLLM、CVDP、UVM)與訓練資料工具已完成,模型尚未發布 | 開發中 |