HeliosLM tw-preview-8

依顯示卡記憶體選擇套件。每個 zip 含 GGUF、Ollama Modelfile、README 和 manifest。 Pick the package for your GPU memory; each zip holds the GGUF, an Ollama Modelfile, a README and the manifest. Full SHA-256 sums are in packages.json.

預覽版:這些套件是早期試作,尚未通過正式評測,僅供試用。Preview builds: early pilots, not yet past the release evaluation.

CPU/8–16 GB:HeliosLM TW E4B(續訓試作);24 GB 以上:HeliosLM TW 26B-A4B(指令微調試作,預設直接回答、不先思考)。

晶片設計專用版(HDL 預覽):HeliosLM HDL 下載

依顯示卡記憶體下載 · Downloads by GPU memory

TierMemoryHardwareDownloadContextSHA-256
L-EdgeCPU, ≤ 8 GB RAMlaptop CPU, Raspberry Pi 5, phone NPUQ4_K · 4.94 GB preview8Kd69c6b75354a2c72…
L88 GB VRAMRTX 4060, 3060 TiQ4_K · 4.94 GB
26B 對話 Q4_K · 15.64 GB(同 L24 檔,專家放系統記憶體,需 32 GB RAM,見下方說明) preview
32K45522eb14c2b6d92…
689788a05cb01b9f…
L1612–16 GB VRAMRTX 3060 12GB, 4070, 4060 Ti / 5060 Ti 16GBQ8_0 · 7.43 GB preview32Ka20e9070ef258cef…
L2424–32 GB VRAM 或 32 GB 統一記憶體RTX 3090, 4090, 5090; 32 GB unified memory (RTX Spark, Ryzen AI Max+ 395, Mac)Q4_K · 15.64 GB preview32K689788a05cb01b9f…
L48+48–96 GB VRAM 或 64–96 GB 統一記憶體RTX PRO 6000 96GB, 2x24 GB, 64-96 GB unified memory (RTX Spark, Ryzen AI Max+ 395, Mac)Q8_0 · 25.02 GB preview128Ke39c2e66817d1419…
L128128 GB 統一記憶體128 GB unified memory: NVIDIA DGX Spark, AMD Ryzen AI Max+ 395, Mac (M4 / M5 series incl. Max / Ultra) 128 GBF16 · 47.04 GB preview128K0651f8b5000bba10…
L256256 GB 統一記憶體Mac (M4 / M5 series incl. Ultra; Mac Studio M3 Ultra) 256 GB unified memory規劃中 (來源 v4.0 / v5.0)
L512512 GB 統一記憶體Mac (M4 / M5 series incl. Ultra; Mac Studio M3 Ultra) 512 GB unified memory規劃中 (來源 v5.0)

Mac(Apple Silicon)· MLX

Apple M 系列 Mac(M1 起)建議用這裡的 MLX 版:Apple 自家的 MLX 執行環境, 在 Mac 上通常比 GGUF 快。上面的 GGUF 套件在 Mac 上也能用(llama.cpp、Ollama、LM Studio 都內建 Metal)。 依「關於這台 Mac」顯示的記憶體選:

Mac 記憶體模型下載 · SHA-256執行指令(在解壓後的資料夾內)
8 GBE4B MLX 4-bit
基底模型(文字續寫)
helioslm-tw-e4b-mlx-4bit-mac-preview-2.zip preview · 4.96 GB
6e3a1fbdebada235…
mlx_lm.generate --model ./helioslm-tw-e4b-mlx-4bit --ignore-chat-template --max-tokens 256 --prompt "台灣的夜市文化"
16–24 GBE4B MLX 8-bit
基底模型(文字續寫)
helioslm-tw-e4b-mlx-8bit-mac-preview-1.zip preview · 7.85 GB
b0e51dbbec27f070…
mlx_lm.generate --model ./helioslm-tw-e4b-mlx-8bit --ignore-chat-template --max-tokens 256 --prompt "台灣的夜市文化"
32–48 GB26B-A4B MLX 4-bit
對話模型(會先思考再回答)
helioslm-chat-26b-a4b-mlx-4bit-mac-preview-3.zip preview · 13.60 GB
6a98e41c524378b2…
mlx_lm.chat --model ./helioslm-chat-26b-a4b-mlx-4bit --max-tokens 1024
mlx_lm.server --model ./helioslm-chat-26b-a4b-mlx-4bit --port 8080
64 GB 以上26B-A4B MLX 8-bit
對話模型(會先思考再回答)
helioslm-chat-26b-a4b-mlx-8bit-mac-preview-3.zip preview · 25.00 GB
06a9d34fadc64ac3…
mlx_lm.chat --model ./helioslm-chat-26b-a4b-mlx-8bit --max-tokens 1024
mlx_lm.server --model ./helioslm-chat-26b-a4b-mlx-8bit --port 8080

安裝 mlx-lm(終端機,需要 Python 3.10 以上;macOS 內建的 python3 太舊時先 brew install python):

python3 -m venv ~/mlx && source ~/mlx/bin/activate
pip install -U mlx-lm
curl -L -O <下載連結>
shasum -a 256 helioslm-tw-e4b-mlx-4bit-mac-preview-2.zip
unzip helioslm-tw-e4b-mlx-4bit-mac-preview-2.zip

如何下載並在本機執行 · Run it on your computer

三個步驟:選檔、下載解壓、用 llama.cpp、Ollama 或 LM Studio 執行。 模型完全在你的電腦上跑,不需要網路,對話內容不會傳出去。

1. 選哪個檔

模型差別:L-Edge 等標「基底模型」的層級只做過續訓、沒有對話微調:給它一段開頭,它會接著寫,不適合一問一答。想要對話請用標「對話模型」的層級(L24 起)。12–16 GB 顯示卡也能跑 L24,加上 --cpu-moe,專家權重放在系統記憶體(建議 32 GB RAM 以上,速度較慢)。

8 GB 顯示卡也想用對話模型(RTX 4060、3060 Ti、3070 等):下載 L24 的 26B 檔, 把前 24 層的專家權重放在系統記憶體,顯示卡只用約 5.7 GB,實測每秒約 34 個 token。 系統記憶體要 32 GB 以上。顯示卡記憶體還有空間時,把 N 調小會比較快; 不夠時改用 --cpu-moe(全部專家放系統記憶體,約 2.7 GB)。 Ollama 不能這樣分配,請用 llama.cpp 或 LM Studio(載入設定裡把 MoE 專家權重放到 CPU)。

llama-server -m helioslm-tw-26b-a4b-l24-Q4_K.gguf -c 16384 -ngl 99 --n-cpu-moe 24 -fa on -ctk q8_0 -ctv q8_0 --reasoning-budget 0 --chat-template-kwargs '{"enable_thinking":false}' --port 8080
Tier類型zip 內的模型檔執行指令(在解壓後的資料夾內)
L-Edge基底模型(文字續寫)helioslm-tw-e4b-l-edge-Q4_K.ggufllama-completion -m helioslm-tw-e4b-l-edge-Q4_K.gguf -c 8192 -n 256 -p "台灣的夜市文化"
ollama create helioslm-tw-e4b-l-edge -f Modelfile
L8基底模型(文字續寫)helioslm-tw-e4b-l8-Q4_K.ggufllama-completion -m helioslm-tw-e4b-l8-Q4_K.gguf -c 32768 -ngl 99 -n 256 -p "台灣的夜市文化"
ollama create helioslm-tw-e4b-l8 -f Modelfile
L16基底模型(文字續寫)helioslm-tw-e4b-l16-Q8_0.ggufllama-completion -m helioslm-tw-e4b-l16-Q8_0.gguf -c 32768 -ngl 99 -n 256 -p "台灣的夜市文化"
ollama create helioslm-tw-e4b-l16 -f Modelfile
L24對話模型helioslm-tw-26b-a4b-l24-Q4_K.ggufllama-server -m helioslm-tw-26b-a4b-l24-Q4_K.gguf -c 32768 -ngl 99 --reasoning-budget 0 --chat-template-kwargs '{"enable_thinking":false}' --port 8080
ollama create helioslm-tw-26b-a4b-l24 -f Modelfile
L48+對話模型helioslm-tw-26b-a4b-l48plus-Q8_0.ggufllama-server -m helioslm-tw-26b-a4b-l48plus-Q8_0.gguf -c 131072 -ngl 99 --reasoning-budget 0 --chat-template-kwargs '{"enable_thinking":false}' --port 8080
ollama create helioslm-tw-26b-a4b-l48plus -f Modelfile
L128對話模型helioslm-tw-26b-a4b-l128-F16.ggufllama-server -m helioslm-tw-26b-a4b-l128-F16.gguf -c 131072 -ngl 99 --reasoning-budget 0 --chat-template-kwargs '{"enable_thinking":false}' --port 8080
ollama create helioslm-tw-26b-a4b-l128 -f Modelfile

2. 下載、驗證、解壓

在上表按右鍵複製下載連結。硬碟要留約兩倍檔案大小的空間,解壓後可刪掉 zip。 算出的 SHA-256 要和 packages.json 的 sha256 相同。

Windows(PowerShell):

curl.exe -L -O <下載連結>
Get-FileHash .\helioslm-tw-e4b-l-edge-Q4_K-tw-preview-5.zip -Algorithm SHA256
tar -xf .\helioslm-tw-e4b-l-edge-Q4_K-tw-preview-5.zip

Linux:

curl -L -O <下載連結>
sha256sum helioslm-tw-e4b-l-edge-Q4_K-tw-preview-5.zip
unzip helioslm-tw-e4b-l-edge-Q4_K-tw-preview-5.zip

macOS:

curl -L -O <下載連結>
shasum -a 256 helioslm-tw-e4b-l-edge-Q4_K-tw-preview-5.zip
unzip helioslm-tw-e4b-l-edge-Q4_K-tw-preview-5.zip

3. 安裝執行工具(三選一)

4. 執行

llama.cpp:在解壓後的資料夾執行上表的指令。llama-server 啟動後用瀏覽器開 http://127.0.0.1:8080 就能對話, 其他程式可用 OpenAI 相容 API http://127.0.0.1:8080/v1。 基底模型用 llama-completion,把 -p 換成你的開頭。

Ollama:在解壓後的資料夾執行上表的 ollama create,再 ollama run <名稱>(名稱同 create 那一行)。

5. 記憶體不夠時

6. 速度參考(實測)

llama.cpp、單一請求、產生 512 個 token 的中位數(2026-11-04 實測;L8 的 26B 列為 2026-11-09 實測, 專家權重在系統記憶體,速度主要看 CPU 和記憶體頻寬)。 單位 token/秒,越高越快;首字延遲約 0.04 秒(E4B)到 0.2 秒(26B)。 其他顯示卡沒有實測,請自行比較。

Tier檔案顯示卡速度開 MTPVRAM
L8E4B Q4_KRTX 5090241—3.7 GB
L826B-A4B Q4_K + --n-cpu-moe 24A40 限 5.7 GB + 7 核 Xeon34—5.7 GB
L16E4B Q8_0RTX 5090196—5.6 GB
L2426B-A4B Q4_KRTX 509025434917.2 GB
L2426B-A4B Q4_KL40S 48 GB161—17.1 GB
L48+26B-A4B Q8_0L40S 48 GB121—26.7 GB
L48+26B-A4B Q8_0A40 48 GB8511926.5 GB

企業地端建議硬體 · Hardware for on-prem teams

給公司內部共用的建議配置:羲和聊天與文件問答(26B)和 HDL 助理(晶片設計用,需約 63 GB 的 120B 開放模型)。 雙卡或多卡讓「同時能用的人數」變多,不會讓單人變快。

硬體(記憶體)羲和 26B 聊天/文件問答HDL 助理(示範)建議用途
RTX 5060 Ti/5070 Ti/5080
16 GB
4-bit 版,1–2 人不支援(記憶體不足)個人
RTX 5090
32 GB
可,數人同時不建議(單卡放不下,只能部分放主機記憶體,約 1 人且慢)個人或小組工作站
RTX PRO 5000
48 GB
可(FP8)不支援(記憶體不足)小組聊天/文件問答
128 GB 統一記憶體
NVIDIA DGX Spark 與同晶片機種、AMD Ryzen AI Max+ 395、Mac M4 Max 128 GB
可,單人約每秒 50 字詞同時 1–3 人(團隊約 1–5 人),一題約 1 分鐘入門版、展示機
2× RTX PRO 5000 48 GB 或 3–4× RTX 5090
96–128 GB
可同時約 5–10 人中型團隊
RTX PRO 6000
96 GB
64 人同時,每人約每秒 83 字詞(實測)同時 10 人一題約 45 秒、20 人約 1 分鐘、32 人約 1 分 15 秒(實測;單人約 17 秒)部門版
2× RTX PRO 6000
192 GB
一張卡專跑 26B:64 人同時另一張卡專跑 HDL:同時 10–20 人,一題約 45 秒到 1 分鐘全廠版(兩種服務一台機器)

評測分數 · Scores

以下分數都是我們用公開的評測集自行測得的,設定寫在各模型的 Hugging Face 頁面。

羲和聊天模型 E4B(helioslm-chat-e4b)

評測分數設定
MMLU-Pro69.5112,032 題,0-shot CoT
GSM8K93.711,319 題,0-shot
AIME 202645.8330 題,4 次平均
HMMT Feb 202631.8233 題,4 次平均
HumanEval95.12164 題,pass@1

羲和語音辨識(helioslm-asr-tw-v6m)· 字錯誤率 CER,越低越好

測試集v6mv5基礎模型 whisper-large-v3
Common Voice 27.0 zh-TW(華語)5.425.1015.25
FLEURS cmn(華語,繁體參考答案)7.617.337.54
Common Voice 27.0 nan-tw(台語,漢字)32.6938.15231.13

台灣評測的完整分數表見 helioslm-tw-eval。

Hugging Face · 模型與資料

以下是我們在 Hugging Face 上公開的項目。

介紹文章:羲和 HeliosLM 正式公開:台灣繁體中文對話、語音辨識與內容安全模型(Hugging Face 文章,含各模型的評測設定與分數)。

類型名稱說明
模型helioslm-chat-e4b羲和聊天模型 E4B(以 Google Gemma 4 E4B 為基礎),繁體中文與英文
模型helioslm-guard-e4b羲和內容安全分類模型 E4B(以 Google Gemma 4 E4B 為基礎)
模型helioslm-asr-tw-v6m台灣華語與台語語音辨識(最新版)
模型helioslm-asr-tw-v5台灣華語與台語語音辨識(前一版)
模型helioslm羲和架構的參考實作與說明
資料集helioslm-tw-eval台灣評測分數表(用同一套程式自行測試)
Spacehelioslm小型羲和展示,可在瀏覽器直接試用(CPU)

版本與功能 · Versions

版本模型功能狀態
v1.0HeliosLM Lite
0.5B dense
基礎版:可重現的訓練與推論、CLI、測試;筆電 CPU 也能跑(L-Edge)規劃中
v2.0HeliosLM Base
3B dense
資料管線、SFT / LoRA 微調、評測、SDK / API;8–16 GB 顯卡(L8 / L16)規劃中
v3.0HeliosLM MoE
30B(每 token 約 3B)
MoE 專家路由、量化部署、HeliosLM Code beta;24–32 GB 顯卡(L24),16 GB 加專家卸載規劃中
v4.0HeliosLM Reasoner
100B(約 10B 啟用)
推理、程式代理、雲端 API、計量與安全閘門;48–96 GB 顯卡(L48+)、128 GB 統一記憶體(L128:DGX Spark、Ryzen AI Max+ 395、Mac 含 Ultra)規劃中
v5.0HeliosLM Pro
300B(約 20B 啟用)
多模態與長上下文、企業試點、分散式部署(雲端 C8);本地 Mac 256 / 512 GB 統一記憶體(L256 / L512,M4 / M5 系列含 Ultra)規劃中
v6.0HeliosLM Frontier
1T(約 40B 啟用)
前沿研究候選,在既定評測上具競爭力(雲端 CX)未排程
HDLHeliosLM HDL
晶片設計專用版
看示範。Verilog / SystemVerilog / VHDL 產生、UVM 測試平台;評測(VerilogEval、RTLLM、CVDP、UVM)與訓練資料工具已完成,模型尚未發布開發中