Tag: llama.cpp
All the articles with the tag "llama.cpp".
Ternary Bonsai 2 (9B / 27B) 本地部署与运维复用完整指南
Updated:记录在支持 CUDA 设备上从零部署 PrismML Ternary Bonsai 2 极低显存三值化大模型,以及专用 llama.cpp 分支引擎的运维实操。
All the articles with the tag "llama.cpp".
记录在支持 CUDA 设备上从零部署 PrismML Ternary Bonsai 2 极低显存三值化大模型,以及专用 llama.cpp 分支引擎的运维实操。