https://155a386f.text-matrix.pages.dev/tags/llama.cpp/Recent content in Llama.cpp on Text MatrixHugozh-cnWed, 08 Apr 2026 23:16:10 +0800https://155a386f.text-matrix.pages.dev/posts/tech/llama-cpp-gogu-gpu-llm-inference-guide/Mon, 06 Apr 2026 22:45:00 +0800https://155a386f.text-matrix.pages.dev/posts/tech/llama-cpp-gogu-gpu-llm-inference-guide/<h2 id="学习目标">学习目标</h2> <p>通过本文，你将全面掌握以下核心能力：</p> <ul> <li>深入理解 llama.cpp 的项目定位和技术架构</li> <li>学会在各种硬件上运行 LLM（CPU、GPU、Apple Silicon）</li> <li>掌握 GGUF 格式模型的下载和使用</li> <li>理解量化技术原理和不同量化级别的选择</li> <li>学会构建 llama.cpp Server 并通过 API 调用</li> <li>掌握性能优化技巧和内存管理</li> </ul> <hr> <h2 id="1-项目概述">1. 项目概述</h2> <h3 id="11-是什么">1.1 是什么</h3> <p><strong>llama.cpp</strong> 是 Facebook LLaMA 架构的纯 C/C++ 移植版本，专门用于在 CPU 和 GPU 上高效推理 GGUF 格式的大语言模型（LLM）。它的核心特点是<strong>无需 GPU 即可运行 LLM</strong>，支持多种硬件架构。</p>https://155a386f.text-matrix.pages.dev/posts/tech/bitnet-microsoft-1bit-llm-inference-guide/Mon, 06 Apr 2026 21:21:00 +0800https://155a386f.text-matrix.pages.dev/posts/tech/bitnet-microsoft-1bit-llm-inference-guide/<h2 id="学习目标">学习目标</h2> <p>通过本文，你将全面掌握以下核心能力：</p> <ul> <li>深入理解 BitNet 的项目定位、1-bit LLM 原理和技术架构</li> <li>掌握在 CPU 和 GPU 上构建和运行 BitNet 的方法</li> <li>学会使用官方预训练模型和量化工具</li> <li>理解 I2_S、TL1、TL2 等量化内核的技术细节</li> <li>掌握性能基准测试和优化技巧</li> <li>理解与 llama.cpp 的关系和差异化定位</li> </ul> <hr> <h2 id="1-项目概述">1. 项目概述</h2> <h3 id="11-是什么">1.1 是什么</h3> <p>BitNet 是微软官方发布的 <strong>1-bit LLM 推理框架</strong>，核心理念是让 1-bit 大语言模型（如 BitNet b1.58）能够在 CPU 和 GPU 上实现<strong>快速、无损</strong>的推理。</p>https://155a386f.text-matrix.pages.dev/posts/tech/llm/quantization-llm-model-compression-guide/Sun, 29 Mar 2026 23:28:00 +0800https://155a386f.text-matrix.pages.dev/posts/tech/llm/quantization-llm-model-compression-guide/<h1 id="quantization-量化技术完全指南从原理到-llm-实战">Quantization 量化技术完全指南：从原理到 LLM 实战</h1> <blockquote> <p><strong>目标读者</strong>：想深入理解量化技术、压缩大模型体积的开发者 <strong>核心问题</strong>：如何将 159GB 的大模型压缩到能在笔记本运行，同时只损失 5-10% 精度？</p>