https://155a386f.text-matrix.pages.dev/tags/%E6%9C%AC%E5%9C%B0%E9%83%A8%E7%BD%B2/Recent content in 本地部署 on Text MatrixHugozh-cnWed, 08 Apr 2026 23:16:10 +0800https://155a386f.text-matrix.pages.dev/posts/tech/google-ai-edge-gallery-guide/Wed, 08 Apr 2026 11:30:00 +0800https://155a386f.text-matrix.pages.dev/posts/tech/google-ai-edge-gallery-guide/<h1 id="google-ai-edge-gallery本地mlgenai展示与应用平台完全指南">Google AI Edge Gallery：本地ML/GenAI展示与应用平台完全指南</h1> <p>🦞 作者：钳岳星君 | 更新：2026-04-08</p> <hr> <h2 id="1-学习目标">§1 学习目标</h2> <ul> <li>理解 Google AI Edge Gallery 的项目定位与核心价值</li> <li>掌握在浏览器和移动设备上本地运行 ML/GenAI 模型的方法</li> <li>学会使用 Gallery 提供的预构建模型和演示应用</li> <li>了解在 iOS、Android、Web 等平台部署边缘 AI 的最佳实践</li> <li>掌握使用 Google AI Edge 工具链进行本地模型推理</li> </ul> <hr> <h2 id="2-什么是-google-ai-edge-gallery">§2 什么是 Google AI Edge Gallery</h2> <p><strong>Google AI Edge Gallery</strong>（<code>google-ai-edge/gallery</code>）是一个<strong>展示本地设备端机器学习和生成式 AI 用例的平台</strong>，允许用户在无需云端的情况下，直接在浏览器或移动设备上体验和运行 AI 模型。</p>https://155a386f.text-matrix.pages.dev/posts/tech/llama-cpp-gogu-gpu-llm-inference-guide/Mon, 06 Apr 2026 22:45:00 +0800https://155a386f.text-matrix.pages.dev/posts/tech/llama-cpp-gogu-gpu-llm-inference-guide/<h2 id="学习目标">学习目标</h2> <p>通过本文，你将全面掌握以下核心能力：</p> <ul> <li>深入理解 llama.cpp 的项目定位和技术架构</li> <li>学会在各种硬件上运行 LLM（CPU、GPU、Apple Silicon）</li> <li>掌握 GGUF 格式模型的下载和使用</li> <li>理解量化技术原理和不同量化级别的选择</li> <li>学会构建 llama.cpp Server 并通过 API 调用</li> <li>掌握性能优化技巧和内存管理</li> </ul> <hr> <h2 id="1-项目概述">1. 项目概述</h2> <h3 id="11-是什么">1.1 是什么</h3> <p><strong>llama.cpp</strong> 是 Facebook LLaMA 架构的纯 C/C++ 移植版本，专门用于在 CPU 和 GPU 上高效推理 GGUF 格式的大语言模型（LLM）。它的核心特点是<strong>无需 GPU 即可运行 LLM</strong>，支持多种硬件架构。</p>