构建本地 LLM 基础设施

从操作平台开始

已记录的平台在 AMD Ryzen 7 5800XT 系统上运行 Ubuntu Server LTS，配备 128 GB DDR4 内存和 NVIDIA RTX 5070 Ti。服务器通过 SSH 和远程管理工具进行无显示器运行。在添加模型工作负载前，先建立远程访问和稳定的网络。

项目记录了 NVIDIA 驱动程序配置并验证 RTX 5070 Ti 可用于本地 AI 工作负载。将驱动程序、运行时和应用程序检查分开可以更轻松地定位故障。硬件可用性本身并不能确定模型性能。

Ollama提供本地模型托管，而Docker和Open WebUI是服务环境的一部分。有用的故障排除问题是哪一层发生故障：主机、GPU 堆栈、容器、模型运行时或客户端连接。记录这些依赖关系比将堆栈视为一个应用程序更有用。

在记录的构建中建立远程管理。扩展日志记录、GPU 利用率跟踪、服务运行状况可见性和安全自动化仍然是需要进一步开发的领域。下一个证据应该显示可重复的服务检查和恢复路径，而不仅仅是另一个安装的工具。

未来的 LLM 推理基准测试应记录模型、量化方式、VRAM 使用量、提示词与输出长度、预热条件、并发请求、软件版本、硬件和测量方法。量化与 VRAM 管理仍需进一步研究，目前尚未发布实测推理性能。

将本地人工智能视为基础设施：验证每一层，保持依赖关系可见，并发布具有足够上下文的测量结果，以便其他人重现它们。