llama.cpp

介绍

llama.cpp 立志于在纯 C/C++ 中推断 Meta 的 LLaMA 模型（及其他模型）

仓库地址：https://github.com/ggerganov/llama.cpp

llama.cpp 的主要目标是在本地和云端的各种硬件上以最少的设置和最先进的性能实现 LLM 推理。

在AI和机器学习的世界中，图像生成模型如 Stable Diffusion 已经成为了一个热门话题。Stable Diffusion 是一个开源的文本到图像的生成模型，它允许用户输入文本描述并生成相应的图像。为了让更多的用户能够方便地使用这一强大的模型，Stable Diffusion WebUI 提供了一个友好的图形用户界面，使得部署和使用变得简单直观。

前置条件

python

官方推荐版本为：3.10.6