在 Windows 11 上使用 Docker 安装 AnythingLLM 是一个非常方便的方式,可以轻松搭建本地的大语言模型(LLM)环境。以下是一个完整的安装教程。
系统要求:
- Windows 11(推荐专业版或企业版)
- 已安装 Docker Desktop for Windows
- WSL2(Windows Subsystem for Linux 2)已启用
- 至少 8GB 内存(推荐 16GB 或更高)
- GPU 可选(支持 CUDA 的 NVIDIA 显卡 + 安装 NVIDIA Container Toolkit)
第一步:安装 Docker Desktop 和 WSL2
- 启用 WSL2:
wsl --install
或者更新到最新版本:
wsl --update
安装 Docker Desktop for Windows
启动 Docker Desktop,并确保其正常运行。
第二步:拉取 AnythingLLM 镜像
打开终端(PowerShell 或 CMD),输入以下命令:
docker pull mintplexlabs/anything-llm
第三步:创建持久化存储目录
建议为模型和数据建立一个本地目录以供挂载:
mkdir -p C:\\anything-llm\\app-data
注意:路径格式需适配 Docker 使用方式。你也可以使用 WSL2 路径,如 /mnt/c/anything-llm/app-data
。
第四步:运行容器
根据是否使用 GPU 加速,选择下面的命令之一。
使用 CPU(默认推荐):
docker run -d -p 3001:3001 \
-v /c/anything-llm/app-data:/app/data \
--name anything-llm \
mintplexlabs/anything-llm
如果你在 PowerShell 中,请将路径写为 //c/anything-llm/app-data
,即:
docker run -d -p 3001:3001 `
-v //c/anything-llm/app-data:/app/data `
--name anything-llm `
mintplexlabs/anything-llm
使用 NVIDIA GPU(需要安装 CUDA Toolkit + NVIDIA Container Toolkit):
docker run -d -p 3001:3001 \
-v /c/anything-llm/app-data:/app/data \
--gpus all \
--name anything-llm \
mintplexlabs/anything-llm:with-cuda
第五步:访问 AnythingLLM Web UI
启动后,在浏览器中打开:
http://localhost:3001
首次访问会引导你设置模型(比如 Hugging Face 模型)、嵌入模型、缓存等。
第六步(可选):设置默认模型
你可以通过界面上传模型,或者提前下载并挂载模型文件夹:
docker run -d -p 3001:3001 \
-v /c/anything-llm/app-data:/app/data \
-v /c/models:/models \
-e DEFAULT_EMBEDDING_MODEL="BAAI/bge-small-en-v1.5" \
-e DEFAULT_LLM="TheBloke/Llama-2-7B-Chat-GGUF" \
mintplexlabs/anything-llm
你需要先从 HuggingFace 下载模型 .gguf
文件,放到 /c/models
目录下。
测试你的 LLM 应用
- 创建知识库文档(PDF、TXT、网页等)
- 设置提示词(Prompt)
- 与模型进行对话测试推理效果
重启和更新
查看容器状态:
docker ps
停止容器:
docker stop anything-llm
删除旧容器(更新时使用):
docker rm anything-llm
更新镜像:
docker pull mintplexlabs/anything-llm
然后重新运行容器即可。