Spring AI 实战进阶：Ollama+Spring AI 构建离线大模型应用全指南

前言随着大模型技术的普及企业对数据安全、隐私合规的要求越来越高离线部署大模型成为 Java 后端开发者的核心需求。Spring AI 作为 Spring 生态的 AI 集成框架搭配 Ollama 本地大模型运行工具可快速构建完全离线、数据不出网的 AI 应用。本文基于实战场景从零带你完成环境搭建、API 集成、功能开发适合 Java 后端开发者快速上手 Spring AI 离线大模型开发。一、技术选型与核心优势1. 核心技术栈技术作用优势Spring AISpring 生态 AI 集成框架无缝对接 Spring Boot统一大模型调用 API支持多模型适配Ollama本地大模型运行工具一键部署开源大模型Llama 3、Qwen、Mistral 等支持离线运行Spring Boot 3.x后端基础框架快速构建项目自动配置简化开发2. 方案核心优势✅完全离线所有数据在本地服务器运行无需公网 API保障数据安全✅生态兼容Spring AI 完美适配 Spring Boot可直接集成现有 Java 项目✅模型灵活Ollama 支持上百种开源大模型可按需切换适配不同业务场景✅开发高效Spring AI 封装了大模型调用、提示词管理、向量检索等能力减少重复开发二、环境搭建OllamaSpring Boot 项目初始化1. Ollama 本地部署Windows/Linux/Mac 通用下载 Ollama官网 https://ollama.com/ 一键安装完成拉取开源大模型以 Qwen 7B 为例适合本地部署bash# 拉取通义千问开源7B模型 ollama pull qwen:7b # 验证模型是否安装成功 ollama list # 启动模型服务默认端口11434 ollama run qwen:7b验证服务访问http://localhost:11434出现 Ollama 标识即部署成功2. Spring Boot 项目初始化使用 Spring Initializr 创建项目依赖选择Spring WebSpring AI OllamaSpring AI 0.8.x 版本支持pom.xml核心依赖配置xmldependency groupIdorg.springframework.ai/groupId artifactIdspring-ai-ollama-spring-boot-starter/artifactId version0.8.1/version /dependency dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-web/artifactId /dependencyapplication.yml配置 Ollama 连接yamlspring: ai: ollama: base-url: http://localhost:11434 model: qwen:7b # 对应Ollama中拉取的模型三、核心功能实战从基础对话到业务集成1. 基础大模型对话接口开发创建 AI 服务接口实现与本地大模型的对话交互javaRestController RequestMapping(/ai) public class AIController { Autowired private OllamaChatClient ollamaChatClient; GetMapping(/chat) public String chat(RequestParam String prompt) { // 调用本地大模型生成回复 return ollamaChatClient.call(prompt); } }启动项目后访问http://localhost:8080/ai/chat?prompt介绍一下Spring AI即可获取本地大模型的回复全程离线无公网请求。2. 提示词工程优化提升大模型输出质量Spring AI 支持提示词模板可动态注入参数适配业务场景javaGetMapping(/chat/template) public String chatWithTemplate(RequestParam String question) { PromptTemplate promptTemplate new PromptTemplate( 你是一名资深Java后端工程师用通俗易懂的语言回答用户问题{question} ); Prompt prompt promptTemplate.create(Map.of(question, question)); return ollamaChatClient.call(prompt).getResult().getOutput().getContent(); }3. 进阶功能RAG 检索增强生成本地知识库结合 Ollama 的向量模型构建本地知识库实现基于自有数据的问答配置向量模型yamlspring: ai: ollama: embedding: model: nomic-embed-text加载本地文档构建向量库javaAutowired private OllamaEmbeddingClient embeddingClient; Autowired private VectorStore vectorStore; PostConstruct public void initKnowledgeBase() { // 加载本地PDF/Markdown文档 ListDocument documents new TextReader(new FileSystemResource(docs/backend-knowledge.md)).read(); // 生成向量并存入向量库 vectorStore.add(documents); }实现知识库问答javaGetMapping(/rag/chat) public String ragChat(RequestParam String query) { // 检索相关知识库内容 ListDocument similarDocs vectorStore.similaritySearch(query); // 构建增强提示词 String context similarDocs.stream().map(Document::getContent).collect(Collectors.joining(\n)); String prompt 基于以下知识库内容回答问题\n context \n问题 query; return ollamaChatClient.call(prompt); }四、生产环境优化与避坑指南1. 性能优化模型选型根据服务器配置选择模型8G 内存推荐 7B 模型16G 推荐 14B 模型服务部署Ollama 以守护进程运行Spring Boot 项目打包为 Jar 包后台启动并发优化配置 Ollama 并发数Spring AI 添加接口限流避免大模型服务过载2. 常见问题排查❌ 连接超时检查 Ollama 服务是否启动端口 11434 是否被占用❌ 模型加载失败确认 Ollama 中模型拉取完整模型名称与配置一致❌ 响应缓慢本地大模型推理耗时与硬件相关可更换轻量化模型提升速度3. 安全合规严格控制大模型输入输出避免敏感数据泄露开源大模型商用需遵守对应开源协议如 Llama 3 商用授权离线部署需定期更新模型补丁修复安全漏洞五、总结与拓展本文基于 Spring AIOllama完整实现了离线大模型应用的搭建与开发涵盖环境部署、基础对话、RAG 知识库等核心功能可直接应用于企业内部 AI 助手、代码辅助、文档问答等场景。