AI 本地模型部署

ollama pull llama3

# 下载 Qwen（通义千问，中文友好）

ollama pull qwen

# 下载 Gemma（Google 出品）

ollama pull gemma

# 下载 Mistral

ollama pull mistral

# 用 Python 调用 Ollama API

import requests

import json

# Ollama API 地址

OLLAMA_URL ="http://localhost:11434/api/generate"

def ask_ollama(prompt: str, model: str="llama3") ->str:

"""

向 Ollama 发送请求，获取模型回复

Args:

prompt: 用户输入的提示词

model: 使用的模型名称，默认为 llama3

Returns:

模型的回复文本

"""

# 构造请求数据

payload ={

"model": model,# 使用的模型

"prompt": prompt,# 用户输入

"stream": False# 不使用流式输出，一次性返回

}

try:

# 发送 POST 请求

response = requests.post(OLLAMA_URL, json=payload)

response.raise_for_status()# 检查请求是否成功

# 解析返回的 JSON

result = response.json()

return result.get("response","")

except requests.exceptions.ConnectionError:

return"错误：无法连接到 Ollama 服务，请确认 Ollama 已启动"

except requests.exceptions.RequestExceptionas e:

return f"请求错误：{str(e)}"

# 测试一下

if __name__ =="__main__":

# 测试问题 1

question1 ="请用一句话介绍 RUNOOB 教程"

answer1 = ask_ollama(question1)

print(f"问：{question1}")

print(f"答：{answer1}")

print("-" * 50)

# 测试问题 2

question2 ="写一个 Python 函数，计算斐波那契数列"

answer2 = ask_ollama(question2)

print(f"问：{question2}")

print(f"答：{answer2}")

pip install requests

# 运行脚本

python ollama_test.py

# 使用 Ollama Python 库

# 先安装：pip install ollama

import ollama

def chat_with_runoob():

"""

使用 Ollama Python 库进行多轮对话

"""

# 消息历史

messages =[

{

"role": "system",

"content": "你是一个友好的编程助手，名叫 RunoobBot。你的回答要简洁、实用，多用代码示例。"

}

]

print("RunoobBot 已启动！输入 'quit' 退出。")

print("-" * 50)

whileTrue:

# 获取用户输入

user_input =input("你：")

if user_input.lower()in["quit","exit","退出"]:

print("再见！")

break

# 添加用户消息到历史

messages.append({

"role": "user",

"content": user_input

})

# 调用模型

response = ollama.chat(

model="llama3",

messages=messages

)

# 获取回复

assistant_message = response["message"]["content"]

print(f"RunoobBot：{assistant_message}")

print("-" * 50)

# 添加助手回复到历史

messages.append({

"role": "assistant",

"content": assistant_message

})

if __name__ =="__main__":

chat_with_runoob()

docker run -d-p3000:8080--add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

# 如果不用 Docker，也可以用 pip 安装

pip install open-webui

open-webui serve

# LM Studio 兼容 OpenAI API 格式

from openai import OpenAI

# 连接到 LM Studio 本地服务器

# 注意：需要先在 LM Studio 中开启服务器

client = OpenAI(

base_url="http://localhost:1234/v1",

api_key="lm-studio"# LM Studio 用这个占位就行

)

def ask_local_model(prompt: str, system_prompt: str="你是一个有用的助手。") ->str:

"""

通过 OpenAI 兼容接口调用 LM Studio 本地模型

"""

response = client.chat.completions.create(

model="local-model",# 这个字段会被 LM Studio 忽略

messages=[

{"role": "system","content": system_prompt},

{"role": "user","content": prompt}

],

temperature=0.7,

)

return response.choices[0].message.content

# 测试

if __name__ =="__main__":

question ="介绍一下 RUNOOB 教程的特色"

answer = ask_local_model(

prompt=question,

system_prompt="你是 Runoob 的专属客服，专业回答关于编程学习的问题。"

)

print(f"问：{question}")

print(f"答：{answer}")

# 完全离线的本地知识库 RAG 系统

# 先安装依赖：

# pip install langchain langchain-ollama chromadb pypdf

from langchain_ollama import OllamaLLM, OllamaEmbeddings

from langchain_community.document_loadersimport PyPDFLoader, TextLoader

from langchain.text_splitterimport RecursiveCharacterTextSplitter

from langchain_community.vectorstoresimport Chroma

from langchain.chainsimport RetrievalQA

importos

class LocalKnowledgeBase:

"""本地知识库类，实现完全离线的 RAG 功能"""

def__init__(self, model_name: str="llama3", persist_dir: str="./chroma_db"):

"""

初始化知识库

Args:

model_name: 使用的 Ollama 模型名称

persist_dir: 向量数据库持久化目录

"""

self.model_name= model_name

self.persist_dir= persist_dir

# 1. 初始化 LLM（本地模型）

self.llm= OllamaLLM(model=model_name)

# 2. 初始化嵌入模型（本地嵌入）

# 使用 nomic-embed-text，这个模型对中英文都不错

self.embeddings= OllamaEmbeddings(model="nomic-embed-text")

# 3. 向量数据库占位

self.vector_store=None

self.qa_chain=None

def load_documents(self, document_paths: list):

"""

加载文档并构建向量数据库

Args:

document_paths: 文档路径列表

"""

documents =[]

for path in document_paths:

ifnotos.path.exists(path):

print(f"警告：文件 {path} 不存在，跳过")

continue

# 根据文件扩展名选择加载器

if path.lower().endswith(".pdf"):

loader = PyPDFLoader(path)

elif path.lower().endswith(".txt"):

loader = TextLoader(path, encoding="utf-8")

else:

print(f"警告：不支持的文件类型 {path}，跳过")

continue

documents.extend(loader.load())

print(f"已加载：{path}")

ifnot documents:

print("没有成功加载任何文档")

return

print(f"总共加载了 {len(documents)} 个文档片段")

# 4. 切分文档

text_splitter = RecursiveCharacterTextSplitter(

chunk_size=500,# 每个块 500 个字符

chunk_overlap=100# 块之间重叠 100 个字符

)

split_docs = text_splitter.split_documents(documents)

print(f"切分成 {len(split_docs)} 个片段")

# 5. 构建向量数据库

print("正在构建向量数据库...")

self.vector_store= Chroma.from_documents(

documents=split_docs,

embedding=self.embeddings,

persist_directory=self.persist_dir

)

print("向量数据库构建完成！")

# 6. 构建问答链

self._build_qa_chain()

def _build_qa_chain(self):

"""构建 RAG 问答链"""

ifnotself.vector_store:

print("请先加载文档！")

return

# 构建检索器

retriever =self.vector_store.as_retriever(

search_type="similarity",

search_kwargs={"k": 3}# 返回最相关的 3 个片段

)

# 构建 RAG 链

self.qa_chain= RetrievalQA.from_chain_type(

llm=self.llm,

chain_type="stuff",

retriever=retriever,

return_source_documents=True

)

def load_existing_db(self):

"""加载已有的向量数据库"""

ifos.path.exists(self.persist_dir):

self.vector_store= Chroma(

persist_directory=self.persist_dir,

embedding_function=self.embeddings

)

self._build_qa_chain()

print("已加载现有的向量数据库")

returnTrue

else:

print("没有找到现有的向量数据库")

returnFalse

def ask(self, question: str) ->dict:

"""

向知识库提问

Args:

question: 问题

Returns:

包含答案和参考来源的字典

"""

ifnotself.qa_chain:

return{"error": "请先加载文档或现有数据库！"}

# 构造提示词模板，鼓励中文回答

result =self.qa_chain.invoke({

"query": f"""请用中文回答以下问题。如果答案在上下文中，请明确指出。

如果上下文中没有答案，请诚实说"根据提供的资料无法回答"。

问题：{question}

"""

})

return{

"question": question,

"answer": result["result"],

"sources": [doc.page_contentfor doc in result["source_documents"]]

}

# ============================================

# 使用示例

# ============================================

if __name__ =="__main__":

# 1. 创建知识库实例

kb = LocalKnowledgeBase(model_name="qwen")# 用 Qwen，中文更好

# 2. 尝试加载已有数据库，否则加载文档

ifnot kb.load_existing_db():

# 准备一些文档，比如把一些 RUNOOB 教程存为 txt

sample_docs =[

"/Users/runoob/documents/runoob_python_tutorial.txt",

"/Users/runoob/documents/company_handbook.pdf",

]

kb.load_documents(sample_docs)

# 3. 交互式问答

print("=" * 50)

print("Runoob 本地知识库已启动！")

print("输入你的问题，或输入 'quit' 退出")

print("=" * 50)

whileTrue:

user_input =input("n你的问题：")

if user_input.lower()in["quit","exit","退出"]:

print("再见！")

break

ifnot user_input.strip():

continue

# 提问

result = kb.ask(user_input)

if"error"in result:

print(f"错误：{result['error']}")

continue

print(f"n回答：{result['answer']}")

print("n参考来源：")

for i, source inenumerate(result["sources"],1):

print(f"n[{i}] {source[:200]}...")

ollama pull nomic-embed-text

# 下载主模型（如果还没下）

ollama pull qwen

# 新建文件 Modelfile

echo"FROM llama3

PARAMETER num_ctx 2048"> Modelfile

# 创建自定义模型

ollama create llama3-fast -f Modelfile

# 运行

ollama run llama3-fast

# 文件：Modelfile.fast

echo"FROM llama3

PARAMETER temperature 0.7

PARAMETER top_k 20

PARAMETER top_p 0.9

PARAMETER num_predict 256"> Modelfile.fast

# 创建并运行

ollama create llama3-optimized -f Modelfile.fast

ollama run llama3-optimized