寶塔做網(wǎng)站,網(wǎng)站開發(fā)簡歷項目,網(wǎng)站建設(shè)用戶畫像例子,網(wǎng)絡(luò)技術(shù)推廣服務(wù)打開 WSL 終端#xff0c;執(zhí)行官方一鍵安裝腳本#xff1a; curl -fsSL https://ollama.com/install.sh | sh驗證安裝是否成功#xff1a; ollama --version # 輸出版本號#xff08;如ollama version 0.1.48#xff09;則安裝成功三、基礎(chǔ)使用#xff1a;運(yùn)行 / 管理?！蜷_ WSL 終端執(zhí)行官方一鍵安裝腳本curl -fsSL https://ollama.com/install.sh | sh驗證安裝是否成功ollama --version # 輸出版本號如ollama version 0.1.48則安裝成功三、基礎(chǔ)使用運(yùn)行 / 管理模型1. 運(yùn)行第一個模型以 DeepSeek 為例Ollama 內(nèi)置了主流模型的配置直接執(zhí)行模型名即可自動下載并運(yùn)行ollama run deepseek # 自動下載DeepSeek模型并啟動交互界面首次運(yùn)行會下載模型文件DeepSeek-7B 約 4GB耐心等待下載完成后進(jìn)入交互模式輸入問題即可對話如介紹一下WSL退出交互輸入/bye或按Ctrl D。2. 常用 Ollama 命令模型管理命令功能ollama list查看已下載的模型ollama pull deepseek單獨(dú)下載模型不運(yùn)行ollama rm deepseek刪除指定模型ollama stop deepseek停止運(yùn)行中的模型ollama serve后臺啟動 Ollama 服務(wù)供 API 調(diào)用四、進(jìn)階開啟 GPU 加速WSL 2 專屬默認(rèn) Ollama 使用 CPU 運(yùn)行模型開啟 GPU 加速可大幅提升推理速度步驟如下安裝 WSL 版 NVIDIA 驅(qū)動先在 Windows 側(cè)安裝 NVIDIA 顯卡驅(qū)動需支持 WSL 2https://www.nvidia.com/Download/index.aspxWSL 內(nèi)安裝 CUDA 依賴無需完整安裝 CUDA僅需運(yùn)行時sudo apt install nvidia-cuda-toolkit -y驗證 GPU 識別nvidia-smi # 輸出顯卡信息則GPU適配成功重啟 Ollama 服務(wù)自動調(diào)用 GPUsudo systemctl restart ollama ollama run deepseek # 再次運(yùn)行模型會自動使用GPU五、通過 API 調(diào)用 Ollama開發(fā)集成Ollama 內(nèi)置 REST API可在 WSL 內(nèi)或 Windows 側(cè)調(diào)用后臺啟動 Ollama 服務(wù)ollama serve # 表示后臺運(yùn)行調(diào)用 API 示例curl 測試curl http://localhost:11434/api/generate -d { model: deepseek, prompt: 解釋Ollama的核心優(yōu)勢 }Python 調(diào)用示例import requests url http://localhost:11434/api/generate data { model: deepseek, prompt: 用Python寫一個調(diào)用Ollama API的示例, stream: False # 關(guān)閉流式輸出直接返回完整結(jié)果 } response requests.post(url, jsondata) print(response.json()[response])Docker 安裝 web-ui 界面version: 3.8 services: open-webui: image: ghcr.io/open-webui/open-webui:main container_name: open-webui restart: always ports: - 3000:8080 # 主機(jī)端口:容器端口可自定義如 8088:8080 extra_hosts: - host.docker.internal:host-gateway # 關(guān)鍵讓容器訪問主機(jī)的 Ollama volumes: - ./data:/app/backend/data # 持久化數(shù)據(jù)對話、配置、插件 - ./models:/app/models # 可選掛載自定義模型目錄 environment: - OLLAMA_BASE_URLhttp://host.docker.internal:11434 # 指定 Ollama 地址 - LANGUAGEzh-CN # 強(qiáng)制中文界面 - TZAsia/Shanghai # 時區(qū)配置避免日志時間錯亂