满心记 我在人间混日子

使用Ollama搭建本地模型库

最近deepseek炒的比较火热,热度有超过openai的趋势,毕竟是国内公司的产品,也算是国内用户的福音了,我也用了下,感觉各方面很不错,对比国内其它AI模型要好得多,deepseek有免费额度,当然收费也不贵,主要使用官方网页版太慢了,有时候无法使用,所以我们肯定是要采取其它途径,比如使用API方式来接入,具体就不多说了,DeepSeek官网文档说的很清楚。

软件工具

此前我一直使用的OpenAi,借助ChatBox和NextApi这两款开源工具来配合使用(无需魔法),当然还有LobeHub也很不错。NextApi可私有部署,之前我也分享过,只不过这款产品被卖掉了,也超过三个月没有更新了,所以并不支持市面上新出的模型,比如DeepSeek,当然使用OpenAi还是没问题的,基本上常用模型都有,我最常用的还是ChatBox了,一直在更新,市面上主流的模型都支持,友好的UI和简单的配置就可上手使用,非常方便,有兴趣的伙伴可以去看看ChatBox,闲话说的有点多了,有点儿偏题了,回到Ollama上来。

Ollama是什么?

Ollama是一个开源的本地模型运行工具,可以方便地下载和运行各种开源模型,比如Llama、Qwen、DeepSeek等。这个工具支持Windows、MacOS、Linux等操作系统。

本地模型的好处?

现在有越来越多的开源模型,可以在自己的电脑或服务器上运行。使用本地模型有许多优势:

  • 完全离线运行,保护隐私数据安全
  • 无需支付在线 API 费用
  • 完全离线,服务稳定,无网络延迟
  • 可以自由调整和定制模型参数

(注意:运行本地模型对你的电脑配置有一定要求,包括内存、GPU 等。如果出现卡顿,请尝试降低模型参数。)

以下Ollama运行的服务都要结合现有工具配套使用,如上面提到的ChatBox、LobeHub等

安装Ollama

Ollama下载地址

下载并安装Ollama后,请打开命令行终端,输入命令下载并运行本地模型。你可以在这里查看到所有ollama支持的模型列表:Ollama模型列表

举例1:下载并运行llama3.2模型

ollama run llama3.2

举例2:下载并运行 deepseek-r1:8b 模型(注意:Ollama 上的 DeepSeek R1 模型实际上是蒸馏模型)

ollama run deepseek-r1:8b

以上都配置好后,借助本地工具,将Host和模型选好,就可以使用了

Ollama远程服务

除了可以使用本地Ollama服务,也可以连接运行在其他机器上的远程Ollama服务。

例如,你可以在家中的电脑上运行 Ollama 服务,并在手机或其他电脑上使用 Chatbox 客户端连接到这个服务。

你需要确保远程Ollama服务正确配置并暴露在当前网络中。默认情况下,需要对远程Ollama服务进行简单的配置。

配置远程 Ollama 服务?

默认情况下Ollama服务仅在本地运行,不对外提供服务。要使Ollama服务能够对外提供服务,你需要设置以下两个环境变量:

OLLAMA_HOST=0.0.0.0
OLLAMA_ORIGINS=*

注意事项

  • 可能需要在防火墙中允许 Ollama 服务的端口(默认为 11434),具体取决于你的操作系统和网络环境。
  • 为避免安全风险,请不要将 Ollama 服务暴露在公共网络中。家庭Wifi网络是一个相对安全的环境。

参考:Ollama服务配置

发表评论

提交评论
  1. 头像
    沉沦 Lv2 回复
    羡慕,我电脑配置太低了,玩不起这个。
    河北省保定市联通 · iOS 18.3 / Safari
    1. 头像
      满心 博主 回复
      @沉沦 我32G的,还可以,不受约束
      湖北省武汉市电信 · Windows 10 / Google Chrome
      1. 头像
        沉沦 Lv2 回复
        @满心 牛啊,大内存是真的爽。
        河北省保定市联通 · iOS 18.3 / Safari
  2. 头像
    acevs Lv3 回复
    不错有多一个自建的哈~
    山东省临沂市联通 · Windows 10 / Google Chrome
    1. 头像
      满心 博主 回复
      @acevs 是啊,我目前工作电脑上搭一个,远程服务器上整一个,换着用,很香
      湖北省武汉市电信 · Windows 10 / Google Chrome
  3. 头像
    夜未央 Lv1 回复
    请教两个问题,1、本地化的优势是什么,是模型可以自己训练吗,还是训练和回答的粒度可以定制?2、8B模型用起来和web版的回答质量差距大吗?
    陕西省渭南市电信 · Windows 11 / Google Chrome
    1. 头像
      nkmz Lv1 回复
      @夜未央 官方原版模型671B,8B与之相比差距不小。但如果只是平常简单提问,则差异不大
      浙江省嘉兴市电信 · Windows 10 / Microsoft Edge
    2. 头像
      满心 博主 回复
      @夜未央 本地化优势是,不用去调用别人的AI库,完全免费可用。
      我目前使用起来,没有明显感觉
      湖北省武汉市电信 · Windows 10 / Google Chrome