这篇日记旨在总结各类使用deepseek的方法,并尽可能简化教程
相信这是薪友们在使用deepseek过程中很头疼的问题
一:本地部署 本地部署胜在稳定性,但对电脑配置有一定要求---电脑配置较低运行速度较慢,可以使用更小的蒸馏模型,但会牺牲输出质量 1.ollama 本地部署的主流方案是ollama 这是一款开源软件,在进入ollama官网下载并完成安装后打开power shell窗口,输入ollama,回车,如果出现这些代表安装成功
输入命令即可下载对应的模型
https://ollama.com/library/deepseek-r1 进入链接复制对应命令粘贴到power shell窗口即可 关于模型选择:作为参考,我的显卡是笔记本版的rtx4060,显存8G,7b模型显存占用5.1G,14b占用6.3G,请根据显存大小酌情选择 等待下载模型,下载完成会自动加载,并进入交互模式与模型对话 如需继续安装其它模型,在交互模式下,输入 /bye 或按下 Ctrl+d 退出,再输入上图的命令即可
需要注意的是输入 /bye 或按下 Ctrl+d只是推出交互,如果要退出当前运行的模型,需要右击ollama的图标,点击quit ollama,这样才能避免显存持续占用
同r1模型一样,deepseek官方的搜索也经常无法使用 解决搜索问题需要一个浏览器插件---pageassist,安装以后可以直接在浏览器里与ollama对话,界面更加友好 pageassist下载地址:https://github.com/n4ze3m/page-assist
点击右侧的v1.5.0---选择有对应浏览器名称的zip包下载即可
在浏览器中选择扩展---管理扩展---将下载好的.zip压缩包拖入即可(如果不识别请打开扩展管理中的开发人员模式)
安装成功后点击扩展,就可以看到pageassist了
可以点击小眼睛固定到工具栏方便打开,或者点击左边的图标在边栏打开来提升效率
进入插件,在输入框可以看到联网搜索开关,在设置中可以更改搜索引擎和搜索结果条数 注意:pageassist依赖于ollama运行,请先安装ollama并加载好模型
2:LMstudio 本地运行对显存要求较高,如果显存较小或者显卡性能较弱,推荐使用LMstudio运行 这是一款美国公司开发的闭源软件,可以使用GPU+CPU混合运算 LMstudio下载:https://lmstudio.ai/ 模型下载: 魔搭:https://www.modelscope.cn/home HFmirror:https://hf-mirror.com/ hugging face:https://huggingface.co/ 在任意一个网站搜索deepseekr1下载,注意需要.gguf格式的
进入软件后,点击左边第三个红色文件夹---点击路径栏右侧的三个点---change 更改到合适的路径(如D盘) 注意这款软件对模型文件的格式和放置路径有限制,需要在刚才设置的路径下再添加两层文件夹 路径示例:刚才设置的路径\deepseekr1(文件夹)\deepseek r1 14b(文件夹)\deepseek r1 14b.gguf(模型文件)
显示模型就算成功了
现在进入左侧第一项,就可以选择模型并加载了 另外,可以在右下角的设置里把语言改成中文方便使用
3.移动端 手机/平板可以使用pocketpal 下载地址:https://github.com/a-ghorbani/pocketpal-ai/releases/tag/v1.6.7 苹果用户App Store直接下载即可 使用也很简单:右下角go to models---选择模型并点download,下载完成点load加载模型即可
实际使用下来很吃内存,并会造成手机明显卡顿,不推荐,除非M4等高端处理器+大内存,我的小内存设备跑个1.5b玩玩还算流畅 不过据说R1 1.5b模型虽然语言处理能力不太行,但依然拥有很强的推理能力
二.API使用 API的方式不需要消耗本地算力,但稳定性依赖于API提供商,且需要根据token收费 可以使用deepseek官方提供的API,也可用第三方,更推荐后者,毕竟咱们的初衷是解决官网崩溃的问题 推荐使用硅基流动提供API,它使用华为云提供算力,算是较为稳定的平台 硅基流动注册入口:https://cloud.siliconflow.cn/i/xTALa1uZ xTALa1uZ 可以用我的邀请码注册,你我双方都可以获得14元供API使用
登录后选择左侧API,再点右侧的新建API密钥 这时会让你输入描述,可以输入任意文字,表明用途方便后续管理自己的API即可 我的习惯是设备名称+软件名称 API密钥暂时留着等待后续使用
接下来就是下载软件调用API了 1.电脑端 推荐Cherry studio,拥有知识库、使用多个模型同时回复(方便对比回答)等丰富功能 下载地址:https://cherry-ai.com/download
安装完成后,点击左下角设置---模型服务---硅基流动,填入API密钥即可 另外可以在模型服务下方设置默认模型,我把所有默认都设成R1了
旧版本的Cherrystudio可能需要手动选择模型,点击管理,找到r1模型添加即可(注意distill 几b的模型是蒸馏模型,回复质量会降低,不过价格也会较低,按需选择即可)
可以使用其他API调用别的模型,思路也是一样的,就不再赘述了
2.移动端 chatbox和Cherry studio是一类软件,推荐在移动端使用(Cherry studio没移动端) chatbox下载链接:https://github.com/Bin-Huang/chatbox 同pageassist的下载方式大同小异(都是GitHub);iOS用户aap商店直接下载
安装完成后首次进入会自动弹出窗口,选下面这个选项,模型提供方选择siliconflowAPI
如果没有也没关系,点击左上角---倒数第二个 设置---模型提供方选择siliconflowAPI 填入密钥(建议在硅基流动另外创一个API,确保一个API对应一个设备的一个APP) 和电脑端一样,按需选择模型 上下文数量和temperature一般默认的20 0.7即可 点击保存,就配置完成了,回到对话窗口即可使用
三.使用其它平台接入的deepseek 作为一款强大的开源模型,自然会有不少厂商接入 1.秘塔 https://metaso.cn/ 秘塔是国内的AI搜索软件,在搜索框打开长思考开关即可,保留了思考过程透明化,推荐使用
这款软件有移动端app,平时我习惯放在桌面上,一般不开长思考,快速搜索我不了解的信息。秘塔免费用户每天有100次免费搜索额度,足够日常使用了 2.perplexity https://www.perplexity.ai/ 这是一款国外的AI搜索平台 同秘塔一样,也接入了deepseek模型,由于我的科学上网问题,暂时无法打开 可以移步我上一篇日记,红楼大佬巧妙利用perplexity解决了似乎只有内部人员才知道的问题 3.手机厂商的语音助手 荣耀在自家的AI助手YOYO内也提供了deepseek的使用入口,我不是荣耀手机没法体验,不过据说挺稳定 华为在鸿蒙next系统的语音助手上也接入的deepseek,没next设备也没关系,可以使用网页版 https://xiaoyi.huawei.com/chat/
日常用来分析文档什么的还是很方便的 4.纳米搜索 360的CEO红衣大叔经常在视频里推广纳米搜索,称可以体验稳定的满血版r1 在deepseek官网被国外攻击,持续陷入崩溃时,纳米搜索里的deepseek确实屹立不倒,360的网络安全技术还是很给力的 不过评论区有说回复质量不如官网原版的,赞同人数还不少,薪友们酌情考虑使用哈
整理教程不易,还请薪友们多多关注投币支持,以后还会持续更新 第一次写这么长的教程,如有纰漏还请多多谅解
|