目前网上有很多deepseek本地部署的教程,最低配置要求普通笔记本都可以满足,但在实际操作后发现,知识库的使用效果并不理想,以下为几个原因及相关解决办法:
一、系统配置
交互界面一般都是AnythingLLM,若作为知识库来使用需要注意以下几点:
1、在工作区的设置中将聊天设置的聊天模式修改为查询
2、将工作区的文档库中右侧将图钉点上
3、LLM温度调低
二、模型选择32b或70b以上,32b以下的确实不好用
三、投喂文档最理想还是转成markdown,然后确保每个小块都包含了必要的meta信息,简单来说比如一本书的一页如果是一个基本存储单位,那么除了内容,其实还应该包括上一页的末尾,下一页的开头,所述的书、章节、作者等等诸多信息,才能尽量保证命中对吧。而且单一的向量化近似匹配也不够,还应该叠加一下精准搜索。
原文链接:https://blog.csdn.net/Hilaph/article/details/145563587?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522b12595dcd52784083090d771ee593cae%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=b12595dcd52784083090d771ee593cae&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_ecpm_v1~times_rank-9-145563587-null-null.nonecase&utm_term=deepseek%E4%BD%BF%E7%94%A8