总共这个词流程需要准备三个软件：91porn.me

Ollama。用于运转土产货大模子。如果使用闭源大模子的API，则不需要装配Ollama。Docker。用于运转AnythingLLM。AnythingLLM。常识库运转平台，提供常识库构建及运转的功能。1 装配Ollama下载Ollama（网址：https://ollama.com/download）

图片91porn.me91porn.me

下载后平直装配，然后启动高唱行窗口输入高唱加载模子。高唱不错通过点击官网Models后，搜索并采用所需要的模子后稽查。

图片

搜索框输入qwen

图片

采用模子后，拷贝对应的高唱

图片

注：Ollama复旧加载运转GGUF体式的大模子，这个自行稽查官网。

”启动高唱行窗口，拷贝高唱并运转，淌若第一次运转，Ollama会自动下载模子并启动模子。如本机上已装配了qwen:14b模子，则输入高唱后会平直启动此模子。

图片

至此，Ollama装配结束。

2 装配Docker

Docker 是一个开源的运用容器引擎，让路发者不错打包他们的运用以及依赖包到一个可移植的镜像中，然后发布到任何流行的操作系统的机器上，从而完结虚构化。

装配Docker Desktop（下载网址：https://www.docker.com/products/docker-desktop/）

图片

下载后平直双击装配即可，Docker的装配流程十分浅近，莫得什么参数需要建立，一起next即可。

3 装配AnythingLLM

AnythingLLM不错在Docker上装配。

启动Docker Desktop。第一次启动可能需要注册账号，也不错平直使用google、github账号登陆。点击顶部的搜索框或输入快捷键Ctrl + K 绽放搜索窗口，输入anythingllm进行搜索，如下图所示，点击 Pull 按钮拉取镜像

图片

模子拉取结束后，点击 Images 并在右侧的镜像列表中点击anythingllm后的 Run 按钮启动镜像

图片

如下图所示，输入容器称号和端标语，这个不错敷衍输入，但不可和其他已有的容器名或端标语重迭（如果有的话）

图片

镜像启动后不错点击如下图所示位置的流畅，大致平直在浏览器中输入localhost:3001启动AnythingLLM

图片

4 设立AnythingLLM点击按钮 Get started 参加建立向导界面

图片

采用大模子。如下图所示建立使用Ollama，然后建立参数指定Ollama Base URL为 http://host.docker.internal:11434指定Chat Model Selection为 qwen:14b指定Token context window为 4096

图片

注：AnythingLLM复旧使用闭源模子的API。

”采用默许的AnythingLLM Embedder

图片

采用选择默许的LanceDB行为向量数据坑

图片

如下图所示建立

图片

查验并证据前边的建立

图片

为职责空间指命称号，并参加下一步

图片

如下图所示，点击流畅upload a document绽放文档上传界面

图片

情欲九歌十大禁片文档上传界面如图所示

图片

不错添加我方的文档，并将文档移入职责区

图片

文档移入后如下图所示

图片

image-20240420232939913点击按钮 Save and Embed 处理文档

图片

文档处理结束后不错进行测试，如下图所示

图片

5 常识库惩处不错点击左下角的建立按钮绽放建立面板

图片

如下图所示不错建立语料分割参数

图片

也不错点击左上角的按钮，如下图所示

图片

其中第一个按钮绽放的是文档惩处对话框

图片

第二个按钮绽放的是模子建立面板

图片

具体建立步履不错参阅文档。进步常识库性能的一些步履包括：

使用更广博的底座模子。底座模子用于数据的输入和输出。使用GPT4着力细目要比使用小领域的开源模子。AnythingLLM复旧以API神气调用如GPT4、Claude3、Gemini Pro等大模子。现在似乎还莫得提供国内大模子的接口。使用更好的Embedding模子。现在AnythingLLM内置了一个镶嵌模子。其也复旧调用如OpenAI、Ollama等提供的其他镶嵌模子。分词参数。用于分割数据。这个参数退换需要尝试。使用更高效的向量库。精粹的原始数据。6 关闭Docker

当不使用大模子时，为了简易资源，不错采用关闭容器。

点击 Containers ，点击关闭按钮不错关闭容器

图片

(完）

图片

本站仅提供存储干事，总共履行均由用户发布，如发现存害或侵权履行，请点击举报。