本地部署大模型平台

LangChain‌AI 產品及服務越來越多,每天總有幾個產品推薦,好用的教學又多的但又不見多,假如你也正在找比較有方向的AL平台,不妨試試。

Dify,名字好記DO IT FOR YOU,Web 界面的LLM平台,可以RAG,AI工作流。

RAGFLOW,RAG 的可視平台,也是web 界面,提供RAG 界面,可以自己選擇embedding 模型,rerank 模型,可以直接上傳文件,可以選擇和本地ollama 一起跑。也有chat 和knowledge base

haystack 是一個LLM 框架,提供模塊化,可以自己開發搭建,我還沒有這能力。

cognita 是一個LLM 框架,有在線演示https://cognita.truefoundry.com/

GPUStack 是一個本地運行AI的管理器,這個名氣沒有cherry studio llm studio 之類那麼出名,也是網頁界面。
MaxKB,有點類似RAGFLOW,國內開發的平台,有RAG,chat,AI 流程。
LangChain‌,這個是十分出名AI框架,書籍也有不少。