大語言模型調用平臺聞達懶人包安裝部署教程

2023-07-28 10:45 作者:IT教程精選 0人讀過 | 我要投稿

項目介紹

本項目設計目標為實現針對特定環(huán)境的高效內容生成，同時考慮個人和中小企業(yè)的計算資源局限性，以及知識安全和私密性問題。為達目標，平臺化集成了以下能力：

知識庫：支持對接本地離線向量庫、本地搜索引擎、在線搜索引擎等。
多種大語言模型：目前支持離線部署模型有chatGLM-6B\chatGLM2-6B、chatRWKV、llama系列(不推薦中文用戶)、moss(不推薦)、baichuan(需配合lora使用，否則效果差)、Aquila-7B、InternLM，在線API訪問openai api和chatGLM-130b api。
Auto腳本：通過開發(fā)插件形式的JavaScript腳本，為平臺附件功能，實現包括但不限于自定義對話流程、訪問外部API、在線切換LoRA模型。
其他實用化所需能力：對話歷史管理、內網部署、多用戶同時使用等。