From bf64589060ee28a105f6a7f76cc0370259795d95 Mon Sep 17 00:00:00 2001 From: Pengxiao Song <47233927+pengxiao-song@users.noreply.github.com> Date: Mon, 22 May 2023 22:27:17 +0800 Subject: [PATCH] [DOC] Add cmd support --- README.md | 26 ++++++++++++++------------ 1 file changed, 14 insertions(+), 12 deletions(-) diff --git a/README.md b/README.md index e8f366a..55e1fa9 100644 --- a/README.md +++ b/README.md @@ -24,7 +24,7 @@ LaWGPT 是一系列基于中文法律知识的开源大语言模型。 本项目持续开展，法律领域数据集及系列模型后续相继开源，敬请关注。 ## 更新 -- 🛠️ 2023/05/22：项目主分支结构调整，详见[项目结构](https://github.com/pengxiao-song/LaWGPT#项目结构) +- 🛠️ 2023/05/22：项目主分支结构调整，详见[项目结构](https://github.com/pengxiao-song/LaWGPT#项目结构)；支持[命令行批量推理](https://github.com/pengxiao-song/LaWGPT/blob/main/scripts/infer.sh) - 🪴 2023/05/15：发布 [中文法律数据源汇总（Awesome Chinese Legal Resources）](https://github.com/pengxiao-song/awesome-chinese-legal-resources) 和 [法律领域词表](https://github.com/pengxiao-song/LaWGPT/blob/main/resources/legal_vocab.txt) @@ -53,25 +53,27 @@ LaWGPT 是一系列基于中文法律知识的开源大语言模型。 conda create -n lawgpt python=3.10 -y conda activate lawgpt pip install -r requirements.txt - - # 启动可视化脚本（自动下载预训练模型约15GB） - bash ./scripts/webui.sh ``` +2. **启动 web ui（可选，易于调节参数）** -2. 访问 http://127.0.0.1:7860 ： + - 首先，执行服务启动脚本：`bash ./scripts/webui.sh` + + - 其次，访问 http://127.0.0.1:7860 ：

- -3. 合并模型权重（可选） - **如果您想使用 LaWGPT-7B-alpha 模型，可跳过改步，直接进入步骤3.** +3. **命令行推理（可选，支持批量测试）** - 如果您想使用 LaWGPT-7B-beta1.0 模型： - - 由于 [LLaMA](https://github.com/facebookresearch/llama) 和 [Chinese-LLaMA](https://github.com/ymcui/Chinese-LLaMA-Alpaca) 均未开源模型权重。根据相应开源许可，**本项目只能发布 LoRA 权重**，无法发布完整的模型权重，请各位谅解。 + - 首先，参考 `resources/example_infer_data.json` 文件内容构造测试样本集； - 本项目给出[合并方式](https://github.com/pengxiao-song/LaWGPT/wiki/%E6%A8%A1%E5%9E%8B%E5%90%88%E5%B9%B6)，请各位获取原版权重后自行重构模型。 + - 其次，执行推理脚本：`bash scripts/infer.sh`。其中 `--infer_data_path` 参数为测试样本集路径，如果为空或者路径出错，则以交互模式运行。 + +注意，以上步骤的默认模型为 LaWGPT-7B-alpha ，如果您想使用 LaWGPT-7B-beta1.0 模型： + +- 由于 [LLaMA](https://github.com/facebookresearch/llama) 和 [Chinese-LLaMA](https://github.com/ymcui/Chinese-LLaMA-Alpaca) 均未开源模型权重。根据相应开源许可，**本项目只能发布 LoRA 权重**，无法发布完整的模型权重，请各位谅解。 + +- 本项目给出[合并方式](https://github.com/pengxiao-song/LaWGPT/wiki/%E6%A8%A1%E5%9E%8B%E5%90%88%E5%B9%B6)，请各位获取原版权重后自行重构模型。 ## 项目结构