Add data dir in src

tools/generate_instructions_knowledge.py

@@ -1,50 +0,0 @@
-import argparse
-import openai
-import yaml
-import random
-
-
-def return_random_prompt():
-    system_prompt = "你需要针对法条内容尽可能联想多样化的场景生成问答数据。我们将用于人工评估 ChatGPT 模型对指令的完成情况。要求:\n"
-
-    # generate random tasks
-    system_prompt += "1. 结合真实问题，表述多样化。\n"
-
-    # other requirements
-    system_prompt += "2. 如果遇到无法处理的指令（只靠文本无法回答），给出无法处理的回复。\n"
-    system_prompt += "3. 除非特别要求，请使用中文，指令可以是命令句、疑问句、或其他合适的类型。\n"
-    system_prompt += "4. <Reference>：违反本法规定，对妇女实施性骚扰的，由公安机关给予批评教育或者出具告诫书，并由所在单位依法给予处分。\n学校、用人单位违反本法规定，未采取必要措施预防和制止性骚扰，造成妇女权益受到侵害或者社会影响恶劣的，由上级机关或者主管部门责令改正；拒不改正或者情节严重的，依法对直接负责的主管人员和其他直接责任人员给予处分。\n"
-    system_prompt += "5. <input>是结合法条内容联想到的真实场景下的问题。要求该场景下存在违法者和受害人\n"
-    system_prompt += "6. <output>是结合法条内容对该问题的适当且真实的回应，不能只回复答应或拒绝请求。尽可能地指明违法行为可能遭受的惩罚，并向受害者提出维权建议。\n\n"
-    system_prompt += "请给出满足条件的10条JSON格式数据：\n"
-
-    return system_prompt
-
-
-if __name__ == "__main__":
-    parser = argparse.ArgumentParser()
-    parser.add_argument('--cfg_path', default='../config.yaml', type=str)
-    parser.add_argument('--save_path', default='./output.json', type=str)
-    args = parser.parse_args()
-
-    with open(args.cfg_path, 'r') as f:
-        cfg = yaml.load(f, Loader=yaml.FullLoader)
-
-    openai.api_key = cfg['API_KEY']
-    openai.api_base = cfg['API_BASE_URL']
-
-    output_file = open(args.save_path, 'w')
-
-    # number of data to generate (each prompt contains 20 JSON-formatted data)
-    # TODO: 改成流式的，不然会中途断掉
-    MAX_EPOCHS = 1
-    for k in range(MAX_EPOCHS):
-        response = openai.ChatCompletion.create(
-            # here we use `gpt-3.5-turbo` model, while Stanford-Alpaca uses `text-davinci-003`
-            model="gpt-3.5-turbo",
-            messages=[
-                {"role": "user", "content": return_random_prompt()},
-            ]
-        )
-        output_file.write(response["choices"][0]["message"]["content"] + '\n')
-    output_file.close()

tools/generate_instructions_law.py

@@ -1,51 +0,0 @@
-import argparse
-import openai
-import yaml
-import sys
-import random
-
-
-def return_random_prompt():
-    system_prompt = "你需要针对输入尽可能给出多样化的任务指令和对应的回答。我们将用于人工评估ChatGPT模型对指令的完成情况。要求:\n"
-
-    # generate random tasks
-    task_list = ["开放式生成", "分类", "问答", "编辑", "摘要", "写作", "分析", "抽取"]
-    system_prompt += "1. 表述多样化，结合真实问题；指令类型多样化，例如：" + "、".join(random.sample(task_list, 7)) + "等。\n"
-
-    # other requirements
-    system_prompt += "2. 如果遇到无法处理的指令（只靠文本无法回答），给出无法处理的回复。\n"
-    system_prompt += "3. 除非特别要求，请使用中文，指令可以是命令句、疑问句、或其他合适的类型。\n"
-    system_prompt += "4. <input>是：'第十三条 一切危害国家主权、领土完整和安全，分裂国家、颠覆人民民主专政的政权和推翻社会主义制度，破坏社会秩序和经济秩序，侵犯国有财产或者劳动群众集体所有的财产，侵犯公民私人所有的财产，侵犯公民的人身权利、民主权利和其他权利，以及其他危害社会的行为，依照法律应当受刑罚处罚的，都是犯罪，但是情节显著轻微危害不大的，不认为是犯罪。'"
-    system_prompt += "5. <output>应该是对指令的适当且真实的回应，不能只回复答应或拒绝请求。如果需要额外信息才能回复时，请努力预测用户意图并尝试回复。<output>的内容应少于" + str(random.randint(128, 512)) + "字。\n\n"
-    system_prompt += "请给出满足条件的20条JSON格式数据：\n"
-
-    return system_prompt
-
-
-if __name__ == "__main__":
-    parser = argparse.ArgumentParser()
-    parser.add_argument('--cfg_path', default='../config.yaml', type=str)
-    parser.add_argument('--save_path', default='./output.json', type=str)
-    args = parser.parse_args()
-
-    with open(args.cfg_path, 'r') as f:
-        cfg = yaml.load(f, Loader=yaml.FullLoader)
-
-    openai.api_key = cfg['API_KEY']
-    openai.api_base = cfg['API_BASE_URL']
-
-    output_file = open(args.save_path, 'w')
-
-    # number of data to generate (each prompt contains 20 JSON-formatted data)
-    # TODO: 改成流式的，不然会中途断掉
-    MAX_EPOCHS = 1
-    for k in range(MAX_EPOCHS):
-        response = openai.ChatCompletion.create(
-            # here we use `gpt-3.5-turbo` model, while Stanford-Alpaca uses `text-davinci-003`
-            model="gpt-3.5-turbo",
-            messages=[
-                {"role": "user", "content": return_random_prompt()},
-            ]
-        )
-        output_file.write(response["choices"][0]["message"]["content"] + '\n')
-    output_file.close()