From ba0cfd85dcf98c4b798817b88778da36f292ec1c Mon Sep 17 00:00:00 2001
From: LiuWH <65588374+Weihong-Liu@users.noreply.github.com>
Date: Wed, 26 Jul 2023 23:34:40 +0800
Subject: [PATCH 1/3] =?UTF-8?q?Update=208.=E6=90=AD=E5=BB=BA=E4=B8=80?=
 =?UTF-8?q?=E4=B8=AA=E5=B8=A6=E8=AF=84=E4=BC=B0=E7=9A=84=E7=AB=AF=E5=88=B0?=
 =?UTF-8?q?=E7=AB=AF=E9=97=AE=E7=AD=94=E7=B3=BB=E7=BB=9F=20Evaluation.ipyn?=
 =?UTF-8?q?b?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit

---
 ...ºä¸€ä¸ªå¸¦è¯„估的端到端问答系统 Evaluation.ipynb | 48 +++++++++++++------
 1 file changed, 33 insertions(+), 15 deletions(-)

diff --git a/docs/content/C2 Building Systems with the ChatGPT API/8.�建一个带评估的端到端问答系统 Evaluation.ipynb b/docs/content/C2 Building Systems with the ChatGPT API/8.�建一个带评估的端到端问答系统 Evaluation.ipynb
index 8f4212f..d1b66c7 100644
--- a/docs/content/C2 Building Systems with the ChatGPT API/8.�建一个带评估的端到端问答系统 Evaluation.ipynb	
+++ b/docs/content/C2 Building Systems with the ChatGPT API/8.�建一个带评估的端到端问答系统 Evaluation.ipynb	
@@ -12,19 +12,15 @@
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "在本章中，我们将�建一个带评估的端到端问答系统，这个系统综�了之�多节课的内容，并加入了评估过程。\n",
+    "在这一章节中，我们将会构建一个集�评估环节的完整问答系统。这个系统将会��我们在�几节课中所学到的知识，并且加入了评估步骤。以下是该系统的核心�作�程：\n",
     "\n",
-    "1. 检查输入，确认其是�能通过审核 API 的审核。\n",
+    "1. 对用户的输入进行检验，验�其是��以通过审核 API 的标准。\n",
+    "2. 若输入顺利通过审核，我们将进一步对产�目录进行�索。\n",
+    "3. 若产��索�功，我们将继续寻找相关的产�信�。\n",
+    "4. 我们使用模型针对用户的问题进行回答。\n",
+    "5. 最�，我们会使用审核 API 对生�的回答进行�次的检验。\n",
     "\n",
-    "2. 如果通过了审核，我们将查找产�列表。\n",
-    "\n",
-    "3. 如果找到了产�，我们将�试查找它们的相关信�。\n",
-    "\n",
-    "4. 我们使用模型回答用户�出的问题。\n",
-    "\n",
-    "5. 我们将通过审核 API 对生�的答案进行审核。\n",
-    "\n",
-    "如果没有被标记为有害的，我们将把答案返回给用户。"
+    "如果最终答案没有被标记为有害，那么我们将毫无�留地将其呈现给用户。"
    ]
   },
   {
@@ -34,6 +30,28 @@
     "## 二�端到端实现问答系统"
    ]
   },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "\n",
+    "在我们的探索之旅中，我们将实现一个完整的问答系统，一�能�解并回应人类语言的人工智能。在这个过程中，我们将使用 OpenAI 的相关API并引用相关函数，�帮助我们快速�建一个高效且精准的模型。然而，我们需�注�到，在中文的�解和处�方�，由于模型的特性，我们�能会�尔�到��想的结果。在这�情况下，你�以多�试几次，或者进行深入的研究，以找到更稳定的方法。\n",
+    "\n",
+    "让我们先从一个函数开始，它的�称是 `process_user_message_ch`，该函数主�负责处�用户输入的信�。这个函数接收三个�数，用户的输入�所有的历�信�，以�一个表示是�需�调试的标志。\n",
+    "\n",
+    "在函数的内部，我们首先使用 OpenAI 的 Moderation API �检查用户输入的�规性。如果输入被标记为��规，我们将返回一个信�，告知用户请求��规。在调试模�下，我们将打�出当�的进度。\n",
+    "\n",
+    "接下�，我们利用 `utils_zh.find_category_and_product_only` 函数（详细请�附录代�）抽�出用户输入中的商�和对应的目录。然�，我们将抽�的信�转化为一个列表。\n",
+    "\n",
+    "在获�到商�列表�，我们将查询这些商�的具体信�。之�，我们生�一个系统消�，设定一些约�，以确�我们的回应符�期望的标准。\n",
+    "\n",
+    "接下�，我们将生�的消�和历�信�一起�入 `get_completion_from_messages` 函数，得到模型的回应。\n",
+    "\n",
+    "之�，我们�次使用 Moderation API 检查模型的输出是��规。如果输出��规，我们将返回一个信�，告知无法�供该信�。\n",
+    "\n",
+    "最�，我们让模型自我评估是�很好地回答了用户的问题。如果模型认为回答是满足�求的，我们则返回模型的回答；�则，我们会告知用户，他们将会被转接到人工客�进行进一步的帮助。"
+   ]
+  },
   {
    "cell_type": "code",
    "execution_count": 6,
@@ -230,7 +248,7 @@
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "实现一个�视化界�"
+    "为了�续优化用户和助手的问答体验，我们打造了一个�好的�视化界�，以促进用户与助手之间的便�互动。"
    ]
   },
   {
@@ -307,11 +325,11 @@
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "通过监控系统在更多输入上的质�，您�以修改步骤，�高系统的整体性能。\n",
+    "通过监控该问答系统在更多输入上的回答效果，您�以修改步骤，�高系统的整体性能。\n",
     "\n",
-    "也许我们会�现，对于�些步骤，我们的�示�能更好，也许有些步骤甚至�必�，也许我们会找到更好的检索方法等等。\n",
+    "我们�能会察觉，在�些环节，我们的 Prompt �能更好，有些环节�能完全�以�略，甚至，我们�能会找到更好的检索方法等等。\n",
     "\n",
-    "我们将在下一章中进一步讨论这个问题。 "
+    "对于这个问题，我们将在接下�的章节中进行更深入的探讨。"
    ]
   },
   {

From aba9746a43877523c6fa177eab613ebd5d6b3ed6 Mon Sep 17 00:00:00 2001
From: LiuWH <65588374+Weihong-Liu@users.noreply.github.com>
Date: Sat, 29 Jul 2023 18:27:03 +0800
Subject: [PATCH 2/3] =?UTF-8?q?Update=208.=E6=90=AD=E5=BB=BA=E4=B8=80?=
 =?UTF-8?q?=E4=B8=AA=E5=B8=A6=E8=AF=84=E4=BC=B0=E7=9A=84=E7=AB=AF=E5=88=B0?=
 =?UTF-8?q?=E7=AB=AF=E9=97=AE=E7=AD=94=E7=B3=BB=E7=BB=9F=20Evaluation.ipyn?=
 =?UTF-8?q?b?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit

---
 .../8.�建一个带评估的端到端问答系统 Evaluation.ipynb     | 8 +-------
 1 file changed, 1 insertion(+), 7 deletions(-)

diff --git a/docs/content/C2 Building Systems with the ChatGPT API/8.�建一个带评估的端到端问答系统 Evaluation.ipynb b/docs/content/C2 Building Systems with the ChatGPT API/8.�建一个带评估的端到端问答系统 Evaluation.ipynb
index d1b66c7..cc10e65 100644
--- a/docs/content/C2 Building Systems with the ChatGPT API/8.�建一个带评估的端到端问答系统 Evaluation.ipynb	
+++ b/docs/content/C2 Building Systems with the ChatGPT API/8.�建一个带评估的端到端问答系统 Evaluation.ipynb	
@@ -38,16 +38,10 @@
     "在我们的探索之旅中，我们将实现一个完整的问答系统，一�能�解并回应人类语言的人工智能。在这个过程中，我们将使用 OpenAI 的相关API并引用相关函数，�帮助我们快速�建一个高效且精准的模型。然而，我们需�注�到，在中文的�解和处�方�，由于模型的特性，我们�能会�尔�到��想的结果。在这�情况下，你�以多�试几次，或者进行深入的研究，以找到更稳定的方法。\n",
     "\n",
     "让我们先从一个函数开始，它的�称是 `process_user_message_ch`，该函数主�负责处�用户输入的信�。这个函数接收三个�数，用户的输入�所有的历�信�，以�一个表示是�需�调试的标志。\n",
-    "\n",
     "在函数的内部，我们首先使用 OpenAI 的 Moderation API �检查用户输入的�规性。如果输入被标记为��规，我们将返回一个信�，告知用户请求��规。在调试模�下，我们将打�出当�的进度。\n",
     "\n",
     "接下�，我们利用 `utils_zh.find_category_and_product_only` 函数（详细请�附录代�）抽�出用户输入中的商�和对应的目录。然�，我们将抽�的信�转化为一个列表。\n",
-    "\n",
-    "在获�到商�列表�，我们将查询这些商�的具体信�。之�，我们生�一个系统消�，设定一些约�，以确�我们的回应符�期望的标准。\n",
-    "\n",
-    "接下�，我们将生�的消�和历�信�一起�入 `get_completion_from_messages` 函数，得到模型的回应。\n",
-    "\n",
-    "之�，我们�次使用 Moderation API 检查模型的输出是��规。如果输出��规，我们将返回一个信�，告知无法�供该信�。\n",
+    "在获�到商�列表�，我们将查询这些商�的具体信�。之�，我们生�一个系统消�，设定一些约�，以确�我们的回应符�期望的标准。我们将生�的消�和历�信�一起�入 `get_completion_from_messages` 函数，得到模型的回应。之�，我们�次使用 Moderation API 检查模型的输出是��规。如果输出��规，我们将返回一个信�，告知无法�供该信�。\n",
     "\n",
     "最�，我们让模型自我评估是�很好地回答了用户的问题。如果模型认为回答是满足�求的，我们则返回模型的回答；�则，我们会告知用户，他们将会被转接到人工客�进行进一步的帮助。"
    ]

From db698d4e255a30cbbf2e9947b5190ed000b06969 Mon Sep 17 00:00:00 2001
From: LiuWH <65588374+Weihong-Liu@users.noreply.github.com>
Date: Sat, 29 Jul 2023 21:27:30 +0800
Subject: [PATCH 3/3] =?UTF-8?q?Update=209.=E8=AF=84=E4=BC=B0=EF=BC=88?=
 =?UTF-8?q?=E4=B8=8A=EF=BC=89=20Evaluation-part1.ipynb?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit

---
 .../9.评估（上） Evaluation-part1.ipynb       | 97 +++++++++++--------
 1 file changed, 56 insertions(+), 41 deletions(-)

diff --git a/docs/content/C2 Building Systems with the ChatGPT API/9.评估（上） Evaluation-part1.ipynb b/docs/content/C2 Building Systems with the ChatGPT API/9.评估（上） Evaluation-part1.ipynb
index 1a98d52..9bdd919 100644
--- a/docs/content/C2 Building Systems with the ChatGPT API/9.评估（上） Evaluation-part1.ipynb	
+++ b/docs/content/C2 Building Systems with the ChatGPT API/9.评估（上） Evaluation-part1.ipynb	
@@ -13,42 +13,28 @@
   },
   {
    "cell_type": "markdown",
-   "id": "c768620b",
+   "id": "c9ea000a",
    "metadata": {},
    "source": [
-    "在之�的章节中，我们展示了如何使用 LLM 构建应用程�，包括评估输入�处�输入以�在�用户显示输出之�进行最终输出检查。\n",
+    "在过去的章节里，我们�你展示了如何借助 LLM 构建应用程�，包括评估输入，处�输入，以�在呈现结果给用户之�进行最�的结果检查。然而，在构建出这样的系统�，我们应如何确知其�行状况呢？更甚者，当我们将其部署并让用户开始使用之�，我们�该如何追踪其表现，�现�能存在的问题，并�续优化它的回答质�呢？在本章里，我们将�你分享一些评估LLM输出的最佳实践。\n",
     "\n",
-    "构建这样的系统�，如何知�它的工作情况？甚至在部署�并让用户使用它时，如何跟踪它的�行情况，�现任何缺陷，并�续改进系统的答案质�？\n",
+    "构建基于LLM的应用程�与构建传统的监�学习应用程�有所��。因为你�以快速地构建出基于LLM的应用程�，所以评估通常�从测试集开始。相�，你会��地建立起一个测试样例的集�。\n",
     "\n",
-    "在本章中，我们想与您分享一些最佳实践，用于评估 LLM 的输出。\n",
+    "在传统的监�学习环境下，你需�收集训练集�开�集，或者留出交�验�集，在整个开�过程中都会用到它们。然而，如果你能够在几分钟内定义一个 Prompt ，并在几�时内得到�馈结果，那么�下�收集一�个测试样本就会显得�为��。因为现在，你�以在没有任何训练样本的情况下得到结果。\n",
     "\n",
-    "构建基于 LLM 的应用程�与传统的监�学习应用程�有所��。由于�以快速构建基于 LLM 的应用程�，因此评估方法通常�从测试集开始。相�，通常会��建立一组测试示例。\n",
+    "因此，在使用LLM构建应用程�时，你�能会�历以下�程：首先，你会在一到三个样本的�样本中调整 Prompt ，�试使其在这些样本上起效。��，当你对系统进行进一步测试时，�能会�到一些棘手的例�，这些例�无法通过 Prompt 或者算法解决。这就是使用 ChatGPT API 构建应用程�的开�者所�临的挑战。在这�情况下，你�以将这些�外的几个例�添加到你正在测试的集�中，有机地添加其他难以处�的例�。最终，你会将足够多的这些例�添加到你�步扩大的开�集中，以至于手动�行�一个例�以测试 Prompt �得有些�便。\n",
     "\n",
-    "在传统的监�学习环境中，需�收集训练集�开�集或�留交�验�集，然�在整个开�过程中使用它们。\n",
+    "然�，你开始开�一些用于衡�这些�样本集性能的指标，例如平�准确度。这个过程的有趣之处在于，如果你觉得你的系统已�足够好了，你�以�时�止，��进行改进。实际上，很多已�部署的应用程�就在第一步或第二步就�下�了，而且它们�行得�常好。\n",
     "\n",
-    "然而，如果能够在几分钟内指定 Prompt，并在几个�时内得到相应结果，那么暂�很长时间去收集一�个测试样本将是一件�其痛苦的事情。因为现在，�以在零个训练样本的情况下获得这个�果。\n",
-    "\n",
-    "因此，在使用 LLM 构建应用程�时，您将体会到如下的过程：\n",
-    "\n",
-    "首先，您会在�有一到三个样本的�样本中调整 Prompt，并�试让 Prompt 在它们身上起作用。\n",
-    "\n",
-    "然�，当系统进行进一步的测试时，您�能会�到一些棘手的例�。Prompt 在它们身上�起作用，或者算法在它们身上�起作用。\n",
-    "\n",
-    "这就是使用 ChatGPT API 构建应用程�的开�者所�历的挑战。\n",
-    "\n",
-    "在这�情况下，您�以将这些�外的几个示例添加到您正在测试的集�中，以机会主义地添加其他棘手的示例。\n",
-    "\n",
-    "最终，您已�添加了足够的这些示例到您缓慢增长的开�集中，以至于通过手动�行�个示例�测试 Prompt �得有些�方便。\n",
-    "\n",
-    "然�，您开始开�在这些�示例集上用于衡�性能的指标，例如平�准确性。\n",
-    "\n",
-    "这个过程的一个有趣方�是，如果您觉得您的系统已�足够好了，您�以�时�在那里，��改进它。事实上，许多已部署的应用程��在第一或第二个步骤，并且�行得�常好。\n",
-    "\n",
-    "需�注�的是，有很多大模型的应用程�没有实质性的风险，�使它没有给出完全正确的答案。\n",
-    "\n",
-    "但是，对于部分高风险应用，如果存在��或�适当的输出�能对�人造�伤害，那么收集测试集�严格评估系统的性能�确�在使用之�它能够�正确的事情，就�得更加��。\n",
-    "\n",
-    "但是，如果您�是使用它�总结文章供自己阅读，而�是给别人看，那么�能造�的�害风险更�，您�以在这个过程中早早�止，而�必去花费更大的代价去收集更大的数�集。"
+    "值得注�的是，很多大型模型的应用程�没有实质性的风险，�使它没有给出完全正确的答案。但是，对于一些高风险的应用，如若存在��或�适当的输出�能对�人造�伤害，那么收集测试集�严格评估系统的性能，以�确�它在使用�能�对事情，就显得尤为��。然而，如果你仅仅是用它�总结文章供自己阅读，而�是给其他人看，那么�能带�的风险就会较�，你�以在这个过程中早早地�止，而�必付出收集大规模数�集的巨大代价。"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "f0c89bda",
+   "metadata": {},
+   "source": [
+    "现在让我们进入更实际的应用阶段，将刚�所学的�论知识转化为实践。让我们一起研究一些真实的数�，�解其结构并使用我们的工具�分�它们。在我们的案例中，我们获�一组分类信��其产��称。让我们执行以下代�，以查看这些分类信��其产��称"
    ]
   },
   {
@@ -116,6 +102,22 @@
     "## 一�找出相关产�和类别�称"
    ]
   },
+  {
+   "cell_type": "markdown",
+   "id": "59867e0e",
+   "metadata": {},
+   "source": [
+    "在我们进行开�时，通常需�处�和解�用户的输入。特别是在电商领域，�能会有���样的用户查询，例如：\"我想�最贵的电脑\"。我们需�一个能�解这�语境，并能给出相关产�和类别的工具。下�这段代�实现的功能就是这样。\n",
+    "\n",
+    "首先我们定义了一个函数`find_category_and_product_v1`，这个函数的主�目的是从用户的输入中解�出产�和类别。这个函数需�两个�数：`user_input`代表用户的查询，`products_and_category`是一个字典，其中包�了产�类型和对应产�的信�。\n",
+    "\n",
+    "在函数的开始，我们定义了一个分隔符`delimiter`，用�在客户�务查询中分隔内容。��，我们创建了一�系统消�。这�消�主�解释了系统的�作方�：用户会�供客户�务查询，查询会被分隔符`delimiter`分隔。系统会输出一个Python列表，列表中的�个对象都是Json对象。�个对象会包�'类别'和'�称'两个字段，分别对应产�的类别和�称。\n",
+    "\n",
+    "我们创建了一个�为`messages`的列表，用�存储这些示例对�以�用户的查询。最�，我们使用`get_completion_from_messages`函数处�这些消�，返回处�结果。\n",
+    "\n",
+    "通过这段代�，我们�以看到如何通过对�的方��解和处�用户的查询，以�供更好的用户体验。"
+   ]
+  },
   {
    "cell_type": "code",
    "execution_count": 4,
@@ -499,7 +501,9 @@
    "id": "2af63218",
    "metadata": {},
    "source": [
-    "当您�调整的开�集�仅仅是一�部分示例时，开始自动化测试过程就�得有用了。"
+    "当我们的应用程����熟，测试的��性也�之增加。通常，当我们仅处�少�样本，手动�行测试并对结果进行评估是�行的。然而，��开�集的增大，这�方法�得既���低效。此时，就需�引入自动化测试��高我们的工作效率。下�将开始编写代��自动化测试�程，�以帮助您��效率并确�测试的准确率。\n",
+    "\n",
+    "以下是一些用户问题的标准答案，用于评估 LLM 回答的准确度，与机器学习中的验�集的作用相当。"
    ]
   },
   {
@@ -616,6 +620,14 @@
     "## 八�通过与�想答案比较�评估测试用例"
    ]
   },
+  {
+   "cell_type": "markdown",
+   "id": "b5aba12b",
+   "metadata": {},
+   "source": [
+    "我们通过以下函数`eval_response_with_ideal`�评估 LLM 回答的准确度"
+   ]
+  },
   {
    "cell_type": "code",
    "execution_count": 17,
@@ -767,9 +779,18 @@
     "height": 30
    },
    "source": [
-    "## ��在所有测试用例上�行评估，并计算正确的用例比例\n",
+    "## ��在所有测试用例上�行评估，并计算正确的用例比例\n"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "4fa148ce",
+   "metadata": {},
+   "source": [
+    "下�我们�对测试用例中的全部问题进行验�，并计算 LLM 回答正确的准确率\n",
     "\n",
-    "注�：如果任何 API 调用超时，将无法�行"
+    "\n",
+    "> 注�：如果任何 API 调用超时，将无法�行"
    ]
   },
   {
@@ -863,17 +884,11 @@
    "id": "5d885db6",
    "metadata": {},
    "source": [
-    "使用 Prompt 构建应用程�的工作�程与使用监�学习构建应用程�的工作�程�常��。\n",
+    "使用 Prompt 构建应用程�的工作�程与使用监�学习构建应用程�的工作�程�常��。因此，我们认为这是需�记�的一件好事，当您正在构建监�学习模型时，会感觉到迭代速度快了很多。\n",
     "\n",
-    "因此，我们认为这是需�记�的一件好事，当您正在构建监�学习模型时，会感觉到迭代速度快了很多。\n",
+    "如果您并未亲身体验，�能会惊�于仅有手动构建的�少样本，就�以产生高效的评估方法。您�能会认为，仅有 10 个样本是�具备统计�义的。但当您真正�用这�方�时，您�能会对�开�集中添加一些��样本所带�的效果��感到惊讶。这对于帮助您和您的团队找到有效的 Prompt 和有效的系统�常有帮助。\n",
     "\n",
-    "如果您并未亲身体验，�能会惊�于仅有手动构建的�少样本，就�以产生高效的评估方法。您�能会认为，仅有 10 个样本是�具备统计�义的。但当您真正�用这�方�时，您�能会对�开�集中添加一些��样本所带�的效果��感到惊讶。\n",
-    "\n",
-    "这对于帮助您和您的团队找到有效的 Prompt 和有效的系统�常有帮助。\n",
-    "\n",
-    "在本章中，输出�以被定�评估，就�有一个期望的输出一样，您�以判断它是�给出了这个期望的输出。\n",
-    "\n",
-    "在下一章中，我们将探讨如何在更加模糊的情况下评估我们的输出。�正确答案�能�那么明确的情况。"
+    "在本章中，输出�以被定�评估，就�有一个期望的输出一样，您�以判断它是�给出了这个期望的输出。在下一章中，我们将探讨如何在更加模糊的情况下评估我们的输出。�正确答案�能�那么明确的情况。"
    ]
   },
   {