From ba0cfd85dcf98c4b798817b88778da36f292ec1c Mon Sep 17 00:00:00 2001 From: LiuWH <65588374+Weihong-Liu@users.noreply.github.com> Date: Wed, 26 Jul 2023 23:34:40 +0800 Subject: [PATCH] =?UTF-8?q?Update=208.=E6=90=AD=E5=BB=BA=E4=B8=80=E4=B8=AA?= =?UTF-8?q?=E5=B8=A6=E8=AF=84=E4=BC=B0=E7=9A=84=E7=AB=AF=E5=88=B0=E7=AB=AF?= =?UTF-8?q?=E9=97=AE=E7=AD=94=E7=B3=BB=E7=BB=9F=20Evaluation.ipynb?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...ºä¸€ä¸ªå¸¦è¯„估的端到端问答系统 Evaluation.ipynb | 48 +++++++++++++------ 1 file changed, 33 insertions(+), 15 deletions(-) diff --git a/docs/content/C2 Building Systems with the ChatGPT API/8.æ­å»ºä¸€ä¸ªå¸¦è¯„估的端到端问答系统 Evaluation.ipynb b/docs/content/C2 Building Systems with the ChatGPT API/8.æ­å»ºä¸€ä¸ªå¸¦è¯„估的端到端问答系统 Evaluation.ipynb index 8f4212f..d1b66c7 100644 --- a/docs/content/C2 Building Systems with the ChatGPT API/8.æ­å»ºä¸€ä¸ªå¸¦è¯„估的端到端问答系统 Evaluation.ipynb +++ b/docs/content/C2 Building Systems with the ChatGPT API/8.æ­å»ºä¸€ä¸ªå¸¦è¯„估的端到端问答系统 Evaluation.ipynb @@ -12,19 +12,15 @@ "cell_type": "markdown", "metadata": {}, "source": [ - "在本章中,我们将æ­å»ºä¸€ä¸ªå¸¦è¯„估的端到端问答系统,这个系统综åˆäº†ä¹‹å‰å¤šèŠ‚è¯¾çš„å†…å®¹ï¼Œå¹¶åŠ å…¥äº†è¯„ä¼°è¿‡ç¨‹ã€‚\n", + "在这一章节中,我们将会构建一个集æˆè¯„估环节的完整问答系统。这个系统将会èžåˆæˆ‘们在å‰å‡ èŠ‚è¯¾ä¸­æ‰€å­¦åˆ°çš„çŸ¥è¯†ï¼Œå¹¶ä¸”åŠ å…¥äº†è¯„ä¼°æ­¥éª¤ã€‚ä»¥ä¸‹æ˜¯è¯¥ç³»ç»Ÿçš„æ ¸å¿ƒæ“作æµç¨‹ï¼š\n", "\n", - "1. 检查输入,确认其是å¦èƒ½é€šè¿‡å®¡æ ¸ API 的审核。\n", + "1. 对用户的输入进行检验,验è¯å…¶æ˜¯å¦å¯ä»¥é€šè¿‡å®¡æ ¸ API 的标准。\n", + "2. 若输入顺利通过审核,我们将进一步对产å“目录进行æœç´¢ã€‚\n", + "3. è‹¥äº§å“æœç´¢æˆåŠŸï¼Œæˆ‘ä»¬å°†ç»§ç»­å¯»æ‰¾ç›¸å…³çš„äº§å“ä¿¡æ¯ã€‚\n", + "4. 我们使用模型针对用户的问题进行回答。\n", + "5. 最åŽï¼Œæˆ‘们会使用审核 API 对生æˆçš„å›žç­”è¿›è¡Œå†æ¬¡çš„æ£€éªŒã€‚\n", "\n", - "2. 如果通过了审核,我们将查找产å“列表。\n", - "\n", - "3. 如果找到了产å“,我们将å°è¯•查找它们的相关信æ¯ã€‚\n", - "\n", - "4. 我们使用模型回答用户æå‡ºçš„问题。\n", - "\n", - "5. 我们将通过审核 API 对生æˆçš„答案进行审核。\n", - "\n", - "如果没有被标记为有害的,我们将把答案返回给用户。" + "如果最终答案没有被标记为有害,那么我们将毫无ä¿ç•™åœ°å°†å…¶å‘ˆçŽ°ç»™ç”¨æˆ·ã€‚" ] }, { @@ -34,6 +30,28 @@ "## 二ã€ç«¯åˆ°ç«¯å®žçŽ°é—®ç­”ç³»ç»Ÿ" ] }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "\n", + "在我们的探索之旅中,我们将实现一个完整的问答系统,一ç§èƒ½ç†è§£å¹¶å›žåº”人类语言的人工智能。在这个过程中,我们将使用 OpenAI 的相关API并引用相关函数,æ¥å¸®åŠ©æˆ‘ä»¬å¿«é€Ÿæ­å»ºä¸€ä¸ªé«˜æ•ˆä¸”ç²¾å‡†çš„æ¨¡åž‹ã€‚ç„¶è€Œï¼Œæˆ‘ä»¬éœ€è¦æ³¨æ„到,在中文的ç†è§£å’Œå¤„ç†æ–¹é¢ï¼Œç”±äºŽæ¨¡åž‹çš„特性,我们å¯èƒ½ä¼šå¶å°”é‡åˆ°ä¸ç†æƒ³çš„ç»“æžœã€‚åœ¨è¿™ç§æƒ…况下,你å¯ä»¥å¤šå°è¯•几次,或者进行深入的研究,以找到更稳定的方法。\n", + "\n", + "让我们先从一个函数开始,它的å称是 `process_user_message_ch`,该函数主è¦è´Ÿè´£å¤„ç†ç”¨æˆ·è¾“入的信æ¯ã€‚è¿™ä¸ªå‡½æ•°æŽ¥æ”¶ä¸‰ä¸ªå‚æ•°ï¼Œç”¨æˆ·çš„è¾“å…¥ã€æ‰€æœ‰çš„历å²ä¿¡æ¯ï¼Œä»¥åŠä¸€ä¸ªè¡¨ç¤ºæ˜¯å¦éœ€è¦è°ƒè¯•的标志。\n", + "\n", + "在函数的内部,我们首先使用 OpenAI çš„ Moderation API æ¥æ£€æŸ¥ç”¨æˆ·è¾“入的åˆè§„性。如果输入被标记为ä¸åˆè§„,我们将返回一个信æ¯ï¼Œå‘ŠçŸ¥ç”¨æˆ·è¯·æ±‚ä¸åˆè§„。在调试模å¼ä¸‹ï¼Œæˆ‘们将打å°å‡ºå½“å‰çš„进度。\n", + "\n", + "接下æ¥ï¼Œæˆ‘们利用 `utils_zh.find_category_and_product_only` 函数(详细请è§é™„录代ç ï¼‰æŠ½å–出用户输入中的商å“和对应的目录。然åŽï¼Œæˆ‘们将抽å–的信æ¯è½¬åŒ–为一个列表。\n", + "\n", + "在获å–到商å“列表åŽï¼Œæˆ‘们将查询这些商å“的具体信æ¯ã€‚之åŽï¼Œæˆ‘们生æˆä¸€ä¸ªç³»ç»Ÿæ¶ˆæ¯ï¼Œè®¾å®šä¸€äº›çº¦æŸï¼Œä»¥ç¡®ä¿æˆ‘ä»¬çš„å›žåº”ç¬¦åˆæœŸæœ›çš„æ ‡å‡†ã€‚\n", + "\n", + "接下æ¥ï¼Œæˆ‘们将生æˆçš„æ¶ˆæ¯å’Œåކå²ä¿¡æ¯ä¸€èµ·é€å…¥ `get_completion_from_messages` 函数,得到模型的回应。\n", + "\n", + "之åŽï¼Œæˆ‘们冿¬¡ä½¿ç”¨ Moderation API 检查模型的输出是å¦åˆè§„。如果输出ä¸åˆè§„,我们将返回一个信æ¯ï¼Œå‘ŠçŸ¥æ— æ³•æä¾›è¯¥ä¿¡æ¯ã€‚\n", + "\n", + "最åŽï¼Œæˆ‘们让模型自我评估是å¦å¾ˆå¥½åœ°å›žç­”äº†ç”¨æˆ·çš„é—®é¢˜ã€‚å¦‚æžœæ¨¡åž‹è®¤ä¸ºå›žç­”æ˜¯æ»¡è¶³è¦æ±‚的,我们则返回模型的回答;å¦åˆ™ï¼Œæˆ‘们会告知用户,他们将会被转接到人工客æœè¿›è¡Œè¿›ä¸€æ­¥çš„帮助。" + ] + }, { "cell_type": "code", "execution_count": 6, @@ -230,7 +248,7 @@ "cell_type": "markdown", "metadata": {}, "source": [ - "实现一个å¯è§†åŒ–界é¢" + "为了æŒç»­ä¼˜åŒ–用户和助手的问答体验,我们打造了一个å‹å¥½çš„å¯è§†åŒ–界é¢ï¼Œä»¥ä¿ƒè¿›ç”¨æˆ·ä¸ŽåŠ©æ‰‹ä¹‹é—´çš„ä¾¿æ·äº’动。" ] }, { @@ -307,11 +325,11 @@ "cell_type": "markdown", "metadata": {}, "source": [ - "通过监控系统在更多输入上的质é‡ï¼Œæ‚¨å¯ä»¥ä¿®æ”¹æ­¥éª¤ï¼Œæé«˜ç³»ç»Ÿçš„æ•´ä½“性能。\n", + "通过监控该问答系统在更多输入上的回答效果,您å¯ä»¥ä¿®æ”¹æ­¥éª¤ï¼Œæé«˜ç³»ç»Ÿçš„æ•´ä½“性能。\n", "\n", - "也许我们会å‘现,对于æŸäº›æ­¥éª¤ï¼Œæˆ‘们的æç¤ºå¯èƒ½æ›´å¥½ï¼Œä¹Ÿè®¸æœ‰äº›æ­¥éª¤ç”šè‡³ä¸å¿…è¦ï¼Œä¹Ÿè®¸æˆ‘们会找到更好的检索方法等等。\n", + "我们å¯èƒ½ä¼šå¯Ÿè§‰ï¼Œåœ¨æŸäº›çŽ¯èŠ‚ï¼Œæˆ‘ä»¬çš„ Prompt å¯èƒ½æ›´å¥½ï¼Œæœ‰äº›çŽ¯èŠ‚å¯èƒ½å®Œå…¨å¯ä»¥çœç•¥ï¼Œç”šè‡³ï¼Œæˆ‘们å¯èƒ½ä¼šæ‰¾åˆ°æ›´å¥½çš„æ£€ç´¢æ–¹æ³•等等。\n", "\n", - "我们将在下一章中进一步讨论这个问题。 " + "对于这个问题,我们将在接下æ¥çš„章节中进行更深入的探讨。" ] }, {