Skapa en konversationstestuppsättning

Med konversationsutvärdering kan du utvärdera agentens allmänna beteende över en längre interaktion. Den visar hur verkliga användare interagerar med agenter, där varje svar beror på tidigare kontext i en pågående konversation. Du kan använda dessa utvärderingar för att avgöra om en agent kan underhålla kontexten, be om förtydliganden och slutföra uppgifter i flera steg.

Du kan också köra utvärderingar av enskilda svar, vilket är bra för när du vill testa din agent på hur den svarar på specifika frågor, vilka funktioner den anropar och på den exakta formulering som den använder i sina svar.

Utvärderingar använder testuppsättningar. En testuppsättning för konversationsutvärderingar består av en grupp på upp till 20 testfall. När du kör en agentutvärdering väljer du en testuppsättning och Copilot Studio kör varje testfall i den uppsättningen mot din agent.

Du kan skapa testfall i en testuppsättning genom att importera dem med hjälp av ett kalkylblad eller använda AI för att generera meddelanden baserat på agentens design och resurser. Du kan sedan välja hur du vill mäta kvaliteten på din agents svar för varje testfall inom en testuppsättning.

För mer information om hur agentutvärdering fungerar, se Om agentutvärdering.

För att lära dig hur man redigerar en befintlig testuppsättning, se Ändra detaljerna för en testuppsättning.

Skapa en konversationstestuppsättning

1. Gå till din agents utvärderingssida .

1. Välj Ny utvärdering och sedan Konversation.

   

2. Du kan skapa testfall med flera svängar med någon av följande metoder:

   • Snabbkonversation: Generera automatiskt 10 korta konversationer baserat på agentens beskrivning, instruktioner och funktioner.

   • Fullständig konversationsuppsättning: Generera konversationer med hjälp av agentens kunskaper eller definierade ämnen. I det här alternativet kan du välja att skapa korta eller långa konversationer.

   • Använd din testchatt: Konvertera den senaste testchatten till ett testfall.

1. Under Namn skriver du ett namn för testuppsättningen.

2. Ändra eller lägg till de testmetoder som du vill använda. För konversationstestuppsättningar kan du lägga till den allmänna kvaliteten, Nyckelordsmatchning, Kapacitetsmatchning eller anpassade testmetoder för klassificering .

   • Lägg till en ny metod:
     1. Välj Lägg till testmetod.
     2. Välj alla metoder du vill testa med, välj sedan OK. Du kan lägga till flera metoder.
     3. För vissa metoder, sätt först ett godkänt resultat och välj sedan OK. Godkänd poäng avgör vilket resultat som leder till godkänt eller underkänt.
     4. Vissa metoder kräver att du lägger till förväntade svar eller nyckelord för varje testfall. För mer information, se Välj utvärderingsmetoder.
   • Välj en befintlig testmetod att redigera eller ta bort.

   Testmetod	Mått	Typ av testuppsättning	Poängsättning	Konfigurationer
   Allmän kvalitet	Hur väl bedöms svaren från ett testfall baserat på specifika egenskaper	Enskilt svar eller en konversation	Fick poäng av 100%	Ingen
   Jämför betydelsen	Hur väl betydelsen av testfallets svar stämmer överens med det förväntade svaret	Enkelt svar	Fick poäng av 100%	Godkänt resultat, förväntat svar
   Användning av kapabilitet	Om testfallet använde alla eller några förväntade resurser	Enkelt svar	Godkänd/underkänd	Förväntade kapaciteter
   Nyckelordsmatchning	Oavsett om testfallet använde alla eller några av de förväntade nyckelorden eller fraserna	Enskilt svar eller en konversation	Godkänd/underkänd	Förväntade nyckelord eller fraser
   Textlikhet	Hur väl texten i testfallets svar stämmer överens med det förväntade svaret	Enkelt svar	Fick poäng av 100%	Godkänt resultat, förväntat svar
   Exakt matchning	Om testfallets svar exakt motsvarar det förväntade svaret	Enkelt svar	Godkänd/underkänd	Förväntat svar
   Anpassat	Om testfallets svar uppfyller dina definierade kriterier eller förväntningar.	Enskilt svar eller en konversation	Pass/fail (uppfyller de definierade etikettvillkoren)	Namn, utvärderingsinstruktioner, etiketter

3. Redigera detaljerna om testfallen. Alla testmetoder, förutom allmän kvalitet, kräver förväntade svar eller nyckelord. Mer information om hur du redigerar testfall finns i Ändra en testuppsättning.

4. Välj användarprofil, välj sedan eller lägg till det konto du vill använda för denna testuppsättning, eller fortsätt utan autentisering. Utvärderingen använder detta konto för att koppla till kunskapskällor och verktyg under testning. För information om hur man lägger till och hanterar användarprofiler, se Hantera användarprofiler och anslutningar.

1. Redigera eller skapa fler testfall. Läs mer i Redigera testfall i en testuppsättning.

2. Välj Save för att uppdatera testsetet utan att köra testfallen eller Evaluate för att köra testsetet omedelbart.