Kako preveriti, ali glasovni AI agent dovolj dobro razume slovenske klice?

Microsoft Azure Speech v dokumentaciji med podprtimi jeziki za prepoznavanje govora navaja slovenščino z oznako sl-SI. Podpora se razlikuje med funkcijami. Tak seznam pove, kje je določena možnost na voljo; ne oceni kakovosti celotnega agenta v vašem postopku.

V pogovoru sodelujejo različni deli: prepoznavanje govora, obdelava zahteve, izgovor odgovora in povezava z drugimi orodji. Napaka se lahko pojavi med katerimkoli od njih.

Ponazoritev: sistem lahko pravilno prepiše »termin prestavite na četrtek«, vendar napačno določi datum. Lahko pravilno razume datum, a ga ne zapiše v koledar. Pri obeh primerih se klic lahko sliši povsem normalno.

Za vsak scenarij zapišite, kaj mora biti ob koncu znano, kaj sme agent narediti in kdaj mora vključiti človeka. Pri pomembnem podatku določite tudi način potrditve s klicateljem.

Če agent zbira telefonsko številko za povratni klic, mora preizkus preveriti pravilno vrednost in njen prejem pri odgovorni osebi. Povzetek »stranka želi klic« brez uporabnega kontakta naloge še ne zaključi.

Pri rezervaciji določite razliko med željo po terminu in potrjeno rezervacijo. Agent sme potrditi samo stanje, ki ga dejansko potrjuje povezani sistem. Če orodje ne odgovori, mora pogovor nadaljevati po dogovorjenem postopku za napako.

Uporabite način govora svojih kupcev, vključno s popravki in nepopolnimi podatki. Spodnji primeri so ponazoritev priprave preizkusa, ne rezultat testiranja konkretnega sistema.

Dodajte še zahtevo zunaj potrjenega obsega, slabšo slišnost in prekinjen klic. Pri strokovnih izrazih uporabite dejanska poimenovanja storitev, naprav in lokacij, ki jih ekipa srečuje.

Iste scenarije naj opravijo različni govorci. Vključite običajen tempo, premore in regionalne razlike, ki so relevantne za vaše stranke. Ne ocenjujte sistema samo s počasnim branjem pripravljenega besedila v tihem prostoru.

Vapi v dokumentaciji razlikuje med preverjanjem posameznih odločitev, besedilnimi pogovori in glasovnimi preizkusi. Opozarja, da sintetični klicatelji ne zajamejo vseh okoliščin, denimo šuma, naglasov in prekinitev. Zato so potrebni tudi ustrezni ročni preizkusi.

Preverite telefonsko pot, ki jo bo uporabljal kupec. Predstavitev v brskalniku ne potrdi sama po sebi delovanja telefonske številke, usmerjanja ali predaje. Za preizkus uporabite vnaprej dogovorjene testne kontakte in termine, da ne ustvarite resničnih naročil.

Pregledovalec naj primerja pričakovani izid s prepisom, povzetkom in zapisom v ciljni evidenci. Ko je za presojo potrebno slišati izgovor ali prekinjanje, naj pregleda tudi ustrezno testno zvočno gradivo.

Nepravilno zapisano ime in izmišljena potrditev termina nimata nujno enakega vpliva. Napake razvrstite po posledici: neroden pogovor, neuporaben podatek, napačno izvedena naloga ali neuspešna predaja.

Ob ponavljajoči se napaki določite, kateri del jo povzroča. Če prepis vsebuje pravilno številko, končni zapis pa ne, težave ne boste rešili zgolj z zamenjavo glasu. Izvajalec naj pokaže popravek in ponovi zadevni scenarij ter povezane primere.

Shranite scenarije, izide in različico preizkušenega sistema. Zapis »deluje v slovenščini« je preširok za prevzem. Uporabnejši je seznam nalog, preverjenih pogojev in preostalih omejitev.

Pomembne scenarije ponovite po spremembi navodil, prepoznavanja govora, glasu ali povezav. Uspešen posamezen preizkus ne dokazuje zanesljivosti vseh prihodnjih klicev. Ponavljanje pa omogoči odkriti, ali je popravek prizadel že delujoč del.

Ko uvedete omejen obseg, spremljajte tudi dejansko obravnavo ekipe. Če agent pripravi pravilen zapis, nihče pa ne vrne klica, problem ostaja v nadaljevanju. Ta del opisuje vodič o neodgovorjenih klicih v podjetju.

V preizkusu zabeležite tudi trajanje in obračunane enote. To vam bo pomagalo primerjati celotne stroške glasovnega AI agenta za klicni tok, ki ste ga dejansko preverili.

Takšen preizkus vključite v jasno opredeljen pilot z merili prevzema. Ob zaključku ločite dokazano delovanje od zahtev, ki v izbrani obseg niso bile vključene.

Priporočila in primeri postopkov so uredniško gradivo AXO-8. Zunanje vire za tehnične trditve lahko preverite spodaj. Označene ponazoritve ne predstavljajo rezultatov naročnikov.

• Microsoft Learn: Language and voice support for Azure Speech — jezikovna podpora po posameznih funkcijah, vključno s sl-SI.
• Vapi: Testing voice agents — sloji preizkušanja, ponovitve in omejitve sintetičnih pogovorov.