Nessun prompt da scrivere
Il vostro team spiega il lavoro e rivede cosa dice l'agente. Il prompt lo scriviamo e lo manteniamo noi.
Qualità
Testato prima della prima chiamata
Non scrivete nessun prompt. Raccogliamo noi il materiale, ne ricaviamo i test e rilasciamo solo ciò che li supera.
DRING Test Suite
I test nascono dal vostro materiale
Scrivere prompt non è compito vostro. E nemmeno immaginare le chiamate difficili che riceverà il vostro agente.
Test costruiti su ciò che raccogliamo
Documenti, registrazioni, regole e i commenti che lasciate in revisione diventano la suite di test di quell'agente.
Approvato da DRING, poi operativo
Un agente va in produzione solo dopo aver superato quei test. Fino ad allora resta su una linea privata.
Da 1.000 a 10.000 conversazioni simulate, costruite per la vostra azienda, prima della prima chiamata reale. Il numero di conversazioni simulate dipende dall'agente, e ognuna nasce dal vostro processo, dai vostri documenti e dalle vostre registrazioni, non da un benchmark generico.
La stessa disciplina vale per ogni modifica. Ogni regola che ci date entra nell'unica suite di test di quell'agente, e una nuova regola va in produzione solo se tutte le regole esistenti continuano a passare accanto a lei. Scoprite come nasce l'agente
Prima dell'avvio
Prima che un agente entri in servizio
Lo stesso percorso vale per ogni agente, per quanto semplice possa sembrare il caso d'uso visto da fuori.
Personas dalla vostra realtà
Clienti arrabbiati, ordini sbagliati, trappole sulle regole, silenzi e interruzioni, ricavati dal vostro processo.
Conversazioni simulate
Ogni persona simulata affronta una conversazione completa con l'agente, non una singola domanda da copione.
Valutazione indipendente
Valutatori automatici danno un punteggio a ogni conversazione. Se non sono d'accordo, una persona verifica la chiamata.
Test di regressione
Prima di qualsiasi rilascio i risultati vengono confrontati con la release precedente: una correzione non può rompere in silenzio qualcos'altro.
Passaggi verificati
Il passaggio a una persona viene verificato esplicitamente, non dato per funzionante.
Rilascio graduale
Il traffico reale aumenta per fasi controllate, con i punteggi sotto osservazione a ogni passaggio e la release precedente pronta.
La valutazione automatica può deviare o perdere una sfumatura. Controlli indipendenti, più la revisione umana di ogni discordanza, rendono il segnale più utile di un singolo punteggio.
Dopo il lancio
Il controllo qualità non si ferma
I test non finiscono con l'avvio. Gli agenti in produzione passano controlli di qualità regolari per tutto il tempo in cui lavorano.
Ogni chiamata valutata
Appena la chiamata si chiude, risoluzione, rispetto delle regole e tempi di risposta vengono valutati e il sentiment viene etichettato.
Verifiche periodiche
Ogni agente in produzione viene rimesso alla prova contro la release precedente a intervalli regolari, per scoprire una regressione silenziosa prima che se ne accorga un cliente.
Alert sulle deviazioni
Se un punteggio esce dall'intervallo previsto scatta un alert in automatico, senza aspettare la verifica successiva.
Errori di trascrizione
Gli errori dello speech-to-text vengono tracciati per nome, luogo e termine di prodotto, poi corretti nel dizionario dell'agente.
| Metrica | Definizione | Perché conta |
|---|---|---|
| Risoluzione | Se il motivo della chiamata del cliente è stato davvero affrontato. | La misura principale per capire se l'agente ha fatto il suo lavoro. |
| Sentiment | Come è cambiato il tono del cliente dall'inizio alla fine della chiamata. | Intercetta le chiamate risolte sulla carta ma che hanno lasciato il cliente insoddisfatto. |
| Rispetto delle regole | Se le azioni dell'agente sono rimaste entro le regole configurate. | Tiene l'agente dentro i confini fissati dall'azienda. |
| Tempo di risposta | L'intervallo tra la fine della frase del cliente e la risposta dell'agente. | Una risposta lenta sembra una linea disturbata, anche quando il contenuto è giusto. |
| Precisione dei passaggi | Se l'agente ha passato la chiamata a una persona quando doveva farlo. | Un passaggio mancato è peggio di uno superfluo. |
| Scarto di regressione | La variazione del punteggio rispetto alla release precedente, sulla stessa suite di test. | Intercetta una release che peggiora l'agente senza farsi notare. |
A/B outbound
Vince l'apertura migliore: contano gli esiti, non le opinioni
Quale frase d'apertura, tono o voce funziona si decide sulle chiamate outbound reali, non in riunione.
Test di esempio · varianti di aperturaFase 1 · traffico in parti uguali
0 chiamate
0 chiamate
0 chiamate
Campione minimo non raggiunto. Il traffico resta diviso tra le varianti.
Cosa si testa
La frase d'apertura, il tono, la voce, il ritmo, l'ordine delle domande, il modo di rispondere a un'obiezione. Una sola variabile per variante, così il risultato è attribuibile.
Come si sceglie la vincente
In base all'esito della campagna stessa, con un campione minimo concordato per ogni variante. Sentiment e tasso di passaggio all'operatore fanno da paletti: una variante che vince sugli esiti ma perde sull'accoglienza non va in produzione.
Come entra in produzione
La vincente viene estesa per fasi controllate, le altre varianti escono di scena e la modifica viene registrata, così il confronto successivo parte da una base nota.
Anche una variante promossa deve superare la suite di regressione prima di arrivare all'intera campagna.
Regole di sicurezza
Cosa un agente non farà mai
- Rifiuta ciò che è fuori perimetroUna richiesta che esula da ciò per cui l'agente è stato costruito viene declinata, non aggirata con un'improvvisazione.
- Non inventa mai regoleSe non ha ricevuto una regola, non la indovina e non fa promesse a nome vostro.
- Passa i temi delicati a una personaLe richieste delicate vanno a un operatore, invece di essere gestite a giudizio dell'agente.
- Offre sempre una personaChi chiama ha sempre a disposizione un operatore, qualunque cosa l'agente sia in grado di fare da solo.
Domande frequenti
Domande sui test
Dobbiamo scrivere o mantenere il prompt?+
No. Voi spiegate il lavoro, condividete documenti e registrazioni e rivedete cosa dice l'agente. Scrivere e mantenere il prompt è compito nostro, e i test nascono dal materiale che ci avete dato, non da un modello generico.
I test si fanno prima di ogni release, non solo all'avvio?+
Sì. Le verifiche di regressione contro la release precedente girano a intervalli regolari, e ogni modifica segue lo stesso rilascio graduale del primo avvio.
Cosa succede se due valutazioni non concordano?+
La conversazione passa a un revisore umano e viene verificata prima che il risultato sia definitivo. Le discordanze ripetute sono il segnale che va affinata la suite di valutazione stessa.
Possiamo vedere gli scenari di test del nostro agente?+
Sì. Personas e scenari sono costruiti attorno alle vostre regole e ai vostri casi limite, e li vedete durante l'onboarding.
Cosa succede se i punteggi di un agente in produzione deviano?+
Scatta in automatico un alert, le chiamate che l'hanno generato vengono analizzate e la correzione ripassa dalla suite di test prima che quel tipo di chiamata torni all'agente.
La suite di test sul vostro caso d'uso
Vediamo insieme come sarebbe un avvio misurato, dal primo brief del processo al ciclo di revisione dopo la messa in produzione.