Smart Reply

Asistente de Agente: Smart Reply

Smart Reply propone; el agente decide qué enviar. Conviene medir sugerencias útiles y errores, además de cuántas veces aparece una respuesta. Y no, un porcentaje pequeño de PII no es una garantía de privacidad. (￢‿￢ )

Smart Reply es una funcionalidad del asistente de agente diseñada para ayudar a los agentes humanos durante las conversaciones al sugerir respuestas automáticamente. El curso lo atribuye a una arquitectura LSTM, pero la guía consultada no confirma esa arquitectura para toda versión actual. El modelo aprende del contexto de la conversación para proponer respuestas coherentes y de alta calidad, lo que ayuda a reducir los tiempos de respuesta.

Los beneficios clave de Smart Reply son:

Reducción del tiempo de manejo promedio (AHT): Ayuda a los agentes a responder más rápido.
Mejora de la satisfacción del agente: Les facilita el trabajo al proporcionar sugerencias útiles.
Aumento potencial de ventas: La eficiencia y calidad de las respuestas pueden mejorar la experiencia del cliente y, por lo tanto, las conversiones.

En esencia, Smart Reply actúa como un asistente personal para el agente, ofreciéndole la siguiente frase o respuesta más probable en tiempo real.

Prerrequisitos y arquitectura

Para implementar Smart Reply, se requiere una configuración específica en Google Cloud.

1. Requisitos de Google Cloud:

Un proyecto de Google Cloud con los buckets y las APIs necesarios habilitados.
Las APIs requeridas son:
- Conversational Agents API
- Cloud Storage API
- Data Labeling API (para etiquetar datos si es necesario)

2. Permisos de acceso (IAM):

El equipo que trabaja en el proyecto debe tener los permisos IAM adecuados.
Asignar los permisos documentados para cada operación y principal. Entrenar, leer datos y consumir sugerencias son operaciones diferentes; asignar permisos para cada una en lugar de usar Project Owner por defecto.

Preparación de datos y entrenamiento

Para que el modelo Smart Reply sea efectivo, necesita ser entrenado con un gran volumen de datos de alta calidad. Se utilizan transcripciones de conversaciones reales para este propósito.

Requisitos del conjunto de datos (dataset):

Mínimo de transcripciones: Se requieren al menos 30,000 transcripciones.
Volumen recomendado: El volumen óptimo depende de cobertura y calidad. La guía consultada exige al menos 30.000 conversaciones para entrenar este modelo; no promete un rendimiento óptimo al llegar a 200.000.
Contenido: Los mensajes deben ser conversaciones genuinas de un centro de contacto. Mensajes genéricos del sistema, como "la llamada está siendo transferida...", no son útiles.
Datos personales (PII): No existe una proporción de PII que garantice privacidad. La documentación indica que la API intenta ocultarla y recomienda sanear los datos antes de enviarlos si necesitamos excluirla del modelo.
Formato CSV o JSON
- CSV: Cada columna de ser un string válido
- JSON: Cada llave debe tener su valor propio asociado

Data preparation

Estructura de los datos: Cada transcripción debe ser un archivo JSON con los siguientes campos:

transcript_id: Un identificador único para cada conversación.
role: El rol del actor en la conversación (Agente o Cliente).
content: El texto del mensaje.
user_id: Un identificador para el hablante (1 para el cliente, 2 para el agente).
timestamp: La marca de tiempo del mensaje.

El proceso de preparación y entrenamiento sigue estos pasos:

Importar los datos: Las transcripciones en formato JSON se importan desde un bucket de Cloud Storage a la consola de Agent Assist.
Crear el dataset: Se crea un nuevo conjunto de datos para el entrenamiento.
Conversión de formato: Los datos se convierten al formato Text Stream Entry para que el modelo pueda procesarlos.
Entrenar el modelo: Se inicia el entrenamiento del modelo Smart Reply con el dataset preparado.
Analizar el modelo: Se evalúa el rendimiento del modelo entrenado.
Revisar la lista de permitidos (allowlist): Se verifica y ajusta la lista de respuestas permitidas para las sugerencias.
Configurar y monitorear: Se integra y se monitorea el rendimiento del modelo en producción.

Resolver problemas comunes

Los 4 pasos recomendados:

Revisar las métricas de evaluación del modelo contra un conjunto de evaluación separado del entrenamiento
Revisar la integración
Revisar las conversaciones enviadas en el live traffic
Correr una evaluación en el modelo Smart Reply contra live traffic

Solución de problemas comunes

Los problemas de rendimiento con Smart Reply a menudo se deben a fallos en el entrenamiento o la integración. Para resolverlos, se recomienda un enfoque de cuatro pasos:

Revisar las métricas de evaluación del modelo en un conjunto de evaluación separado del entrenamiento.
Verificar la integración entre la API y el escritorio del agente.
Analizar las conversaciones en el tráfico en vivo.
Evaluar el modelo Smart Reply en tráfico en vivo.

A continuación, se presentan algunos problemas comunes y sus soluciones:

Problema 1: El modelo tiene un CTR (Click-Through-Rate) bajo (<10%).

Causa posible 1: Datos de entrenamiento deficientes. El modelo no aprende de forma efectiva si los datos son de baja calidad o insuficientes.
Solución: Revisa las métricas de Recall y Message Coverage en la consola. El Recall debe ser superior al 15% y la cobertura al 10%. Si no lo son, mejora la calidad y el tamaño de tu dataset.
Causa posible 2: Problemas de integración. El modelo podría estar funcionando correctamente, pero las sugerencias no se están mostrando adecuadamente en el escritorio del agente.
Solución: Compara las sugerencias del simulador de API con las que aparecen en la integración del agente. Si son diferentes, es probable que haya un error de integración.

Problema 2: El formato de los mensajes cambia durante la transmisión.

Causa: El formato de los datos se altera al ser enviados a la API, lo que confunde al modelo.
Solución: Utiliza la API ExportMessages para exportar las conversaciones en vivo y verifica si el formato es consistente. Si no lo es, corrige la integración de la API o reforma los datos y vuelve a entrenar el modelo.

Problema 3: El modelo Smart Reply está desactualizado.

Causa: Las conversaciones y el comportamiento del cliente han evolucionado, y el modelo ya no es relevante.
Solución: Usa las conversaciones exportadas para crear un nuevo dataset. Luego, llama a CreateConversationModelEvaluation y ListConversationModelEvaluations para evaluar las métricas sin conexión. Si el rendimiento es bajo, entrena un nuevo modelo con los datos actualizados.

Resumen general

Smart Reply propone respuestas al agente; no asumir una arquitectura interna concreta a partir de ese nombre. Su implementación requiere la configuración de proyectos en Google Cloud, el uso de grandes conjuntos de datos de transcripciones de conversaciones (al menos 30,000) y una cuidadosa preparación de los datos. El rendimiento del modelo se evalúa a través de métricas como el CTR, el Recall y la Cobertura, y se pueden resolver problemas comunes revisando la calidad del dataset, la integración de la API y la relevancia del modelo.

Navegación del módulo

Anterior: 04 Sentiment analysis
Siguiente: 06 GKA y PGKA

Contraste: Smart Reply, requisitos y PII.

Alcance del contraste: Smart Reply confirma al menos 30.000 conversaciones para el entrenamiento descrito y el formato JSON de transcripciones; CSV de allowlist no es el mismo formato de importación. CTR <10%, recall >15% y coverage >10% son criterios del curso pendientes de una fuente específica, no fronteras universales de calidad. La lista transcript_id/role/content/user_id/timestamp es un esquema de preparación del curso, no un payload API comprobado.

+----------------------------------------+
| Floure &                               |
| Tachibana's guild                      |
| [Hikari · Nozomi · Iona]               |
| SEAL: sha256/12: ef5d790b20e6          |
| STATUS: LITURGY_IN_PROGRESS            |
+----------------------------------------+