Quality AI

Auto QA también necesita QA. Las preguntas, ejemplos y criterios de puntuación deben contrastarse con revisión humana; analizar más conversaciones no garantiza evaluar mejor cada una. (｀・ω・´)

Índice

Descripción general de Quality AI Usar Quality AI con UI Casos de éxito y precisión

Descripción general de Quality AI

Quality AI es una función que se suma a las capacidades existentes de Insights (como el modelado de temas, el análisis de sentimiento y los marcadores) para proporcionar un análisis más profundo.

Las funcionalidades que trae son:

Auto QA: Califica automáticamente las conversaciones usando tarjetas de puntuación personalizadas.
Rendimiento del agente en vivo: Puede evaluar las conversaciones incorporadas y seleccionadas para análisis según su configuración; no asumir cobertura de todas las interacciones del negocio.
Rendimiento del agente virtual: Analiza el rendimiento de los agentes virtuales para mejorar su contención y eficacia.
Email y redes sociales: Amplía el análisis a estos canales de conversación.
Entrenador de IA: Permite entrenar a los agentes con LLMs usando sus datos de conversaciones anteriores.
Generative FAQ: Convierte listas de conversaciones en preguntas frecuentes con respuestas.

Roles clave y casos de uso

Mientras que Insights era utilizado principalmente por ingenieros de datos, Quality AI requiere la participación de otros roles para aprovechar al máximo la interfaz de usuario:

Interesados del negocio (Business Stakeholders): Usan los datos para rastrear los indicadores clave de rendimiento (KPIs), entender el retorno de la inversión de las tecnologías del centro de contacto y optimizar los flujos de trabajo.
Líderes de equipo (Team Leads): Monitorean las métricas del centro de llamadas, supervisan el rendimiento de los agentes y se encargan de la contratación y la capacitación.
Agentes de control de calidad (Quality Assurance Agents): Auditan llamadas y transcripciones para asegurarse de que cumplan con las tarjetas de puntuación de la empresa y evalúan el rendimiento general de los agentes.

El principal caso de uso de Quality AI es la gestión de la calidad, y la participación de estos roles en la interfaz de usuario ayuda a acelerar el tiempo de comercialización.

Usar Quality AI con UI

1. Análisis de conversaciones a través de la consola

Requisitos: Asegúrate de que todas las conversaciones estén cargadas en el panel de Insights y de que el modelo de temas esté entrenado y desplegado si es necesario.
Pasos:
1. Navega al panel de Insights y selecciona tu proyecto.
2. Verifica el recuento de conversaciones en la sección Conversation history.
3. Aplica filtros si solo quieres analizar un subconjunto de conversaciones.
4. Haz clic en Analyze y establece el porcentaje de conversaciones a analizar.
5. Haz clic en Analyze number of conversations para comenzar.

2. Análisis de conversaciones a través de la API

Flujo de trabajo: El curso usa un notebook; la API puede invocarse desde otro cliente autorizado, sin requerir Workbench.
1. Crea un archivo llamado request.json donde especifiques el porcentaje de conversaciones a analizar.
2. Usa un comando curl para enviar una solicitud de análisis masivo, reemplazando el ID del proyecto y la ubicación.
Operación de larga duración: El análisis masivo es una operación que tarda un tiempo considerable. Puedes verificar el estado en la interfaz de usuario, revisando el ícono del reloj de arena en la esquina superior derecha del panel.

3. Revisión de las conversaciones analizadas

Una vez finalizado el análisis, puedes verificar los resultados:

Verificación en la interfaz de usuario: Realiza revisiones puntuales en el Conversation Hub para confirmar que los temas, los resúmenes, la detección de silencio y el análisis de sentimiento se generaron con precisión.
Confirmación de la precisión: Revisa si los temas y los campos asignados reflejan con exactitud el contenido de las conversaciones.

Casos de éxito y precisión

El material del curso resumía proyectos piloto sin enlazar el informe, la muestra ni la definición de precisión. El rendimiento debe evaluarse con una muestra y criterios definidos para el caso de uso.

Para evaluar nuestro caso, definir preguntas, respuestas de referencia y desacuerdos entre evaluadores. El volumen de conversaciones procesadas y la corrección de la puntuación son medidas distintas.

Mejores prácticas y estrategia de implementación

Para una implementación exitosa, se recomienda seguir las siguientes prácticas desde el primer día:

Comprender el entorno del cliente: Cada cliente es único. Es fundamental planificar la integración telefónica, el formato de archivos, el tipo de ingesta de datos y el soporte de idiomas.
Definir la estrategia de ingesta: Puedes optar por una integración en tiempo de ejecución para un análisis inmediato o por una ingesta por lotes (batch ingestion) almacenando datos en un bucket de Google Cloud Storage.
Incluir metadatos: Además de las conversaciones, es vital adjuntar metadatos como el ID del agente, el nombre del equipo y la resolución de la llamada. Esto permite un análisis más detallado y dashboards personalizados.
Establecer métricas de éxito: Define una precisión base y un objetivo claro para determinar cuándo una función está lista para producción. El esfuerzo depende de errores, datos y objetivo. No se demuestra una relación universal creciente por punto de precisión.
Proveer ejemplos de conversación: Aunque los modelos base de Gemini son capaces de responder preguntas, los ejemplos ayudan a calibrar preguntas/respuestas del scorecard; no garantizan alta precisión ni equivalen necesariamente a entrenar pesos de un modelo propio.

Precios y diferenciadores

Las tarifas del material no tenían fecha ni SKU suficientes para presupuestar. Consultar el precio vigente por producto, región y modalidad antes de estimar consumo.

Diferenciadores clave de Quality AI:

IA avanzada y confiable: Utiliza los últimos modelos de Gemini y ofrece opciones que deben evaluarse con datos y criterios propios.
Comprensión automatizada: Transforma transcripciones de conversaciones en datos procesables de manera automática.
Empoderamiento del usuario: Su interfaz intuitiva (UI) permite a los gerentes y equipos de control de calidad acceder directamente a los datos, sin depender de otros departamentos técnicos.
Valor inmediato: El valor debe evaluarse tras ingesta, configuración y revisión de resultados; no se garantiza desde el primer día ni por comparación genérica con otro software.
Visión integral: Puede analizar las partes del recorrido que se integraron y registraron, desde el agente virtual hasta la resolución final con un agente humano, proporcionando una visión completa de la experiencia.

Navegación del módulo

Anterior: 04 Analyze & Quality AI
Siguiente: 06 Export data to BigQuery

Alcance del análisis: el porcentaje selecciona población, no demuestra precisión. Registrar filtros, muestra, versión de modelo y criterios de revisión. Análisis mediante API. Los pasos de consola corresponden a la versión del curso.

Referencias Quality AI: scorecards y calibración, criterios y buenas prácticas. La lista de canales, «entrenador de IA» y responsabilidades laborales es contexto del curso; comprobar capacidades habilitadas y roles reales. Una puntuación mide el criterio del scorecard, no toda la calidad del agente ni cumplimiento jurídico.

+----------------------------------------+
| Floure &                               |
| Tachibana's guild                      |
| [Hikari · Nozomi · Iona]               |
| SEAL: sha256/12: 4428252ae8b2          |
| STATUS: LITURGY_IN_PROGRESS            |
+----------------------------------------+