Building a Custom Model

Detalles importantes del modelo

Un modelo personalizado necesita una evaluación propia y datos representativos. Los límites y volúmenes del curso pertenecen a su configuración; no son números sagrados para cualquier despliegue. (¬､¬)

• Arquitectura: El curso atribuye su modelo a LongT5. El artículo documenta esa arquitectura, pero no confirma que toda modalidad actual de Agent Assist la use ni demuestra robustez para este caso.
• Longitud del input: El material del curso cita 4.000 tokens de entrada para su modelo; su vigencia en la función actual no quedó contrastada.
• Prácticas recomendadas para los datos de entrenamiento:
  • Los inputs deben ser de menos de 4,000 tokens y los outputs de menos de 120.
  • Los resúmenes no deben contener PII ni lenguaje tóxico.
  • Los resúmenes de entrenamiento deben ser de conversaciones reales.
• Distribución de datos: La distribución de los datos de entrenamiento debe ser lo más parecida posible a la del tráfico en vivo.
• Calidad de STT (Speech-to-Text): Si se usa data de voz, es crucial que la transcripción sea precisa.
• Cantidad de datos: Se recomiendan más de 1,000 ejemplos de entrenamiento para una buena calidad.
• Reglas de escritura: La consistencia en cómo se escriben los resúmenes es clave para entrenar un modelo preciso.

Pasos para construir el modelo

1. Crear un proyecto en GCP.
2. Redactar los datos PII y comprobar el resultado; la redacción sola no asegura privacidad.
3. Adquirir conversaciones:
   • Objetivo: 500 a 2,000 conversaciones con resúmenes de alta calidad.
   • Almacenarlas en un bucket de GCS (Google Cloud Storage).
4. Etiquetar los datos siguiendo las mejores prácticas.
5. Revisar los datos para asegurar que cumplen con los requisitos.
6. Copiar los datos a un almacenamiento de Google con controles de seguridad e IAM.
7. Entrenar el modelo y realizar una evaluación interna.
8. Evaluar los resultados.

Uso de la consola de Agent Assist (UI)

• Configuración inicial:
  • Apuntar a la ruta de Cloud Storage donde se encuentra la data de entrenamiento.
  • Elegir el tipo de conversación (Chat o Voz), el nombre del modelo y el idioma.
  • La data debe estar en formato JSON.
• Entrenamiento:
  • Se puede proporcionar data de evaluación.
  • Se inicia el entrenamiento con el botón Begin Training.
• Evaluación del modelo:
  • Se usa la métrica ROUGE-L (Recall-Oriented Understudy for Gisting Evaluation).
  • ROUGE-L mide la superposición entre el resumen generado por la máquina y los resúmenes humanos.
  • ROUGE-L mide coincidencias de secuencias con un resumen de referencia. El 40% citado en el curso es un criterio de aquel ejemplo, no una frontera universal de calidad ni una comprobación de veracidad.
• Asignación del modelo:
  • Una vez que el modelo está finalizado, se asigna a un perfil de conversación para su uso.
  • El modelo y el perfil de conversación son recursos distintos: identificar el recurso del modelo y referenciarlo en el perfil, sin confundir sus IDs.

---

Modelos personalizados para necesidades específicas

• Cuándo se necesitan: Cuando el modelo estándar entrenado a través de la consola de Agent Assist no cumple con los requisitos complejos del cliente, como manejar transcripciones con un tamaño de tokens superior a lo habitual.
• Proceso de entrenamiento:
  • Este tipo de entrenamiento especializado es raro.
  • Se realiza a través de X-Manager, una plataforma para empaquetar, ejecutar y hacer seguimiento de experimentos de machine learning.
• Recursos de apoyo:
  • Un documento detallado para "Entrenar un modelo a través de X-Manager".
  • Un documento de auto-servicio sobre el "Proceso de soporte de modelos personalizados de resumen".
  • El "Data Preparation Colab" para procesar datos y ejecutar trabajos de entrenamiento personalizados.

Perfil de conversación

• ¿Qué es? Es el blueprint o la hoja de ruta de una conversación.
• Función: Define cómo se procesa y se entiende cada interacción.
• Configuración:
  • Solo se necesita crear un perfil una vez por cada configuración que se desee.
  • Se puede crear en la consola de Agent Assist o a través de la API.
  • El perfil de conversación es donde se vincula el modelo de resumen personalizado para su uso.

Navegación del módulo

• Anterior: 03 Data Labelling
• Siguiente: 05 Model Deployment

Vigencia del procedimiento: la guía actual de entrenamiento de resumen no permite confirmar por sí sola todos los límites y umbrales de este apunte. Se conservan como referencias del curso pendientes de reproducción.

Contraste adicional: LongT5, artículo original, ROUGE, sección 3. Longitudes 4.000/120, volúmenes y X-Manager pertenecen al material del curso; no son un procedimiento público vigente confirmado aquí. Para seguir el procedimiento hacen falta los Colabs y documentos de la versión del curso utilizada.

+----------------------------------------+
| Floure &                               |
| Tachibana's guild                      |
| [Hikari · Nozomi · Iona]               |
| SEAL: sha256/12: 28f6bc4c41f9          |
| STATUS: LITURGY_IN_PROGRESS            |
+----------------------------------------+