Model Improvement

Cómo mejorar continuamente el modelo

Las correcciones de agentes pueden alimentar mejoras, pero primero hay que revisar por qué cambiaron el resumen. No toda edición es una etiqueta correcta ni todo desacuerdo indica el mismo fallo.

• La mejora del modelo es un proceso continuo, como la jardinería.
• Uso de resúmenes editados por agentes:
  • Si las ediciones de los agentes se alinean con las reglas del conjunto de datos de entrenamiento, sus resúmenes pueden ser valiosos para volver a entrenar el modelo.
  • Si la calidad de las ediciones es incierta, se necesita un enfoque más analítico:
    1. Diagnosticar áreas de bajo rendimiento: Identificar qué áreas o temas son problemáticos para el modelo.
    2. Extraer datos: Identificar las conversaciones donde los resúmenes fueron significativamente editados (usando el ROUGE score).
    3. Reescribir: Crear resúmenes "perfectos" para esas conversaciones, que reflejen el contenido y el espíritu de la interacción.
    4. Entrenar de nuevo: Combinar los nuevos resúmenes con los datos de entrenamiento anteriores y volver a entrenar el modelo.

Desafíos comunes y soluciones

1. Plantilla DLP: Los resúmenes deben generarse después de que la información sensible haya sido redactada (redaction). La información redactada no debe aparecer en los resúmenes.
2. Límite de tokens: El curso cita 2048 tokens para un modelo concreto; no trasladar ese límite a cualquier función de resumen. El tratamiento de entradas largas (rechazo, truncamiento o segmentación) depende de la API/modelo; comprobarlo en vez de afirmar truncamiento universal.
3. Conversaciones con bots: Es un reto incluir la parte del bot en el resumen. Es esencial vincular las partes de la conversación del bot y del agente humano para una comprensión completa.
4. Retroalimentación y reportes: A pesar de que los clientes pueden enviar feedback a través de la API, comprobar qué métricas y reportes ofrece la modalidad actual; el curso no demuestra ausencia universal de un reporte de ediciones.
5. Cambio de hábitos de los agentes: Algunos agentes pueden añadir información extra a los resúmenes (ej. un ID de conversación), lo que aumenta la tasa de ediciones. Esto debe ser manejado mediante directrices claras.
6. Repetición del modelo: La repetición es un fallo a medir. La repetición debe evaluarse en el conjunto de prueba; el nombre de la arquitectura no garantiza su frecuencia ni su reducción.

Fase post-despliegue

• Evaluación de la calidad del resumen:
  • Evaluar un resumen no es tan simple como evaluar un problema matemático, ya que puede haber múltiples resúmenes correctos para una misma conversación.
  • El objetivo es capturar la esencia en pocas palabras.
• Identificar nuevos datos para iteración:
  • Hay que ser cauteloso al usar la retroalimentación de los agentes para nuevos datos, ya que puede tener un impacto negativo.
  • A veces, los agentes añaden información extra (ej. números de referencia), cometen errores gramaticales, usan abreviaciones u omiten detalles cruciales.
  • La mejor práctica es extraer y revisar los resúmenes editados por los agentes. Un etiquetador o un experto en la materia (SME) debe verificar la legitimidad de las ediciones y reescribirlas si es necesario para que cumplan con las reglas establecidas.

Navegación del módulo

• Anterior: 06 Model Evaluation
• Siguiente: 08 Custom LLM Summarization

Vigencia del procedimiento: la guía actual de entrenamiento de resumen no permite confirmar por sí sola todos los límites y umbrales de este apunte. Se conservan como referencias del curso pendientes de reproducción.

Referencia: modalidad personalizada y ROUGE. Usar distancia entre edición y original para seleccionar muestras no demuestra que la edición sea correcta. Mantener evaluación separada del reentrenamiento para evitar contaminar la prueba.

+----------------------------------------+
| Floure &                               |
| Tachibana's guild                      |
| [Hikari · Nozomi · Iona]               |
| SEAL: sha256/12: 734c6a9171f9          |
| STATUS: LITURGY_IN_PROGRESS            |
+----------------------------------------+