Model Evaluation

La evaluación debe mirar hechos inventados y datos importantes omitidos, además de similitud con una referencia. Dos textos pueden parecerse mucho y compartir el mismo error.

• Objetivo: Entender cómo identificar las métricas clave para determinar el éxito de los resúmenes de conversaciones.

• Métricas clave de evaluación:

  1. Precisión (Accuracy):

     • Mide la veracidad del resumen.

     • Escala: 1 (No tiene relación con la conversación) a 5 (Cada detalle es verdadero).

  2. Integridad (Completeness):

     • Evalúa si se omitieron detalles importantes.

     • Escala: 1 (Se omitieron todos los detalles importantes) a 5 (Es un resumen completo).

  3. Cumplimiento (Compliance):

     • Mide si el resumen se adhiere a las reglas de escritura predefinidas (ej. formato, secciones).

     • Escala: 1 (Incumplimiento total) a 5 (Adherencia perfecta).

  4. Gramática y ortografía (Grammar and Spelling):

     • Mide la calidad lingüística del resumen.

     • Escala: 1 (Oraciones sin sentido) a 5 (Gramática y ortografía perfectas).

• Consideraciones adicionales:

  • Estas métricas son pautas para asegurar que los resúmenes sean coherentes, respetuosos, imparciales e informativos.

  • Ayudan a mantener un alto estándar de calidad.

  • El sistema también utiliza la métrica ROUGE-L para la evaluación automática, que mide la superposición de unidades (palabras, frases) entre el resumen generado por el modelo y los resúmenes de referencia creados por humanos.

  • ROUGE-L mide coincidencias de secuencias con un resumen de referencia. El 40% citado en el curso es un criterio de aquel ejemplo, no una frontera universal de calidad ni una comprobación de veracidad.

Navegación del módulo

• Anterior: 05 Model Deployment
• Siguiente: 07 Model Improvement

Vigencia del procedimiento: la guía actual de entrenamiento de resumen no permite confirmar por sí sola todos los límites y umbrales de este apunte. Se conservan como referencias del curso pendientes de reproducción.

Rúbrica del curso: las escalas 1–5 requieren criterios y ejemplos acordados; no son una norma universal. «Compliance» aquí significa seguir el formato editorial, no cumplimiento legal. ROUGE-L usa la subsecuencia común más larga; puede cambiar por redacción o compartir errores con la referencia. Definición original, sección 3.

+----------------------------------------+
| Floure &                               |
| Tachibana's guild                      |
| [Hikari · Nozomi · Iona]               |
| SEAL: sha256/12: 3fc462d6a65e          |
| STATUS: LITURGY_IN_PROGRESS            |
+----------------------------------------+