Data Preparation

Fase de preparación de datos

Preparar datos es decidir qué representa cada conversación y qué información debe salir antes de entrenar. Si esa base está torcida, el modelo aprende sobre una muestra que no representa el trabajo real.

• Es una etapa crucial que establece la base para un resumen de conversaciones efectivo.

Pasos principales

1. Adquisición de datos de conversaciones:
   • Cantidad de referencia: El curso propone 2.000 conversaciones con buenos resúmenes como ejemplo de preparación; la cantidad necesaria depende de la modalidad y calidad de los datos.
   • Cantidad mínima para empezar: El curso usa 1.000 como punto de partida; el mínimo depende de modalidad/versión y no garantiza calidad.
2. Etiquetado de los datos:
   • El objetivo es crear resúmenes que sean concisos, precisos y que estén bien escritos.
   • No es problema si la conversación original contiene algo de "ruido".
3. Revisión de los datos etiquetados:
   • Es un control de calidad.
   • El formato requerido para los datos de conversación de texto es archivos JSON, donde cada archivo contiene una sola conversación.
4. Conversión a TF Record y JSON Conversations:
   • Los datos se convierten a estos formatos.
   • Posteriormente, se almacenan en Google Cloud buckets para que estén listos para los siguientes pasos.

Navegación del módulo

• Anterior: 01 Agent Summarization (custom)
• Siguiente: 03 Data Labelling

Contraste: entrenamiento de resumen personalizado de chat y datasets. JSON por conversación, conversión TFRecord y Colabs son pasos del curso pendientes de cotejar con el formato exacto de la modalidad. El ruido del dataset debe caracterizarse y medirse, no ignorarse.

+----------------------------------------+
| Floure &                               |
| Tachibana's guild                      |
| [Hikari · Nozomi · Iona]               |
| SEAL: sha256/12: 8ef6fd3c104f          |
| STATUS: LITURGY_IN_PROGRESS            |
+----------------------------------------+