readme and hf dataset formater.

README.md

@@ -183,7 +183,7 @@ python src/paddle_ocr_tuning.py \
 
 ## Fuentes de Datos
 
-- **Dataset**: Instrucciones para la elaboración del TFE (UNIR), 24 páginas
+- **Dataset**: 2 documentos UNIR (45 páginas total): Instrucciones TFE (24 pág.) + Plantilla TFE (21 pág.)
 - **Resultados Ray Tune (PRINCIPAL)**: `src/raytune_paddle_subproc_results_20251207_192320.csv` - 64 trials de optimización con todas las métricas y configuraciones
 
 ---
@@ -290,39 +290,60 @@ Este trabajo adoptó la estrategia de **optimización de hiperparámetros** en l
 
 La optimización de hiperparámetros demostró ser una **alternativa efectiva** al fine-tuning, logrando una reducción del 80.9% en el CER sin reentrenar el modelo.
 
-### Tareas Completadas
-
-- [x] **Estructura docs/ según plantilla UNIR**: Todos los capítulos siguen numeración exacta (1.1, 1.2, etc.)
-- [x] **Añadir diagramas Mermaid**: 7 diagramas añadidos (pipeline OCR, arquitectura Ray Tune, gráficos de comparación)
-- [x] **Generar documento TFM unificado**: Script `apply_content.py` genera documento completo desde docs/
-- [x] **Convertir Mermaid a PNG**: Script `generate_mermaid_figures.py` genera figuras automáticamente
-
 ### Tareas Pendientes
 
-#### 1. Validación del Enfoque (Prioridad Alta)
-- [ ] **Validación cruzada en otros documentos**: Evaluar la configuración óptima en otros tipos de documentos en español (facturas, formularios, contratos) para verificar generalización
-- [ ] **Ampliar el dataset**: El dataset actual tiene solo 24 páginas. Construir un corpus más amplio y diverso (mínimo 100 páginas)
-- [ ] **Validación del ground truth**: Revisar manualmente el texto de referencia extraído automáticamente para asegurar su exactitud
-
-#### 2. Experimentación Adicional (Prioridad Media)
-- [ ] **Explorar `text_det_unclip_ratio`**: Este parámetro quedó fijado en 0.0. Incluirlo en el espacio de búsqueda podría mejorar resultados
-- [ ] **Comparativa con fine-tuning** (si se obtiene acceso a GPU): Cuantificar la brecha de rendimiento entre optimización de hiperparámetros y fine-tuning real
-- [x] **Evaluación con GPU**: Validado con RTX 3060 - 126x más rápido que CPU (0.55s/página vs 69.4s/página)
-
-#### 3. Documentación y Presentación (Prioridad Alta)
+#### Obligatorias para Entrega
+- [ ] **Revisión final del documento**: Abrir en Word, actualizar índices (Ctrl+A → F9), ajustar figuras, guardar como .docx
 - [ ] **Crear presentación**: Preparar slides para la defensa del TFM
-- [ ] **Revisión final del documento**: Verificar formato, índices y contenido en Word
 
-#### 4. Extensiones Futuras (Opcional)
-- [ ] **Herramienta de configuración automática**: Desarrollar una herramienta que determine automáticamente la configuración óptima para un nuevo tipo de documento
-- [ ] **Benchmark público para español**: Publicar un benchmark de OCR para documentos en español que facilite comparación de soluciones
-- [ ] **Optimización multi-objetivo**: Considerar CER, WER y tiempo de inferencia simultáneamente
+#### Opcionales (Mejoras Futuras)
+- [ ] **Validación cruzada**: Evaluar configuración en otros documentos (facturas, formularios)
+- [ ] **Explorar `text_det_unclip_ratio`**: Parámetro fijado en 0.0, podría mejorar resultados
+- [ ] **Comparativa con fine-tuning**: Cuantificar brecha vs fine-tuning real
+- [ ] **Herramienta de configuración automática**: Auto-detectar configuración óptima por documento
+- [ ] **Benchmark público para español**: Facilitar comparación de soluciones OCR
 
-### Recomendación de Próximos Pasos
+#### Completadas
+- [x] **Estructura docs/ según plantilla UNIR**
+- [x] **Diagramas Mermaid**: 8 figuras generadas
+- [x] **Documento TFM unificado**: Script `apply_content.py`
+- [x] **Evaluación con GPU**: RTX 3060 - 126x más rápido (0.55s/página)
 
-1. **Inmediato**: Abrir documento generado en Word, actualizar índices (Ctrl+A, F9), guardar como .docx
-2. **Corto plazo**: Validar en 2-3 tipos de documentos adicionales para demostrar generalización
-3. **Para la defensa**: Crear presentación con visualizaciones de resultados
+### Dataset
+
+El dataset contiene **45 páginas** de 2 documentos UNIR:
+- `src/dataset/0/`: Instrucciones TFE (24 páginas)
+- `src/dataset/1/`: Plantilla TFE (21 páginas)
+
+#### Formato Hugging Face
+
+El dataset está disponible en formato Hugging Face en `src/dataset_hf/`:
+
+```
+src/dataset_hf/
+├── README.md          # Dataset card
+├── metadata.jsonl     # Metadata (image_path, text, doc_id, page_num)
+└── data/              # 45 imágenes PNG
+```
+
+#### Generar/Regenerar Dataset
+
+```bash
+# Convertir de formato original a HF
+source .venv/bin/activate
+python src/dataset_formatting/convert_to_hf_dataset.py
+
+# Upload a Gitea packages (requiere GITEA_TOKEN)
+./src/dataset_formatting/upload-dataset.sh $GITEA_TOKEN
+```
+
+#### Descargar Dataset
+
+```bash
+# Desde Gitea packages
+curl -O https://seryus.ddns.net/api/packages/unir/generic/ocr-dataset-spanish/1.0.0/dataset-1.0.0.tar.gz
+tar -xzf dataset-1.0.0.tar.gz -C src/dataset_hf/
+```
 
 ---