metrics and raytune reuslts

2026-01-19 13:00:08 +01:00
parent 458ff5d831
commit 8bc3b38d46
13 changed files with 1063 additions and 661 deletions
--- a/docs/metrics/metrics.md
+++ b/docs/metrics/metrics.md
@@ -0,0 +1,211 @@
+# Métricas de Rendimiento OCR
+
+**Fecha de Benchmark:** 2026-01-19
+**Dataset de Prueba:** 45 páginas (2 PDFs)
+
+## Especificaciones del Sistema
+
+| Componente | Especificación |
+|------------|----------------|
+| **Sistema Operativo** | Ubuntu 24.04.3 LTS (Noble) |
+| **Kernel** | 6.14.0-37-generic |
+| **CPU** | AMD Ryzen 7 5800H with Radeon Graphics |
+| **RAM** | 16 GB DDR4 |
+| **GPU** | NVIDIA GeForce RTX 3060 Laptop GPU |
+| **VRAM** | 5.66 GB |
+| **CUDA** | 12.4 |
+
+## Justificación de Ejecución Local vs Cloud
+
+### Costos de Cloud GPU
+
+| Plataforma | GPU | Costo/Hora | Costo Mensual |
+|------------|-----|------------|---------------|
+| **AWS EC2 g4dn.xlarge** | NVIDIA T4 (16 GB) | $0.526 | ~$384 |
+| **Google Colab Pro** | T4/P100 | ~$1.30 | $10 + CU extras |
+| **Google Colab Pro+** | T4/V100/A100 | ~$1.30 | $50 + CU extras |
+
+### Análisis de Costos para Este Proyecto
+
+| Tarea | Tiempo GPU | Costo AWS | Costo Colab Pro |
+|-------|------------|-----------|-----------------|
+| Ajuste hiperparámetros (64×3 trials) | ~3 horas | ~$1.58 | ~$3.90 |
+| Evaluación completa (45 páginas) | ~5 min | ~$0.04 | ~$0.11 |
+| Desarrollo/debug (20 horas/mes) | 20 horas | ~$10.52 | ~$26.00 |
+
+### Ventajas de Ejecución Local
+
+1. **Costo cero de GPU**: La RTX 3060 ya está disponible en el equipo de desarrollo
+2. **Sin límites de tiempo**: AWS y Colab tienen timeouts de sesión
+3. **Acceso instantáneo**: Sin tiempo de aprovisionamiento de instancias
+4. **Almacenamiento local**: Dataset y resultados en disco sin costos de transferencia
+5. **Iteración rápida**: Reinicio inmediato de contenedores Docker
+
+### Conclusión
+
+Para un proyecto de investigación con múltiples iteraciones de ajuste de hiperparámetros y desarrollo, **la ejecución local ahorra ~$10-50/mes** comparado con cloud, además de ofrecer mayor flexibilidad y velocidad de iteración
+
+## Resumen Ejecutivo
+
+| Servicio | CER | WER | Tiempo/Página | Tiempo Total | VRAM |
+|----------|-----|-----|---------------|--------------|------|
+| **PaddleOCR (Mobile)** | **7.76%** | **11.62%** | 0.58s | 32.0s | 0.06 GB |
+| EasyOCR | 11.23% | 36.36% | 1.88s | 88.5s | ~2 GB |
+| DocTR | 12.06% | 42.01% | 0.50s | 28.4s | ~1 GB |
+
+> **Ganador:** PaddleOCR (Mobile) - Mejor precisión (7.76% CER) con velocidad competitiva.
+
+## Comparación de Servicios OCR
+
+### Comparación de Precisión (CER - menor es mejor)
+
+```mermaid
+xychart-beta
+    title "Tasa de Error de Caracteres por Servicio"
+    x-axis ["PaddleOCR", "EasyOCR", "DocTR"]
+    y-axis "CER %" 0 --> 15
+    bar [7.76, 11.23, 12.06]
+```
+
+### Comparación de Velocidad (Tiempo por Página)
+
+```mermaid
+xychart-beta
+    title "Tiempo de Procesamiento por Página (segundos)"
+    x-axis ["DocTR", "PaddleOCR", "EasyOCR"]
+    y-axis "Segundos" 0 --> 2
+    bar [0.50, 0.58, 1.88]
+```
+
+### Flujo de Recomendación de Servicio
+
+```mermaid
+flowchart LR
+    A{Prioridad?}
+    A -->|Precisión| B[PaddleOCR]
+    A -->|Velocidad| C[DocTR]
+    A -->|Balance| B
+    B --> D["7.76% CER<br/>0.58s/página"]
+    C --> E["12.06% CER<br/>0.50s/página"]
+```
+
+### Hallazgos Clave
+
+1. **Mejor Precisión**: PaddleOCR logra las tasas de error más bajas (7.76% CER, 11.62% WER)
+2. **Mejor Velocidad**: DocTR es el más rápido (0.50s/página), pero 55% menos preciso que PaddleOCR
+3. **EasyOCR**: El más lento (3.8x más lento que PaddleOCR) con precisión intermedia
+4. **Eficiencia VRAM**: PaddleOCR Mobile usa solo 0.06 GB
+
+## Análisis de Errores (del debugset)
+
+### PaddleOCR (Mejor - 7.76% CER)
+- **Fortalezas**: Preserva estructura de líneas, maneja bien acentos españoles
+- **Problemas**: Errores menores de espaciado, diferencias ocasionales de mayúsculas en acentos
+- **Mejorable**: Sí - el ajuste de hiperparámetros probablemente ayude
+
+### DocTR (Peor WER - 42.01%)
+- **Problema Crítico**: Colapsa todo el texto en líneas únicas (pierde estructura)
+- **Problema de Acentos**: Omite diacríticos ("Indice" vs "Índice")
+- **Mejorable**: Parcialmente - el problema de estructura puede ser a nivel de modelo
+
+### EasyOCR (36.36% WER)
+- **Problema Crítico**: Inserciones espurias de caracteres (";", "g", "0", "1")
+- **Pérdida de Estructura**: Saltos de línea no preservados
+- **Mejorable**: Sí - umbrales de detección demasiado sensibles
+
+## Comparación de Modelos PaddleOCR (RTX 3060)
+
+| Métrica | Modelos Server | Modelos Mobile | Ganador |
+|---------|----------------|----------------|---------|
+| **Tiempo** | 2.47s | 1.08s | Mobile (2.3x más rápido) |
+| **CER** | 1.82% | 1.42% | Mobile |
+| **WER** | 16.14% | 12.20% | Mobile |
+| **VRAM** | 5.3 GB (OOM en página 2) | 0.06 GB | Mobile |
+| **Multi-página** | No (OOM) | Sí | Mobile |
+
+> **Conclusión:** Se recomiendan los modelos Mobile - más rápidos, más precisos, caben en VRAM.
+
+## Rendimiento CPU vs GPU (PaddleOCR)
+
+Datos de `raytune_paddle_subproc_results_20251207_192320.csv` (CPU) vs RTX 3060 (GPU):
+
+| Métrica | CPU | GPU (RTX 3060) | Aceleración |
+|---------|-----|----------------|-------------|
+| **Tiempo/Página** | 69.4s | 0.55s | **126x más rápido** |
+| **Mejor CER** | 1.15% | 0.79% | GPU mejor |
+| **45 páginas** | ~52 min | ~25 seg | **126x más rápido** |
+
+```mermaid
+xychart-beta
+    title "Tiempo de Procesamiento por Página: CPU vs GPU"
+    x-axis ["CPU", "GPU (RTX 3060)"]
+    y-axis "Segundos" 0 --> 80
+    bar [69.4, 0.55]
+```
+
+> **Conclusión:** GPU es esencial para uso práctico de OCR. El procesamiento en CPU es 126x más lento, haciéndolo impráctico para procesamiento por lotes.
+
+## Datos Crudos del Benchmark
+
+```json
+{
+  "timestamp": "2026-01-19T11:00:00.000000",
+  "platform": {
+    "gpu": "NVIDIA GeForce RTX 3060 Laptop GPU",
+    "vram": "5.66 GB",
+    "cuda": "12.4"
+  },
+  "services": {
+    "PaddleOCR_Mobile": {
+      "port": 8002,
+      "models": {"det": "PP-OCRv5_mobile_det", "rec": "PP-OCRv5_mobile_rec"},
+      "vram_used": "0.06 GB",
+      "results": {
+        "CER": 0.0776,
+        "WER": 0.1162,
+        "PAGES": 45,
+        "TIME_PER_PAGE": 0.58,
+        "TOTAL_TIME": 32.0
+      }
+    },
+    "DocTR": {
+      "port": 8003,
+      "models": {"det": "db_resnet50", "rec": "crnn_vgg16_bn"},
+      "vram_used": "~1 GB",
+      "results": {
+        "CER": 0.1206,
+        "WER": 0.4201,
+        "PAGES": 45,
+        "TIME_PER_PAGE": 0.50,
+        "TOTAL_TIME": 28.4
+      }
+    },
+    "EasyOCR": {
+      "port": 8002,
+      "languages": ["es", "en"],
+      "vram_used": "~2 GB",
+      "results": {
+        "CER": 0.1123,
+        "WER": 0.3636,
+        "PAGES": 45,
+        "TIME_PER_PAGE": 1.88,
+        "TOTAL_TIME": 88.5
+      }
+    }
+  }
+}
+```
+
+## Resultados de Ajuste de Hiperparámetros
+
+Resultados individuales de ajuste por servicio (64 muestras cada uno, páginas 5-10):
+
+- [Resultados de Ajuste PaddleOCR](metrics_paddle.md)
+- [Resultados de Ajuste DocTR](metrics_doctr.md)
+- [Resultados de Ajuste EasyOCR](metrics_easyocr.md)
+
+## Próximos Pasos
+
+1. ~~Ajuste de Hiperparámetros~~ - Completado (64 muestras por servicio)
+2. **Evaluación del Dataset Completo** - Ejecutar mejores configuraciones en las 45 páginas
+3. **Comparar** - Rendimiento base vs ajustado en dataset completo
--- a/docs/metrics/metrics_doctr.md
+++ b/docs/metrics/metrics_doctr.md
@@ -0,0 +1,104 @@
+# Resultados de Ajuste de Hiperparámetros DocTR
+
+**Fecha de Ajuste:** 2026-01-19
+**Plataforma:** NVIDIA RTX 3060 Laptop GPU
+**Muestras:** 64
+**Páginas de Prueba:** 5-10 (primer documento)
+
+### ¿Por Qué Solo 5 Páginas?
+
+Usamos solo 5 páginas (páginas 5-10) para el ajuste de hiperparámetros porque:
+
+1. **Velocidad**: 64 pruebas × 5 páginas = 320 evaluaciones de página. Con 45 páginas, serían 2,880 evaluaciones (~9x más tiempo)
+2. **Eficiencia de recursos**: Cada prueba toma ~2-20 segundos en GPU
+
+**Riesgo de Sobreajuste**: El ajuste de hiperparámetros en un subconjunto pequeño PUEDE causar sobreajuste. Nuestros resultados confirman esto:
+- Subconjunto de ajuste: **38% mejora** (7.43% CER)
+- Dataset completo: **0% mejora** (12.07% CER)
+
+La falta total de mejora en el dataset completo indica sobreajuste severo a las páginas 5-10, combinado con limitaciones a nivel de modelo (manejo de diacríticos, estructura de líneas) que los hiperparámetros no pueden corregir.
+
+## Evaluación del Dataset Completo (45 páginas)
+
+| Métrica | Base | Ajustado | Mejora |
+|---------|------|----------|--------|
+| **CER** | 12.06% | 12.07% | **0%** |
+| **WER** | 42.01% | 42.26% | **0%** |
+| Tiempo/Página | 0.33s | 0.34s | - |
+
+> **Nota:** El ajuste no generalizó al dataset completo. Los problemas de DocTR parecen ser a nivel de modelo (diacríticos, estructura de líneas).
+
+## Resultados del Subconjunto de Ajuste (páginas 5-10)
+
+| Métrica | Base | Ajustado | Mejora |
+|---------|------|----------|--------|
+| **CER** | 12.06% | **7.43%** | **38%** |
+| **WER** | 42.01% | **35.23%** | **16%** |
+
+> Nota: Las mejoras en el subconjunto de ajuste no se transfirieron al dataset completo.
+
+## Mejor Configuración Encontrada
+
+```json
+{
+  "assume_straight_pages": true,
+  "straighten_pages": false,
+  "preserve_aspect_ratio": false,
+  "symmetric_pad": false,
+  "disable_page_orientation": true,
+  "disable_crop_orientation": false,
+  "resolve_lines": true,
+  "resolve_blocks": false,
+  "paragraph_break": 0.0977
+}
+```
+
+## Hallazgos Clave
+
+1. **straighten_pages: false** - ¡Crítico! Configurarlo en true causa ~79% CER (catastrófico)
+2. **assume_straight_pages: true** - Funciona bien con escaneos de documentos rectos
+3. **resolve_lines: true** - Ayuda a mantener la estructura de líneas
+4. **disable_page_orientation: true** - Evita rotación innecesaria
+
+## Impacto de Parámetros
+
+Parámetros que mejoraron la precisión:
+- `straighten_pages=False` absolutamente crítico
+- `assume_straight_pages=True` en los mejores resultados
+- `resolve_lines=True` mantiene la estructura del texto
+
+Parámetros que perjudicaron la precisión:
+- `straighten_pages=True` catastróficamente malo (~79% CER)
+- `resolve_blocks=True` ligeramente peor que False
+
+## Limitaciones Conocidas
+
+Incluso con ajuste, DocTR todavía tiene problemas:
+- Omite diacríticos (tildes) - probablemente problema a nivel de modelo
+- Todavía tiene mayor WER que PaddleOCR debido a problemas de estructura
+
+## Evaluación del Dataset Completo
+
+**Estado:** Completado
+
+```bash
+curl -X POST http://localhost:8003/evaluate_full \
+  -H "Content-Type: application/json" \
+  -d '{
+    "pdf_folder": "/app/dataset",
+    "assume_straight_pages": true,
+    "straighten_pages": false,
+    "preserve_aspect_ratio": false,
+    "symmetric_pad": false,
+    "disable_page_orientation": true,
+    "disable_crop_orientation": false,
+    "resolve_lines": true,
+    "resolve_blocks": false,
+    "paragraph_break": 0.0977,
+    "save_output": true
+  }'
+```
+
+**Resultado:** CER 12.07%, WER 42.26%, 0.34s/página (sin mejora sobre la base)
+
+**Conclusión:** Los problemas de precisión de DocTR son a nivel de modelo, no ajustables por hiperparámetros.
--- a/docs/metrics/metrics_easyocr.md
+++ b/docs/metrics/metrics_easyocr.md
@@ -0,0 +1,113 @@
+# Resultados de Ajuste de Hiperparámetros EasyOCR
+
+**Fecha de Ajuste:** 2026-01-19
+**Plataforma:** NVIDIA RTX 3060 Laptop GPU
+**Muestras:** 64
+**Páginas de Prueba:** 5-10 (primer documento)
+
+### ¿Por Qué Solo 5 Páginas?
+
+Usamos solo 5 páginas (páginas 5-10) para el ajuste de hiperparámetros porque:
+
+1. **Velocidad**: 64 pruebas × 5 páginas = 320 evaluaciones de página. Con 45 páginas, serían 2,880 evaluaciones (~9x más tiempo)
+2. **Eficiencia de recursos**: Cada prueba toma ~10-20 segundos en GPU
+
+**Riesgo de Sobreajuste**: El ajuste de hiperparámetros en un subconjunto pequeño PUEDE causar sobreajuste. Nuestros resultados confirman esto:
+- Subconjunto de ajuste: **48% mejora** (5.83% CER)
+- Dataset completo: **0.8% mejora** (11.14% CER)
+
+La mejora mínima en el dataset completo indica que los hiperparámetros se sobreajustaron a las páginas 5-10. Los problemas de EasyOCR (detecciones espurias, pérdida de estructura) también pueden ser parcialmente a nivel de modelo.
+
+## Evaluación del Dataset Completo (45 páginas)
+
+| Métrica | Base | Ajustado | Mejora |
+|---------|------|----------|--------|
+| **CER** | 11.23% | 11.14% | **0.8%** |
+| **WER** | 36.36% | 36.85% | **-1.3%** |
+| Tiempo/Página | 1.84s | 1.94s | - |
+
+> **Nota:** El ajuste mostró mejora mínima en el dataset completo. Los problemas de EasyOCR pueden ser a nivel de modelo.
+
+## Resultados del Subconjunto de Ajuste (páginas 5-10)
+
+| Métrica | Base | Ajustado | Mejora |
+|---------|------|----------|--------|
+| **CER** | 11.23% | **5.83%** | **48%** |
+| **WER** | 36.36% | **26.33%** | **28%** |
+
+> Nota: Las grandes mejoras en el subconjunto de ajuste no se transfirieron al dataset completo.
+
+## Mejor Configuración Encontrada
+
+```json
+{
+  "text_threshold": 0.6647,
+  "low_text": 0.4247,
+  "link_threshold": 0.2184,
+  "slope_ths": 0.1629,
+  "ycenter_ths": 0.7994,
+  "height_ths": 0.6437,
+  "width_ths": 0.6065,
+  "add_margin": 0.1462,
+  "contrast_ths": 0.1671,
+  "adjust_contrast": 0.6416,
+  "decoder": "greedy",
+  "beamWidth": 7,
+  "min_size": 10
+}
+```
+
+## Hallazgos Clave
+
+1. **decoder: greedy** - Consistentemente mejor que beamsearch para este dataset
+2. **Mayor text_threshold (0.66)** - Reduce detecciones espurias
+3. **min_size: 10** - Filtra artefactos de ruido pequeños
+4. **Umbrales moderados** - Sensibilidad de detección balanceada
+
+## Impacto de Parámetros
+
+Parámetros que mejoraron la precisión:
+- `decoder="greedy"` consistentemente superó a beamsearch
+- Mayor `text_threshold` (0.6-0.8) redujo el ruido
+- `min_size >= 5` ayudó a filtrar artefactos
+
+Parámetros que perjudicaron la precisión:
+- `decoder="beamsearch"` causó ~35-40% CER en muchas pruebas
+- `text_threshold` muy bajo (<0.4) detectó demasiado ruido
+- `min_size` alto (>15) omitió algo de texto
+
+## Comparación con Problemas de Base
+
+Problemas originales identificados en el debugset:
+- Inserciones espurias de caracteres - **Mejorado** con umbrales más altos
+- Pérdida de estructura - Todavía presente pero menos severa
+
+## Evaluación del Dataset Completo
+
+**Estado:** Completado
+
+```bash
+curl -X POST http://localhost:8002/evaluate_full \
+  -H "Content-Type: application/json" \
+  -d '{
+    "pdf_folder": "/app/dataset",
+    "text_threshold": 0.6647,
+    "low_text": 0.4247,
+    "link_threshold": 0.2184,
+    "slope_ths": 0.1629,
+    "ycenter_ths": 0.7994,
+    "height_ths": 0.6437,
+    "width_ths": 0.6065,
+    "add_margin": 0.1462,
+    "contrast_ths": 0.1671,
+    "adjust_contrast": 0.6416,
+    "decoder": "greedy",
+    "beamWidth": 7,
+    "min_size": 10,
+    "save_output": true
+  }'
+```
+
+**Resultado:** CER 11.14%, WER 36.85%, 1.94s/página (mejora mínima)
+
+**Conclusión:** El ajuste de EasyOCR proporcionó mejora insignificante en el dataset completo.
--- a/docs/metrics/metrics_paddle.md
+++ b/docs/metrics/metrics_paddle.md
@@ -0,0 +1,91 @@
+# Resultados de Ajuste de Hiperparámetros PaddleOCR
+
+**Fecha de Ajuste:** 2026-01-19
+**Plataforma:** NVIDIA RTX 3060 Laptop GPU
+**Muestras:** 64
+**Páginas de Prueba:** 5-10 (primer documento)
+
+### ¿Por Qué Solo 5 Páginas?
+
+Usamos solo 5 páginas (páginas 5-10) para el ajuste de hiperparámetros porque:
+
+1. **Velocidad**: 64 pruebas × 5 páginas = 320 evaluaciones de página. Con 45 páginas, serían 2,880 evaluaciones (~9x más tiempo)
+2. **Eficiencia de recursos**: Cada prueba toma ~3-10 segundos en GPU; el dataset completo tomaría ~1 hora por prueba en CPU
+
+**Riesgo de Sobreajuste**: El ajuste de hiperparámetros en un subconjunto pequeño PUEDE causar sobreajuste. Nuestros resultados confirman esto:
+- Subconjunto de ajuste: **90% mejora** (0.79% CER)
+- Dataset completo: **12.8% mejora** (7.72% CER)
+
+La diferencia dramática muestra que los hiperparámetros se sobreajustaron parcialmente a las páginas 5-10. Un subconjunto de ajuste más grande (ej. 15-20 páginas) podría producir parámetros que generalicen mejor, pero aumentaría el tiempo de ajuste proporcionalmente.
+
+## Evaluación del Dataset Completo (45 páginas)
+
+| Métrica | Base | Ajustado | Mejora |
+|---------|------|----------|--------|
+| **CER** | 8.85% | **7.72%** | **12.8%** |
+| **WER** | 13.05% | **11.40%** | **12.6%** |
+| Tiempo/Página | 0.51s | 0.55s | - |
+
+## Resultados del Subconjunto de Ajuste (páginas 5-10)
+
+| Métrica | Base | Ajustado | Mejora |
+|---------|------|----------|--------|
+| **CER** | 7.76% | **0.79%** | **90%** |
+| **WER** | 11.62% | **7.78%** | **33%** |
+
+> Nota: El subconjunto de ajuste mostró mayores mejoras, sugiriendo que algunos hiperparámetros son específicos de la página.
+
+## Mejor Configuración Encontrada
+
+```json
+{
+  "use_doc_orientation_classify": true,
+  "use_doc_unwarping": false,
+  "textline_orientation": true,
+  "text_det_thresh": 0.0462,
+  "text_det_box_thresh": 0.4862,
+  "text_det_unclip_ratio": 0.0,
+  "text_rec_score_thresh": 0.5658
+}
+```
+
+## Hallazgos Clave
+
+1. **textline_orientation: true** - Crítico para la precisión
+2. **use_doc_orientation_classify: true** - Ayuda con la detección de orientación de página
+3. **use_doc_unwarping: false** - El enderezamiento de documentos perjudica la precisión en este dataset
+4. **Bajo text_det_thresh (0.0462)** - Detección de texto más sensible ayuda
+5. **Mayor text_rec_score_thresh (0.5658)** - Filtra reconocimientos de baja confianza
+
+## Impacto de Parámetros
+
+Parámetros que mejoraron la precisión:
+- `textline_orientation=True` consistentemente en los mejores resultados
+- `use_doc_orientation_classify=True` en las mejores pruebas
+- Valores más bajos de `text_det_thresh` (0.04-0.10)
+
+Parámetros que perjudicaron la precisión:
+- `use_doc_unwarping=True` aumentó el CER significativamente
+- `text_det_box_thresh` muy bajo (<0.01) causó problemas
+
+## Evaluación del Dataset Completo
+
+**Estado:** Completado
+
+```bash
+curl -X POST http://localhost:8002/evaluate_full \
+  -H "Content-Type: application/json" \
+  -d '{
+    "pdf_folder": "/app/dataset",
+    "use_doc_orientation_classify": true,
+    "use_doc_unwarping": false,
+    "textline_orientation": true,
+    "text_det_thresh": 0.0462,
+    "text_det_box_thresh": 0.4862,
+    "text_det_unclip_ratio": 0.0,
+    "text_rec_score_thresh": 0.5658,
+    "save_output": true
+  }'
+```
+
+**Resultado:** CER 7.72%, WER 11.40%, 0.55s/página