diff --git a/apply_content.py b/apply_content.py index 38f279c..459d4d3 100644 --- a/apply_content.py +++ b/apply_content.py @@ -16,6 +16,8 @@ DOCS_DIR = os.path.join(BASE_DIR, 'docs') # Global counters for tables and figures table_counter = 0 figure_counter = 0 +anexo_table_counter = 0 +anexo_figure_counter = 0 def read_file(path): try: @@ -99,7 +101,7 @@ def extract_figure_title_from_mermaid(lines, current_index): def parse_md_to_html_blocks(md_content, is_anexo=False): """Convert markdown content to HTML blocks with template styles.""" - global table_counter, figure_counter + global table_counter, figure_counter, anexo_table_counter, anexo_figure_counter html_blocks = [] lines = md_content.split('\n') @@ -115,7 +117,13 @@ def parse_md_to_html_blocks(md_content, is_anexo=False): # Mermaid diagram - convert to figure with actual image if line.strip().startswith('```mermaid'): - figure_counter += 1 + # Use Anexo-specific counter with "A" prefix, or global counter + if is_anexo: + anexo_figure_counter += 1 + fig_num = f"A{anexo_figure_counter}" + else: + figure_counter += 1 + fig_num = str(figure_counter) mermaid_lines = [] i += 1 while i < len(lines) and not lines[i].strip() == '```': @@ -132,18 +140,19 @@ def parse_md_to_html_blocks(md_content, is_anexo=False): if title_match: fig_title = title_match.group(1).strip() else: - fig_title = f"Diagrama {figure_counter}" + fig_title = f"Diagrama {fig_num}" # Check if the generated PNG exists - fig_file = f'figures/figura_{figure_counter}.png' + # For Anexo figures, use the anexo counter for the actual file (A1 -> figura_A1.png) + fig_file = f'figures/figura_{fig_num}.png' fig_path = os.path.join(BASE_DIR, 'thesis_output', fig_file) # Create figure with MsoCaption class and proper Word SEQ field for cross-reference # Format: "Figura X." in bold, title in italic (per UNIR guidelines) # Word TOC looks for text with Caption style - anchor must be outside main caption text - bookmark_id = f"_Ref_Fig{figure_counter}" + bookmark_id = f"_Ref_Fig{fig_num}" # mso-pagination:keep-with-next ensures caption stays with figure image (correct MSO property) - html_blocks.append(f'''

Figura {figure_counter}. {fig_title}

''') + html_blocks.append(f'''

Figura {fig_num}. {fig_title}

''') if os.path.exists(fig_path): # Read actual image dimensions and scale to fit page width @@ -216,7 +225,8 @@ def parse_md_to_html_blocks(md_content, is_anexo=False): # Headers - ## becomes h2, ### becomes h3 if line.startswith('####'): text = line.lstrip('#').strip() - html_blocks.append(f'

{text}

') + # Apply consistent styling like h2/h3, disable numbering for h4 + html_blocks.append(f'

{text}

') i += 1 continue elif line.startswith('###'): @@ -246,7 +256,13 @@ def parse_md_to_html_blocks(md_content, is_anexo=False): # Table - check for table title pattern first if '|' in line and i + 1 < len(lines) and '---' in lines[i + 1]: - table_counter += 1 + # Use Anexo-specific counter with "A" prefix, or global counter + if is_anexo: + anexo_table_counter += 1 + table_num = f"A{anexo_table_counter}" + else: + table_counter += 1 + table_num = str(table_counter) # Check if previous line has table title (e.g., **Tabla 1.** *Title*) table_title = None @@ -281,7 +297,7 @@ def parse_md_to_html_blocks(md_content, is_anexo=False): # Add table title with MsoCaption class and proper Word SEQ field for cross-reference # Format: "Tabla X." in bold, title in italic (per UNIR guidelines) # Word TOC looks for text with Caption style - anchor must be outside main caption text - bookmark_id = f"_Ref_Tab{table_counter}" + bookmark_id = f"_Ref_Tab{table_num}" if table_title: # Remove any "Tabla X." or "Tabla AX." pattern from the title clean_title = re.sub(r'^Tabla\s+[A-Z]?\d+\.\s*', '', table_title).strip() @@ -291,7 +307,7 @@ def parse_md_to_html_blocks(md_content, is_anexo=False): else: clean_title = "Tabla de datos." # mso-pagination:keep-with-next ensures caption stays with table (correct MSO property) - html_blocks.append(f'''

Tabla {table_counter}. {clean_title}

''') + html_blocks.append(f'''

Tabla {table_num}. {clean_title}

''') # Build table HTML with APA style (horizontal lines only, no vertical) table_html = '
' @@ -445,25 +461,25 @@ def extract_resumen_parts(resumen_content): spanish_keywords = '' if '**Palabras clave:**' in spanish_part: text_part, kw_part = spanish_part.split('**Palabras clave:**') - spanish_text = text_part.replace('# Resumen', '').strip() - spanish_keywords = kw_part.strip() + spanish_text = md_to_html_para(text_part.replace('# Resumen', '').strip()) + spanish_keywords = md_to_html_para(kw_part.strip()) else: - spanish_text = spanish_part.replace('# Resumen', '').strip() + spanish_text = md_to_html_para(spanish_part.replace('# Resumen', '').strip()) # Extract English content english_text = '' english_keywords = '' if '**Keywords:**' in english_part: text_part, kw_part = english_part.split('**Keywords:**') - english_text = text_part.replace('# Abstract', '').strip() - english_keywords = kw_part.strip() + english_text = md_to_html_para(text_part.replace('# Abstract', '').strip()) + english_keywords = md_to_html_para(kw_part.strip()) else: - english_text = english_part.replace('# Abstract', '').strip() + english_text = md_to_html_para(english_part.replace('# Abstract', '').strip()) return spanish_text, spanish_keywords, english_text, english_keywords def main(): - global table_counter, figure_counter + global table_counter, figure_counter, anexo_table_counter, anexo_figure_counter print("Reading template...") html_content = read_file(TEMPLATE_INPUT) @@ -692,7 +708,7 @@ def main(): insert_point.insert_after(new_elem) print(f" ✓ Replaced content") - print(f"\nSummary: {table_counter} tables, {figure_counter} figures processed") + print(f"\nSummary: {table_counter} tables + {anexo_table_counter} Anexo tables, {figure_counter} figures + {anexo_figure_counter} Anexo figures processed") print("Saving modified template...") output_html = str(soup) diff --git a/docs/00_resumen.md b/docs/00_resumen.md index 090021d..18d875e 100644 --- a/docs/00_resumen.md +++ b/docs/00_resumen.md @@ -6,8 +6,6 @@ Se realizó un estudio comparativo de tres soluciones OCR de código abierto: Ea Los resultados demuestran que la optimización de hiperparámetros logró mejoras significativas: el mejor trial individual alcanzó un CER de 0.79% (precisión del 99.21%), cumpliendo el objetivo de CER < 2%. Al validar la configuración optimizada sobre el dataset completo de 45 páginas, se obtuvo una mejora del 12.8% en CER (de 8.85% a 7.72%). El hallazgo más relevante fue que el parámetro `textline_orientation` (clasificación de orientación de línea de texto) tiene un impacto crítico en el rendimiento. Adicionalmente, se identificó que el umbral de detección (`text_det_thresh`) presenta una correlación positiva moderada (0.43) con el error, lo que indica que valores más bajos tienden a mejorar el rendimiento. -Fuente: [`docs/metrics/metrics_paddle.md`](https://seryus.ddns.net/unir/MastersThesis/src/branch/main/docs/metrics/metrics_paddle.md), [`src/results/correlations/paddle_correlations.csv`](https://seryus.ddns.net/unir/MastersThesis/src/branch/main/src/results/correlations/paddle_correlations.csv). - Este trabajo demuestra que la optimización de hiperparámetros es una alternativa viable al fine-tuning, especialmente útil cuando se dispone de modelos preentrenados para el idioma objetivo. La infraestructura dockerizada desarrollada permite reproducir los experimentos y facilita la evaluación sistemática de configuraciones OCR. **Palabras clave:** OCR, Reconocimiento Óptico de Caracteres, PaddleOCR, Optimización de Hiperparámetros, Ray Tune, Procesamiento de Documentos, Inteligencia Artificial @@ -22,8 +20,6 @@ A comparative study of three open-source OCR solutions was conducted with EasyOC Results demonstrate that hyperparameter optimization achieved significant improvements. The best individual trial reached a CER of 0.79% (99.21% accuracy), meeting the CER < 2% objective. When validating the optimized configuration on the full 45-page dataset, a 12.8% CER improvement was obtained (from 8.85% to 7.72%). The most relevant finding was that the `textline_orientation` parameter (text line orientation classification) has a critical impact on performance. Additionally, the detection threshold (`text_det_thresh`) showed a moderate positive correlation (0.43) with error, indicating that lower values tend to improve performance. -Sources: [`docs/metrics/metrics_paddle.md`](https://seryus.ddns.net/unir/MastersThesis/src/branch/main/docs/metrics/metrics_paddle.md), [`src/results/correlations/paddle_correlations.csv`](https://seryus.ddns.net/unir/MastersThesis/src/branch/main/src/results/correlations/paddle_correlations.csv). - This work demonstrates that hyperparameter optimization is a viable alternative to fine-tuning, especially useful when pre-trained models for the target language are available. The dockerized infrastructure developed enables experiment reproducibility and facilitates systematic evaluation of OCR configurations. **Keywords:** OCR, Optical Character Recognition, PaddleOCR, Hyperparameter Optimization, Ray Tune, Document Processing, Artificial Intelligence diff --git a/docs/02_contexto_estado_arte.md b/docs/02_contexto_estado_arte.md index c172670..cdd2c2e 100644 --- a/docs/02_contexto_estado_arte.md +++ b/docs/02_contexto_estado_arte.md @@ -579,9 +579,7 @@ Fuente: Elaboración propia. La optimización de hiperparámetros para documentos académicos en español representa una contribución original de este trabajo, abordando un nicho no explorado en la literatura. -## Conclusiones del capítulo - -La revisión del estado del arte revela un panorama en el que las herramientas técnicas están maduras, pero su aplicación óptima para dominios específicos permanece poco explorada. Los sistemas OCR modernos, como PaddleOCR, EasyOCR y DocTR, ofrecen arquitecturas sofisticadas basadas en aprendizaje profundo que alcanzan resultados impresionantes en benchmarks estándar. Sin embargo, estos resultados no siempre se trasladan a documentos del mundo real, especialmente en idiomas con menos recursos como el español. +En síntesis, la revisión del estado del arte revela un panorama en el que las herramientas técnicas están maduras, pero su aplicación óptima para dominios específicos permanece poco explorada. Los sistemas OCR modernos, como PaddleOCR, EasyOCR y DocTR, ofrecen arquitecturas sofisticadas basadas en aprendizaje profundo que alcanzan resultados impresionantes en benchmarks estándar. Sin embargo, estos resultados no siempre se trasladan a documentos del mundo real, especialmente en idiomas con menos recursos como el español. La evolución desde los sistemas de plantillas de los años 50 hasta los Transformers actuales ha sido espectacular, pero ha generado sistemas con decenas de hiperparámetros configurables cuyos valores por defecto representan compromisos generales, no configuraciones óptimas para dominios específicos. La literatura abunda en trabajos sobre entrenamiento y fine-tuning de modelos OCR, pero dedica poca atención a la optimización sistemática de los parámetros de inferencia, como umbrales de detección, opciones de preprocesamiento y filtros de confianza, que pueden marcar la diferencia entre un sistema usable y uno que requiere corrección manual extensiva. diff --git a/docs/04_desarrollo_especifico.md b/docs/04_desarrollo_especifico.md index 1aeaba5..45faea0 100644 --- a/docs/04_desarrollo_especifico.md +++ b/docs/04_desarrollo_especifico.md @@ -269,7 +269,7 @@ flowchart LR A -.->|"Health check /health"| B ``` -La arquitectura containerizada [`src/docker-compose.tuning.paddle.yml)`](https://seryus.ddns.net/unir/MastersThesis/src/branch/main/src/docker-compose.tuning.paddle.yml))))), [`src/docker-compose.tuning.doctr.yml`](https://seryus.ddns.net/unir/MastersThesis/src/branch/main/src/docker-compose.tuning.doctr.yml), [`src/docker-compose.tuning.easyocr.yml`](https://seryus.ddns.net/unir/MastersThesis/src/branch/main/src/docker-compose.tuning.easyocr.yml), [`src/docker-compose.tuning.yml`](https://seryus.ddns.net/unir/MastersThesis/src/branch/main/src/docker-compose.tuning.yml)ofrece: +La arquitectura containerizada [`src/docker-compose.tuning.paddle.yml`](https://seryus.ddns.net/unir/MastersThesis/src/branch/main/src/docker-compose.tuning.paddle.yml), [`src/docker-compose.tuning.doctr.yml`](https://seryus.ddns.net/unir/MastersThesis/src/branch/main/src/docker-compose.tuning.doctr.yml), [`src/docker-compose.tuning.easyocr.yml`](https://seryus.ddns.net/unir/MastersThesis/src/branch/main/src/docker-compose.tuning.easyocr.yml), [`src/docker-compose.tuning.yml`](https://seryus.ddns.net/unir/MastersThesis/src/branch/main/src/docker-compose.tuning.yml) ofrece: 1. Aislamiento de dependencias entre Ray Tune y los motores OCR 2. Health checks automáticos para asegurar disponibilidad del servicio 3. Comunicación via API REST (endpoints `/health` y `/evaluate`) @@ -1239,16 +1239,4 @@ Fuente: [`docs/metrics/metrics.md`](https://seryus.ddns.net/unir/MastersThesis/s Los modelos Server, a pesar de ofrecer potencialmente mayor precisión, resultan inviables en hardware con VRAM limitada (≤6 GB) debido a errores de memoria (Out of Memory). Los modelos Mobile, con un consumo de memoria 88 veces menor, funcionan de manera estable y ofrecen rendimiento suficiente para el caso de uso evaluado. -#### Conclusiones de la Validación GPU - -La validación con aceleración GPU permite extraer las siguientes conclusiones: - -1. **Aceleración significativa**: La GPU proporciona una aceleración de 82× sobre CPU, haciendo viable el procesamiento en tiempo real para aplicaciones interactivas. - -2. **Modelos Mobile recomendados**: Para hardware con VRAM limitada (≤6 GB), los modelos Mobile de PP-OCRv5 ofrecen el mejor balance entre precisión y recursos, funcionando de manera estable sin errores de memoria. - -3. **Viabilidad práctica**: Con GPU, el procesamiento de un documento completo (45 páginas) toma ~38 segundos, validando la aplicabilidad en entornos de producción donde el tiempo de respuesta es crítico. - -4. **Escalabilidad**: La arquitectura de microservicios dockerizados utilizada para la validación GPU facilita el despliegue horizontal, permitiendo escalar el procesamiento según demanda. - -Esta validación demuestra que la configuración optimizada mediante Ray Tune mejora la precisión (CER: 8.85% → 7.72% en dataset completo, 0.79% en mejor trial individual) y, combinada con aceleración GPU, resulta prácticamente aplicable en escenarios de producción real. +La validación con aceleración GPU demuestra que la configuración optimizada mediante Ray Tune mejora la precisión (CER: 8.85% → 7.72% en dataset completo, 0.79% en mejor trial individual) y, combinada con la aceleración de 82× proporcionada por GPU, resulta prácticamente aplicable en escenarios de producción real. Las conclusiones derivadas de esta validación se presentan en el Capítulo 5. diff --git a/docs/05_conclusiones_trabajo_futuro.md b/docs/05_conclusiones_trabajo_futuro.md index 994d2a2..59d930f 100644 --- a/docs/05_conclusiones_trabajo_futuro.md +++ b/docs/05_conclusiones_trabajo_futuro.md @@ -47,6 +47,10 @@ Otro hallazgo relevante es la innecesariedad de ciertos módulos para documentos Finalmente, los resultados demuestran que es posible mejorar modelos preentrenados mediante ajuste exclusivo de hiperparámetros de inferencia, sin necesidad de reentrenamiento. Sin embargo, esta aproximación requiere validación cuidadosa, ya que las configuraciones optimizadas sobre subconjuntos pequeños pueden no generalizar a conjuntos de datos más amplios o diversos. +Respecto a la validación con aceleración GPU, la GPU proporciona una aceleración de 82× sobre CPU, haciendo viable el procesamiento en tiempo real para aplicaciones interactivas. Con GPU, el procesamiento de un documento completo (45 páginas) toma aproximadamente 38 segundos, validando la aplicabilidad en entornos de producción donde el tiempo de respuesta es crítico. Para hardware con VRAM limitada (≤6 GB), los modelos Mobile de PP-OCRv5 ofrecen el mejor balance entre precisión y recursos, funcionando de manera estable sin errores de memoria, mientras que los modelos Server resultan inviables debido a errores Out of Memory. Además, la arquitectura de microservicios dockerizados utilizada facilita el despliegue horizontal, permitiendo escalar el procesamiento según demanda. + +Fuente: [`docs/metrics/metrics.md`](https://seryus.ddns.net/unir/MastersThesis/src/branch/main/docs/metrics/metrics.md). + ### Contribuciones del Trabajo La principal contribución de este trabajo es una metodología reproducible para la optimización de hiperparámetros OCR. El proceso completo, desde la preparación del conjunto de datos hasta la validación de la configuración óptima, queda documentado y es replicable mediante las herramientas Ray Tune y Optuna. diff --git a/docs/07_anexo_a.md b/docs/07_anexo_a.md index f528293..8a465c7 100644 --- a/docs/07_anexo_a.md +++ b/docs/07_anexo_a.md @@ -46,27 +46,11 @@ flowchart TB end ``` -**Tabla A1.** *Descripción de directorios principales.* - -| Directorio | Contenido | -|------------|-----------| -| [`docs/`](https://seryus.ddns.net/unir/MastersThesis/src/branch/main/docs/)| Capítulos del TFM en Markdown (estructura UNIR) | -| [`docs/metrics/`](https://seryus.ddns.net/unir/MastersThesis/src/branch/main/docs/metrics/)| Métricas de rendimiento por servicio OCR | -| [`src/paddle_ocr/`](https://seryus.ddns.net/unir/MastersThesis/src/branch/main/src/paddle_ocr/)| Servicio PaddleOCR dockerizado | -| [`src/doctr_service/`](https://seryus.ddns.net/unir/MastersThesis/src/branch/main/src/doctr_service/)| Servicio DocTR dockerizado | -| [`src/easyocr_service/`](https://seryus.ddns.net/unir/MastersThesis/src/branch/main/src/easyocr_service/)| Servicio EasyOCR dockerizado | -| [`src/raytune/`](https://seryus.ddns.net/unir/MastersThesis/src/branch/main/src/raytune/)| Scripts de optimización Ray Tune | -| [`src/results/`](https://seryus.ddns.net/unir/MastersThesis/src/branch/main/src/results/)| CSVs con resultados de 64 trials por servicio | -| [`src/results/correlations/`](https://seryus.ddns.net/unir/MastersThesis/src/branch/main/src/results/correlations/)| Correlaciones de hiperparámetros por servicio | -| [`thesis_output/`](https://seryus.ddns.net/unir/MastersThesis/src/branch/main/thesis_output/)| Documento TFM generado + figuras PNG | -| [`instructions/`](https://seryus.ddns.net/unir/MastersThesis/src/branch/main/instructions/)| Plantilla e instrucciones UNIR oficiales | -Fuente: [Repositorio del proyecto](https://seryus.ddns.net/unir/MastersThesis/src/branch/main/). - ## A.3 Requisitos de Software ### Sistema de Desarrollo -**Tabla A2.** *Especificaciones del sistema de desarrollo.* +**Tabla A1.** *Especificaciones del sistema de desarrollo.* | Componente | Especificación | |------------|----------------| @@ -79,9 +63,7 @@ Fuente: [`docs/metrics/metrics.md`](https://seryus.ddns.net/unir/MastersThesis/s ### Dependencias -### Dependencias - -**Tabla A3.** *Dependencias del proyecto.* +**Tabla A2.** *Dependencias del proyecto.* | Componente | Versión | |------------|---------| @@ -97,8 +79,6 @@ Fuente: [`src/paddle_ocr/requirements.txt`](https://seryus.ddns.net/unir/Masters ## A.4 Instrucciones de Ejecución de Servicios OCR -## A.4 Instrucciones de Ejecución de Servicios OCR - ### PaddleOCR (Puerto 8002) **Imágenes Docker:** @@ -117,7 +97,7 @@ docker compose -f docker-compose.cpu-registry.yml up -d ### DocTR (Puerto 8003) -**Imagen Docker:** `seryus.ddns.net/unir/doctr-gpu`(https://seryus.ddns.net/unir/-/packages/container/doctr-gpu/latest) +**Imagen Docker:** [`seryus.ddns.net/unir/doctr-gpu`](https://seryus.ddns.net/unir/-/packages/container/doctr-gpu/latest) ```bash cd src/doctr_service @@ -130,7 +110,7 @@ docker compose up -d > **Nota:** EasyOCR utiliza el mismo puerto (8002) que PaddleOCR. No se pueden ejecutar simultáneamente. Por esta razón, existe un archivo docker-compose separado para EasyOCR. -**Imagen Docker:** `seryus.ddns.net/unir/easyocr-gpu`(https://seryus.ddns.net/unir/-/packages/container/easyocr-gpu/latest) +**Imagen Docker:** [`seryus.ddns.net/unir/easyocr-gpu`](https://seryus.ddns.net/unir/-/packages/container/easyocr-gpu/latest) ```bash cd src/easyocr_service @@ -206,7 +186,7 @@ analyze_results(results, prefix='raytune_paddle', config_keys=PADDLE_OCR_CONFIG_ ### Servicios y Puertos -**Tabla A4.** *Servicios Docker y puertos.* +**Tabla A3.** *Servicios Docker y puertos.* | Servicio | Puerto | Script de Ajuste | Nota | |----------|--------|------------------|------| @@ -223,7 +203,7 @@ Esta sección presenta los resultados completos de las evaluaciones comparativas ### Comparativa General de Servicios -**Tabla A5.** *Comparativa de servicios OCR en dataset de 45 páginas (GPU RTX 3060).* +**Tabla A4.** *Comparativa de servicios OCR en dataset de 45 páginas (GPU RTX 3060).* | Servicio | CER | WER | Tiempo/Página | Tiempo Total | VRAM | |----------|-----|-----|---------------|--------------|------| @@ -238,7 +218,7 @@ Fuente: [`docs/metrics/metrics_paddle.md`](https://seryus.ddns.net/unir/MastersT Se ejecutaron 64 trials por servicio utilizando Ray Tune con Optuna sobre las páginas 5-10 del primer documento. -**Tabla A6.** *Resultados del ajuste de hiperparámetros por servicio.* +**Tabla A5.** *Resultados del ajuste de hiperparámetros por servicio.* | Servicio | CER Base | CER Ajustado | Mejora | Mejor Trial (5 páginas) | |----------|----------|--------------|--------|-------------------------| @@ -251,7 +231,7 @@ Fuente: [`docs/metrics/metrics_paddle.md`](https://seryus.ddns.net/unir/MastersT ### Distribución de trials por rango de CER (PaddleOCR) -**Tabla A7.** *Distribución de trials por rango de CER.* +**Tabla A6.** *Distribución de trials por rango de CER.* | Rango CER | Número de trials | Porcentaje | |-----------|------------------|------------| @@ -307,7 +287,7 @@ La siguiente configuración logró el mejor rendimiento en el ajuste de hiperpar ### Rendimiento CPU vs GPU -**Tabla A8.** *Comparación de rendimiento CPU vs GPU (PaddleOCR).* +**Tabla A7.** *Comparación de rendimiento CPU vs GPU (PaddleOCR).* | Métrica | CPU | GPU (RTX 3060) | Aceleración | |---------|-----|----------------|-------------| @@ -340,7 +320,7 @@ Fuente: [`src/raytune_paddle_subproc_results_20251207_192320.csv`](https://seryu ### Análisis de Errores por Servicio -**Tabla A9.** *Tipos de errores identificados por servicio OCR.* +**Tabla A8.** *Tipos de errores identificados por servicio OCR.* | Servicio | Fortalezas | Debilidades | ¿Fine-tuning recomendado? | |----------|------------|-------------|---------------------------| @@ -353,7 +333,7 @@ Fuente: Análisis manual del debugset. Elaboración propia. Los resultados crudos de los 64 trials por servicio están disponibles en el repositorio: -**Tabla A10.** *Ubicación de archivos de resultados.* +**Tabla A9.** *Ubicación de archivos de resultados.* | Servicio | Archivo CSV | |----------|-------------| diff --git a/thesis_output/plantilla_individual.htm b/thesis_output/plantilla_individual.htm index 0ea6def..43e0e9a 100644 --- a/thesis_output/plantilla_individual.htm +++ b/thesis_output/plantilla_individual.htm @@ -4153,9 +4153,7 @@ EN-US;mso-bidi-language:AR-SA'>
textline_orientation (clasificación de orientación de línea de texto) tiene un impacto crítico en el rendimiento. Adicionalmente, se identificó que el umbral de detección (text_det_thresh) presenta una correlación positiva moderada (0.43) con el error, lo que indica que valores más bajos tienden a mejorar el rendimiento. Este trabajo demuestra que la optimización de hiperparámetros es una alternativa viable al fine-tuning, especialmente útil cuando se dispone de modelos preentrenados para el idioma objetivo. La infraestructura dockerizada desarrollada permite reproducir los experimentos y facilita la evaluación sistemática de configuraciones OCR.

 

@@ -4175,9 +4173,7 @@ Este trabajo demuestra que la optimización de hiperparámetros es una alternati A comparative study of three open-source OCR solutions was conducted with EasyOCR, PaddleOCR (PP-OCRv5), and DocTR. Their performance was evaluated using standard CER (Character Error Rate) and WER (Word Error Rate) metrics on a corpus of 45 pages of academic documents in Spanish. After identifying PaddleOCR as the most promising solution, systematic hyperparameter optimization was performed using Ray Tune with the Optuna search algorithm, executing 64 different configurations with GPU acceleration (NVIDIA RTX 3060). -Results demonstrate that hyperparameter optimization achieved significant improvements. The best individual trial reached a CER of 0.79% (99.21% accuracy), meeting the CER < 2% objective. When validating the optimized configuration on the full 45-page dataset, a 12.8% CER improvement was obtained (from 8.85% to 7.72%). The most relevant finding was that the `textline_orientation` parameter (text line orientation classification) has a critical impact on performance. Additionally, the detection threshold (`text_det_thresh`) showed a moderate positive correlation (0.43) with error, indicating that lower values tend to improve performance. - -Sources: [`docs/metrics/metrics_paddle.md`](https://seryus.ddns.net/unir/MastersThesis/src/branch/main/docs/metrics/metrics_paddle.md), [`src/results/correlations/paddle_correlations.csv`](https://seryus.ddns.net/unir/MastersThesis/src/branch/main/src/results/correlations/paddle_correlations.csv). +Results demonstrate that hyperparameter optimization achieved significant improvements. The best individual trial reached a CER of 0.79% (99.21% accuracy), meeting the CER < 2% objective. When validating the optimized configuration on the full 45-page dataset, a 12.8% CER improvement was obtained (from 8.85% to 7.72%). The most relevant finding was that the textline_orientation parameter (text line orientation classification) has a critical impact on performance. Additionally, the detection threshold (text_det_thresh) showed a moderate positive correlation (0.43) with error, indicating that lower values tend to improve performance. This work demonstrates that hyperparameter optimization is a viable alternative to fine-tuning, especially useful when pre-trained models for the target language are available. The dockerized infrastructure developed enables experiment reproducibility and facilitates systematic evaluation of OCR configurations.

 

@@ -4607,7 +4603,7 @@ _Toc14106979">Contexto del problema

Definición y Evolución Histórica del OCR

El Reconocimiento Óptico de Caracteres (OCR) es el proceso de conversión de imágenes de texto manuscrito, mecanografiado o impreso en texto codificado digitalmente. Esta tecnología permite la digitalización masiva de documentos, facilitando su búsqueda, edición y almacenamiento electrónico. La tecnología OCR ha evolucionado significativamente desde sus orígenes en la década de 1950, atravesando cuatro generaciones claramente diferenciadas:

-

Primera Generación (1950-1970): Sistemas basados en plantillas

+

Primera Generación (1950-1970): Sistemas basados en plantillas

Los primeros sistemas OCR surgieron en la década de 1950 con el objetivo de automatizar la lectura de documentos bancarios y postales. Estos sistemas utilizaban técnicas de correspondencia de plantillas (template matching), donde cada carácter de entrada se comparaba píxel a píxel con un conjunto predefinido de plantillas (Mori et al., 1992).

Las principales limitaciones de esta generación incluían:

·     Dependencia de fuentes tipográficas específicas (OCR-A, OCR-B)

@@ -4615,14 +4611,14 @@ _Toc14106979">·     Alto coste computacional para la época

·     Sensibilidad extrema al ruido y degradación de la imagen

A pesar de sus limitaciones, estos sistemas sentaron las bases para el desarrollo posterior del campo y demostraron la viabilidad comercial del reconocimiento automático de texto.

-

Segunda Generación (1970-1990): Extracción de características

+

Segunda Generación (1970-1990): Extracción de características

La segunda generación introdujo técnicas más sofisticadas basadas en la extracción de características geométricas y estructurales de los caracteres. En lugar de comparar imágenes completas, estos sistemas extraían propiedades como:

·     Número y posición de trazos

·     Proporciones geométricas (altura, anchura, relación de aspecto)

·     Momentos estadísticos de la distribución de píxeles

·     Características topológicas (bucles, intersecciones, terminaciones)

Los clasificadores estadísticos, como el análisis discriminante lineal y los k-vecinos más cercanos (k-NN), se utilizaban para asignar cada vector de características a una clase de carácter (Trier et al., 1996). Esta aproximación permitió mayor robustez frente a variaciones tipográficas, aunque seguía requiriendo un diseño manual cuidadoso de las características a extraer.

-

Tercera Generación (1990-2010): Redes neuronales y modelos probabilísticos

+

Tercera Generación (1990-2010): Redes neuronales y modelos probabilísticos

La tercera generación marcó la introducción de técnicas de aprendizaje automático más avanzadas. Los Modelos Ocultos de Markov (HMM) se convirtieron en el estándar para el reconocimiento de secuencias de caracteres, especialmente en el reconocimiento de escritura manuscrita (Plamondon & Srihari, 2000).

Las Redes Neuronales Artificiales (ANN) también ganaron popularidad en esta época, con arquitecturas como el Perceptrón Multicapa (MLP) demostrando capacidades superiores de generalización. El trabajo seminal de LeCun et al. (1998) con las redes convolucionales (CNN) para el reconocimiento de dígitos manuscritos (dataset MNIST) estableció los fundamentos para la siguiente revolución.

Las características de esta generación incluían:

@@ -4630,7 +4626,7 @@ _Toc14106979">·     Modelado probabilístico de secuencias de caracteres

·     Mayor robustez frente a ruido y degradación

·     Capacidad de incorporar conocimiento lingüístico mediante modelos de lenguaje

-

Cuarta Generación (2010-presente): Aprendizaje profundo

+

Cuarta Generación (2010-presente): Aprendizaje profundo

La cuarta y actual generación está dominada por arquitecturas de aprendizaje profundo que han superado ampliamente el rendimiento de los métodos tradicionales. Los avances clave incluyen:

Redes Convolucionales Profundas (Deep CNNs): Arquitecturas como VGGNet, ResNet e Inception permiten la extracción automática de características jerárquicas a múltiples escalas, eliminando la necesidad de diseño manual de características (Krizhevsky et al., 2012).

Redes Recurrentes (RNN/LSTM): Las redes Long Short-Term Memory (LSTM) permiten modelar dependencias a largo plazo en secuencias de caracteres, siendo fundamentales para el reconocimiento de texto de longitud variable (Graves et al., 2009).

@@ -4642,13 +4638,13 @@ _Toc14106979">Pipeline de un sistema OCR moderno

Fuente: Elaboración propia.

 

-

Etapa de Preprocesamiento

+

Etapa de Preprocesamiento

Antes de la detección, muchos sistemas aplican técnicas de preprocesamiento para mejorar la calidad de la imagen de entrada:

·     Binarización: Conversión a imagen binaria (blanco/negro) mediante técnicas como Otsu o Sauvola

·     Corrección de inclinación (deskewing): Alineamiento horizontal del texto

·     Eliminación de ruido: Filtros morfológicos y de suavizado

·     Normalización de contraste: Mejora de la legibilidad mediante ecualización de histograma

-

Etapa 1: Detección de Texto (Text Detection)

+

Etapa 1: Detección de Texto (Text Detection)

La detección de texto tiene como objetivo localizar todas las regiones de una imagen que contienen texto. Esta tarea es particularmente desafiante debido a la variabilidad en:

·     Tamaño y orientación del texto

·     Fondos complejos y oclusiones parciales

@@ -4662,7 +4658,7 @@ _Toc14106979">

Arquitectura

Tipo

Salida

Fortalezas

Limitaciones

EAST

Single-shot

Cuadriláteros rotados

Rápido, simple

Dificultad con texto curvo

CRAFT

Bottom-up

Polígonos de palabra

Robusto a espaciado

Mayor coste computacional

DB

Segmentación

Polígonos arbitrarios

Rápido, preciso

Sensible a parámetros

Fuente: Elaboración propia a partir de Zhou et al. (2017), Baek et al. (2019), Liao et al. (2020).

 

-

Etapa 2: Reconocimiento de Texto (Text Recognition)

+

Etapa 2: Reconocimiento de Texto (Text Recognition)

Una vez detectadas las regiones de texto, la etapa de reconocimiento transcribe el contenido visual a texto digital. Las arquitecturas predominantes son:

CRNN (Convolutional Recurrent Neural Network): Propuesta por Shi et al. (2016), CRNN combina una CNN para extracción de características visuales con una RNN bidireccional (típicamente LSTM) para modelado de secuencias, entrenada con pérdida CTC. Esta arquitectura estableció el paradigma encoder-decoder que domina el campo.

La arquitectura CRNN consta de tres componentes:

@@ -4678,11 +4674,11 @@ _Toc14106979"> 

Métricas de Evaluación

La evaluación rigurosa de sistemas OCR requiere métricas estandarizadas que permitan comparaciones objetivas. Las métricas fundamentales se basan en la distancia de edición de Levenshtein.

-

Distancia de Levenshtein

+

Distancia de Levenshtein

La distancia de Levenshtein (Levenshtein, 1966) entre dos cadenas es el número mínimo de operaciones de edición (inserción, eliminación, sustitución) necesarias para transformar una cadena en otra. Formalmente, para dos cadenas a y b:

d(a,b)=min(inserciones+eliminaciones+sustituciones)

Esta métrica es fundamental para calcular tanto CER como WER.

-

Character Error Rate (CER)

+

Character Error Rate (CER)

El CER mide el error a nivel de carácter y se calcula como:

CER=S+D+IN

Donde:

@@ -4691,17 +4687,17 @@ _Toc14106979">·     I = número de inserciones de caracteres

·     N = número total de caracteres en el texto de referencia

Un CER bajo indica que el sistema comete pocos errores a nivel de carácter. Para aplicaciones críticas se requiere un nivel de error muy reducido, mientras que en tareas de búsqueda o archivo pueden aceptarse errores mayores.

-

Word Error Rate (WER)

+

Word Error Rate (WER)

El WER mide el error a nivel de palabra, utilizando la misma fórmula pero considerando palabras como unidades:

WER=Sw+Dw+IwNw

El WER es generalmente mayor que el CER, ya que un solo error de carácter puede invalidar una palabra completa. Esta diferencia es relevante cuando se comparan sistemas que preservan caracteres pero pierden palabras completas.

-

Otras Métricas Complementarias

+

Otras Métricas Complementarias

Precision y Recall a nivel de palabra: Útiles cuando se evalúa la capacidad del sistema para detectar palabras específicas.

Bag-of-Words Accuracy: Mide la proporción de palabras correctamente reconocidas independientemente de su orden.

BLEU Score: Adaptado de traducción automática, mide la similitud entre el texto predicho y la referencia considerando n-gramas.

Particularidades del OCR para el Idioma Español

El español, como lengua romance, presenta características específicas que impactan el rendimiento de los sistemas OCR:

-

Características Ortográficas

+

Características Ortográficas

Caracteres especiales: El español incluye caracteres no presentes en el alfabeto inglés básico:

·     La letra eñe (ñ, Ñ)

·     Vocales acentuadas (á, é, í, ó, ú, Á, É, Í, Ó, Ú)

@@ -4709,10 +4705,10 @@ _Toc14106979">·     Signos de puntuación invertidos (¿, ¡)

Estos caracteres requieren que los modelos OCR incluyan dichos símbolos en su vocabulario de salida y que el entrenamiento incluya suficientes ejemplos de cada uno.

Diacríticos y acentos: Los acentos gráficos del español son elementos pequeños que pueden confundirse fácilmente con ruido, artefactos de imagen o signos de puntuación. La distinción entre vocales acentuadas y no acentuadas es crucial para el significado (e.g., "él" vs "el", "más" vs "mas").

-

Características Lingüísticas

+

Características Lingüísticas

Longitud de palabras: Las palabras en español tienden a ser más largas que en inglés debido a la morfología flexiva rica (conjugaciones verbales, géneros, plurales). Esto puede aumentar la probabilidad de error acumulativo.

Vocabulario: El español tiene un vocabulario amplio con muchas variantes morfológicas de cada raíz. Los modelos de lenguaje utilizados para post-corrección deben contemplar esta diversidad.

-

Recursos y Datasets

+

Recursos y Datasets

Los recursos disponibles para OCR en español son significativamente menores que para inglés o chino:

·     Menor cantidad de datasets etiquetados de gran escala

·     Menos modelos preentrenados específicos para español

@@ -4721,7 +4717,7 @@ _Toc14106979">Estado del arte

Soluciones OCR de Código Abierto

En los últimos años han surgido varias soluciones OCR de código abierto que democratizan el acceso a esta tecnología. A continuación se analizan en detalle las tres principales alternativas evaluadas en este trabajo.

-

EasyOCR

+

EasyOCR

EasyOCR es una biblioteca de OCR desarrollada por Jaided AI (2020) con el objetivo de proporcionar una solución de fácil uso que soporte múltiples idiomas. Actualmente soporta más de 80 idiomas, incluyendo español.

Arquitectura técnica:

·     Detector: CRAFT (Character Region Awareness for Text Detection)

@@ -4738,7 +4734,7 @@ _Toc14106979">·     Actualizaciones menos frecuentes que otras alternativas

·     Documentación menos exhaustiva

Caso de uso ideal: Prototipado rápido, aplicaciones con restricciones de memoria, proyectos que requieren soporte multilingüe inmediato.

-

PaddleOCR

+

PaddleOCR

PaddleOCR es el sistema OCR desarrollado por Baidu como parte del ecosistema PaddlePaddle (2024). Representa una de las soluciones más completas y activamente mantenidas en el ecosistema de código abierto. La versión PP-OCRv5, utilizada en este trabajo, incorpora los últimos avances en el campo.

Arquitectura técnica:

El pipeline de PaddleOCR consta de tres módulos principales:

@@ -4773,7 +4769,7 @@ _Toc14106979">·     Dependencia del framework PaddlePaddle (menos popular que PyTorch/TensorFlow)

·     Curva de aprendizaje más pronunciada

·     Documentación en inglés menos completa que en chino

-

DocTR

+

DocTR

DocTR (Document Text Recognition) es una biblioteca desarrollada por Mindee (2021), empresa especializada en procesamiento inteligente de documentos. Está orientada a la comunidad de investigación y ofrece una API limpia basada en TensorFlow/PyTorch.

Arquitectura técnica:

·     Detectores disponibles: DB (db_resnet50), LinkNet (linknet_resnet18)

@@ -4788,7 +4784,7 @@ _Toc14106979">·     Menor rendimiento en español comparado con PaddleOCR según pruebas preliminares

·     Comunidad más pequeña

·     Menos opciones de modelos preentrenados para idiomas no ingleses

-

Comparativa Detallada de Soluciones

+

Comparativa Detallada de Soluciones

Tabla 9. Comparativa técnica de soluciones OCR de código abierto.

Aspecto

EasyOCR

PaddleOCR

DocTR

Framework

PyTorch

PaddlePaddle

TF/PyTorch

Detector

CRAFT

DB

DB/LinkNet

Reconocedor

CRNN

SVTR/CRNN

CRNN/SAR/ViTSTR

Idiomas

Multilingüe

Multilingüe

Limitado

Configurabilidad

Baja

Alta

Media

Documentación

Media

Alta (CN)

Alta (EN)

Actividad

Media

Alta

Media

Licencia

Apache 2.0

Apache 2.0

Apache 2.0

Fuente: Elaboración propia a partir de documentación oficial (2024).

@@ -4798,7 +4794,7 @@ _Toc14106979">Fuente: Elaboración propia a partir de documentación oficial.

 

Optimización de Hiperparámetros

-

Fundamentos Teóricos

+

Fundamentos Teóricos

La optimización de hiperparámetros (HPO, Hyperparameter Optimization) es el proceso de encontrar la configuración óptima de los parámetros que controlan el proceso de aprendizaje o inferencia de un modelo, pero que no se aprenden directamente de los datos (Feurer & Hutter, 2019).

A diferencia de los parámetros del modelo (como los pesos de una red neuronal), los hiperparámetros se establecen antes del entrenamiento e incluyen:

·     Tasa de aprendizaje, tamaño de batch, número de épocas

@@ -4813,7 +4809,7 @@ _Toc14106979">·     Mλ es el modelo configurado con λ

·      es la función de pérdida

·     Dval es el conjunto de validación

-

Métodos de Optimización

+

Métodos de Optimización

Grid Search (Búsqueda en rejilla):

El método más simple consiste en evaluar todas las combinaciones posibles de valores discretizados de los hiperparámetros. Para k hiperparámetros con n valores cada uno, requiere nk evaluaciones. @@ -4840,7 +4836,7 @@ El método más simple consiste en evaluar todas las combinaciones posibles de v

·     Procesos Gaussianos (GP): Proporcionan incertidumbre bien calibrada pero escalan pobremente

·     Random Forests: Manejan bien espacios de alta dimensión y variables categóricas

·     Tree-structured Parzen Estimator (TPE): Modela densidades en lugar de la función objetivo

-

Tree-structured Parzen Estimator (TPE)

+

Tree-structured Parzen Estimator (TPE)

TPE, propuesto por Bergstra et al. (2011) e implementado en Optuna, es particularmente efectivo para HPO. En lugar de modelar p(y|λ) directamente, TPE modela: @@ -4858,7 +4854,7 @@ Configuraciones con alta probabilidad bajo ·     Eficiente para espacios de alta dimensión

·     No requiere derivadas de la función objetivo

·     Implementación eficiente en Optuna

-

Ray Tune

+

Ray Tune

Ray Tune (Liaw et al., 2018) es un framework de optimización de hiperparámetros escalable construido sobre Ray, un sistema de computación distribuida. Sus características principales incluyen:

Escalabilidad:

·     Ejecución paralela de múltiples trials

@@ -4881,7 +4877,7 @@ Configuraciones con alta probabilidad bajo Ciclo de optimización con Ray Tune y Optuna

Fuente: Elaboración propia.

 

-

HPO en Sistemas OCR

+

HPO en Sistemas OCR

La aplicación de HPO a sistemas OCR ha sido explorada en varios contextos:

Optimización de preprocesamiento:

Liang et al. (2005) propusieron optimizar parámetros de binarización adaptativa para mejorar el OCR de documentos degradados. Los parámetros optimizados incluían tamaño de ventana, factor de corrección y umbral local.

@@ -4896,7 +4892,7 @@ Configuraciones con alta probabilidad bajo ·     Post-procesamiento lingüístico

La optimización de umbrales de detección y reconocimiento en tiempo de inferencia ha recibido poca atención, especialmente para idiomas diferentes del inglés y chino.

Datasets y Benchmarks para Español

-

Datasets Públicos

+

Datasets Públicos

Los principales recursos para evaluación de OCR en español incluyen:

FUNSD-ES: Versión en español del Form Understanding in Noisy Scanned Documents dataset. Contiene formularios escaneados con anotaciones de texto y estructura.

MLT (ICDAR Multi-Language Text): Dataset multilingüe de las competiciones ICDAR que incluye muestras en español. Las ediciones recientes contienen texto en escenas naturales.

@@ -4905,7 +4901,7 @@ Configuraciones con alta probabilidad bajo

Dataset

Tipo

Idiomas

Tamaño

Uso principal

FUNSD-ES

Formularios

ES

Pequeño

Document understanding

MLT

Escenas

Multi (incl. ES)

Medio

Text detection

XFUND

Formularios

Multi (incl. ES)

Medio

Information extraction

Fuente: Elaboración propia a partir de repositorios oficiales.

 

-

Limitaciones de Recursos para Español

+

Limitaciones de Recursos para Español

Comparado con inglés y chino, el español cuenta con:

·     Menor cantidad de datasets etiquetados de gran escala

·     Menos benchmarks estandarizados

@@ -4913,7 +4909,7 @@ Configuraciones con alta probabilidad bajo ·     Pocos modelos preentrenados específicos

Esta escasez de recursos específicos para español motivó la creación de un dataset propio basado en documentos académicos de UNIR para este trabajo.

Además, se priorizó un dataset propio aunque fuera de tamaño reducido porque el objetivo era evaluar texto académico en un formato sencillo y reproducible (texto plano con índice), sin tablas ni estructuras complejas. Ese perfil no está bien cubierto por datasets públicos centrados en formularios o escenas naturales, por lo que se optó por un corpus controlado y alineado con el dominio del TFM.

-

Trabajos Previos en OCR para Español

+

Trabajos Previos en OCR para Español

Los trabajos previos en OCR para español se han centrado principalmente en:

Digitalización de archivos históricos: Múltiples proyectos han abordado el reconocimiento de manuscritos coloniales y documentos históricos en español, utilizando técnicas de HTR (Handwritten Text Recognition) adaptadas (Romero et al., 2013).

Procesamiento de documentos de identidad: Sistemas OCR especializados para DNI, pasaportes y documentos oficiales españoles y latinoamericanos (Bulatov et al., 2020).

@@ -4923,8 +4919,7 @@ Configuraciones con alta probabilidad bajo Fuente: Elaboración propia.

 

La optimización de hiperparámetros para documentos académicos en español representa una contribución original de este trabajo, abordando un nicho no explorado en la literatura.

-

Conclusiones del capítulo

-

La revisión del estado del arte revela un panorama en el que las herramientas técnicas están maduras, pero su aplicación óptima para dominios específicos permanece poco explorada. Los sistemas OCR modernos, como PaddleOCR, EasyOCR y DocTR, ofrecen arquitecturas sofisticadas basadas en aprendizaje profundo que alcanzan resultados impresionantes en benchmarks estándar. Sin embargo, estos resultados no siempre se trasladan a documentos del mundo real, especialmente en idiomas con menos recursos como el español.

+

En síntesis, la revisión del estado del arte revela un panorama en el que las herramientas técnicas están maduras, pero su aplicación óptima para dominios específicos permanece poco explorada. Los sistemas OCR modernos, como PaddleOCR, EasyOCR y DocTR, ofrecen arquitecturas sofisticadas basadas en aprendizaje profundo que alcanzan resultados impresionantes en benchmarks estándar. Sin embargo, estos resultados no siempre se trasladan a documentos del mundo real, especialmente en idiomas con menos recursos como el español.

La evolución desde los sistemas de plantillas de los años 50 hasta los Transformers actuales ha sido espectacular, pero ha generado sistemas con decenas de hiperparámetros configurables cuyos valores por defecto representan compromisos generales, no configuraciones óptimas para dominios específicos. La literatura abunda en trabajos sobre entrenamiento y fine-tuning de modelos OCR, pero dedica poca atención a la optimización sistemática de los parámetros de inferencia, como umbrales de detección, opciones de preprocesamiento y filtros de confianza, que pueden marcar la diferencia entre un sistema usable y uno que requiere corrección manual extensiva.

Este vacío, combinado con las particularidades del español (acentos, eñes, signos invertidos) y la escasez de recursos específicos para este idioma, define el espacio de contribución del presente trabajo. Frameworks como Ray Tune y Optuna proporcionan las herramientas para abordar esta optimización de manera sistemática; PaddleOCR, con su pipeline altamente configurable, ofrece el sustrato técnico adecuado. El siguiente capítulo traduce esta oportunidad en objetivos concretos y una metodología experimental rigurosa.

SEQ Figura \* ARABIC 4. Estructura del dataset de evaluación

Estructura del dataset de evaluación

Fuente: Elaboración propia.

 

-

Clase ImageTextDataset

+

Clase ImageTextDataset

Se implementó una clase Python para cargar pares imagen-texto que retorna tuplas (PIL.Image, str) desde carpetas pareadas. La implementación se encuentra en:

·     src/prepare_dataset.ipynb

·     src/paddle_ocr/dataset_manager.py

·     src/easyocr_service/dataset_manager.py

·     src/doctr_service/dataset_manager.py

Fase 2: Benchmark Comparativo

-

Modelos Evaluados

+

Modelos Evaluados

Tabla 14. Modelos OCR evaluados en el benchmark inicial.

Modelo

Versión

Configuración

EasyOCR

-

Idiomas: ['es', 'en']

PaddleOCR

PP-OCRv5

Modelos Mobile (limitación de VRAM)

DocTR

-

db_resnet50 + sar_resnet31

Fuente: docs/metrics/metrics.md.

 

-

Métricas de Evaluación

+

Métricas de Evaluación

Se utilizó la biblioteca jiwer para calcular CER y WER comparando el texto de referencia con la predicción del modelo OCR. La implementación se encuentra en:

·     src/paddle_ocr/paddle_ocr_tuning_rest.py

·     src/easyocr_service/easyocr_tuning_rest.py

·     src/doctr_service/doctr_tuning_rest.py

Fase 3: Espacio de Búsqueda

-

Hiperparámetros Seleccionados

+

Hiperparámetros Seleccionados

Tabla 15. Hiperparámetros seleccionados para optimización.

Parámetro

Tipo

Rango/Valores

Descripción

use_doc_orientation_classify

Booleano

[True, False]

Clasificación de orientación del documento

use_doc_unwarping

Booleano

[True, False]

Corrección de deformación del documento

textline_orientation

Booleano

[True, False]

Clasificación de orientación de línea de texto

text_det_thresh

Continuo

[0.0, 0.7]

Umbral de detección de píxeles de texto

text_det_box_thresh

Continuo

[0.0, 0.7]

Umbral de caja de detección

text_det_unclip_ratio

Fijo

0.0

Coeficiente de expansión (fijado)

text_rec_score_thresh

Continuo

[0.0, 0.7]

Umbral de confianza de reconocimiento

Fuente: Elaboración propia.

 

-

Configuración de Ray Tune

+

Configuración de Ray Tune

El espacio de búsqueda se definió utilizando tune.choice() para parámetros booleanos y tune.uniform() para parámetros continuos, con OptunaSearch como algoritmo de optimización configurado para minimizar CER en 64 trials. La implementación completa está disponible en src/raytune/raytune_ocr.py (ver Anexo A).

Fase 4: Ejecución de Optimización

-

Arquitectura de Ejecución

+

Arquitectura de Ejecución

Se implementó una arquitectura basada en contenedores Docker para aislar los servicios OCR y facilitar la reproducibilidad (ver sección 4.2.3 para detalles de la arquitectura).

-

Ejecución con Docker Compose

+

Ejecución con Docker Compose

Los servicios se orquestan mediante Docker Compose:

·     src/docker-compose.tuning.paddle.yml

·     src/docker-compose.tuning.doctr.yml

@@ -5029,23 +5024,23 @@ docker compose -f docker-compose.tuning.doctr.yml down }

Fase 5: Validación

-

Protocolo de Validación

+

Protocolo de Validación

1.   Baseline: Ejecución con configuración por defecto de PaddleOCR

2.   Optimizado: Ejecución con mejor configuración encontrada

3.   Comparación: Evaluación sobre las 45 páginas del dataset completo

4.   Métricas reportadas: CER, WER, tiempo de procesamiento

Entorno de Ejecución

-

Hardware

+

Hardware

Tabla 16. Especificaciones de hardware del entorno de desarrollo.

Componente

Especificación

CPU

AMD Ryzen 7 5800H

RAM

16 GB DDR4

GPU

NVIDIA RTX 3060 Laptop (5.66 GB VRAM)

Almacenamiento

SSD

Fuente: docs/metrics/metrics.md.

 

-

Software

+

Software

Tabla 17. Software utilizado en el entorno de desarrollo.

Componente

Versión

PaddlePaddle

3.2.2

PaddleOCR

3.3.2

Ray Tune

2.52.1

Optuna

4.7.0

DocTR (python-doctr)

>= 0.8.0

EasyOCR

>= 1.7.0

Fuente: src/paddle_ocr/requirements.txt, src/raytune/requirements.txt, src/doctr_service/requirements.txt, src/easyocr_service/requirements.txt.

 

-

Justificación de Ejecución Local vs Cloud

+

Justificación de Ejecución Local vs Cloud

La decisión de ejecutar los experimentos en hardware local en lugar de utilizar servicios cloud se fundamenta en un análisis de costos y beneficios operativos.

Tabla 18. Costos de GPU en plataformas cloud.

Plataforma

GPU

Costo/Hora

Costo Mensual

AWS EC2 g4dn.xlarge

NVIDIA T4 (16 GB)

$0.526

~$384

Google Colab Pro

T4/P100

~$1.30

$10 + CU extras

Google Colab Pro+

T4/V100/A100

~$1.30

$50 + CU extras

@@ -5117,25 +5112,25 @@ color:#0098CD;mso-font-kerning:16.0pt;mso-bidi-font-weight:bold'>4.   Documentación: Calidad de la documentación técnica

5.   Mantenimiento activo: Actualizaciones recientes y comunidad activa

Configuración del Experimento

-

Dataset de Evaluación

+

Dataset de Evaluación

Se utilizó el documento "Instrucciones para la redacción y elaboración del TFE" del Máster Universitario en Inteligencia Artificial de UNIR, ubicado en la carpeta instructions/.

Tabla 21. Características del dataset de evaluación inicial.

Característica

Valor

Documento fuente

Instrucciones TFE UNIR

Número de páginas evaluadas

5 (benchmark inicial)

Formato

PDF digital (no escaneado)

Idioma principal

Español

Resolución de conversión

300 DPI

Formato de imagen

PNG

Fuente: docs/metrics/metrics.md.

 

-

Proceso de Conversión

+

Proceso de Conversión

La conversión del PDF a imágenes se realizó mediante PyMuPDF (fitz) a 300 DPI, resolución estándar para OCR que proporciona suficiente detalle para caracteres pequeños sin generar archivos excesivamente grandes. La implementación está disponible en src/prepare_dataset.ipynb.

-

Extracción del Ground Truth

+

Extracción del Ground Truth

El texto de referencia se extrajo directamente del PDF mediante PyMuPDF, preservando la estructura de líneas del documento original. Esta aproximación puede introducir errores en el orden de lectura cuando hay secciones con encabezados, listas o saltos de línea, por lo que se documenta junto al pipeline de preparación en src/prepare_dataset.ipynb. Para la comparación entre motores, las salidas se guardan en debugset/ al activar save_output=True, y el flujo de trabajo se describe en src/README.md y en los README de cada servicio: src/paddle_ocr/README.md, src/easyocr_service/README.md, src/doctr_service/README.md.

-

Configuración de los Modelos

+

Configuración de los Modelos

La configuración de cada modelo se detalla en los README de cada servicio y sus ficheros de dependencias:

·     EasyOCR: Configurado con soporte para español e inglés, permitiendo reconocer palabras en ambos idiomas que puedan aparecer en documentos académicos (referencias, términos técnicos).

·     PaddleOCR (PP-OCRv5): Se utilizaron los modelos Mobile, adecuados para la VRAM disponible. Los modelos Server se probaron y produjeron OOM en este hardware. La versión utilizada fue PaddleOCR 3.3.2.

·     DocTR: Se seleccionaron las arquitecturas db_resnet50 para detección y sar_resnet31 para reconocimiento, representando una configuración de alta precisión.

-

Métricas de Evaluación

+

Métricas de Evaluación

Se utilizó la biblioteca jiwer para calcular CER y WER de manera estandarizada. La normalización a minúsculas y eliminación de espacios extremos asegura una comparación justa que no penaliza diferencias de capitalización. La implementación está disponible en src/paddle_ocr/paddle_ocr_tuning_rest.py, src/easyocr_service/easyocr_tuning_rest.py y src/doctr_service/doctr_tuning_rest.py.

Resultados del Benchmark

-

Resultados de PaddleOCR (Configuración Baseline)

+

Resultados de PaddleOCR (Configuración Baseline)

Durante el benchmark inicial se evaluó PaddleOCR con configuración por defecto en un subconjunto del dataset. Los resultados preliminares mostraron variabilidad significativa entre páginas, en función de los cambios de formato y de la estructura del texto.

Tabla 22. Variabilidad del error por tipo de contenido.

Tipo de contenido

Nivel de error

Observaciones

Texto corrido

Bajo

Mejor rendimiento

Texto con listas

Medio

Rendimiento intermedio

Índice y encabezados

Medio

Orden de lectura sensible

Encabezados + notas

Medio

Variación tipográfica

@@ -5146,13 +5141,13 @@ color:#0098CD;mso-font-kerning:16.0pt;mso-bidi-font-weight:bold'>1.   La página con texto corrido continuo obtuvo el mejor resultado, demostrando la capacidad del modelo para texto estándar.

1.   El promedio general se situó en un rango medio de error, con margen de mejora.

1.   Los errores más frecuentes fueron: confusión de acentos, caracteres duplicados, y errores en signos de puntuación.

-

Comparativa de Modelos

+

Comparativa de Modelos

Los tres modelos evaluados representan diferentes paradigmas de OCR:

Tabla 23. Comparativa de arquitecturas OCR evaluadas.

Modelo

Tipo

Componentes

Fortalezas Clave

EasyOCR

End-to-end (det + rec)

CRAFT + CRNN/Transformer

Ligero, fácil de usar, multilingüe

PaddleOCR

End-to-end (det + rec + cls)

DB + SVTR/CRNN

Soporte multilingüe robusto, pipeline configurable

DocTR

End-to-end (det + rec)

DB/LinkNet + CRNN/SAR/ViTSTR

Orientado a investigación, API limpia

Fuente: Documentación oficial de cada herramienta (JaidedAI, 2020; PaddlePaddle, 2024; Mindee, 2021).

 

-

Análisis Cualitativo de Errores

+

Análisis Cualitativo de Errores

Un análisis cualitativo de los errores producidos reveló patrones específicos:

Errores de acentuación:

·     informacióninformacion (pérdida de acento)

@@ -5170,13 +5165,13 @@ color:#0098CD;mso-font-kerning:16.0pt;mso-bidi-font-weight:bold'>·     titulacióon en lugar de titulación (carácter duplicado)

·     Apa en lugar de APA (capitalización)

Justificación de la Selección de PaddleOCR

-

Criterios de Selección

+

Criterios de Selección

La selección de PaddleOCR para la fase de optimización se basó en los siguientes criterios:

Tabla 24. Evaluación de criterios de selección (cualitativa).

Criterio

EasyOCR

PaddleOCR

DocTR

CER benchmark

Medio

Mejor

Medio

Configurabilidad

Baja

Alta

Media

Soporte español

Sí (dedicado)

Limitado

Documentación

Media

Alta

Alta

Mantenimiento

Medio

Alto

Medio

Fuente: Elaboración propia a partir del benchmark y la documentación de cada herramienta.

 

-

Hiperparámetros Disponibles en PaddleOCR

+

Hiperparámetros Disponibles en PaddleOCR

PaddleOCR expone múltiples hiperparámetros ajustables, clasificados por etapa del pipeline:

Detección:

·     text_det_thresh: Umbral de probabilidad para píxeles de texto

@@ -5189,7 +5184,7 @@ color:#0098CD;mso-font-kerning:16.0pt;mso-bidi-font-weight:bold'>·     use_doc_orientation_classify: Clasificación de orientación de documento

·     use_doc_unwarping: Corrección de deformación

Esta riqueza de configuración permite explorar sistemáticamente el espacio de hiperparámetros mediante técnicas de optimización automática.

-

Decisión Final

+

Decisión Final

Se selecciona PaddleOCR (PP-OCRv5) para la fase de optimización debido a:

1.   Resultados iniciales prometedores: Rendimiento base competitivo con margen de mejora

2.   Alta configurabilidad: Múltiples hiperparámetros ajustables en tiempo de inferencia

@@ -5207,13 +5202,13 @@ color:#0098CD;mso-font-kerning:16.0pt;mso-bidi-font-weight:bold'>Introducción

Una vez seleccionado PaddleOCR como motor base, el siguiente paso fue explorar sistemáticamente su espacio de configuración para identificar los hiperparámetros que maximizan el rendimiento en documentos académicos en español. Para ello se empleó Ray Tune con el algoritmo de búsqueda Optuna, una combinación que permite explorar eficientemente espacios de búsqueda mixtos (parámetros continuos y categóricos). Los experimentos se implementaron en src/run_tuning.py con apoyo de la librería src/raytune_ocr.py, almacenándose los resultados en src/results. Esta aproximación ofrece ventajas significativas frente al fine-tuning tradicional: no requiere datasets de entrenamiento etiquetados, no modifica los pesos del modelo preentrenado, y puede ejecutarse con hardware de consumo cuando se dispone de aceleración GPU.

Configuración del Experimento

-

Entorno de Ejecución

+

Entorno de Ejecución

El experimento se ejecutó en el siguiente entorno:

Tabla 25. Entorno de ejecución del experimento.

Componente

Versión/Especificación

Sistema operativo

Ubuntu 24.04.3 LTS

Python

3.12.3

PaddlePaddle

3.2.2

PaddleOCR

3.3.2

Ray

2.52.1

Optuna

4.7.0

CPU

AMD Ryzen 7 5800H

RAM

16 GB DDR4

GPU

NVIDIA RTX 3060 Laptop (5.66 GB VRAM)

Fuente: src/paddle_ocr/requirements.txt, src/raytune/requirements.txt, docs/metrics/metrics.md.

 

-

Arquitectura de Ejecución

+

Arquitectura de Ejecución

La arquitectura basada en contenedores Docker es fundamental para este proyecto debido a los conflictos de dependencias inherentes entre los diferentes componentes:

·     Conflictos entre motores OCR: PaddleOCR, DocTR y EasyOCR tienen dependencias mutuamente incompatibles (diferentes versiones de PyTorch/PaddlePaddle, OpenCV, etc.)

·     Incompatibilidades CUDA/cuDNN: Cada motor OCR requiere versiones específicas de CUDA y cuDNN que no pueden coexistir en un mismo entorno virtual

@@ -5223,7 +5218,7 @@ color:#0098CD;mso-font-kerning:16.0pt;mso-bidi-font-weight:bold'>Arquitectura de ejecución con Docker Compose

Fuente: Elaboración propia.

 

-

La arquitectura containerizada src/docker-compose.tuning.paddle.yml))))), src/docker-compose.tuning.doctr.yml, src/docker-compose.tuning.easyocr.yml, src/docker-compose.tuning.ymlofrece:

+

La arquitectura containerizada src/docker-compose.tuning.paddle.yml, src/docker-compose.tuning.doctr.yml, src/docker-compose.tuning.easyocr.yml, src/docker-compose.tuning.yml ofrece:

1.   Aislamiento de dependencias entre Ray Tune y los motores OCR

2.   Health checks automáticos para asegurar disponibilidad del servicio

3.   Comunicación via API REST (endpoints /health y /evaluate)

@@ -5248,18 +5243,18 @@ docker compose -f docker-compose.tuning.doctr.yml down "TIME_PER_PAGE": 3.16 } -

Infraestructura Docker

+

Infraestructura Docker

La infraestructura del proyecto se basa en contenedores Docker para garantizar reproducibilidad y aislamiento de dependencias. Se generaron seis imágenes Docker, cada una optimizada para su propósito específico.

Tabla 26. Imágenes Docker generadas para el proyecto.

Imagen

Propósito

Base

Puerto

seryus.ddns.net/unir/paddle-ocr-gpu

PaddleOCR con aceleración GPU

nvidia/cuda:12.4.1-cudnn-runtime

8002

seryus.ddns.net/unir/paddle-ocr-cpu

PaddleOCR para entornos sin GPU

python:3.11-slim

8002

seryus.ddns.net/unir/easyocr-gpu

EasyOCR con aceleración GPU

nvidia/cuda:13.0.2-cudnn-runtime

8002*

seryus.ddns.net/unir/doctr-gpu

DocTR con aceleración GPU

nvidia/cuda:13.0.2-cudnn-runtime

8003

seryus.ddns.net/unir/raytune

Orquestador Ray Tune

python:3.12-slim

-

Fuente: Elaboración propia. Dockerfiles disponibles en src/paddle_ocr, src/easyocr_service, src/doctr_service, src/raytune.

 

-

Arquitectura de Microservicios

+

Arquitectura de Microservicios

Figura 6. Arquitectura de microservicios para optimización OCR

Arquitectura de microservicios para optimización OCR

Fuente: Elaboración propia.

 

-

Estrategia de Build Multi-Stage

+

Estrategia de Build Multi-Stage

Los Dockerfiles utilizan una estrategia de build multi-stage para optimizar tiempos de construcción y tamaño de imágenes:

Figura 7. Estrategia de build multi-stage

Estrategia de build multi-stage

@@ -5269,20 +5264,20 @@ docker compose -f docker-compose.tuning.doctr.yml down

1.   Caché de dependencias: La etapa base (CUDA + dependencias) se cachea y reutiliza

2.   Builds rápidos: Los cambios de código solo reconstruyen la etapa de deploy

3.   Imágenes optimizadas: Solo se incluyen los archivos necesarios para ejecución

-

Docker Compose Files

+

Docker Compose Files

El proyecto incluye múltiples archivos Docker Compose para diferentes escenarios de uso:

Tabla 27. Archivos Docker Compose del proyecto.

Archivo

Propósito

Servicios

src/docker-compose.tuning.yml

Optimización principal

RayTune + PaddleOCR + DocTR

src/docker-compose.tuning.easyocr.yml

Optimización EasyOCR

RayTune + EasyOCR

src/docker-compose.tuning.paddle.yml

Optimización PaddleOCR

RayTune + PaddleOCR

src/docker-compose.tuning.doctr.yml

Optimización DocTR

RayTune + DocTR

Fuente: src/docker-compose.tuning.yml, src/docker-compose.tuning.easyocr.yml, src/docker-compose.tuning.paddle.yml, src/docker-compose.tuning.doctr.yml.

 

Nota: EasyOCR y PaddleOCR utilizan el mismo puerto (8002). Debido a limitaciones de recursos GPU (VRAM insuficiente para ejecutar múltiples modelos OCR simultáneamente), solo se ejecuta un servicio a la vez durante los experimentos. Por esta razón, EasyOCR tiene su propio archivo Docker Compose separado.

-

Gestión de Volúmenes

+

Gestión de Volúmenes

Se utilizan volúmenes Docker nombrados para persistir los modelos descargados entre ejecuciones:

Tabla 28. Volúmenes Docker para caché de modelos.

Volumen

Servicio

Contenido

paddlex-model-cache

PaddleOCR

Modelos PP-OCRv5

easyocr-model-cache

EasyOCR

Modelos CRAFT + CRNN

doctr-model-cache

DocTR

Modelos db_resnet50 + crnn_vgg16_bn

Fuente: src/docker-compose.tuning.yml, src/docker-compose.tuning.easyocr.yml, src/docker-compose.tuning.paddle.yml, src/docker-compose.tuning.doctr.yml.

 

-

Health Checks y Monitorización

+

Health Checks y Monitorización

Todos los servicios implementan health checks para garantizar disponibilidad antes de iniciar la optimización:

healthcheck:
@@ -5296,12 +5291,12 @@ docker compose -f docker-compose.tuning.doctr.yml down

·     PaddleOCR: 60 segundos (modelos más ligeros)

·     EasyOCR: 120 segundos (carga de modelos CRAFT)

·     DocTR: 180 segundos (modelos ResNet más pesados)

-

Flujo de Ejecución Completo

+

Flujo de Ejecución Completo

Figura 8. Flujo de ejecución de optimización con Ray Tune

Flujo de ejecución de optimización con Ray Tune

Fuente: Elaboración propia.

 

-

Reproducibilidad

+

Reproducibilidad

Para reproducir los experimentos:

# 1. Clonar repositorio
@@ -5329,14 +5324,14 @@ docker compose -f docker-compose.tuning.paddle.yml down

·     src/results/raytune_easyocr_results_20260119_120204.csv

·     src/results/raytune_doctr_results_20260119_121445.csv

·     src/raytune_paddle_subproc_results_20251207_192320.csv

-

Dataset Extendido

+

Dataset Extendido

Para la fase de optimización se extendió el dataset:

Tabla 29. Características del dataset de optimización.

Característica

Valor

Páginas del dataset completo

45

Páginas por trial

5 (páginas 5-10)

Estructura

Carpetas img/ y txt/ pareadas

Resolución

300 DPI

Formato imagen

PNG

Fuente: docs/metrics/metrics.md, src/prepare_dataset.ipynb.

 

La clase ImageTextDataset gestiona la carga de pares imagen-texto desde la estructura de carpetas pareadas. La implementación está disponible en src/paddle_ocr/dataset_manager.py, src/easyocr_service/dataset_manager.py y src/doctr_service/dataset_manager.py.

-

Espacio de Búsqueda

+

Espacio de Búsqueda

El espacio de búsqueda se definió considerando los hiperparámetros más relevantes identificados en la documentación de PaddleOCR, utilizando tune.choice() para parámetros booleanos y tune.uniform() para umbrales continuos. La implementación está disponible en src/raytune/raytune_ocr.py (ver Anexo A).

Tabla 30. Descripción detallada del espacio de búsqueda.

Parámetro

Tipo

Rango

Descripción

use_doc_orientation_classify

Booleano

{True, False}

Clasificación de orientación del documento completo

use_doc_unwarping

Booleano

{True, False}

Corrección de deformación/curvatura

textline_orientation

Booleano

{True, False}

Clasificación de orientación por línea de texto

text_det_thresh

Continuo

[0.0, 0.7]

Umbral de probabilidad para píxeles de texto

text_det_box_thresh

Continuo

[0.0, 0.7]

Umbral de confianza para cajas detectadas

text_det_unclip_ratio

Fijo

0.0

Coeficiente de expansión (no explorado)

text_rec_score_thresh

Continuo

[0.0, 0.7]

Umbral de confianza de reconocimiento

@@ -5346,7 +5341,7 @@ docker compose -f docker-compose.tuning.paddle.yml down

1.   Rango [0.0, 0.7] para umbrales: Se evitan valores extremos (>0.7) que podrían filtrar demasiado texto válido, y se incluye 0.0 para evaluar el impacto de desactivar el filtrado.

1.   text_det_unclip_ratio fijo: Por decisión de diseño inicial, este parámetro se mantuvo constante para reducir la dimensionalidad del espacio de búsqueda.

1.   Parámetros booleanos completos: Los tres parámetros de preprocesamiento se exploran completamente para identificar cuáles son necesarios para documentos digitales.

-

Configuración de Ray Tune

+

Configuración de Ray Tune

Se configuró Ray Tune con OptunaSearch como algoritmo de búsqueda, optimizando CER en 64 trials con 2 ejecuciones concurrentes. La implementación está disponible en src/raytune/raytune_ocr.py (ver Anexo A).

Tabla 31. Parámetros de configuración de Ray Tune.

Parámetro

Valor

Justificación

Métrica objetivo

CER

Métrica estándar para OCR

Modo

min

Minimizar tasa de error

Algoritmo

OptunaSearch (TPE)

Eficiente para espacios mixtos

Número de trials

64

Balance entre exploración y tiempo

Trials concurrentes

2

Limitado por memoria disponible

@@ -5355,13 +5350,13 @@ docker compose -f docker-compose.tuning.paddle.yml down

Elección de 64 trials:

El número de trials se eligió buscando un equilibrio entre exploración del espacio de búsqueda y tiempo total de ejecución.

Resultados de la Optimización

-

Ejecución del Experimento

+

Ejecución del Experimento

El experimento se ejecutó exitosamente con los siguientes resultados globales:

Tabla 32. Resumen de la ejecución del experimento (referencia CPU).

Métrica

Valor

Trials completados

64/64

Trials fallidos

0

Tiempo total (CPU)

6.2 horas

Tiempo medio por trial (CPU)

347.6 segundos

Páginas procesadas

320 (64 trials × 5 páginas)

Fuente: src/raytune_paddle_subproc_results_20251207_192320.csv.

 

-

Estadísticas Descriptivas

+

Estadísticas Descriptivas

Del archivo CSV de resultados src/results/raytune_paddle_results_20260119_122609.csv:

Tabla 33. Estadísticas descriptivas de los 64 trials.

Estadística

CER

WER

Tiempo/Página (s)

count

64

64

64

mean

2.30%

9.25%

0.84

std

2.20%

1.78%

0.53

min

0.79%

6.80%

0.56

50% (mediana)

0.87%

8.39%

0.59

max

7.30%

13.20%

2.22

@@ -5371,7 +5366,7 @@ docker compose -f docker-compose.tuning.paddle.yml down

1.   Baja varianza en CER: La desviación estándar (2.20%) es similar a la media (2.30%), indicando una distribución relativamente consistente sin valores extremos catastróficos.

1.   Mediana vs Media: La mediana del CER (0.87%) es menor que la media (2.30%), confirmando una distribución ligeramente sesgada hacia valores bajos.

1.   Velocidad GPU: El tiempo de ejecución promedio es de 0.84 s/página, lo que representa una aceleración significativa respecto a la ejecución en CPU (~69 s/página, 82x más rápido).

-

Distribución de Resultados

+

Distribución de Resultados

Tabla 34. Distribución de trials por rango de CER.

Rango CER

Número de trials

Porcentaje

< 2%

43

67.2%

2% - 5%

10

15.6%

5% - 10%

11

17.2%

> 10%

0

0.0%

Fuente: src/results/raytune_paddle_results_20260119_122609.csv.

@@ -5381,7 +5376,7 @@ docker compose -f docker-compose.tuning.paddle.yml down

Fuente: src/results/raytune_paddle_results_20260119_122609.csv.

 

La mayoría de trials (67.2%) alcanzaron CER < 2%, cumpliendo el objetivo establecido. Ningún trial presentó fallos catastróficos (CER > 10%), demostrando la estabilidad de la optimización con GPU.

-

Mejor Configuración Encontrada

+

Mejor Configuración Encontrada

La configuración que minimizó el CER fue:

Best CER: 0.007884 (0.79%)
@@ -5400,7 +5395,7 @@ Configuración óptima:
 

Parámetro

Valor óptimo

Valor por defecto

Cambio

textline_orientation

True

False

Activado

use_doc_orientation_classify

True

False

Activado

use_doc_unwarping

False

False

Sin cambio

text_det_thresh

0.0462

0.3

-0.254

text_det_box_thresh

0.4862

0.6

-0.114

text_det_unclip_ratio

0.0

1.5

-1.5 (fijado)

text_rec_score_thresh

0.5658

0.5

+0.066

Fuente: src/results/raytune_paddle_results_20260119_122609.csv.

 

-

Análisis de Correlación

+

Análisis de Correlación

Se calculó la correlación de Pearson entre los parámetros de configuración (codificados como 0/1 en el caso de booleanos) y las métricas de error:

Tabla 36. Correlación de parámetros con CER.

Parámetro

Correlación con CER

Interpretación

use_doc_unwarping

+0.879

Correlación alta positiva

use_doc_orientation_classify

-0.712

Correlación alta negativa

textline_orientation

-0.535

Correlación moderada negativa

text_det_thresh

+0.428

Correlación moderada positiva

text_det_box_thresh

+0.311

Correlación moderada positiva

text_rec_score_thresh

-0.268

Correlación moderada negativa

text_det_unclip_ratio

NaN

Varianza cero (valor fijo)

@@ -5416,7 +5411,7 @@ Configuración óptima:

 

Leyenda: Valores positivos indican que aumentar el parámetro incrementa el CER. Los parámetros booleanos se codifican como 0/1 para el cálculo de la correlación. Abreviaturas: unwarp = use_doc_unwarping, orient_doc = use_doc_orientation_classify, orient_line = textline_orientation, det_thresh = text_det_thresh, box_thresh = text_det_box_thresh, rec_score = text_rec_score_thresh.

Hallazgo clave: use_doc_unwarping presenta la correlación positiva más alta con CER (0.879), lo que indica que activar este módulo incrementa el error en este dataset. En cambio, use_doc_orientation_classify y textline_orientation tienen correlación negativa, asociada a mejoras cuando están activados.

-

Impacto del Parámetro textline_orientation

+

Impacto del Parámetro textline_orientation

El parámetro booleano textline_orientation demostró tener el mayor impacto en el rendimiento:

Tabla 38. Impacto del parámetro textline_orientation.

textline_orientation

CER Medio

CER Std

WER Medio

N trials

True

1.74%

1.94%

8.75%

52

False

4.73%

1.37%

11.42%

12

@@ -5432,7 +5427,7 @@ Configuración óptima:

 

Explicación técnica:

El parámetro textline_orientation activa un clasificador que determina la orientación de cada línea de texto detectada. Para documentos con índice, encabezados y listas, este clasificador asegura que el texto se lea en el orden correcto, evitando la mezcla de líneas de diferentes secciones.

-

Análisis de Trials con Mayor CER

+

Análisis de Trials con Mayor CER

No se observaron fallos catastróficos (CER > 10%). El CER máximo fue 7.30%, por lo que el análisis se centra en los trials con peor desempeño relativo:

Tabla 39. Trials con mayor CER.

Trial ID

CER

text_det_thresh

textline_orientation

f699b826

7.30%

0.285

False

34bfaecf

7.29%

0.030

True

8c1998de

6.44%

0.369

True

8b33e2a2

6.41%

0.664

False

@@ -5440,14 +5435,14 @@ Configuración óptima:

 

Observación: Los peores resultados muestran variabilidad tanto en text_det_thresh como en textline_orientation, sin un patrón único dominante en este subconjunto de trials.

Comparación Baseline vs Optimizado

-

Evaluación sobre Dataset Completo

+

Evaluación sobre Dataset Completo

La configuración óptima identificada se evaluó sobre el dataset completo de 45 páginas, comparando con la configuración baseline (valores por defecto de PaddleOCR). Los parámetros optimizados más relevantes fueron: textline_orientation=True, use_doc_orientation_classify=True, text_det_thresh=0.0462, text_det_box_thresh=0.4862, y text_rec_score_thresh=0.5658.

Tabla 40. Comparación baseline vs optimizado (45 páginas).

Modelo

CER

Precisión Caracteres

WER

Precisión Palabras

PaddleOCR (Baseline)

8.85%

91.15%

13.05%

86.95%

PaddleOCR-HyperAdjust

7.72%

92.28%

11.40%

88.60%

Fuente: docs/metrics/metrics_paddle.md.

 

Nota sobre generalización: El mejor trial individual (5 páginas) alcanzó un CER de 0.79%, cumpliendo el objetivo de CER < 2%. Sin embargo, al aplicar la configuración al dataset completo de 45 páginas, el CER aumentó a 7.72%, evidenciando sobreajuste al subconjunto de entrenamiento. Esta diferencia es un hallazgo importante que se discute en la sección de análisis.

-

Métricas de Mejora

+

Métricas de Mejora

Tabla 41. Análisis cuantitativo de la mejora.

Forma de Medición

CER

WER

Valor baseline

8.85%

13.05%

Valor optimizado

7.72%

11.40%

Mejora absoluta

-1.13 pp

-1.65 pp

Reducción relativa del error

12.8%

12.6%

Factor de mejora

1.15×

1.14×

Mejor trial (5 páginas)

0.79%

7.78%

Fuente: docs/metrics/metrics_paddle.md.

@@ -5457,7 +5452,7 @@ Configuración óptima:

Fuente: docs/metrics/metrics_paddle.md.

 

Leyenda: CER = Character Error Rate, WER = Word Error Rate. Baseline = configuración por defecto de PaddleOCR. Optimizado = configuración encontrada por Ray Tune. Los valores corresponden al dataset completo de 45 páginas.

-

Impacto Práctico

+

Impacto Práctico

La reducción de CER y WER implica menos correcciones manuales en el texto reconocido. En conjunto, los resultados muestran una mejora medible en precisión, aunque la generalización depende del tamaño y representatividad del subconjunto de optimización.

Tiempo de Ejecución

Tabla 42. Métricas de tiempo del experimento (GPU).

@@ -5475,7 +5470,7 @@ Configuración óptima:

Introducción

Los resultados obtenidos en las secciones anteriores requieren un análisis que trascienda los números individuales para comprender su significado práctico. En esta sección se consolidan los hallazgos del benchmark comparativo y la optimización de hiperparámetros, evaluando hasta qué punto se han cumplido los objetivos planteados y qué limitaciones condicionan la generalización de las conclusiones.

Resumen Consolidado de Resultados

-

Progresión del Rendimiento

+

Progresión del Rendimiento

Tabla 43. Evolución del rendimiento a través del estudio.

Fase

Configuración

CER

Mejora vs baseline

Benchmark inicial

Baseline (5 páginas)

7.76%

-

Optimización (mejor trial)

Optimizada (5 páginas)

0.79%

89.8%

Validación final

Optimizada (45 páginas)

7.72%

12.8%

Fuente: docs/metrics/metrics_paddle.md.

@@ -5486,14 +5481,14 @@ Configuración óptima:

 

Leyenda: El mejor trial alcanza CER 0.79% (objetivo cumplido). La validación sobre dataset completo muestra CER 7.72%, evidenciando sobreajuste al subconjunto de optimización.

El incremento del CER de 0.79% (5 páginas) a 7.72% (45 páginas) evidencia sobreajuste al subconjunto de optimización. Este fenómeno es esperado cuando se optimiza sobre un subconjunto pequeño y se valida sobre el dataset completo con mayor diversidad de secciones y estilos.

-

Comparación con Objetivo

+

Comparación con Objetivo

Tabla 44. Verificación del objetivo general.

Aspecto

Objetivo

Resultado (trial)

Resultado (full)

Cumplimiento

Métrica

CER

CER

CER

Umbral

< 2%

0.79%

7.72%

Parcial

Método

Sin fine-tuning

Solo hiperparámetros

Solo hiperparámetros

Hardware

GPU

RTX 3060

RTX 3060

Fuente: docs/metrics/metrics_paddle.md.

 

Análisis del cumplimiento: El objetivo de CER < 2% se cumple en el mejor trial individual (0.79%), demostrando que la optimización de hiperparámetros puede alcanzar la precisión objetivo. Sin embargo, la validación sobre el dataset completo (7.72%) muestra que la generalización requiere trabajo adicional, como un subconjunto de optimización más representativo o técnicas de regularización.

Análisis Detallado de Hiperparámetros

-

Jerarquía de Importancia

+

Jerarquía de Importancia

Basándose en el análisis de los resultados de optimización:

Tabla 45. Ranking de importancia de hiperparámetros.

Rank

Parámetro

Pearson (CER)

Signo

Evidencia

1

use_doc_unwarping

0.879

Positivo

Correlación más alta con CER

2

use_doc_orientation_classify

-0.712

Negativo

Correlación alta con CER

3

textline_orientation

-0.535

Negativo

Correlación alta con CER

4

text_det_thresh

0.428

Positivo

Correlación moderada con CER

5

text_det_box_thresh

0.311

Positivo

Correlación moderada con CER

6

text_rec_score_thresh

-0.268

Negativo

Correlación moderada con CER

@@ -5505,7 +5500,7 @@ Configuración óptima:

 

Leyenda: Impacto relativo basado en |Pearson| (CER), normalizado respecto al valor máximo.

En términos de correlación lineal, use_doc_unwarping es el parámetro con mayor relación absoluta con el CER y su signo positivo indica que activarlo incrementa el error en este dataset. En cambio, use_doc_orientation_classify y textline_orientation presentan correlación negativa, lo que sugiere mejoras cuando están activados.

-

Análisis del Parámetro textline_orientation

+

Análisis del Parámetro textline_orientation

Por qué es tan importante:

El clasificador de orientación de línea resuelve un problema fundamental en documentos con secciones y cambios de formato: determinar el orden correcto de lectura. Sin este clasificador:

1.   Las líneas del índice pueden mezclarse con el cuerpo del texto

@@ -5513,10 +5508,10 @@ Configuración óptima:

3.   Las listas numeradas pueden leerse en orden incorrecto

Para documentos académicos que típicamente incluyen índice, listas y encabezados multinivel, este clasificador es esencial.

Recomendación: Siempre activar textline_orientation=True para documentos estructurados.

-

Análisis del Parámetro text_det_thresh

+

Análisis del Parámetro text_det_thresh

Comportamiento observado:

El análisis de correlación muestra que valores más bajos de text_det_thresh favorecen el rendimiento en este dataset. El valor óptimo encontrado en los trials fue 0.0462, lo que sugiere que una detección más sensible beneficia el resultado.

-

Análisis de Parámetros de Preprocesamiento

+

Análisis de Parámetros de Preprocesamiento

use_doc_orientation_classify:

En la configuración óptima GPU, este parámetro está activado (True), a diferencia de lo observado en experimentos anteriores. Esto sugiere que la clasificación de orientación del documento puede beneficiar incluso documentos digitales cuando se combina con textline_orientation=True.

use_doc_unwarping:

@@ -5526,12 +5521,12 @@ Configuración óptima:

·     Documentos curvados o deformados

Para documentos PDF digitales como los evaluados, este módulo es innecesario y puede introducir artefactos.

Análisis de Casos de Fallo

-

Clasificación de Errores

+

Clasificación de Errores

Tabla 46. Tipología de errores observados.

Tipo de error

Frecuencia

Ejemplo

Causa probable

Pérdida de acentos

Alta

más → mas

Modelo de reconocimiento

Duplicación de caracteres

Media

titulación → titulacióon

Solapamiento de detecciones

Confusión de puntuación

Media

¿ → ?

Caracteres similares

Pérdida de eñe

Baja

año → ano

Modelo de reconocimiento

Texto desordenado

Variable

Mezcla de líneas

Fallo de orientación

Fuente: Análisis cualitativo.

 

-

Patrones de Fallo por Tipo de Contenido

+

Patrones de Fallo por Tipo de Contenido

Tabla 47. Tasa de error por tipo de contenido (cualitativa).

Tipo de contenido

Nivel de error

Factor de riesgo

Párrafos de texto

Bajo

Bajo

Listas numeradas

Medio

Medio

Índice y encabezados

Medio

Medio

Encabezados + pie de página

Medio

Medio

Texto con cambios tipográficos

Medio

Medio

Listas con numeración densa

Alto

Alto

Fuente: Estimación cualitativa.

@@ -5543,33 +5538,33 @@ Configuración óptima:

 

Nota sobre OE5: El objetivo de CER < 2% se cumple en el mejor trial individual (0.79%). La validación sobre el dataset completo (7.72%) muestra que la generalización requiere mayor trabajo, identificándose como línea de trabajo futuro.

Limitaciones del Estudio

-

Limitaciones de Generalización

+

Limitaciones de Generalización

1.   Tipo de documento único: Solo se evaluaron documentos académicos de UNIR. La configuración óptima puede no ser transferible a otros tipos de documentos (facturas, formularios, contratos).

1.   Idioma único: El estudio se centró en español. Otros idiomas con diferentes características ortográficas podrían requerir configuraciones diferentes.

1.   Formato único: Solo se evaluaron PDFs digitales. Documentos escaneados o fotografías de documentos podrían beneficiarse de diferentes configuraciones.

-

Limitaciones Metodológicas

+

Limitaciones Metodológicas

1.   Ground truth automático: El texto de referencia se extrajo programáticamente del PDF, lo cual puede introducir errores en el orden de lectura cuando hay secciones con encabezados y saltos de línea.

1.   Tamaño del dataset: 45 páginas es un dataset limitado. Un dataset más amplio proporcionaría estimaciones más robustas.

1.   Parámetro fijo: text_det_unclip_ratio se mantuvo en 0.0 durante todo el experimento. Explorar este parámetro podría revelar mejoras adicionales.

1.   Subconjunto de ajuste limitado: El ajuste de hiperparámetros se realizó sobre 5 páginas (páginas 5-10), lo que contribuyó al sobreajuste observado en la validación del dataset completo.

-

Limitaciones de Validación

+

Limitaciones de Validación

1.   Sin validación cruzada: No se realizó validación cruzada sobre diferentes subconjuntos del dataset.

1.   Sin test set independiente: El dataset de validación final se solapaba parcialmente con el de optimización.

Implicaciones Prácticas

-

Guía de Configuración Recomendada

+

Guía de Configuración Recomendada

Para documentos académicos en español similares a los evaluados:

Tabla 49. Configuración recomendada para PaddleOCR con GPU.

Parámetro

Valor

Prioridad

Justificación

textline_orientation

True

Obligatorio

Crítico para documentos con secciones

use_doc_orientation_classify

True

Recomendado

Mejora orientación de documento

text_det_thresh

0.05 (rango: 0.04-0.10)

Recomendado

Detección sensible beneficia resultados

text_det_box_thresh

0.49 (rango: 0.4-0.6)

Recomendado

Balance de confianza

text_rec_score_thresh

0.57 (rango: 0.5-0.7)

Opcional

Filtra reconocimientos poco confiables

use_doc_unwarping

False

No recomendado

Innecesario para PDFs digitales

Fuente: src/results/raytune_paddle_results_20260119_122609.csv.

 

-

Cuándo Aplicar Esta Metodología

+

Cuándo Aplicar Esta Metodología

La optimización de hiperparámetros es recomendable cuando:

1.   GPU disponible: Acelera significativamente la exploración del espacio de hiperparámetros (82× más rápido que CPU).

1.   Modelo preentrenado adecuado: El modelo ya soporta el idioma objetivo (como PaddleOCR para español).

1.   Dominio específico: Se busca optimizar para un tipo de documento particular.

1.   Mejora incremental: El rendimiento baseline es aceptable pero mejorable.

1.   Sin datos de entrenamiento: No se dispone de datasets etiquetados para fine-tuning.

-

Cuándo NO Aplicar Esta Metodología

+

Cuándo NO Aplicar Esta Metodología

La optimización de hiperparámetros puede ser insuficiente cuando:

1.   Idioma no soportado: El modelo no incluye el idioma en su vocabulario.

1.   Escritura manuscrita: Requiere fine-tuning o modelos especializados.

@@ -5595,14 +5590,14 @@ Configuración óptima:

·     seryus.ddns.net/unir/doctr-gpu - DocTR con soporte GPU

Comparativa de Rendimiento CPU vs GPU

Esta sección presenta la comparación de rendimiento entre ejecución en CPU y GPU, justificando la elección de GPU para el experimento principal y demostrando el impacto práctico de la aceleración por hardware.

-

Configuración del Entorno GPU

+

Configuración del Entorno GPU

Tabla 50. Especificaciones del entorno GPU utilizado.

Componente

Especificación

GPU

NVIDIA GeForce RTX 3060 Laptop

VRAM

5.66 GB

CUDA

12.4

Sistema Operativo

Ubuntu 24.04.3 LTS

Kernel

6.14.0-37-generic

Fuente: docs/metrics/metrics.md.

 

Nota: Los requisitos de entorno documentados por dependencias se detallan en docs/07_anexo_a.md, sección A.9.

Este hardware representa configuración típica de desarrollo, permitiendo evaluar el rendimiento en condiciones realistas de despliegue.

-

Comparación CPU vs GPU

+

Comparación CPU vs GPU

Se comparó el tiempo de procesamiento entre CPU y GPU utilizando los datos de src/raytune_paddle_subproc_results_20251207_192320.csv(CPU) y src/results/raytune_paddle_results_20260119_122609.csv(GPU).

Tabla 51. Rendimiento comparativo CPU vs GPU.

Métrica

CPU

GPU (RTX 3060)

Factor de Aceleración

Tiempo/Página (promedio)

69.4s

0.84s

82x

Dataset completo (45 páginas)

~52 min

~38 seg

82x

64 trials × 5 páginas

6.2 horas

~5.0 min

75x

@@ -5617,20 +5612,14 @@ Configuración óptima:

·     Optimización en CPU (6.2 horas): Viable pero lento para iteraciones rápidas

·     Optimización en GPU (~5.0 minutos): Permite explorar más configuraciones y realizar múltiples experimentos

·     Producción con GPU (0.84s/página): Habilita procesamiento en tiempo real

-

Comparación de Modelos PaddleOCR

+

Comparación de Modelos PaddleOCR

PaddleOCR ofrece dos variantes de modelos: Mobile (optimizados para dispositivos con recursos limitados) y Server (mayor precisión a costa de mayor consumo de memoria). Se evaluó la viabilidad de ambas variantes en el hardware disponible.

Tabla 52. Comparación de modelos Mobile vs Server en RTX 3060.

Modelo

VRAM Requerida

Resultado

Recomendación

PP-OCRv5 Mobile

0.06 GB

Funciona correctamente

✓ Recomendado

PP-OCRv5 Server

5.3 GB

OOM en página 2

✗ Requiere >8 GB VRAM

Fuente: docs/metrics/metrics.md.

 

Los modelos Server, a pesar de ofrecer potencialmente mayor precisión, resultan inviables en hardware con VRAM limitada (≤6 GB) debido a errores de memoria (Out of Memory). Los modelos Mobile, con un consumo de memoria 88 veces menor, funcionan de manera estable y ofrecen rendimiento suficiente para el caso de uso evaluado.

-

Conclusiones de la Validación GPU

-

La validación con aceleración GPU permite extraer las siguientes conclusiones:

-

1.   Aceleración significativa: La GPU proporciona una aceleración de 82× sobre CPU, haciendo viable el procesamiento en tiempo real para aplicaciones interactivas.

-

1.   Modelos Mobile recomendados: Para hardware con VRAM limitada (≤6 GB), los modelos Mobile de PP-OCRv5 ofrecen el mejor balance entre precisión y recursos, funcionando de manera estable sin errores de memoria.

-

1.   Viabilidad práctica: Con GPU, el procesamiento de un documento completo (45 páginas) toma ~38 segundos, validando la aplicabilidad en entornos de producción donde el tiempo de respuesta es crítico.

-

1.   Escalabilidad: La arquitectura de microservicios dockerizados utilizada para la validación GPU facilita el despliegue horizontal, permitiendo escalar el procesamiento según demanda.

-

Esta validación demuestra que la configuración optimizada mediante Ray Tune mejora la precisión (CER: 8.85% → 7.72% en dataset completo, 0.79% en mejor trial individual) y, combinada con aceleración GPU, resulta prácticamente aplicable en escenarios de producción real.

5.   Conclusiones y trabajo futuro

A lo largo de este trabajo se ha explorado la optimización de hiperparámetros como estrategia para mejorar el rendimiento de sistemas OCR sin necesidad de reentrenamiento. Las siguientes secciones evalúan el grado de cumplimiento de los objetivos planteados, sintetizan los hallazgos más relevantes y proponen direcciones para investigación futura.

@@ -5654,6 +5643,7 @@ y trabajo futuro

A lo largo

No obstante, los umbrales presentan límites operativos que deben respetarse. En este estudio no se observaron fallos catastróficos (CER > 10%), pero los peores trials alcanzaron CER de hasta 7.30%, lo que indica que ciertas combinaciones de umbrales degradan el rendimiento. Este comportamiento sugiere la necesidad de acotar el espacio de búsqueda en futuros experimentos.

Otro hallazgo relevante es la innecesariedad de ciertos módulos para documentos digitales. Los PDF generados directamente desde procesadores de texto no presentan deformaciones físicas, como arrugas, curvaturas o rotaciones, para las que fueron diseñados los módulos de corrección. En estos casos, desactivar use_doc_unwarping no solo simplifica el pipeline, sino que puede mejorar el rendimiento al evitar procesamientos innecesarios.

Finalmente, los resultados demuestran que es posible mejorar modelos preentrenados mediante ajuste exclusivo de hiperparámetros de inferencia, sin necesidad de reentrenamiento. Sin embargo, esta aproximación requiere validación cuidadosa, ya que las configuraciones optimizadas sobre subconjuntos pequeños pueden no generalizar a conjuntos de datos más amplios o diversos.

+

Respecto a la validación con aceleración GPU, la GPU proporciona una aceleración de 82× sobre CPU, haciendo viable el procesamiento en tiempo real para aplicaciones interactivas. Con GPU, el procesamiento de un documento completo (45 páginas) toma aproximadamente 38 segundos, validando la aplicabilidad en entornos de producción donde el tiempo de respuesta es crítico. Para hardware con VRAM limitada (≤6 GB), los modelos Mobile de PP-OCRv5 ofrecen el mejor balance entre precisión y recursos, funcionando de manera estable sin errores de memoria, mientras que los modelos Server resultan inviables debido a errores Out of Memory. Además, la arquitectura de microservicios dockerizados utilizada facilita el despliegue horizontal, permitiendo escalar el procesamiento según demanda.

Contribuciones del Trabajo

La principal contribución de este trabajo es una metodología reproducible para la optimización de hiperparámetros OCR. El proceso completo, desde la preparación del conjunto de datos hasta la validación de la configuración óptima, queda documentado y es replicable mediante las herramientas Ray Tune y Optuna.

En segundo lugar, el análisis sistemático de los hiperparámetros de PaddleOCR constituye una contribución al conocimiento disponible sobre este motor OCR. Mediante el cálculo de correlaciones y análisis comparativo, se cuantifica el impacto de cada parámetro configurable, información que puede orientar futuros trabajos de optimización.

@@ -5719,28 +5709,22 @@ major-latin;mso-bidi-font-family:"Calibri Light";mso-bidi-theme-font:major-latin

·     Dataset: Imágenes y textos de referencia utilizados

·     Resultados: Archivos CSV con los resultados de los 64 trials por servicio

A.2 Estructura del Repositorio

-

Figura 16. Estructura del repositorio MastersThesis

-

Estructura del repositorio MastersThesis

+

Figura A1. Estructura del repositorio MastersThesis

+

[Insertar diagrama Mermaid aquí]

Fuente: Elaboración propia.

 

-

Tabla 54. Descripción de directorios principales.

-

Directorio

Contenido

docs/

Capítulos del TFM en Markdown (estructura UNIR)

docs/metrics/

Métricas de rendimiento por servicio OCR

src/paddle_ocr/

Servicio PaddleOCR dockerizado

src/doctr_service/

Servicio DocTR dockerizado

src/easyocr_service/

Servicio EasyOCR dockerizado

src/raytune/

Scripts de optimización Ray Tune

src/results/

CSVs con resultados de 64 trials por servicio

src/results/correlations/

Correlaciones de hiperparámetros por servicio

thesis_output/

Documento TFM generado + figuras PNG

instructions/

Plantilla e instrucciones UNIR oficiales

-

Fuente: Repositorio del proyecto.

-

 

A.3 Requisitos de Software

Sistema de Desarrollo

-

Tabla 55. Especificaciones del sistema de desarrollo.

+

Tabla A1. Especificaciones del sistema de desarrollo.

Componente

Especificación

Sistema Operativo

Ubuntu 24.04.3 LTS

CPU

AMD Ryzen 7 5800H

RAM

16 GB DDR4

GPU

NVIDIA RTX 3060 Laptop (5.66 GB VRAM)

CUDA

12.4

Fuente: docs/metrics/metrics.md.

 

Dependencias

-

Dependencias

-

Tabla 56. Dependencias del proyecto.

+

Tabla A2. Dependencias del proyecto.

Componente

Versión

PaddlePaddle

3.2.2

PaddleOCR

3.3.2

Ray Tune

2.52.1

Optuna

4.7.0

DocTR (python-doctr)

>= 0.8.0

EasyOCR

>= 1.7.0

Docker

Requerido para contenedores

NVIDIA Container Toolkit

Requerido para GPU

Fuente: src/paddle_ocr/requirements.txt, src/raytune/requirements.txt, src/doctr_service/requirements.txt, src/easyocr_service/requirements.txt, src/README.md.

 

A.4 Instrucciones de Ejecución de Servicios OCR

-

A.4 Instrucciones de Ejecución de Servicios OCR

PaddleOCR (Puerto 8002)

Imágenes Docker:

·     GPU: seryus.ddns.net/unir/paddle-ocr-gpu

@@ -5755,7 +5739,7 @@ docker compose up -d docker compose -f docker-compose.cpu-registry.yml up -d

DocTR (Puerto 8003)

-

Imagen Docker: seryus.ddns.net/unir/doctr-gpu(https://seryus.ddns.net/unir/-/packages/container/doctr-gpu/latest)

+

Imagen Docker: seryus.ddns.net/unir/doctr-gpu

cd src/doctr_service
 
@@ -5764,7 +5748,7 @@ docker compose up -d

EasyOCR (Puerto 8002)

Nota: EasyOCR utiliza el mismo puerto (8002) que PaddleOCR. No se pueden ejecutar simultáneamente. Por esta razón, existe un archivo docker-compose separado para EasyOCR.

-

Imagen Docker: seryus.ddns.net/unir/easyocr-gpu(https://seryus.ddns.net/unir/-/packages/container/easyocr-gpu/latest)

+

Imagen Docker: seryus.ddns.net/unir/easyocr-gpu

cd src/easyocr_service
 
@@ -5827,7 +5811,7 @@ analyze_results(results, prefix='raytune_paddle', config_keys=PADDLE_OCR_CONFIG_
 "

Servicios y Puertos

-

Tabla 57. Servicios Docker y puertos.

+

Tabla A3. Servicios Docker y puertos.

Servicio

Puerto

Script de Ajuste

Nota

PaddleOCR

8002

paddle_ocr_payload

-

DocTR

8003

doctr_payload

-

EasyOCR

8002

easyocr_payload

Conflicto con PaddleOCR

Fuente: Elaboración propia.

 

@@ -5835,25 +5819,25 @@ analyze_results(results, prefix='raytune_paddle', config_keys=PADDLE_OCR_CONFIG_

A.7 Métricas de Rendimiento

Esta sección presenta los resultados completos de las evaluaciones comparativas y del ajuste de hiperparámetros realizado con Ray Tune sobre los tres servicios OCR evaluados.

Comparativa General de Servicios

-

Tabla 58. Comparativa de servicios OCR en dataset de 45 páginas (GPU RTX 3060).

+

Tabla A4. Comparativa de servicios OCR en dataset de 45 páginas (GPU RTX 3060).

Servicio

CER

WER

Tiempo/Página

Tiempo Total

VRAM

PaddleOCR (Mobile)

7.76%

11.62%

0.58s

32.0s

0.06 GB

EasyOCR

11.23%

36.36%

1.88s

88.5s

~2 GB

DocTR

12.06%

42.01%

0.50s

28.4s

~1 GB

Fuente: docs/metrics/metrics_paddle.md, docs/metrics/metrics_easyocr.md, docs/metrics/metrics_doctr.md.

 

Ganador: PaddleOCR (Mobile) - Mejor precisión (7.76% CER) con velocidad competitiva y mínimo consumo de VRAM.

Resultados de Ajuste de Hiperparámetros

Se ejecutaron 64 trials por servicio utilizando Ray Tune con Optuna sobre las páginas 5-10 del primer documento.

-

Tabla 59. Resultados del ajuste de hiperparámetros por servicio.

+

Tabla A5. Resultados del ajuste de hiperparámetros por servicio.

Servicio

CER Base

CER Ajustado

Mejora

Mejor Trial (5 páginas)

PaddleOCR

8.85%

7.72%

12.8%

0.79%

DocTR

12.06%

12.07%

0%

7.43%

EasyOCR

11.23%

11.14%

0.8%

5.83%

Fuente: docs/metrics/metrics_paddle.md, docs/metrics/metrics_easyocr.md, docs/metrics/metrics_doctr.md.

 

Nota sobre sobreajuste: La diferencia entre los resultados del mejor trial (subconjunto de 5 páginas) y el dataset completo (45 páginas) indica sobreajuste parcial a las páginas de ajuste. Un subconjunto más amplio mejoraría la generalización.

Distribución de trials por rango de CER (PaddleOCR)

-

Tabla 60. Distribución de trials por rango de CER.

+

Tabla A6. Distribución de trials por rango de CER.

Rango CER

Número de trials

Porcentaje

< 2%

43

67.2%

2% - 5%

10

15.6%

5% - 10%

11

17.2%

> 10%

0

0.0%

Fuente: src/results/raytune_paddle_results_20260119_122609.csv.

 

-

Figura 17. Distribución de trials por rango de CER (PaddleOCR)

-

Distribución de trials por rango de CER (PaddleOCR)

+

Figura A2. Distribución de trials por rango de CER (PaddleOCR)

+

[Insertar diagrama Mermaid aquí]

Fuente: src/results/raytune_paddle_results_20260119_122609.csv.

 

Configuración Óptima PaddleOCR

@@ -5875,22 +5859,22 @@ analyze_results(results, prefix='raytune_paddle', config_keys=PADDLE_OCR_CONFIG_

·     use_doc_unwarping=false: Innecesario para PDFs digitales

·     text_det_thresh bajo (0.0462): Detección más sensible mejora resultados

Rendimiento CPU vs GPU

-

Tabla 61. Comparación de rendimiento CPU vs GPU (PaddleOCR).

+

Tabla A7. Comparación de rendimiento CPU vs GPU (PaddleOCR).

Métrica

CPU

GPU (RTX 3060)

Aceleración

Tiempo/Página

69.4s

0.84s

82x más rápido

45 páginas

~52 min

~38 seg

82x más rápido

Fuente: Datos de tiempo CPU de src/raytune_paddle_subproc_results_20251207_192320.csv y tiempos de GPU en trials de ajuste. Elaboración propia.

 

-

Figura 18. Tiempo de procesamiento: CPU vs GPU (segundos/página)

-

Tiempo de procesamiento: CPU vs GPU (segundos/página)

+

Figura A3. Tiempo de procesamiento: CPU vs GPU (segundos/página)

+

[Insertar diagrama Mermaid aquí]

Fuente: src/raytune_paddle_subproc_results_20251207_192320.csv y src/results/raytune_paddle_results_20260119_122609.csv. Leyenda: Aceleración de 82× con GPU. El procesamiento de una página pasa de 69.4s (CPU) a 0.84s (GPU).

 

Análisis de Errores por Servicio

-

Tabla 62. Tipos de errores identificados por servicio OCR.

+

Tabla A8. Tipos de errores identificados por servicio OCR.

Servicio

Fortalezas

Debilidades

¿Fine-tuning recomendado?

PaddleOCR

Preserva estructura, buen manejo de español

Errores menores de acentos

No (ya excelente)

DocTR

Más rápido

Pierde estructura, omite TODOS los diacríticos

Sí (para diacríticos)

EasyOCR

Modelo correcto para español

Caracteres espurios, confunde o/0

Sí (problemas del detector)

Fuente: Análisis manual del debugset. Elaboración propia.

 

Archivos de Resultados

Los resultados crudos de los 64 trials por servicio están disponibles en el repositorio:

-

Tabla 63. Ubicación de archivos de resultados.

+

Tabla A9. Ubicación de archivos de resultados.

Fuente: Elaboración propia.