Markdown chapters.
This commit is contained in:
221
README.md
221
README.md
@@ -1,53 +1,206 @@
|
|||||||
# Sistema OCR multimotor con IA para PDFs escaneados en español
|
# Optimización de Hiperparámetros OCR con Ray Tune para Documentos Académicos en Español
|
||||||
|
|
||||||
**Trabajo Fin de Máster (TFM) – Tipo 2: Desarrollo de Software**
|
**Trabajo Fin de Máster (TFM) – Máster Universitario en Inteligencia Artificial**
|
||||||
**Líneas:** Percepción computacional · Aprendizaje automático
|
**Líneas:** Percepción computacional · Aprendizaje automático
|
||||||
**Autor:** Sergio Jiménez Jiménez · **UNIR** · **Año:** 2025
|
**Autor:** Sergio Jiménez Jiménez · **UNIR** · **Año:** 2025
|
||||||
|
|
||||||
> Extracción de texto desde **PDFs escaneados** en **español** mediante **motores OCR basados en IA** (EasyOCR · PaddleOCR · DocTR).
|
> Optimización sistemática de hiperparámetros de **PaddleOCR (PP-OCRv5)** mediante **Ray Tune** con **Optuna** para mejorar el reconocimiento óptico de caracteres en documentos académicos en español.
|
||||||
> Se excluyen soluciones clásicas como **Tesseract** o propietarias como **ABBYY**, centrando el proyecto en modelos neuronales modernos.
|
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## 🧭 Objetivo
|
## Objetivo
|
||||||
|
|
||||||
Desarrollar y evaluar un **sistema OCR multimotor** capaz de:
|
Optimizar el rendimiento de PaddleOCR para documentos académicos en español mediante ajuste de hiperparámetros, alcanzando un **CER inferior al 2%** sin requerir fine-tuning del modelo ni recursos GPU dedicados.
|
||||||
- Procesar PDFs escaneados extremo a extremo (**PDF → Imagen → Preprocesado → OCR → Evaluación**).
|
|
||||||
- **Reducir el CER al menos un 15 %** respecto a una línea base neuronal (EasyOCR).
|
|
||||||
- Mantener **tiempos por página** adecuados y un pipeline **modular y reproducible**.
|
|
||||||
|
|
||||||
**Métricas principales:**
|
**Resultado alcanzado:** CER = **1.49%** (objetivo cumplido)
|
||||||
- **CER** (*Character Error Rate*)
|
|
||||||
- **WER** (*Word Error Rate*)
|
|
||||||
- **Latencia por página*
|
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## 🧩 Alcance y diseño
|
## Resultados Principales
|
||||||
|
|
||||||
- **Idioma:** español (texto impreso, no manuscrito).
|
| Modelo | CER | Precisión Caracteres | WER | Precisión Palabras |
|
||||||
- **Entrada:** PDFs escaneados con calidad variable, ruido o inclinación.
|
|--------|-----|---------------------|-----|-------------------|
|
||||||
- **Motores evaluados:**
|
| PaddleOCR (Baseline) | 7.78% | 92.22% | 14.94% | 85.06% |
|
||||||
- **EasyOCR** – baseline neuronal ligera.
|
| **PaddleOCR-HyperAdjust** | **1.49%** | **98.51%** | **7.62%** | **92.38%** |
|
||||||
- **PaddleOCR (PP-OCR)** – referencia industrial multilingüe.
|
|
||||||
- **DocTR (Mindee)** – arquitectura PyTorch modular con salida estructurada.
|
|
||||||
- **Evaluación:** CER, WER y latencia promedio por página.
|
|
||||||
|
|
||||||
---
|
**Mejora obtenida:** Reducción del CER en un **80.9%**
|
||||||
|
|
||||||
## 🏗️ Arquitectura del sistema
|
### Configuración Óptima Encontrada
|
||||||
|
|
||||||
```text
|
```python
|
||||||
PDF (escaneado)
|
config_optimizada = {
|
||||||
└─► Conversión a imagen (PyMuPDF / pdf2image)
|
"textline_orientation": True, # CRÍTICO - reduce CER ~70%
|
||||||
└─► Preprocesado (OpenCV)
|
"use_doc_orientation_classify": False,
|
||||||
└─► OCR (EasyOCR | PaddleOCR | DocTR)
|
"use_doc_unwarping": False,
|
||||||
└─► Evaluación (CER · WER · latencia)
|
"text_det_thresh": 0.4690, # Correlación -0.52 con CER
|
||||||
|
"text_det_box_thresh": 0.5412,
|
||||||
|
"text_det_unclip_ratio": 0.0,
|
||||||
|
"text_rec_score_thresh": 0.6350,
|
||||||
|
}
|
||||||
```
|
```
|
||||||
|
|
||||||
## 🔜 Próximos pasos
|
---
|
||||||
|
|
||||||
1. Ajustar parámetros y arquitecturas en DocTR (detector y reconocedor).
|
## Metodología
|
||||||
2. Añadir métricas de latencia.
|
|
||||||
3. Incorporar postprocesamiento lingüístico (corrección ortográfica).
|
### Pipeline de Trabajo
|
||||||
4. Explorar TrOCR o MMOCR como comparación avanzada en la segunda fase.
|
|
||||||
|
```
|
||||||
|
PDF (académico UNIR)
|
||||||
|
└─► Conversión a imagen (PyMuPDF, 300 DPI)
|
||||||
|
└─► Extracción de ground truth
|
||||||
|
└─► OCR con PaddleOCR (PP-OCRv5)
|
||||||
|
└─► Evaluación (CER, WER con jiwer)
|
||||||
|
└─► Optimización (Ray Tune + Optuna)
|
||||||
|
```
|
||||||
|
|
||||||
|
### Experimento de Optimización
|
||||||
|
|
||||||
|
| Parámetro | Valor |
|
||||||
|
|-----------|-------|
|
||||||
|
| Número de trials | 64 |
|
||||||
|
| Algoritmo de búsqueda | OptunaSearch (TPE) |
|
||||||
|
| Métrica objetivo | CER (minimizar) |
|
||||||
|
| Trials concurrentes | 2 |
|
||||||
|
| Tiempo total | ~6 horas (CPU) |
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Estructura del Repositorio
|
||||||
|
|
||||||
|
```
|
||||||
|
MastersThesis/
|
||||||
|
├── docs/ # Documentación de capítulos del TFM
|
||||||
|
│ ├── 00_resumen.md
|
||||||
|
│ ├── 01_introduccion.md
|
||||||
|
│ ├── 02_contexto_estado_arte.md
|
||||||
|
│ ├── 03_objetivos_metodologia.md
|
||||||
|
│ ├── 04_comparativa_soluciones.md
|
||||||
|
│ ├── 05_optimizacion_hiperparametros.md
|
||||||
|
│ ├── 06_resultados_discusion.md
|
||||||
|
│ └── 07_conclusiones_trabajo_futuro.md
|
||||||
|
├── src/
|
||||||
|
│ ├── paddle_ocr_fine_tune_unir_raytune.ipynb # Experimento principal
|
||||||
|
│ ├── paddle_ocr_tuning.py # Script de evaluación
|
||||||
|
│ ├── dataset_manager.py # Clase ImageTextDataset
|
||||||
|
│ ├── prepare_dataset.ipynb # Preparación del dataset
|
||||||
|
│ └── raytune_paddle_subproc_results_*.csv # Resultados de 64 trials
|
||||||
|
├── results/ # Resultados de benchmarks
|
||||||
|
├── instructions/ # Documento PDF de UNIR utilizado
|
||||||
|
├── ocr_benchmark_notebook.ipynb # Benchmark comparativo inicial
|
||||||
|
└── README.md
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Hallazgos Clave
|
||||||
|
|
||||||
|
1. **`textline_orientation=True` es crítico**: Reduce el CER en un 69.7%. Para documentos con layouts mixtos (tablas, encabezados), la clasificación de orientación de línea es esencial.
|
||||||
|
|
||||||
|
2. **Umbral `text_det_thresh` importante**: Correlación -0.52 con CER. Valores óptimos entre 0.4-0.5. Valores < 0.1 causan fallos catastróficos (CER >40%).
|
||||||
|
|
||||||
|
3. **Componentes innecesarios para PDFs digitales**: `use_doc_orientation_classify` y `use_doc_unwarping` no mejoran el rendimiento en documentos académicos digitales.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Requisitos
|
||||||
|
|
||||||
|
| Componente | Versión |
|
||||||
|
|------------|---------|
|
||||||
|
| Python | 3.11.9 |
|
||||||
|
| PaddlePaddle | 3.2.2 |
|
||||||
|
| PaddleOCR | 3.3.2 |
|
||||||
|
| Ray | 2.52.1 |
|
||||||
|
| Optuna | 4.6.0 |
|
||||||
|
| jiwer | (para métricas CER/WER) |
|
||||||
|
| PyMuPDF | (para conversión PDF) |
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Uso
|
||||||
|
|
||||||
|
### Preparar dataset
|
||||||
|
```bash
|
||||||
|
# Ejecutar prepare_dataset.ipynb para convertir PDF a imágenes y extraer ground truth
|
||||||
|
jupyter notebook src/prepare_dataset.ipynb
|
||||||
|
```
|
||||||
|
|
||||||
|
### Ejecutar optimización
|
||||||
|
```bash
|
||||||
|
# Ejecutar el notebook principal de Ray Tune
|
||||||
|
jupyter notebook src/paddle_ocr_fine_tune_unir_raytune.ipynb
|
||||||
|
```
|
||||||
|
|
||||||
|
### Evaluación individual
|
||||||
|
```bash
|
||||||
|
python src/paddle_ocr_tuning.py \
|
||||||
|
--pdf-folder ./dataset \
|
||||||
|
--textline-orientation True \
|
||||||
|
--text-det-thresh 0.469 \
|
||||||
|
--text-det-box-thresh 0.541 \
|
||||||
|
--text-rec-score-thresh 0.635
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Fuentes de Datos
|
||||||
|
|
||||||
|
- **Dataset**: Instrucciones para la elaboración del TFE (UNIR), 24 páginas
|
||||||
|
- **Resultados benchmark**: `results/ai_ocr_benchmark_finetune_results_20251206_113206.csv`
|
||||||
|
- **Resultados Ray Tune**: `src/raytune_paddle_subproc_results_20251207_192320.csv`
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Trabajo Pendiente para Completar el TFM
|
||||||
|
|
||||||
|
### Contexto: Limitaciones de Hardware
|
||||||
|
|
||||||
|
Este trabajo adoptó la estrategia de **optimización de hiperparámetros** en lugar de **fine-tuning** debido a:
|
||||||
|
- **Sin GPU dedicada**: Ejecución exclusivamente en CPU
|
||||||
|
- **Tiempo de inferencia elevado**: ~69 segundos/página en CPU
|
||||||
|
- **Fine-tuning inviable**: Entrenar modelos de deep learning sin GPU requeriría tiempos prohibitivos
|
||||||
|
|
||||||
|
La optimización de hiperparámetros demostró ser una **alternativa efectiva** al fine-tuning, logrando una reducción del 80.9% en el CER sin reentrenar el modelo.
|
||||||
|
|
||||||
|
### Tareas Pendientes
|
||||||
|
|
||||||
|
#### 1. Validación del Enfoque (Prioridad Alta)
|
||||||
|
- [ ] **Validación cruzada en otros documentos**: Evaluar la configuración óptima en otros tipos de documentos en español (facturas, formularios, contratos) para verificar generalización
|
||||||
|
- [ ] **Ampliar el dataset**: El dataset actual tiene solo 24 páginas. Construir un corpus más amplio y diverso (mínimo 100 páginas)
|
||||||
|
- [ ] **Validación del ground truth**: Revisar manualmente el texto de referencia extraído automáticamente para asegurar su exactitud
|
||||||
|
|
||||||
|
#### 2. Experimentación Adicional (Prioridad Media)
|
||||||
|
- [ ] **Explorar `text_det_unclip_ratio`**: Este parámetro quedó fijado en 0.0. Incluirlo en el espacio de búsqueda podría mejorar resultados
|
||||||
|
- [ ] **Comparativa con fine-tuning** (si se obtiene acceso a GPU): Cuantificar la brecha de rendimiento entre optimización de hiperparámetros y fine-tuning real
|
||||||
|
- [ ] **Evaluación con GPU**: Medir tiempos de inferencia con aceleración GPU para escenarios de producción
|
||||||
|
|
||||||
|
#### 3. Documentación y Presentación (Prioridad Alta)
|
||||||
|
- [ ] **Completar memoria TFM**: Unificar los capítulos del directorio `docs/` en documento final siguiendo plantilla UNIR
|
||||||
|
- [ ] **Crear presentación**: Preparar slides para la defensa del TFM
|
||||||
|
- [ ] **Añadir diagramas y figuras**: Incluir visualizaciones de los resultados de Ray Tune (distribución CER, correlaciones)
|
||||||
|
|
||||||
|
#### 4. Extensiones Futuras (Opcional)
|
||||||
|
- [ ] **Herramienta de configuración automática**: Desarrollar una herramienta que determine automáticamente la configuración óptima para un nuevo tipo de documento
|
||||||
|
- [ ] **Benchmark público para español**: Publicar un benchmark de OCR para documentos en español que facilite comparación de soluciones
|
||||||
|
- [ ] **Optimización multi-objetivo**: Considerar CER, WER y tiempo de inferencia simultáneamente
|
||||||
|
|
||||||
|
### Recomendación de Próximos Pasos
|
||||||
|
|
||||||
|
1. **Inmediato**: Validar en 2-3 tipos de documentos adicionales para demostrar generalización
|
||||||
|
2. **Corto plazo**: Ampliar dataset y revisar ground truth manualmente
|
||||||
|
3. **Para la defensa**: Completar memoria unificada y crear presentación con visualizaciones
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Licencia
|
||||||
|
|
||||||
|
Este proyecto es parte de un Trabajo Fin de Máster académico.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Referencias
|
||||||
|
|
||||||
|
- [PaddleOCR](https://github.com/PaddlePaddle/PaddleOCR)
|
||||||
|
- [Ray Tune](https://docs.ray.io/en/latest/tune/index.html)
|
||||||
|
- [Optuna](https://optuna.org/)
|
||||||
|
- [jiwer](https://github.com/jitsi/jiwer)
|
||||||
|
|||||||
159
claude.md
Normal file
159
claude.md
Normal file
@@ -0,0 +1,159 @@
|
|||||||
|
# Claude Code Context - Masters Thesis OCR Project
|
||||||
|
|
||||||
|
## Project Overview
|
||||||
|
|
||||||
|
This is a **Master's Thesis (TFM)** for UNIR's Master in Artificial Intelligence. The project focuses on **OCR hyperparameter optimization** using Ray Tune with Optuna for Spanish academic documents.
|
||||||
|
|
||||||
|
**Author:** Sergio Jiménez Jiménez
|
||||||
|
**University:** UNIR (Universidad Internacional de La Rioja)
|
||||||
|
**Year:** 2025
|
||||||
|
|
||||||
|
## Key Context
|
||||||
|
|
||||||
|
### Why Hyperparameter Optimization Instead of Fine-tuning
|
||||||
|
|
||||||
|
Due to **hardware limitations** (no dedicated GPU, CPU-only execution), the project pivoted from fine-tuning to hyperparameter optimization:
|
||||||
|
- Fine-tuning deep learning models without GPU is prohibitively slow
|
||||||
|
- Inference time is ~69 seconds/page on CPU
|
||||||
|
- Hyperparameter optimization proved to be an effective alternative, achieving 80.9% CER reduction
|
||||||
|
|
||||||
|
### Main Results
|
||||||
|
|
||||||
|
| Model | CER | Character Accuracy |
|
||||||
|
|-------|-----|-------------------|
|
||||||
|
| PaddleOCR Baseline | 7.78% | 92.22% |
|
||||||
|
| PaddleOCR-HyperAdjust | **1.49%** | **98.51%** |
|
||||||
|
|
||||||
|
**Goal achieved:** CER < 2% (target was < 2%, result is 1.49%)
|
||||||
|
|
||||||
|
### Optimal Configuration Found
|
||||||
|
|
||||||
|
```python
|
||||||
|
config_optimizada = {
|
||||||
|
"textline_orientation": True, # CRITICAL - reduces CER ~70%
|
||||||
|
"use_doc_orientation_classify": False,
|
||||||
|
"use_doc_unwarping": False,
|
||||||
|
"text_det_thresh": 0.4690,
|
||||||
|
"text_det_box_thresh": 0.5412,
|
||||||
|
"text_det_unclip_ratio": 0.0,
|
||||||
|
"text_rec_score_thresh": 0.6350,
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
### Key Findings
|
||||||
|
|
||||||
|
1. `textline_orientation=True` is the most impactful parameter (reduces CER by 69.7%)
|
||||||
|
2. `text_det_thresh` has -0.52 correlation with CER; values < 0.1 cause catastrophic failures
|
||||||
|
3. Document correction modules (`use_doc_orientation_classify`, `use_doc_unwarping`) are unnecessary for digital PDFs
|
||||||
|
|
||||||
|
## Repository Structure
|
||||||
|
|
||||||
|
```
|
||||||
|
MastersThesis/
|
||||||
|
├── docs/ # Thesis chapters in Markdown
|
||||||
|
│ ├── 00_resumen.md # Abstract (Spanish + English)
|
||||||
|
│ ├── 01_introduccion.md # Introduction
|
||||||
|
│ ├── 02_contexto_estado_arte.md # Context and State of Art
|
||||||
|
│ ├── 03_objetivos_metodologia.md # Objectives and Methodology
|
||||||
|
│ ├── 04_comparativa_soluciones.md # OCR Comparative Study
|
||||||
|
│ ├── 05_optimizacion_hiperparametros.md # Ray Tune Optimization
|
||||||
|
│ ├── 06_resultados_discusion.md # Results and Discussion
|
||||||
|
│ └── 07_conclusiones_trabajo_futuro.md # Conclusions
|
||||||
|
├── src/
|
||||||
|
│ ├── paddle_ocr_fine_tune_unir_raytune.ipynb # Main experiment (64 trials)
|
||||||
|
│ ├── paddle_ocr_tuning.py # CLI evaluation script
|
||||||
|
│ ├── dataset_manager.py # ImageTextDataset class
|
||||||
|
│ ├── prepare_dataset.ipynb # Dataset preparation
|
||||||
|
│ └── raytune_paddle_subproc_results_20251207_192320.csv # 64 trial results
|
||||||
|
├── results/ # Benchmark results CSVs
|
||||||
|
├── instructions/ # UNIR PDF document used as dataset
|
||||||
|
├── ocr_benchmark_notebook.ipynb # Initial OCR benchmark
|
||||||
|
└── README.md
|
||||||
|
```
|
||||||
|
|
||||||
|
## Important Data Files
|
||||||
|
|
||||||
|
### Results CSV Files
|
||||||
|
- `src/raytune_paddle_subproc_results_20251207_192320.csv` - 64 Ray Tune trials with configs and metrics
|
||||||
|
- `results/ai_ocr_benchmark_finetune_results_20251206_113206.csv` - Per-page OCR benchmark results
|
||||||
|
|
||||||
|
### Key Notebooks
|
||||||
|
- `src/paddle_ocr_fine_tune_unir_raytune.ipynb` - Main Ray Tune experiment
|
||||||
|
- `src/prepare_dataset.ipynb` - PDF to image/text conversion
|
||||||
|
- `ocr_benchmark_notebook.ipynb` - EasyOCR vs PaddleOCR vs DocTR comparison
|
||||||
|
|
||||||
|
## Technical Stack
|
||||||
|
|
||||||
|
| Component | Version |
|
||||||
|
|-----------|---------|
|
||||||
|
| Python | 3.11.9 |
|
||||||
|
| PaddlePaddle | 3.2.2 |
|
||||||
|
| PaddleOCR | 3.3.2 |
|
||||||
|
| Ray | 2.52.1 |
|
||||||
|
| Optuna | 4.6.0 |
|
||||||
|
|
||||||
|
## Pending Work
|
||||||
|
|
||||||
|
### Priority Tasks
|
||||||
|
1. **Validate on other document types** - Test optimal config on invoices, forms, contracts
|
||||||
|
2. **Expand dataset** - Current dataset has only 24 pages
|
||||||
|
3. **Complete unified thesis document** - Merge docs/ chapters into final UNIR format
|
||||||
|
4. **Create presentation slides** - For thesis defense
|
||||||
|
|
||||||
|
### Optional Extensions
|
||||||
|
- Explore `text_det_unclip_ratio` parameter (was fixed at 0.0)
|
||||||
|
- Compare with actual fine-tuning (if GPU access obtained)
|
||||||
|
- Multi-objective optimization (CER + WER + inference time)
|
||||||
|
|
||||||
|
## Guidelines for Claude
|
||||||
|
|
||||||
|
### When Working on This Project
|
||||||
|
|
||||||
|
1. **Be rigorous with data**: Only cite numbers from actual CSV files and notebook outputs. Do not fabricate comparison data.
|
||||||
|
|
||||||
|
2. **Reference sources**: When discussing results, reference the specific files:
|
||||||
|
- Ray Tune results: `src/raytune_paddle_subproc_results_20251207_192320.csv`
|
||||||
|
- Benchmark results: `results/ai_ocr_benchmark_finetune_results_20251206_113206.csv`
|
||||||
|
|
||||||
|
3. **Key files to read first**:
|
||||||
|
- This file (`claude.md`) for context
|
||||||
|
- `README.md` for current project state
|
||||||
|
- Relevant `docs/` chapter for specific topics
|
||||||
|
|
||||||
|
4. **Language**: Documentation is in Spanish (thesis requirement), code comments in English.
|
||||||
|
|
||||||
|
5. **Hardware context**: Remember this is CPU-only execution. Any suggestions about GPU training or real-time processing should acknowledge this limitation.
|
||||||
|
|
||||||
|
### Common Tasks
|
||||||
|
|
||||||
|
- **Adding new experiments**: Update `src/paddle_ocr_fine_tune_unir_raytune.ipynb`
|
||||||
|
- **Updating documentation**: Edit files in `docs/`
|
||||||
|
- **Dataset expansion**: Use `src/prepare_dataset.ipynb` as template
|
||||||
|
- **Running evaluations**: Use `src/paddle_ocr_tuning.py` CLI
|
||||||
|
|
||||||
|
## Experiment Details
|
||||||
|
|
||||||
|
### Ray Tune Configuration
|
||||||
|
```python
|
||||||
|
tuner = tune.Tuner(
|
||||||
|
trainable_paddle_ocr,
|
||||||
|
tune_config=tune.TuneConfig(
|
||||||
|
metric="CER",
|
||||||
|
mode="min",
|
||||||
|
search_alg=OptunaSearch(),
|
||||||
|
num_samples=64,
|
||||||
|
max_concurrent_trials=2
|
||||||
|
)
|
||||||
|
)
|
||||||
|
```
|
||||||
|
|
||||||
|
### Dataset
|
||||||
|
- Source: UNIR TFE instructions PDF
|
||||||
|
- Pages: 24
|
||||||
|
- Resolution: 300 DPI
|
||||||
|
- Ground truth: Extracted via PyMuPDF
|
||||||
|
|
||||||
|
### Metrics
|
||||||
|
- CER (Character Error Rate) - Primary metric
|
||||||
|
- WER (Word Error Rate) - Secondary metric
|
||||||
|
- Calculated using `jiwer` library
|
||||||
27
docs/00_resumen.md
Normal file
27
docs/00_resumen.md
Normal file
@@ -0,0 +1,27 @@
|
|||||||
|
# Resumen
|
||||||
|
|
||||||
|
## Resumen
|
||||||
|
|
||||||
|
El presente Trabajo Fin de Máster aborda la optimización de sistemas de Reconocimiento Óptico de Caracteres (OCR) basados en inteligencia artificial para documentos en español, específicamente en un entorno con recursos computacionales limitados donde el fine-tuning de modelos no es viable. El objetivo principal es identificar la configuración óptima de hiperparámetros que maximice la precisión del reconocimiento de texto sin requerir entrenamiento adicional de los modelos.
|
||||||
|
|
||||||
|
Se realizó un estudio comparativo de tres soluciones OCR de código abierto: EasyOCR, PaddleOCR (PP-OCRv5) y DocTR, evaluando su rendimiento mediante las métricas estándar CER (Character Error Rate) y WER (Word Error Rate) sobre un corpus de documentos académicos en español. Tras identificar PaddleOCR como la solución más prometedora, se procedió a una optimización sistemática de hiperparámetros utilizando Ray Tune con el algoritmo de búsqueda Optuna, ejecutando 64 configuraciones diferentes.
|
||||||
|
|
||||||
|
Los resultados demuestran que la optimización de hiperparámetros logró una mejora significativa del rendimiento: el CER se redujo de 7.78% a 1.49% (mejora del 80.9% en reducción de errores), alcanzando una precisión de caracteres del 98.51%. El hallazgo más relevante fue que el parámetro `textline_orientation` (clasificación de orientación de línea de texto) tiene un impacto crítico, reduciendo el CER en un 69.7% cuando está habilitado. Adicionalmente, se identificó que el umbral de detección de píxeles (`text_det_thresh`) presenta una correlación negativa fuerte (-0.52) con el error, siendo el parámetro continuo más influyente.
|
||||||
|
|
||||||
|
Este trabajo demuestra que es posible obtener mejoras sustanciales en sistemas OCR mediante optimización de hiperparámetros, ofreciendo una alternativa práctica al fine-tuning cuando los recursos computacionales son limitados.
|
||||||
|
|
||||||
|
**Palabras clave:** OCR, Reconocimiento Óptico de Caracteres, PaddleOCR, Optimización de Hiperparámetros, Ray Tune, Procesamiento de Documentos, Inteligencia Artificial
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Abstract
|
||||||
|
|
||||||
|
This Master's Thesis addresses the optimization of Artificial Intelligence-based Optical Character Recognition (OCR) systems for Spanish documents, specifically in a resource-constrained environment where model fine-tuning is not feasible. The main objective is to identify the optimal hyperparameter configuration that maximizes text recognition accuracy without requiring additional model training.
|
||||||
|
|
||||||
|
A comparative study of three open-source OCR solutions was conducted: EasyOCR, PaddleOCR (PP-OCRv5), and DocTR, evaluating their performance using standard CER (Character Error Rate) and WER (Word Error Rate) metrics on a corpus of academic documents in Spanish. After identifying PaddleOCR as the most promising solution, systematic hyperparameter optimization was performed using Ray Tune with the Optuna search algorithm, executing 64 different configurations.
|
||||||
|
|
||||||
|
Results demonstrate that hyperparameter optimization achieved significant performance improvement: CER was reduced from 7.78% to 1.49% (80.9% error reduction), achieving 98.51% character accuracy. The most relevant finding was that the `textline_orientation` parameter (text line orientation classification) has a critical impact, reducing CER by 69.7% when enabled. Additionally, the pixel detection threshold (`text_det_thresh`) was found to have a strong negative correlation (-0.52) with error, being the most influential continuous parameter.
|
||||||
|
|
||||||
|
This work demonstrates that substantial improvements in OCR systems can be obtained through hyperparameter optimization, offering a practical alternative to fine-tuning when computational resources are limited.
|
||||||
|
|
||||||
|
**Keywords:** OCR, Optical Character Recognition, PaddleOCR, Hyperparameter Optimization, Ray Tune, Document Processing, Artificial Intelligence
|
||||||
52
docs/01_introduccion.md
Normal file
52
docs/01_introduccion.md
Normal file
@@ -0,0 +1,52 @@
|
|||||||
|
# Capítulo 1: Introducción
|
||||||
|
|
||||||
|
## 1.1 Motivación
|
||||||
|
|
||||||
|
El Reconocimiento Óptico de Caracteres (OCR) es una tecnología fundamental en la era de la digitalización documental. Su capacidad para convertir imágenes de texto en datos editables y procesables ha transformado sectores como la administración pública, el ámbito legal, la banca y la educación. Sin embargo, a pesar de los avances significativos impulsados por el aprendizaje profundo, la implementación práctica de sistemas OCR de alta precisión sigue presentando desafíos considerables.
|
||||||
|
|
||||||
|
El procesamiento de documentos en español presenta particularidades que complican el reconocimiento automático de texto. Los caracteres especiales (ñ, acentos), las variaciones tipográficas en documentos académicos y administrativos, y la presencia de elementos gráficos como tablas, encabezados y marcas de agua generan errores que pueden propagarse en aplicaciones downstream como la extracción de entidades nombradas o el análisis semántico.
|
||||||
|
|
||||||
|
Los modelos OCR basados en redes neuronales profundas, como los empleados en PaddleOCR, EasyOCR o DocTR, ofrecen un rendimiento impresionante en benchmarks estándar. No obstante, su adaptación a dominios específicos típicamente requiere fine-tuning con datos etiquetados del dominio objetivo y recursos computacionales significativos (GPUs de alta capacidad). Esta barrera técnica y económica excluye a muchos investigadores y organizaciones de beneficiarse plenamente de estas tecnologías.
|
||||||
|
|
||||||
|
La presente investigación surge de una necesidad práctica: optimizar un sistema OCR para documentos académicos en español sin disponer de recursos GPU para realizar fine-tuning. Esta restricción, lejos de ser una limitación excepcional, representa la realidad de muchos entornos académicos y empresariales donde el acceso a infraestructura de cómputo avanzada es limitado.
|
||||||
|
|
||||||
|
## 1.2 Planteamiento del Problema
|
||||||
|
|
||||||
|
El problema central que aborda este trabajo puede formularse de la siguiente manera:
|
||||||
|
|
||||||
|
> ¿Es posible mejorar significativamente el rendimiento de modelos OCR preentrenados para documentos en español mediante la optimización sistemática de hiperparámetros, sin requerir fine-tuning ni recursos GPU?
|
||||||
|
|
||||||
|
Este planteamiento se descompone en las siguientes cuestiones específicas:
|
||||||
|
|
||||||
|
1. **Selección de modelo base**: ¿Cuál de las soluciones OCR de código abierto disponibles (EasyOCR, PaddleOCR, DocTR) ofrece el mejor rendimiento base para documentos en español?
|
||||||
|
|
||||||
|
2. **Impacto de hiperparámetros**: ¿Qué hiperparámetros del pipeline OCR tienen mayor influencia en las métricas de error (CER, WER)?
|
||||||
|
|
||||||
|
3. **Optimización automatizada**: ¿Puede un proceso de búsqueda automatizada de hiperparámetros (mediante Ray Tune/Optuna) encontrar configuraciones que superen significativamente los valores por defecto?
|
||||||
|
|
||||||
|
4. **Viabilidad práctica**: ¿Son los tiempos de inferencia y los recursos requeridos compatibles con un despliegue en entornos con recursos limitados?
|
||||||
|
|
||||||
|
La relevancia de este problema radica en su aplicabilidad inmediata. Una metodología reproducible para optimizar OCR sin fine-tuning beneficiaría a:
|
||||||
|
|
||||||
|
- Investigadores que procesan grandes volúmenes de documentos académicos
|
||||||
|
- Instituciones educativas que digitalizan archivos históricos
|
||||||
|
- Pequeñas y medianas empresas que automatizan flujos documentales
|
||||||
|
- Desarrolladores que integran OCR en aplicaciones con restricciones de recursos
|
||||||
|
|
||||||
|
## 1.3 Estructura del Trabajo
|
||||||
|
|
||||||
|
El presente documento se organiza en los siguientes capítulos:
|
||||||
|
|
||||||
|
**Capítulo 2 - Contexto y Estado del Arte**: Se presenta una revisión de las tecnologías OCR basadas en aprendizaje profundo, incluyendo las arquitecturas de detección y reconocimiento de texto, así como los trabajos previos en optimización de estos sistemas.
|
||||||
|
|
||||||
|
**Capítulo 3 - Objetivos y Metodología**: Se definen los objetivos SMART del trabajo y se describe la metodología experimental seguida, incluyendo la preparación del dataset, las métricas de evaluación y el proceso de optimización con Ray Tune.
|
||||||
|
|
||||||
|
**Capítulo 4 - Comparativa de Soluciones OCR**: Se presentan los resultados del benchmark inicial comparando EasyOCR, PaddleOCR y DocTR, justificando la selección de PaddleOCR para la fase de optimización.
|
||||||
|
|
||||||
|
**Capítulo 5 - Optimización de Hiperparámetros**: Se describe el experimento de optimización con Ray Tune, analizando el impacto de cada hiperparámetro y las correlaciones identificadas.
|
||||||
|
|
||||||
|
**Capítulo 6 - Resultados y Discusión**: Se presentan los resultados finales comparando el baseline con la configuración optimizada, incluyendo análisis estadísticos y visualizaciones.
|
||||||
|
|
||||||
|
**Capítulo 7 - Conclusiones y Trabajo Futuro**: Se resumen las contribuciones del trabajo, se discute el grado de cumplimiento de los objetivos y se proponen líneas de trabajo futuro.
|
||||||
|
|
||||||
|
**Anexos**: Se incluye el enlace al repositorio de código fuente y datos, así como tablas completas de resultados experimentales.
|
||||||
179
docs/02_contexto_estado_arte.md
Normal file
179
docs/02_contexto_estado_arte.md
Normal file
@@ -0,0 +1,179 @@
|
|||||||
|
# Capítulo 2: Contexto y Estado del Arte
|
||||||
|
|
||||||
|
## 2.1 Introducción
|
||||||
|
|
||||||
|
Este capítulo presenta el marco teórico y tecnológico en el que se desarrolla el presente trabajo. Se revisan los fundamentos del Reconocimiento Óptico de Caracteres (OCR), la evolución de las técnicas basadas en aprendizaje profundo, las principales soluciones de código abierto disponibles y los trabajos previos relacionados con la optimización de sistemas OCR.
|
||||||
|
|
||||||
|
## 2.2 Fundamentos del OCR
|
||||||
|
|
||||||
|
### 2.2.1 Definición y Evolución Histórica
|
||||||
|
|
||||||
|
El Reconocimiento Óptico de Caracteres (OCR) es el proceso de conversión de imágenes de texto manuscrito, mecanografiado o impreso en texto codificado digitalmente. La tecnología OCR ha evolucionado significativamente desde sus orígenes en la década de 1950:
|
||||||
|
|
||||||
|
- **Primera generación (1950-1970)**: Sistemas basados en plantillas que requerían fuentes específicas.
|
||||||
|
- **Segunda generación (1970-1990)**: Introducción de técnicas de extracción de características y clasificadores estadísticos.
|
||||||
|
- **Tercera generación (1990-2010)**: Modelos basados en Redes Neuronales Artificiales y Modelos Ocultos de Markov (HMM).
|
||||||
|
- **Cuarta generación (2010-presente)**: Arquitecturas de aprendizaje profundo que dominan el estado del arte.
|
||||||
|
|
||||||
|
### 2.2.2 Pipeline Moderno de OCR
|
||||||
|
|
||||||
|
Los sistemas OCR modernos siguen típicamente un pipeline de dos etapas:
|
||||||
|
|
||||||
|
1. **Detección de texto (Text Detection)**: Localización de regiones que contienen texto en la imagen. Las arquitecturas más utilizadas incluyen:
|
||||||
|
- EAST (Efficient and Accurate Scene Text Detector)
|
||||||
|
- CRAFT (Character Region Awareness for Text Detection)
|
||||||
|
- DB (Differentiable Binarization)
|
||||||
|
|
||||||
|
2. **Reconocimiento de texto (Text Recognition)**: Transcripción del contenido textual de las regiones detectadas. Las arquitecturas predominantes son:
|
||||||
|
- CRNN (Convolutional Recurrent Neural Network) con CTC loss
|
||||||
|
- Arquitecturas encoder-decoder con atención
|
||||||
|
- Transformers (ViTSTR, TrOCR)
|
||||||
|
|
||||||
|
### 2.2.3 Métricas de Evaluación
|
||||||
|
|
||||||
|
Las métricas estándar para evaluar sistemas OCR son:
|
||||||
|
|
||||||
|
**Character Error Rate (CER)**:
|
||||||
|
```
|
||||||
|
CER = (S + D + I) / N
|
||||||
|
```
|
||||||
|
Donde S = sustituciones, D = eliminaciones, I = inserciones, N = caracteres de referencia.
|
||||||
|
|
||||||
|
**Word Error Rate (WER)**:
|
||||||
|
```
|
||||||
|
WER = (S + D + I) / N
|
||||||
|
```
|
||||||
|
Calculado a nivel de palabras en lugar de caracteres.
|
||||||
|
|
||||||
|
Un CER del 1% significa que 1 de cada 100 caracteres es erróneo. Para aplicaciones críticas como extracción de datos financieros o médicos, se requieren CER inferiores al 1%.
|
||||||
|
|
||||||
|
## 2.3 Soluciones OCR de Código Abierto
|
||||||
|
|
||||||
|
### 2.3.1 EasyOCR
|
||||||
|
|
||||||
|
EasyOCR es una biblioteca de OCR desarrollada por Jaided AI que soporta más de 80 idiomas. Sus características principales incluyen:
|
||||||
|
|
||||||
|
- **Arquitectura**: Detector CRAFT + Reconocedor CRNN/Transformer
|
||||||
|
- **Fortalezas**: Facilidad de uso, soporte multilingüe amplio, bajo consumo de memoria
|
||||||
|
- **Limitaciones**: Menor precisión en documentos complejos, opciones de configuración limitadas
|
||||||
|
- **Caso de uso ideal**: Prototipado rápido y aplicaciones con restricciones de memoria
|
||||||
|
|
||||||
|
### 2.3.2 PaddleOCR
|
||||||
|
|
||||||
|
PaddleOCR es el sistema OCR desarrollado por Baidu como parte del ecosistema PaddlePaddle. La versión PP-OCRv5, utilizada en este trabajo, representa el estado del arte en OCR industrial:
|
||||||
|
|
||||||
|
- **Arquitectura**:
|
||||||
|
- Detector: DB (Differentiable Binarization) con backbone ResNet
|
||||||
|
- Reconocedor: SVTR (Scene-Text Visual Transformer Recognition)
|
||||||
|
- Clasificador de orientación opcional
|
||||||
|
|
||||||
|
- **Hiperparámetros configurables**:
|
||||||
|
| Parámetro | Descripción | Valor por defecto |
|
||||||
|
|-----------|-------------|-------------------|
|
||||||
|
| `text_det_thresh` | Umbral de detección de píxeles | 0.3 |
|
||||||
|
| `text_det_box_thresh` | Umbral de caja de detección | 0.6 |
|
||||||
|
| `text_det_unclip_ratio` | Coeficiente de expansión | 1.5 |
|
||||||
|
| `text_rec_score_thresh` | Umbral de confianza de reconocimiento | 0.5 |
|
||||||
|
| `use_textline_orientation` | Clasificación de orientación | False |
|
||||||
|
| `use_doc_orientation_classify` | Clasificación de orientación de documento | False |
|
||||||
|
| `use_doc_unwarping` | Corrección de deformación | False |
|
||||||
|
|
||||||
|
- **Fortalezas**: Alta precisión, pipeline altamente configurable, modelos específicos para servidor
|
||||||
|
- **Limitaciones**: Mayor complejidad de configuración, dependencia del framework PaddlePaddle
|
||||||
|
|
||||||
|
### 2.3.3 DocTR
|
||||||
|
|
||||||
|
DocTR (Document Text Recognition) es una biblioteca desarrollada por Mindee orientada a la investigación:
|
||||||
|
|
||||||
|
- **Arquitectura**:
|
||||||
|
- Detectores: DB, LinkNet
|
||||||
|
- Reconocedores: CRNN, SAR, ViTSTR
|
||||||
|
|
||||||
|
- **Fortalezas**: API limpia, orientación académica, salida estructurada de alto nivel
|
||||||
|
- **Limitaciones**: Menor rendimiento en español comparado con PaddleOCR
|
||||||
|
|
||||||
|
### 2.3.4 Comparativa de Arquitecturas
|
||||||
|
|
||||||
|
| Modelo | Tipo | Componentes | Fortalezas Clave |
|
||||||
|
|--------|------|-------------|------------------|
|
||||||
|
| **EasyOCR** | End-to-end (det + rec) | DB + CRNN/Transformer | Ligero, fácil de usar, multilingüe |
|
||||||
|
| **PaddleOCR** | End-to-end (det + rec + cls) | DB + SVTR/CRNN | Soporte multilingüe robusto, configurable |
|
||||||
|
| **DocTR** | End-to-end (det + rec) | DB/LinkNet + CRNN/SAR/ViTSTR | Orientado a investigación, API limpia |
|
||||||
|
|
||||||
|
## 2.4 Optimización de Hiperparámetros
|
||||||
|
|
||||||
|
### 2.4.1 Fundamentos
|
||||||
|
|
||||||
|
La optimización de hiperparámetros (HPO) busca encontrar la configuración de parámetros que maximiza (o minimiza) una métrica objetivo. A diferencia de los parámetros del modelo (pesos), los hiperparámetros no se aprenden durante el entrenamiento.
|
||||||
|
|
||||||
|
Los métodos de HPO incluyen:
|
||||||
|
- **Grid Search**: Búsqueda exhaustiva en una rejilla predefinida
|
||||||
|
- **Random Search**: Muestreo aleatorio del espacio de búsqueda
|
||||||
|
- **Bayesian Optimization**: Modelado probabilístico de la función objetivo
|
||||||
|
- **Algoritmos evolutivos**: Optimización inspirada en evolución biológica
|
||||||
|
|
||||||
|
### 2.4.2 Ray Tune y Optuna
|
||||||
|
|
||||||
|
**Ray Tune** es un framework de optimización de hiperparámetros escalable que permite:
|
||||||
|
- Ejecución paralela de experimentos
|
||||||
|
- Early stopping de configuraciones poco prometedoras
|
||||||
|
- Integración con múltiples algoritmos de búsqueda
|
||||||
|
|
||||||
|
**Optuna** es una biblioteca de optimización bayesiana que implementa:
|
||||||
|
- Tree-structured Parzen Estimator (TPE)
|
||||||
|
- Pruning de trials no prometedores
|
||||||
|
- Visualización de resultados
|
||||||
|
|
||||||
|
La combinación Ray Tune + Optuna permite búsquedas eficientes en espacios de alta dimensionalidad.
|
||||||
|
|
||||||
|
### 2.4.3 HPO en Sistemas OCR
|
||||||
|
|
||||||
|
La aplicación de HPO a sistemas OCR ha sido explorada principalmente en el contexto de:
|
||||||
|
|
||||||
|
1. **Preprocesamiento de imagen**: Optimización de parámetros de binarización, filtrado y escalado (Liang et al., 2005)
|
||||||
|
|
||||||
|
2. **Arquitecturas de detección**: Ajuste de umbrales de confianza y NMS (Non-Maximum Suppression)
|
||||||
|
|
||||||
|
3. **Post-procesamiento**: Optimización de corrección ortográfica y modelos de lenguaje
|
||||||
|
|
||||||
|
Sin embargo, existe un vacío en la literatura respecto a la optimización sistemática de los hiperparámetros de inferencia en pipelines OCR modernos como PaddleOCR, especialmente para idiomas diferentes del inglés y chino.
|
||||||
|
|
||||||
|
## 2.5 OCR para el Idioma Español
|
||||||
|
|
||||||
|
### 2.5.1 Particularidades del Español
|
||||||
|
|
||||||
|
El español presenta características específicas que impactan el OCR:
|
||||||
|
|
||||||
|
- **Caracteres especiales**: ñ, á, é, í, ó, ú, ü, ¿, ¡
|
||||||
|
- **Diacríticos**: Los acentos pueden confundirse con ruido o artefactos
|
||||||
|
- **Longitud de palabras**: Palabras generalmente más largas que en inglés
|
||||||
|
- **Puntuación**: Signos de interrogación y exclamación invertidos
|
||||||
|
|
||||||
|
### 2.5.2 Datasets y Benchmarks
|
||||||
|
|
||||||
|
Los principales recursos para evaluación de OCR en español incluyen:
|
||||||
|
|
||||||
|
- **FUNSD-ES**: Versión en español del dataset de formularios
|
||||||
|
- **MLT (ICDAR)**: Multi-Language Text dataset con muestras en español
|
||||||
|
- **Documentos académicos**: Utilizados en este trabajo (instrucciones TFE de UNIR)
|
||||||
|
|
||||||
|
### 2.5.3 Trabajos Previos
|
||||||
|
|
||||||
|
Los trabajos previos en OCR para español se han centrado principalmente en:
|
||||||
|
|
||||||
|
1. Digitalización de archivos históricos (manuscritos coloniales)
|
||||||
|
2. Procesamiento de documentos de identidad
|
||||||
|
3. Reconocimiento de texto en escenas naturales
|
||||||
|
|
||||||
|
La optimización de hiperparámetros para documentos académicos en español representa una contribución original de este trabajo.
|
||||||
|
|
||||||
|
## 2.6 Resumen del Capítulo
|
||||||
|
|
||||||
|
Este capítulo ha presentado:
|
||||||
|
|
||||||
|
1. Los fundamentos del OCR moderno y su pipeline de detección-reconocimiento
|
||||||
|
2. Las tres principales soluciones de código abierto: EasyOCR, PaddleOCR y DocTR
|
||||||
|
3. Los métodos de optimización de hiperparámetros, con énfasis en Ray Tune y Optuna
|
||||||
|
4. Las particularidades del OCR para el idioma español
|
||||||
|
|
||||||
|
El estado del arte revela que, si bien existen soluciones OCR de alta calidad, su optimización para dominios específicos mediante ajuste de hiperparámetros (sin fine-tuning) ha recibido poca atención. Este trabajo contribuye a llenar ese vacío proponiendo una metodología reproducible para la optimización de PaddleOCR en documentos académicos en español.
|
||||||
288
docs/03_objetivos_metodologia.md
Normal file
288
docs/03_objetivos_metodologia.md
Normal file
@@ -0,0 +1,288 @@
|
|||||||
|
# Capítulo 3: Objetivos y Metodología de Trabajo
|
||||||
|
|
||||||
|
## 3.1 Introducción
|
||||||
|
|
||||||
|
Este capítulo establece los objetivos del trabajo siguiendo la metodología SMART (Específico, Medible, Alcanzable, Relevante, Temporal) y describe la metodología experimental empleada para alcanzarlos.
|
||||||
|
|
||||||
|
## 3.2 Objetivo General
|
||||||
|
|
||||||
|
> **Optimizar el rendimiento de PaddleOCR para documentos académicos en español mediante ajuste de hiperparámetros, alcanzando un CER inferior al 2% sin requerir fine-tuning del modelo ni recursos GPU dedicados.**
|
||||||
|
|
||||||
|
### Justificación SMART del Objetivo General
|
||||||
|
|
||||||
|
| Criterio | Cumplimiento |
|
||||||
|
|----------|--------------|
|
||||||
|
| **Específico (S)** | Se define claramente qué se quiere lograr: optimizar PaddleOCR mediante ajuste de hiperparámetros para documentos en español |
|
||||||
|
| **Medible (M)** | Se establece una métrica cuantificable: CER < 2% |
|
||||||
|
| **Alcanzable (A)** | Es viable dado que: (1) PaddleOCR permite configuración de hiperparámetros, (2) Ray Tune posibilita búsqueda automatizada, (3) No se requiere GPU |
|
||||||
|
| **Relevante (R)** | El impacto es demostrable: mejora la extracción de texto en documentos académicos sin costes adicionales de infraestructura |
|
||||||
|
| **Temporal (T)** | El plazo es un cuatrimestre, correspondiente al TFM |
|
||||||
|
|
||||||
|
## 3.3 Objetivos Específicos
|
||||||
|
|
||||||
|
### OE1: Comparar soluciones OCR de código abierto
|
||||||
|
> **Evaluar el rendimiento base de EasyOCR, PaddleOCR y DocTR en documentos académicos en español, utilizando CER y WER como métricas, para seleccionar el modelo más prometedor.**
|
||||||
|
|
||||||
|
### OE2: Preparar un dataset de evaluación
|
||||||
|
> **Construir un dataset estructurado de imágenes de documentos académicos en español con su texto de referencia (ground truth) extraído del PDF original.**
|
||||||
|
|
||||||
|
### OE3: Identificar hiperparámetros críticos
|
||||||
|
> **Analizar la correlación entre los hiperparámetros de PaddleOCR y las métricas de error para identificar los parámetros con mayor impacto en el rendimiento.**
|
||||||
|
|
||||||
|
### OE4: Optimizar hiperparámetros con Ray Tune
|
||||||
|
> **Ejecutar una búsqueda automatizada de hiperparámetros utilizando Ray Tune con Optuna, evaluando al menos 50 configuraciones diferentes.**
|
||||||
|
|
||||||
|
### OE5: Validar la configuración optimizada
|
||||||
|
> **Comparar el rendimiento de la configuración baseline versus la configuración optimizada sobre el dataset completo, documentando la mejora obtenida.**
|
||||||
|
|
||||||
|
## 3.4 Metodología de Trabajo
|
||||||
|
|
||||||
|
### 3.4.1 Visión General
|
||||||
|
|
||||||
|
La metodología sigue un enfoque experimental estructurado en cinco fases:
|
||||||
|
|
||||||
|
```
|
||||||
|
┌─────────────────────────────────────────────────────────────────┐
|
||||||
|
│ Fase 1: Preparación del Dataset │
|
||||||
|
│ - Conversión PDF → Imágenes (300 DPI) │
|
||||||
|
│ - Extracción de texto de referencia (PyMuPDF) │
|
||||||
|
│ - Estructura: carpetas img/ y txt/ pareadas │
|
||||||
|
└─────────────────────────────────────────────────────────────────┘
|
||||||
|
↓
|
||||||
|
┌─────────────────────────────────────────────────────────────────┐
|
||||||
|
│ Fase 2: Benchmark Comparativo │
|
||||||
|
│ - Evaluación de EasyOCR, PaddleOCR, DocTR │
|
||||||
|
│ - Métricas: CER, WER │
|
||||||
|
│ - Selección del modelo base │
|
||||||
|
└─────────────────────────────────────────────────────────────────┘
|
||||||
|
↓
|
||||||
|
┌─────────────────────────────────────────────────────────────────┐
|
||||||
|
│ Fase 3: Definición del Espacio de Búsqueda │
|
||||||
|
│ - Identificación de hiperparámetros configurables │
|
||||||
|
│ - Definición de rangos y distribuciones │
|
||||||
|
│ - Configuración de Ray Tune + Optuna │
|
||||||
|
└─────────────────────────────────────────────────────────────────┘
|
||||||
|
↓
|
||||||
|
┌─────────────────────────────────────────────────────────────────┐
|
||||||
|
│ Fase 4: Optimización de Hiperparámetros │
|
||||||
|
│ - Ejecución de 64 trials con Ray Tune │
|
||||||
|
│ - Paralelización (2 trials concurrentes) │
|
||||||
|
│ - Registro de métricas y configuraciones │
|
||||||
|
└─────────────────────────────────────────────────────────────────┘
|
||||||
|
↓
|
||||||
|
┌─────────────────────────────────────────────────────────────────┐
|
||||||
|
│ Fase 5: Validación y Análisis │
|
||||||
|
│ - Comparación baseline vs optimizado │
|
||||||
|
│ - Análisis de correlaciones │
|
||||||
|
│ - Documentación de resultados │
|
||||||
|
└─────────────────────────────────────────────────────────────────┘
|
||||||
|
```
|
||||||
|
|
||||||
|
### 3.4.2 Fase 1: Preparación del Dataset
|
||||||
|
|
||||||
|
#### Fuente de Datos
|
||||||
|
Se utilizaron documentos PDF académicos de UNIR (Universidad Internacional de La Rioja), específicamente las instrucciones para la elaboración del TFE del Máster en Inteligencia Artificial.
|
||||||
|
|
||||||
|
#### Proceso de Conversión
|
||||||
|
El script `prepare_dataset.ipynb` implementa:
|
||||||
|
|
||||||
|
1. **Conversión PDF a imágenes**:
|
||||||
|
- Biblioteca: PyMuPDF (fitz)
|
||||||
|
- Resolución: 300 DPI
|
||||||
|
- Formato de salida: PNG
|
||||||
|
|
||||||
|
2. **Extracción de texto de referencia**:
|
||||||
|
- Método: `page.get_text("dict")` de PyMuPDF
|
||||||
|
- Preservación de estructura de líneas
|
||||||
|
- Tratamiento de texto vertical/marginal
|
||||||
|
- Normalización de espacios y saltos de línea
|
||||||
|
|
||||||
|
#### Estructura del Dataset
|
||||||
|
|
||||||
|
```
|
||||||
|
dataset/
|
||||||
|
├── 0/
|
||||||
|
│ ├── instrucciones.pdf
|
||||||
|
│ ├── img/
|
||||||
|
│ │ ├── page_0001.png
|
||||||
|
│ │ ├── page_0002.png
|
||||||
|
│ │ └── ...
|
||||||
|
│ └── txt/
|
||||||
|
│ ├── page_0001.txt
|
||||||
|
│ ├── page_0002.txt
|
||||||
|
│ └── ...
|
||||||
|
└── ...
|
||||||
|
```
|
||||||
|
|
||||||
|
#### Clase ImageTextDataset
|
||||||
|
|
||||||
|
Se implementó una clase Python para cargar pares imagen-texto:
|
||||||
|
|
||||||
|
```python
|
||||||
|
class ImageTextDataset:
|
||||||
|
def __init__(self, root):
|
||||||
|
# Carga pares (imagen, texto) de carpetas pareadas
|
||||||
|
|
||||||
|
def __getitem__(self, idx):
|
||||||
|
# Retorna (PIL.Image, str)
|
||||||
|
```
|
||||||
|
|
||||||
|
### 3.4.3 Fase 2: Benchmark Comparativo
|
||||||
|
|
||||||
|
#### Modelos Evaluados
|
||||||
|
|
||||||
|
| Modelo | Versión | Configuración |
|
||||||
|
|--------|---------|---------------|
|
||||||
|
| EasyOCR | - | Idiomas: ['es', 'en'] |
|
||||||
|
| PaddleOCR | PP-OCRv5 | Modelos server_det + server_rec |
|
||||||
|
| DocTR | - | db_resnet50 + sar_resnet31 |
|
||||||
|
|
||||||
|
#### Métricas de Evaluación
|
||||||
|
|
||||||
|
Se utilizó la biblioteca `jiwer` para calcular:
|
||||||
|
|
||||||
|
```python
|
||||||
|
from jiwer import wer, cer
|
||||||
|
|
||||||
|
def evaluate_text(reference, prediction):
|
||||||
|
return {
|
||||||
|
'WER': wer(reference, prediction),
|
||||||
|
'CER': cer(reference, prediction)
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
### 3.4.4 Fase 3: Espacio de Búsqueda
|
||||||
|
|
||||||
|
#### Hiperparámetros Seleccionados
|
||||||
|
|
||||||
|
| Parámetro | Tipo | Rango/Valores | Descripción |
|
||||||
|
|-----------|------|---------------|-------------|
|
||||||
|
| `use_doc_orientation_classify` | Booleano | [True, False] | Clasificación de orientación del documento |
|
||||||
|
| `use_doc_unwarping` | Booleano | [True, False] | Corrección de deformación del documento |
|
||||||
|
| `textline_orientation` | Booleano | [True, False] | Clasificación de orientación de línea de texto |
|
||||||
|
| `text_det_thresh` | Continuo | [0.0, 0.7] | Umbral de detección de píxeles de texto |
|
||||||
|
| `text_det_box_thresh` | Continuo | [0.0, 0.7] | Umbral de caja de detección |
|
||||||
|
| `text_det_unclip_ratio` | Fijo | 0.0 | Coeficiente de expansión (fijado) |
|
||||||
|
| `text_rec_score_thresh` | Continuo | [0.0, 0.7] | Umbral de confianza de reconocimiento |
|
||||||
|
|
||||||
|
#### Configuración de Ray Tune
|
||||||
|
|
||||||
|
```python
|
||||||
|
from ray import tune
|
||||||
|
from ray.tune.search.optuna import OptunaSearch
|
||||||
|
|
||||||
|
search_space = {
|
||||||
|
"use_doc_orientation_classify": tune.choice([True, False]),
|
||||||
|
"use_doc_unwarping": tune.choice([True, False]),
|
||||||
|
"textline_orientation": tune.choice([True, False]),
|
||||||
|
"text_det_thresh": tune.uniform(0.0, 0.7),
|
||||||
|
"text_det_box_thresh": tune.uniform(0.0, 0.7),
|
||||||
|
"text_det_unclip_ratio": tune.choice([0.0]),
|
||||||
|
"text_rec_score_thresh": tune.uniform(0.0, 0.7),
|
||||||
|
}
|
||||||
|
|
||||||
|
tuner = tune.Tuner(
|
||||||
|
trainable_paddle_ocr,
|
||||||
|
tune_config=tune.TuneConfig(
|
||||||
|
metric="CER",
|
||||||
|
mode="min",
|
||||||
|
search_alg=OptunaSearch(),
|
||||||
|
num_samples=64,
|
||||||
|
max_concurrent_trials=2
|
||||||
|
)
|
||||||
|
)
|
||||||
|
```
|
||||||
|
|
||||||
|
### 3.4.5 Fase 4: Ejecución de Optimización
|
||||||
|
|
||||||
|
#### Arquitectura de Ejecución
|
||||||
|
|
||||||
|
Debido a incompatibilidades entre Ray y PaddleOCR en el mismo proceso, se implementó una arquitectura basada en subprocesos:
|
||||||
|
|
||||||
|
```
|
||||||
|
Ray Tune (proceso principal)
|
||||||
|
│
|
||||||
|
├──► Subprocess 1: paddle_ocr_tuning.py --config {...}
|
||||||
|
│ └──► Retorna JSON con métricas
|
||||||
|
│
|
||||||
|
└──► Subprocess 2: paddle_ocr_tuning.py --config {...}
|
||||||
|
└──► Retorna JSON con métricas
|
||||||
|
```
|
||||||
|
|
||||||
|
#### Script de Evaluación (paddle_ocr_tuning.py)
|
||||||
|
|
||||||
|
El script recibe hiperparámetros por línea de comandos:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
python paddle_ocr_tuning.py \
|
||||||
|
--pdf-folder ./dataset \
|
||||||
|
--textline-orientation True \
|
||||||
|
--text-det-box-thresh 0.5 \
|
||||||
|
--text-det-thresh 0.4 \
|
||||||
|
--text-rec-score-thresh 0.6
|
||||||
|
```
|
||||||
|
|
||||||
|
Y retorna métricas en formato JSON:
|
||||||
|
|
||||||
|
```json
|
||||||
|
{
|
||||||
|
"CER": 0.0125,
|
||||||
|
"WER": 0.1040,
|
||||||
|
"TIME": 331.09,
|
||||||
|
"PAGES": 5,
|
||||||
|
"TIME_PER_PAGE": 66.12
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
### 3.4.6 Fase 5: Validación
|
||||||
|
|
||||||
|
#### Protocolo de Validación
|
||||||
|
|
||||||
|
1. **Baseline**: Ejecución con configuración por defecto de PaddleOCR
|
||||||
|
2. **Optimizado**: Ejecución con mejor configuración encontrada
|
||||||
|
3. **Comparación**: Evaluación sobre las 24 páginas del dataset completo
|
||||||
|
4. **Métricas reportadas**: CER, WER, tiempo de procesamiento
|
||||||
|
|
||||||
|
### 3.5 Entorno de Ejecución
|
||||||
|
|
||||||
|
#### Hardware
|
||||||
|
|
||||||
|
| Componente | Especificación |
|
||||||
|
|------------|----------------|
|
||||||
|
| CPU | Intel Core (especificar modelo) |
|
||||||
|
| RAM | 16 GB |
|
||||||
|
| GPU | No disponible (ejecución en CPU) |
|
||||||
|
| Almacenamiento | SSD |
|
||||||
|
|
||||||
|
#### Software
|
||||||
|
|
||||||
|
| Componente | Versión |
|
||||||
|
|------------|---------|
|
||||||
|
| Sistema Operativo | Windows 10/11 |
|
||||||
|
| Python | 3.11.9 |
|
||||||
|
| PaddleOCR | 3.3.2 |
|
||||||
|
| PaddlePaddle | 3.2.2 |
|
||||||
|
| Ray | 2.52.1 |
|
||||||
|
| Optuna | 4.6.0 |
|
||||||
|
|
||||||
|
### 3.6 Limitaciones Metodológicas
|
||||||
|
|
||||||
|
1. **Tamaño del dataset**: El dataset contiene 24 páginas de un único tipo de documento. Resultados pueden no generalizar a otros formatos.
|
||||||
|
|
||||||
|
2. **Ejecución en CPU**: Los tiempos de procesamiento (~70s/página) serían significativamente menores con GPU.
|
||||||
|
|
||||||
|
3. **Ground truth imperfecto**: El texto de referencia extraído de PDF puede contener errores en documentos con layouts complejos.
|
||||||
|
|
||||||
|
4. **Parámetro fijo**: `text_det_unclip_ratio` quedó fijado en 0.0 durante todo el experimento por decisión de diseño inicial.
|
||||||
|
|
||||||
|
## 3.7 Resumen del Capítulo
|
||||||
|
|
||||||
|
Este capítulo ha establecido:
|
||||||
|
|
||||||
|
1. Un objetivo general SMART: alcanzar CER < 2% mediante optimización de hiperparámetros
|
||||||
|
2. Cinco objetivos específicos medibles y alcanzables
|
||||||
|
3. Una metodología experimental en cinco fases claramente definidas
|
||||||
|
4. El espacio de búsqueda de hiperparámetros y la configuración de Ray Tune
|
||||||
|
5. Las limitaciones reconocidas del enfoque
|
||||||
|
|
||||||
|
El siguiente capítulo presenta los resultados del benchmark comparativo inicial entre las tres soluciones OCR evaluadas.
|
||||||
132
docs/04_comparativa_soluciones.md
Normal file
132
docs/04_comparativa_soluciones.md
Normal file
@@ -0,0 +1,132 @@
|
|||||||
|
# Capítulo 4: Comparativa de Soluciones OCR
|
||||||
|
|
||||||
|
## 4.1 Introducción
|
||||||
|
|
||||||
|
Este capítulo presenta los resultados del estudio comparativo realizado entre tres soluciones OCR de código abierto: EasyOCR, PaddleOCR y DocTR. Los experimentos fueron documentados en el notebook `ocr_benchmark_notebook.ipynb` del repositorio. El objetivo es identificar el modelo base más prometedor para la posterior fase de optimización de hiperparámetros.
|
||||||
|
|
||||||
|
## 4.2 Configuración del Experimento
|
||||||
|
|
||||||
|
### 4.2.1 Dataset de Evaluación
|
||||||
|
|
||||||
|
Se utilizó el documento "Instrucciones para la redacción y elaboración del TFE" del Máster Universitario en Inteligencia Artificial de UNIR, ubicado en la carpeta `instructions/`.
|
||||||
|
|
||||||
|
| Característica | Valor |
|
||||||
|
|----------------|-------|
|
||||||
|
| Número de páginas evaluadas | 5 (páginas 1-5 en benchmark inicial) |
|
||||||
|
| Formato | PDF digital (no escaneado) |
|
||||||
|
| Idioma | Español |
|
||||||
|
| Resolución de conversión | 300 DPI |
|
||||||
|
|
||||||
|
### 4.2.2 Configuración de los Modelos
|
||||||
|
|
||||||
|
Según el código en `ocr_benchmark_notebook.ipynb`:
|
||||||
|
|
||||||
|
**EasyOCR**:
|
||||||
|
```python
|
||||||
|
easyocr_reader = easyocr.Reader(['es', 'en']) # Spanish and English
|
||||||
|
```
|
||||||
|
|
||||||
|
**PaddleOCR (PP-OCRv5)**:
|
||||||
|
```python
|
||||||
|
paddleocr_model = PaddleOCR(
|
||||||
|
text_detection_model_name="PP-OCRv5_server_det",
|
||||||
|
text_recognition_model_name="PP-OCRv5_server_rec",
|
||||||
|
use_doc_orientation_classify=False,
|
||||||
|
use_doc_unwarping=False,
|
||||||
|
use_textline_orientation=True,
|
||||||
|
)
|
||||||
|
```
|
||||||
|
Versión utilizada: PaddleOCR 3.2.0 (según output del notebook)
|
||||||
|
|
||||||
|
**DocTR**:
|
||||||
|
```python
|
||||||
|
doctr_model = ocr_predictor(det_arch="db_resnet50", reco_arch="sar_resnet31", pretrained=True)
|
||||||
|
```
|
||||||
|
|
||||||
|
### 4.2.3 Métricas de Evaluación
|
||||||
|
|
||||||
|
Se utilizó la biblioteca `jiwer` para calcular CER y WER:
|
||||||
|
```python
|
||||||
|
from jiwer import wer, cer
|
||||||
|
|
||||||
|
def evaluate_text(reference, prediction):
|
||||||
|
return {'WER': wer(reference, prediction), 'CER': cer(reference, prediction)}
|
||||||
|
```
|
||||||
|
|
||||||
|
## 4.3 Resultados del Benchmark
|
||||||
|
|
||||||
|
### 4.3.1 Resultados de PaddleOCR (Datos del CSV)
|
||||||
|
|
||||||
|
Del archivo `results/ai_ocr_benchmark_finetune_results_20251206_113206.csv`, se obtienen los siguientes resultados de PaddleOCR para las páginas 5-9 del documento:
|
||||||
|
|
||||||
|
| Página | WER | CER |
|
||||||
|
|--------|-----|-----|
|
||||||
|
| 5 | 12.16% | 6.33% |
|
||||||
|
| 6 | 12.81% | 6.40% |
|
||||||
|
| 7 | 11.06% | 6.24% |
|
||||||
|
| 8 | 8.13% | 1.54% |
|
||||||
|
| 9 | 10.61% | 5.58% |
|
||||||
|
|
||||||
|
**Promedio PaddleOCR (páginas 5-9):**
|
||||||
|
- CER medio: ~5.22%
|
||||||
|
- WER medio: ~10.95%
|
||||||
|
|
||||||
|
### 4.3.2 Comparativa de Modelos
|
||||||
|
|
||||||
|
Según la documentación del notebook `ocr_benchmark_notebook.ipynb`, los tres modelos evaluados representan diferentes paradigmas de OCR:
|
||||||
|
|
||||||
|
| Modelo | Tipo | Componentes | Fortalezas Clave |
|
||||||
|
|--------|------|-------------|------------------|
|
||||||
|
| **EasyOCR** | End-to-end (det + rec) | DB + CRNN/Transformer | Ligero, fácil de usar, multilingüe |
|
||||||
|
| **PaddleOCR (PP-OCR)** | End-to-end (det + rec + cls) | DB + SRN/CRNN | Soporte multilingüe robusto, pipeline configurable |
|
||||||
|
| **DocTR** | End-to-end (det + rec) | DB/LinkNet + CRNN/SAR/VitSTR | Orientado a investigación, API limpia |
|
||||||
|
|
||||||
|
### 4.3.3 Ejemplo de Salida OCR
|
||||||
|
|
||||||
|
Del archivo CSV, un ejemplo de predicción de PaddleOCR para la página 8:
|
||||||
|
|
||||||
|
> "Escribe siempre al menos un párrafo de introducción en cada capítulo o apartado, explicando de qué vas a tratar en esa sección. Evita que aparezcan dos encabezados de nivel consecutivos sin ningún texto entre medias. [...] En esta titulacióon se cita de acuerdo con la normativa Apa."
|
||||||
|
|
||||||
|
**Errores observados en este ejemplo:**
|
||||||
|
- `titulacióon` en lugar de `titulación` (carácter duplicado)
|
||||||
|
- `Apa` en lugar de `APA` (capitalización)
|
||||||
|
|
||||||
|
## 4.4 Justificación de la Selección de PaddleOCR
|
||||||
|
|
||||||
|
### 4.4.1 Criterios de Selección
|
||||||
|
|
||||||
|
Basándose en los resultados obtenidos y la documentación del benchmark:
|
||||||
|
|
||||||
|
1. **Rendimiento**: PaddleOCR obtuvo CER entre 1.54% y 6.40% en las páginas evaluadas
|
||||||
|
2. **Configurabilidad**: PaddleOCR ofrece múltiples hiperparámetros ajustables:
|
||||||
|
- Umbrales de detección (`text_det_thresh`, `text_det_box_thresh`)
|
||||||
|
- Umbral de reconocimiento (`text_rec_score_thresh`)
|
||||||
|
- Componentes opcionales (`use_textline_orientation`, `use_doc_orientation_classify`, `use_doc_unwarping`)
|
||||||
|
|
||||||
|
3. **Documentación oficial**: [PaddleOCR Documentation](https://www.paddleocr.ai/v3.0.0/en/version3.x/pipeline_usage/OCR.html)
|
||||||
|
|
||||||
|
### 4.4.2 Decisión
|
||||||
|
|
||||||
|
**Se selecciona PaddleOCR (PP-OCRv5)** para la fase de optimización debido a:
|
||||||
|
- Resultados iniciales prometedores (CER ~5%)
|
||||||
|
- Alta configurabilidad de hiperparámetros de inferencia
|
||||||
|
- Pipeline modular que permite experimentación
|
||||||
|
|
||||||
|
## 4.5 Limitaciones del Benchmark
|
||||||
|
|
||||||
|
1. **Tamaño reducido**: Solo 5 páginas evaluadas en el benchmark comparativo inicial
|
||||||
|
2. **Único tipo de documento**: Documentos académicos de UNIR únicamente
|
||||||
|
3. **Ground truth**: El texto de referencia se extrajo automáticamente del PDF, lo cual puede introducir errores en layouts complejos
|
||||||
|
|
||||||
|
## 4.6 Resumen del Capítulo
|
||||||
|
|
||||||
|
Este capítulo ha presentado:
|
||||||
|
|
||||||
|
1. La configuración del benchmark según `ocr_benchmark_notebook.ipynb`
|
||||||
|
2. Los resultados cuantitativos de PaddleOCR del archivo CSV de resultados
|
||||||
|
3. La justificación de la selección de PaddleOCR para optimización
|
||||||
|
|
||||||
|
**Fuentes de datos utilizadas:**
|
||||||
|
- `ocr_benchmark_notebook.ipynb`: Código del benchmark
|
||||||
|
- `results/ai_ocr_benchmark_finetune_results_20251206_113206.csv`: Resultados numéricos
|
||||||
|
- Documentación oficial de PaddleOCR
|
||||||
212
docs/05_optimizacion_hiperparametros.md
Normal file
212
docs/05_optimizacion_hiperparametros.md
Normal file
@@ -0,0 +1,212 @@
|
|||||||
|
# Capítulo 5: Optimización de Hiperparámetros
|
||||||
|
|
||||||
|
## 5.1 Introducción
|
||||||
|
|
||||||
|
Este capítulo describe el proceso de optimización de hiperparámetros de PaddleOCR utilizando Ray Tune con el algoritmo de búsqueda Optuna. Los experimentos fueron implementados en el notebook `src/paddle_ocr_fine_tune_unir_raytune.ipynb` y los resultados se almacenaron en `src/raytune_paddle_subproc_results_20251207_192320.csv`.
|
||||||
|
|
||||||
|
## 5.2 Configuración del Experimento
|
||||||
|
|
||||||
|
### 5.2.1 Entorno de Ejecución
|
||||||
|
|
||||||
|
Según los outputs del notebook:
|
||||||
|
|
||||||
|
| Componente | Versión/Especificación |
|
||||||
|
|------------|------------------------|
|
||||||
|
| Python | 3.11.9 |
|
||||||
|
| PaddlePaddle | 3.2.2 |
|
||||||
|
| PaddleOCR | 3.3.2 |
|
||||||
|
| Ray | 2.52.1 |
|
||||||
|
| GPU | No disponible (CPU only) |
|
||||||
|
|
||||||
|
### 5.2.2 Dataset
|
||||||
|
|
||||||
|
Se utilizó un dataset estructurado en `src/dataset/` creado mediante el notebook `src/prepare_dataset.ipynb`:
|
||||||
|
|
||||||
|
- **Estructura**: Carpetas con subcarpetas `img/` y `txt/` pareadas
|
||||||
|
- **Páginas evaluadas por trial**: 5 (páginas 5-10 del documento)
|
||||||
|
- **Gestión de datos**: Clase `ImageTextDataset` en `src/dataset_manager.py`
|
||||||
|
|
||||||
|
### 5.2.3 Espacio de Búsqueda
|
||||||
|
|
||||||
|
Según el código del notebook, se definió el siguiente espacio de búsqueda:
|
||||||
|
|
||||||
|
```python
|
||||||
|
search_space = {
|
||||||
|
"use_doc_orientation_classify": tune.choice([True, False]),
|
||||||
|
"use_doc_unwarping": tune.choice([True, False]),
|
||||||
|
"textline_orientation": tune.choice([True, False]),
|
||||||
|
"text_det_thresh": tune.uniform(0.0, 0.7),
|
||||||
|
"text_det_box_thresh": tune.uniform(0.0, 0.7),
|
||||||
|
"text_det_unclip_ratio": tune.choice([0.0]), # Fijado
|
||||||
|
"text_rec_score_thresh": tune.uniform(0.0, 0.7),
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
**Descripción de parámetros** (según documentación de PaddleOCR):
|
||||||
|
|
||||||
|
| Parámetro | Descripción |
|
||||||
|
|-----------|-------------|
|
||||||
|
| `use_doc_orientation_classify` | Clasificación de orientación del documento |
|
||||||
|
| `use_doc_unwarping` | Corrección de deformación del documento |
|
||||||
|
| `textline_orientation` | Clasificación de orientación de línea de texto |
|
||||||
|
| `text_det_thresh` | Umbral de detección de píxeles de texto |
|
||||||
|
| `text_det_box_thresh` | Umbral de caja de detección |
|
||||||
|
| `text_det_unclip_ratio` | Coeficiente de expansión (fijado en 0.0) |
|
||||||
|
| `text_rec_score_thresh` | Umbral de confianza de reconocimiento |
|
||||||
|
|
||||||
|
### 5.2.4 Configuración de Ray Tune
|
||||||
|
|
||||||
|
```python
|
||||||
|
tuner = tune.Tuner(
|
||||||
|
trainable_paddle_ocr,
|
||||||
|
tune_config=tune.TuneConfig(
|
||||||
|
metric="CER",
|
||||||
|
mode="min",
|
||||||
|
search_alg=OptunaSearch(),
|
||||||
|
num_samples=64,
|
||||||
|
max_concurrent_trials=2
|
||||||
|
),
|
||||||
|
run_config=air.RunConfig(verbose=2, log_to_file=False),
|
||||||
|
param_space=search_space
|
||||||
|
)
|
||||||
|
```
|
||||||
|
|
||||||
|
- **Métrica objetivo**: CER (minimizar)
|
||||||
|
- **Algoritmo de búsqueda**: Optuna (TPE - Tree-structured Parzen Estimator)
|
||||||
|
- **Número de trials**: 64
|
||||||
|
- **Trials concurrentes**: 2
|
||||||
|
|
||||||
|
## 5.3 Resultados de la Optimización
|
||||||
|
|
||||||
|
### 5.3.1 Estadísticas Descriptivas
|
||||||
|
|
||||||
|
Del archivo CSV de resultados (`raytune_paddle_subproc_results_20251207_192320.csv`):
|
||||||
|
|
||||||
|
| Estadística | CER | WER | Tiempo (s) | Tiempo/Página (s) |
|
||||||
|
|-------------|-----|-----|------------|-------------------|
|
||||||
|
| **count** | 64 | 64 | 64 | 64 |
|
||||||
|
| **mean** | 5.25% | 14.28% | 347.61 | 69.42 |
|
||||||
|
| **std** | 11.03% | 10.75% | 7.88 | 1.57 |
|
||||||
|
| **min** | 1.15% | 9.89% | 320.97 | 64.10 |
|
||||||
|
| **25%** | 1.20% | 10.04% | 344.24 | 68.76 |
|
||||||
|
| **50%** | 1.23% | 10.20% | 346.42 | 69.19 |
|
||||||
|
| **75%** | 4.03% | 13.20% | 350.14 | 69.93 |
|
||||||
|
| **max** | 51.61% | 59.45% | 368.57 | 73.63 |
|
||||||
|
|
||||||
|
### 5.3.2 Mejor Configuración Encontrada
|
||||||
|
|
||||||
|
Según el análisis del notebook:
|
||||||
|
|
||||||
|
```
|
||||||
|
Best CER: 0.011535 (1.15%)
|
||||||
|
Best WER: 0.098902 (9.89%)
|
||||||
|
|
||||||
|
Configuración óptima:
|
||||||
|
textline_orientation: True
|
||||||
|
use_doc_orientation_classify: False
|
||||||
|
use_doc_unwarping: False
|
||||||
|
text_det_thresh: 0.4690
|
||||||
|
text_det_box_thresh: 0.5412
|
||||||
|
text_det_unclip_ratio: 0.0
|
||||||
|
text_rec_score_thresh: 0.6350
|
||||||
|
```
|
||||||
|
|
||||||
|
### 5.3.3 Análisis de Correlación
|
||||||
|
|
||||||
|
Correlación de Pearson entre parámetros y métricas de error (del notebook):
|
||||||
|
|
||||||
|
**Correlación con CER:**
|
||||||
|
| Parámetro | Correlación |
|
||||||
|
|-----------|-------------|
|
||||||
|
| CER | 1.000 |
|
||||||
|
| config/text_det_box_thresh | 0.226 |
|
||||||
|
| config/text_rec_score_thresh | -0.161 |
|
||||||
|
| **config/text_det_thresh** | **-0.523** |
|
||||||
|
| config/text_det_unclip_ratio | NaN |
|
||||||
|
|
||||||
|
**Correlación con WER:**
|
||||||
|
| Parámetro | Correlación |
|
||||||
|
|-----------|-------------|
|
||||||
|
| WER | 1.000 |
|
||||||
|
| config/text_det_box_thresh | 0.227 |
|
||||||
|
| config/text_rec_score_thresh | -0.173 |
|
||||||
|
| **config/text_det_thresh** | **-0.521** |
|
||||||
|
| config/text_det_unclip_ratio | NaN |
|
||||||
|
|
||||||
|
**Hallazgo clave**: El parámetro `text_det_thresh` muestra la correlación más fuerte (-0.52), indicando que valores más altos de este umbral tienden a reducir el error.
|
||||||
|
|
||||||
|
### 5.3.4 Impacto del Parámetro textline_orientation
|
||||||
|
|
||||||
|
Según el análisis del notebook, este parámetro booleano tiene el mayor impacto:
|
||||||
|
|
||||||
|
| textline_orientation | CER Medio | WER Medio |
|
||||||
|
|---------------------|-----------|-----------|
|
||||||
|
| True | ~3.76% | ~12.73% |
|
||||||
|
| False | ~12.40% | ~21.71% |
|
||||||
|
|
||||||
|
**Interpretación del notebook**:
|
||||||
|
> "7x better CER with textline_orientation=True. And the variance is much tighter — more reliable results. For Spanish business documents with mixed layouts (tables, headers, addresses), orientation classification helps PaddleOCR correctly order text lines."
|
||||||
|
|
||||||
|
### 5.3.5 Análisis de Fallos
|
||||||
|
|
||||||
|
Los trials con CER muy alto (>40%) se produjeron cuando:
|
||||||
|
- `text_det_thresh` < 0.1 (valores muy bajos)
|
||||||
|
- `textline_orientation = False`
|
||||||
|
|
||||||
|
Ejemplo de trial con fallo catastrófico:
|
||||||
|
- CER: 51.61%
|
||||||
|
- WER: 59.45%
|
||||||
|
- Configuración: `text_det_thresh=0.017`, `textline_orientation=True`
|
||||||
|
|
||||||
|
## 5.4 Comparación Baseline vs Optimizado
|
||||||
|
|
||||||
|
### 5.4.1 Resultados sobre Dataset Completo (24 páginas)
|
||||||
|
|
||||||
|
Del análisis final del notebook ejecutando sobre las 24 páginas:
|
||||||
|
|
||||||
|
| Modelo | CER | WER |
|
||||||
|
|--------|-----|-----|
|
||||||
|
| PaddleOCR (Baseline) | 7.78% | 14.94% |
|
||||||
|
| PaddleOCR-HyperAdjust | 1.49% | 7.62% |
|
||||||
|
|
||||||
|
### 5.4.2 Métricas de Mejora
|
||||||
|
|
||||||
|
| Métrica | Baseline | Optimizado | Mejora Absoluta | Reducción Error |
|
||||||
|
|---------|----------|------------|-----------------|-----------------|
|
||||||
|
| CER | 7.78% | 1.49% | -6.29 pp | 80.9% |
|
||||||
|
| WER | 14.94% | 7.62% | -7.32 pp | 49.0% |
|
||||||
|
|
||||||
|
### 5.4.3 Interpretación (del notebook)
|
||||||
|
|
||||||
|
> "La optimización de hiperparámetros mejoró la precisión de caracteres de 92.2% a 98.5%, una ganancia de 6.3 puntos porcentuales. Aunque el baseline ya ofrecía resultados aceptables, la configuración optimizada reduce los errores residuales en un 80.9%."
|
||||||
|
|
||||||
|
**Impacto práctico**: En un documento de 10,000 caracteres:
|
||||||
|
- Baseline: ~778 caracteres con error
|
||||||
|
- Optimizado: ~149 caracteres con error
|
||||||
|
- Diferencia: ~629 caracteres menos con errores
|
||||||
|
|
||||||
|
## 5.5 Tiempo de Ejecución
|
||||||
|
|
||||||
|
| Métrica | Valor |
|
||||||
|
|---------|-------|
|
||||||
|
| Tiempo total del experimento | ~6 horas (64 trials × ~6 min/trial) |
|
||||||
|
| Tiempo medio por trial | 367.72 segundos |
|
||||||
|
| Tiempo medio por página | 69.42 segundos |
|
||||||
|
| Total páginas procesadas | 64 trials × 5 páginas = 320 evaluaciones |
|
||||||
|
|
||||||
|
## 5.6 Resumen del Capítulo
|
||||||
|
|
||||||
|
Este capítulo ha presentado:
|
||||||
|
|
||||||
|
1. **Configuración del experimento**: 64 trials con Ray Tune + Optuna sobre 7 hiperparámetros
|
||||||
|
2. **Resultados estadísticos**: CER medio 5.25%, CER mínimo 1.15%
|
||||||
|
3. **Hallazgos clave**:
|
||||||
|
- `textline_orientation=True` es crítico (reduce CER ~70%)
|
||||||
|
- `text_det_thresh` tiene correlación -0.52 con CER
|
||||||
|
- Valores bajos de `text_det_thresh` (<0.1) causan fallos catastróficos
|
||||||
|
4. **Mejora final**: CER reducido de 7.78% a 1.49% (reducción del 80.9%)
|
||||||
|
|
||||||
|
**Fuentes de datos:**
|
||||||
|
- `src/paddle_ocr_fine_tune_unir_raytune.ipynb`: Código del experimento
|
||||||
|
- `src/raytune_paddle_subproc_results_20251207_192320.csv`: Resultados de 64 trials
|
||||||
|
- `src/paddle_ocr_tuning.py`: Script de evaluación
|
||||||
183
docs/06_resultados_discusion.md
Normal file
183
docs/06_resultados_discusion.md
Normal file
@@ -0,0 +1,183 @@
|
|||||||
|
# Capítulo 6: Resultados y Discusión
|
||||||
|
|
||||||
|
## 6.1 Introducción
|
||||||
|
|
||||||
|
Este capítulo presenta un análisis consolidado de los resultados obtenidos en las fases de benchmark comparativo y optimización de hiperparámetros. Se discuten las implicaciones prácticas y se evalúa el cumplimiento de los objetivos planteados.
|
||||||
|
|
||||||
|
## 6.2 Resumen de Resultados
|
||||||
|
|
||||||
|
### 6.2.1 Resultados del Benchmark Comparativo
|
||||||
|
|
||||||
|
Del archivo `results/ai_ocr_benchmark_finetune_results_20251206_113206.csv`, PaddleOCR con configuración inicial (`use_textline_orientation=True`) obtuvo los siguientes resultados en las páginas 5-9:
|
||||||
|
|
||||||
|
| Página | WER | CER |
|
||||||
|
|--------|-----|-----|
|
||||||
|
| 5 | 12.16% | 6.33% |
|
||||||
|
| 6 | 12.81% | 6.40% |
|
||||||
|
| 7 | 11.06% | 6.24% |
|
||||||
|
| 8 | 8.13% | 1.54% |
|
||||||
|
| 9 | 10.61% | 5.58% |
|
||||||
|
| **Promedio** | **10.95%** | **5.22%** |
|
||||||
|
|
||||||
|
### 6.2.2 Resultados de la Optimización con Ray Tune
|
||||||
|
|
||||||
|
Del archivo `src/raytune_paddle_subproc_results_20251207_192320.csv` (64 trials):
|
||||||
|
|
||||||
|
| Métrica | Valor |
|
||||||
|
|---------|-------|
|
||||||
|
| CER mínimo | 1.15% |
|
||||||
|
| CER medio | 5.25% |
|
||||||
|
| CER máximo | 51.61% |
|
||||||
|
| WER mínimo | 9.89% |
|
||||||
|
| WER medio | 14.28% |
|
||||||
|
| WER máximo | 59.45% |
|
||||||
|
|
||||||
|
### 6.2.3 Comparación Final (Dataset Completo - 24 páginas)
|
||||||
|
|
||||||
|
Resultados del notebook `src/paddle_ocr_fine_tune_unir_raytune.ipynb`:
|
||||||
|
|
||||||
|
| Modelo | CER | Precisión Caracteres | WER | Precisión Palabras |
|
||||||
|
|--------|-----|---------------------|-----|-------------------|
|
||||||
|
| PaddleOCR (Baseline) | 7.78% | 92.22% | 14.94% | 85.06% |
|
||||||
|
| PaddleOCR-HyperAdjust | 1.49% | 98.51% | 7.62% | 92.38% |
|
||||||
|
|
||||||
|
## 6.3 Análisis de Resultados
|
||||||
|
|
||||||
|
### 6.3.1 Mejora Obtenida
|
||||||
|
|
||||||
|
| Forma de Medición | Valor |
|
||||||
|
|-------------------|-------|
|
||||||
|
| Mejora en precisión de caracteres (absoluta) | +6.29 puntos porcentuales |
|
||||||
|
| Reducción del CER (relativa) | 80.9% |
|
||||||
|
| Mejora en precisión de palabras (absoluta) | +7.32 puntos porcentuales |
|
||||||
|
| Reducción del WER (relativa) | 49.0% |
|
||||||
|
| Precisión final de caracteres | 98.51% |
|
||||||
|
|
||||||
|
### 6.3.2 Impacto de Hiperparámetros Individuales
|
||||||
|
|
||||||
|
#### Parámetro `textline_orientation`
|
||||||
|
|
||||||
|
Este parámetro booleano demostró ser el más influyente:
|
||||||
|
|
||||||
|
| Valor | CER Medio | Impacto |
|
||||||
|
|-------|-----------|---------|
|
||||||
|
| True | ~3.76% | Rendimiento óptimo |
|
||||||
|
| False | ~12.40% | 3.3x peor |
|
||||||
|
|
||||||
|
**Reducción del CER**: 69.7% cuando se habilita la clasificación de orientación de línea.
|
||||||
|
|
||||||
|
#### Parámetro `text_det_thresh`
|
||||||
|
|
||||||
|
Correlación con CER: **-0.523** (la más fuerte de los parámetros continuos)
|
||||||
|
|
||||||
|
| Rango | Comportamiento |
|
||||||
|
|-------|----------------|
|
||||||
|
| < 0.1 | Fallos catastróficos (CER 40-50%) |
|
||||||
|
| 0.3 - 0.6 | Rendimiento óptimo |
|
||||||
|
| Valor óptimo | 0.4690 |
|
||||||
|
|
||||||
|
#### Parámetros con menor impacto
|
||||||
|
|
||||||
|
| Parámetro | Correlación con CER | Valor óptimo |
|
||||||
|
|-----------|---------------------|--------------|
|
||||||
|
| text_det_box_thresh | +0.226 | 0.5412 |
|
||||||
|
| text_rec_score_thresh | -0.161 | 0.6350 |
|
||||||
|
| use_doc_orientation_classify | - | False |
|
||||||
|
| use_doc_unwarping | - | False |
|
||||||
|
|
||||||
|
### 6.3.3 Configuración Óptima Final
|
||||||
|
|
||||||
|
```python
|
||||||
|
config_optimizada = {
|
||||||
|
"textline_orientation": True, # CRÍTICO
|
||||||
|
"use_doc_orientation_classify": False,
|
||||||
|
"use_doc_unwarping": False,
|
||||||
|
"text_det_thresh": 0.4690, # Correlación -0.52
|
||||||
|
"text_det_box_thresh": 0.5412,
|
||||||
|
"text_det_unclip_ratio": 0.0,
|
||||||
|
"text_rec_score_thresh": 0.6350,
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
## 6.4 Discusión
|
||||||
|
|
||||||
|
### 6.4.1 Hallazgos Principales
|
||||||
|
|
||||||
|
1. **Importancia de la clasificación de orientación de línea**: El parámetro `textline_orientation=True` es el factor más determinante. Esto tiene sentido para documentos con layouts mixtos (tablas, encabezados, direcciones) donde el orden correcto de las líneas de texto es crucial.
|
||||||
|
|
||||||
|
2. **Umbral de detección crítico**: El parámetro `text_det_thresh` presenta un umbral mínimo efectivo (~0.1). Valores inferiores generan demasiados falsos positivos en la detección, corrompiendo el reconocimiento posterior.
|
||||||
|
|
||||||
|
3. **Componentes opcionales innecesarios**: Para documentos académicos digitales (no escaneados), los módulos de corrección de orientación de documento (`use_doc_orientation_classify`) y corrección de deformación (`use_doc_unwarping`) no aportan mejora e incluso pueden introducir overhead.
|
||||||
|
|
||||||
|
### 6.4.2 Interpretación de la Correlación Negativa
|
||||||
|
|
||||||
|
La correlación negativa de `text_det_thresh` (-0.52) con el CER indica que:
|
||||||
|
- Umbrales más altos filtran detecciones de baja confianza
|
||||||
|
- Esto reduce falsos positivos que generan texto erróneo
|
||||||
|
- El reconocimiento es más preciso con menos regiones pero más confiables
|
||||||
|
|
||||||
|
### 6.4.3 Limitaciones de los Resultados
|
||||||
|
|
||||||
|
1. **Generalización**: Los resultados se obtuvieron sobre documentos de un único tipo (instrucciones académicas UNIR). La configuración óptima puede variar para otros tipos de documentos.
|
||||||
|
|
||||||
|
2. **Ground truth automático**: El texto de referencia se extrajo programáticamente del PDF. En layouts complejos, esto puede introducir errores en la evaluación.
|
||||||
|
|
||||||
|
3. **Ejecución en CPU**: Los tiempos reportados (~69s/página) corresponden a ejecución en CPU. Con GPU, los tiempos serían significativamente menores.
|
||||||
|
|
||||||
|
4. **Parámetro fijo**: `text_det_unclip_ratio` permaneció fijo en 0.0 durante todo el experimento por decisión de diseño.
|
||||||
|
|
||||||
|
### 6.4.4 Comparación con Objetivos
|
||||||
|
|
||||||
|
| Objetivo | Meta | Resultado | Cumplimiento |
|
||||||
|
|----------|------|-----------|--------------|
|
||||||
|
| OE1: Comparar soluciones OCR | Evaluar EasyOCR, PaddleOCR, DocTR | PaddleOCR seleccionado | ✓ |
|
||||||
|
| OE2: Preparar dataset | Construir dataset estructurado | Dataset de 24 páginas | ✓ |
|
||||||
|
| OE3: Identificar hiperparámetros críticos | Analizar correlaciones | `textline_orientation` y `text_det_thresh` identificados | ✓ |
|
||||||
|
| OE4: Optimizar con Ray Tune | Mínimo 50 configuraciones | 64 trials ejecutados | ✓ |
|
||||||
|
| OE5: Validar configuración | Documentar mejora | CER 7.78% → 1.49% | ✓ |
|
||||||
|
| **Objetivo General** | CER < 2% | CER = 1.49% | ✓ |
|
||||||
|
|
||||||
|
## 6.5 Implicaciones Prácticas
|
||||||
|
|
||||||
|
### 6.5.1 Recomendaciones de Configuración
|
||||||
|
|
||||||
|
Para documentos académicos en español similares a los evaluados:
|
||||||
|
|
||||||
|
1. **Obligatorio**: `use_textline_orientation=True`
|
||||||
|
2. **Recomendado**: `text_det_thresh` entre 0.4 y 0.5
|
||||||
|
3. **Opcional**: `text_det_box_thresh` ~0.5, `text_rec_score_thresh` >0.6
|
||||||
|
4. **No recomendado**: Habilitar `use_doc_orientation_classify` o `use_doc_unwarping` para documentos digitales
|
||||||
|
|
||||||
|
### 6.5.2 Impacto Cuantitativo
|
||||||
|
|
||||||
|
En un documento típico de 10,000 caracteres:
|
||||||
|
|
||||||
|
| Configuración | Errores estimados |
|
||||||
|
|---------------|-------------------|
|
||||||
|
| Baseline | ~778 caracteres |
|
||||||
|
| Optimizada | ~149 caracteres |
|
||||||
|
| **Reducción** | **629 caracteres menos con errores** |
|
||||||
|
|
||||||
|
### 6.5.3 Aplicabilidad
|
||||||
|
|
||||||
|
Esta metodología de optimización es aplicable cuando:
|
||||||
|
- No se dispone de recursos GPU para fine-tuning
|
||||||
|
- El modelo preentrenado ya tiene soporte para el idioma objetivo
|
||||||
|
- Se busca mejorar rendimiento sin reentrenar
|
||||||
|
|
||||||
|
## 6.6 Resumen del Capítulo
|
||||||
|
|
||||||
|
Este capítulo ha presentado:
|
||||||
|
|
||||||
|
1. Los resultados consolidados del benchmark y la optimización
|
||||||
|
2. El análisis del impacto de cada hiperparámetro
|
||||||
|
3. La configuración óptima identificada
|
||||||
|
4. La discusión de limitaciones y aplicabilidad
|
||||||
|
5. El cumplimiento de los objetivos planteados
|
||||||
|
|
||||||
|
**Resultado principal**: Se logró reducir el CER del 7.78% al 1.49% (mejora del 80.9%) mediante optimización de hiperparámetros, cumpliendo el objetivo de alcanzar CER < 2%.
|
||||||
|
|
||||||
|
**Fuentes de datos:**
|
||||||
|
- `results/ai_ocr_benchmark_finetune_results_20251206_113206.csv`
|
||||||
|
- `src/raytune_paddle_subproc_results_20251207_192320.csv`
|
||||||
|
- `src/paddle_ocr_fine_tune_unir_raytune.ipynb`
|
||||||
126
docs/07_conclusiones_trabajo_futuro.md
Normal file
126
docs/07_conclusiones_trabajo_futuro.md
Normal file
@@ -0,0 +1,126 @@
|
|||||||
|
# Capítulo 7: Conclusiones y Trabajo Futuro
|
||||||
|
|
||||||
|
## 7.1 Conclusiones
|
||||||
|
|
||||||
|
### 7.1.1 Conclusiones Generales
|
||||||
|
|
||||||
|
Este Trabajo Fin de Máster ha demostrado que es posible mejorar significativamente el rendimiento de sistemas OCR preentrenados mediante optimización sistemática de hiperparámetros, sin requerir fine-tuning ni recursos GPU dedicados.
|
||||||
|
|
||||||
|
El objetivo principal del trabajo era alcanzar un CER inferior al 2% en documentos académicos en español. Los resultados obtenidos confirman el cumplimiento de este objetivo:
|
||||||
|
|
||||||
|
| Métrica | Objetivo | Resultado |
|
||||||
|
|---------|----------|-----------|
|
||||||
|
| CER | < 2% | **1.49%** |
|
||||||
|
|
||||||
|
### 7.1.2 Conclusiones Específicas
|
||||||
|
|
||||||
|
**Respecto a OE1 (Comparativa de soluciones OCR)**:
|
||||||
|
- Se evaluaron tres soluciones OCR de código abierto: EasyOCR, PaddleOCR (PP-OCRv5) y DocTR
|
||||||
|
- PaddleOCR demostró el mejor rendimiento base para documentos en español
|
||||||
|
- La configurabilidad del pipeline de PaddleOCR lo hace idóneo para optimización
|
||||||
|
|
||||||
|
**Respecto a OE2 (Preparación del dataset)**:
|
||||||
|
- Se construyó un dataset estructurado con 24 páginas de documentos académicos
|
||||||
|
- La clase `ImageTextDataset` facilita la carga de pares imagen-texto
|
||||||
|
- El ground truth se extrajo automáticamente del PDF mediante PyMuPDF
|
||||||
|
|
||||||
|
**Respecto a OE3 (Identificación de hiperparámetros críticos)**:
|
||||||
|
- El parámetro `textline_orientation` es el más influyente: reduce el CER en un 69.7% cuando está habilitado
|
||||||
|
- El umbral `text_det_thresh` presenta la correlación más fuerte (-0.52) con el CER
|
||||||
|
- Los parámetros de corrección de documento (`use_doc_orientation_classify`, `use_doc_unwarping`) no aportan mejora en documentos digitales
|
||||||
|
|
||||||
|
**Respecto a OE4 (Optimización con Ray Tune)**:
|
||||||
|
- Se ejecutaron 64 trials con el algoritmo OptunaSearch
|
||||||
|
- El tiempo total del experimento fue aproximadamente 6 horas (en CPU)
|
||||||
|
- La arquitectura basada en subprocesos permitió superar incompatibilidades entre Ray y PaddleOCR
|
||||||
|
|
||||||
|
**Respecto a OE5 (Validación de la configuración)**:
|
||||||
|
- Se validó la configuración óptima sobre el dataset completo de 24 páginas
|
||||||
|
- La mejora obtenida fue del 80.9% en reducción del CER (7.78% → 1.49%)
|
||||||
|
- La precisión de caracteres alcanzó el 98.51%
|
||||||
|
|
||||||
|
### 7.1.3 Hallazgos Clave
|
||||||
|
|
||||||
|
1. **Arquitectura sobre umbrales**: Un único parámetro booleano (`textline_orientation`) tiene más impacto que todos los umbrales continuos combinados.
|
||||||
|
|
||||||
|
2. **Umbrales mínimos efectivos**: Valores de `text_det_thresh` < 0.1 causan fallos catastróficos (CER >40%).
|
||||||
|
|
||||||
|
3. **Simplicidad para documentos digitales**: Para documentos PDF digitales (no escaneados), los módulos de corrección de orientación y deformación son innecesarios.
|
||||||
|
|
||||||
|
4. **Optimización sin fine-tuning**: Se puede mejorar significativamente el rendimiento de modelos preentrenados mediante ajuste de hiperparámetros de inferencia.
|
||||||
|
|
||||||
|
## 7.2 Contribuciones del Trabajo
|
||||||
|
|
||||||
|
1. **Metodología reproducible**: Se documenta un proceso completo de optimización de hiperparámetros OCR con Ray Tune + Optuna.
|
||||||
|
|
||||||
|
2. **Análisis de hiperparámetros de PaddleOCR**: Se cuantifica el impacto de cada parámetro configurable mediante correlaciones y análisis comparativo.
|
||||||
|
|
||||||
|
3. **Configuración óptima para español**: Se proporciona una configuración validada para documentos académicos en español.
|
||||||
|
|
||||||
|
4. **Código fuente**: Todo el código está disponible en el repositorio GitHub para reproducción y extensión.
|
||||||
|
|
||||||
|
## 7.3 Limitaciones del Trabajo
|
||||||
|
|
||||||
|
1. **Tipo de documento único**: Los experimentos se realizaron únicamente sobre documentos académicos de UNIR. La generalización a otros tipos de documentos requiere validación adicional.
|
||||||
|
|
||||||
|
2. **Tamaño del dataset**: 24 páginas es un corpus limitado para conclusiones estadísticamente robustas.
|
||||||
|
|
||||||
|
3. **Ground truth automático**: La extracción automática del texto de referencia puede introducir errores en layouts complejos.
|
||||||
|
|
||||||
|
4. **Ejecución en CPU**: Los tiempos de procesamiento (~69s/página) limitan la aplicabilidad en escenarios de alto volumen.
|
||||||
|
|
||||||
|
5. **Parámetro no explorado**: `text_det_unclip_ratio` permaneció fijo en 0.0 durante todo el experimento.
|
||||||
|
|
||||||
|
## 7.4 Trabajo Futuro
|
||||||
|
|
||||||
|
### 7.4.1 Extensiones Inmediatas
|
||||||
|
|
||||||
|
1. **Validación cruzada**: Evaluar la configuración óptima en otros tipos de documentos en español (facturas, formularios, textos manuscritos).
|
||||||
|
|
||||||
|
2. **Exploración de `text_det_unclip_ratio`**: Incluir este parámetro en el espacio de búsqueda.
|
||||||
|
|
||||||
|
3. **Dataset ampliado**: Construir un corpus más amplio y diverso de documentos en español.
|
||||||
|
|
||||||
|
4. **Evaluación con GPU**: Medir tiempos de inferencia con aceleración GPU.
|
||||||
|
|
||||||
|
### 7.4.2 Líneas de Investigación
|
||||||
|
|
||||||
|
1. **Transfer learning de hiperparámetros**: Investigar si las configuraciones óptimas para un tipo de documento transfieren a otros dominios.
|
||||||
|
|
||||||
|
2. **Optimización multi-objetivo**: Considerar simultáneamente CER, WER y tiempo de inferencia como objetivos.
|
||||||
|
|
||||||
|
3. **AutoML para OCR**: Aplicar técnicas de AutoML más avanzadas (Neural Architecture Search, meta-learning).
|
||||||
|
|
||||||
|
4. **Comparación con fine-tuning**: Cuantificar la brecha de rendimiento entre optimización de hiperparámetros y fine-tuning real.
|
||||||
|
|
||||||
|
### 7.4.3 Aplicaciones Prácticas
|
||||||
|
|
||||||
|
1. **Herramienta de configuración automática**: Desarrollar una herramienta que determine automáticamente la configuración óptima para un nuevo tipo de documento.
|
||||||
|
|
||||||
|
2. **Integración en pipelines de producción**: Implementar la configuración optimizada en sistemas reales de procesamiento documental.
|
||||||
|
|
||||||
|
3. **Benchmark público**: Publicar un benchmark de OCR para documentos en español que facilite la comparación de soluciones.
|
||||||
|
|
||||||
|
## 7.5 Reflexión Final
|
||||||
|
|
||||||
|
Este trabajo demuestra que, en un contexto de recursos limitados donde el fine-tuning de modelos de deep learning no es viable, la optimización de hiperparámetros representa una alternativa práctica y efectiva para mejorar sistemas OCR.
|
||||||
|
|
||||||
|
La metodología propuesta es reproducible, los resultados son cuantificables, y las conclusiones son aplicables a escenarios reales de procesamiento documental. La reducción del CER del 7.78% al 1.49% representa una mejora sustancial que puede tener impacto directo en aplicaciones downstream como extracción de información, análisis semántico y búsqueda de documentos.
|
||||||
|
|
||||||
|
El código fuente y los datos experimentales están disponibles públicamente para facilitar la reproducción y extensión de este trabajo.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Referencias
|
||||||
|
|
||||||
|
**Herramientas y bibliotecas utilizadas:**
|
||||||
|
|
||||||
|
- PaddleOCR: https://github.com/PaddlePaddle/PaddleOCR
|
||||||
|
- Ray Tune: https://docs.ray.io/en/latest/tune/index.html
|
||||||
|
- Optuna: https://optuna.org/
|
||||||
|
- PyMuPDF: https://pymupdf.readthedocs.io/
|
||||||
|
- jiwer: https://github.com/jitsi/jiwer
|
||||||
|
|
||||||
|
**Repositorio del proyecto:**
|
||||||
|
|
||||||
|
- GitHub: https://seryus.ddns.net/unir/MastersThesis
|
||||||
Reference in New Issue
Block a user