diff --git a/ADVANCED_OCR_PHASE4.md b/ADVANCED_OCR_PHASE4.md index f5f437b40..e731793bd 100644 --- a/ADVANCED_OCR_PHASE4.md +++ b/ADVANCED_OCR_PHASE4.md @@ -178,7 +178,7 @@ if tables: line_items = tables[0]['data'] print("Line Items:") print(line_items) - + # Calculate total if 'Amount' in line_items.columns: total = line_items['Amount'].sum() @@ -230,19 +230,19 @@ from documents.ocr import TableExtractor, HandwritingRecognizer, FormFieldDetect def digitize_document(image_path): """Complete document digitization.""" - + # Extract tables table_extractor = TableExtractor() tables = table_extractor.extract_tables_from_image(image_path) - + # Extract handwritten notes handwriting = HandwritingRecognizer() notes = handwriting.recognize_from_file(image_path, mode='lines') - + # Extract form fields form_detector = FormFieldDetector() form_data = form_detector.extract_form_data(image_path) - + return { 'tables': tables, 'handwritten_notes': notes, @@ -392,22 +392,22 @@ from documents.ocr import TableExtractor, HandwritingRecognizer def process_document(document): """Enhanced document processing with advanced OCR.""" - + # Existing OCR (Tesseract) basic_text = run_tesseract(document.path) - + # Advanced table extraction if document.has_tables: table_extractor = TableExtractor() tables = table_extractor.extract_tables_from_image(document.path) document.extracted_tables = tables - + # Handwriting recognition for specific document types if document.document_type == 'handwritten_form': recognizer = HandwritingRecognizer() handwritten_text = recognizer.recognize_from_file(document.path) document.content = basic_text + "\n\n" + handwritten_text['text'] - + return document ``` @@ -420,23 +420,23 @@ Add rules for specific document types: class EnhancedRasterisedDocumentParser(RasterisedDocumentParser): """Extended parser with advanced OCR.""" - + def parse(self, document_path, mime_type, file_name=None): # Call parent parser content = super().parse(document_path, mime_type, file_name) - + # Add table extraction for invoices if self._is_invoice(file_name): from documents.ocr import TableExtractor extractor = TableExtractor() tables = extractor.extract_tables_from_image(document_path) - + # Append table data to content for i, table in enumerate(tables): content += f"\n\n[Table {i+1}]\n" if table['data'] is not None: content += table['data'].to_string() - + return content ``` @@ -452,7 +452,7 @@ from documents.ocr import TableExtractor def test_table_detection(): extractor = TableExtractor() tables = extractor.extract_tables_from_image("tests/fixtures/invoice.png") - + assert len(tables) > 0 assert tables[0]['detection_score'] > 0.7 assert tables[0]['data'] is not None @@ -460,7 +460,7 @@ def test_table_detection(): def test_table_to_dataframe(): extractor = TableExtractor() tables = extractor.extract_tables_from_image("tests/fixtures/table.png") - + df = tables[0]['data'] assert df.shape[0] > 0 # Has rows assert df.shape[1] > 0 # Has columns @@ -472,12 +472,12 @@ def test_table_to_dataframe(): def test_full_document_pipeline(): """Test complete OCR pipeline.""" from documents.ocr import TableExtractor, HandwritingRecognizer, FormFieldDetector - + # Process test document tables = TableExtractor().extract_tables_from_image("tests/fixtures/form.jpg") handwriting = HandwritingRecognizer().recognize_from_file("tests/fixtures/form.jpg") form_data = FormFieldDetector().extract_form_data("tests/fixtures/form.jpg") - + # Verify results assert len(tables) > 0 assert len(handwriting['text']) > 0 diff --git a/AI_ML_ENHANCEMENT_PHASE3.md b/AI_ML_ENHANCEMENT_PHASE3.md index 338004824..f677d32cd 100644 --- a/AI_ML_ENHANCEMENT_PHASE3.md +++ b/AI_ML_ENHANCEMENT_PHASE3.md @@ -279,7 +279,7 @@ Models are downloaded automatically on first use: from documents.ml import TransformerDocumentClassifier, DocumentNER, SemanticSearch classifier = TransformerDocumentClassifier() # Downloads distilbert -ner = DocumentNER() # Downloads NER model +ner = DocumentNER() # Downloads NER model search = SemanticSearch() # Downloads sentence transformer ``` @@ -293,30 +293,30 @@ from documents.ml import DocumentNER def consume_document(self, document): # ... existing processing ... - + # Extract entities automatically ner = DocumentNER() entities = ner.extract_all(document.content) - + # Auto-suggest correspondent if not document.correspondent and entities['organizations']: suggested = entities['organizations'][0] # Create or find correspondent document.correspondent = get_or_create_correspondent(suggested) - + # Auto-suggest tags suggested_tags = ner.suggest_tags(document.content) for tag_name in suggested_tags: tag = get_or_create_tag(tag_name) document.tags.add(tag) - + # Store extracted data as custom fields document.custom_fields = { 'extracted_dates': entities['dates'], 'extracted_amounts': entities['amounts'], 'extracted_emails': entities['emails'], } - + document.save() ``` @@ -519,7 +519,7 @@ entities = ner.extract_entities(text) ### Memory (RAM) - **Model Loading**: 1-2GB per model -- **Inference**: +- **Inference**: - CPU: 2-4GB - GPU: 4-8GB (recommended) @@ -693,13 +693,13 @@ Process large batches in background tasks: def index_documents_task(document_ids): search = SemanticSearch() search.load_index('./semantic_index.pt') - + documents = Document.objects.filter(id__in=document_ids) batch = [ (doc.id, doc.content, {'title': doc.title}) for doc in documents ] - + search.index_documents_batch(batch) search.save_index('./semantic_index.pt') ``` diff --git a/AI_SCANNER_IMPLEMENTATION.md b/AI_SCANNER_IMPLEMENTATION.md index a5f890da6..540cfda09 100644 --- a/AI_SCANNER_IMPLEMENTATION.md +++ b/AI_SCANNER_IMPLEMENTATION.md @@ -65,7 +65,7 @@ The AI automatically suggests and applies tags based on: - Existing tag patterns and matching rules - ML classification results -**Confidence Range**: 0.65-0.85 +**Confidence Range**: 0.65-0.85 **Location**: `ai_scanner.py` → `_suggest_tags()` ### 3. Correspondent Detection @@ -75,7 +75,7 @@ The AI detects correspondents using: - Email domain analysis - Existing correspondent matching patterns -**Confidence Range**: 0.70-0.85 +**Confidence Range**: 0.70-0.85 **Location**: `ai_scanner.py` → `_detect_correspondent()` ### 4. Document Type Classification @@ -85,7 +85,7 @@ The AI classifies document types using: - Pattern matching - Content analysis -**Confidence**: 0.85 +**Confidence**: 0.85 **Location**: `ai_scanner.py` → `_classify_document_type()` ### 5. Storage Path Assignment @@ -96,7 +96,7 @@ The AI suggests storage paths based on: - Correspondent - Tags -**Confidence**: 0.80 +**Confidence**: 0.80 **Location**: `ai_scanner.py` → `_suggest_storage_path()` ### 6. Custom Field Extraction @@ -106,7 +106,7 @@ The AI extracts custom field values using: - Pattern matching based on field names - Smart mapping (e.g., "date" field → extracted dates) -**Confidence Range**: 0.70-0.85 +**Confidence Range**: 0.70-0.85 **Location**: `ai_scanner.py` → `_extract_custom_fields()` ### 7. Workflow Assignment @@ -116,7 +116,7 @@ The AI suggests relevant workflows by: - Matching document characteristics - Analyzing triggers -**Confidence Range**: 0.50-1.0 +**Confidence Range**: 0.50-1.0 **Location**: `ai_scanner.py` → `_suggest_workflows()` ### 8. Title Generation @@ -137,19 +137,19 @@ This is implemented through: - **DeletionRequest Model**: Tracks all deletion requests - Fields: reason, user, status, documents, impact_summary, reviewed_by, etc. - Methods: `approve()`, `reject()` - + - **Impact Analysis**: Comprehensive analysis of what will be deleted - Document count and details - Affected tags, correspondents, types - Date range - All necessary information for informed decision - + - **User Approval Workflow**: 1. AI creates DeletionRequest 2. User receives comprehensive information 3. User must explicitly approve or reject 4. Only then can deletion proceed - + - **Safety Guarantee**: `AIDeletionManager.can_ai_delete_automatically()` always returns False **Location**: `models.py` → `DeletionRequest`, `ai_deletion_manager.py` → `AIDeletionManager` @@ -355,7 +355,7 @@ All code has been validated for syntax, follows the project's coding standards, --- -**Implementation Status**: ✅ COMPLETE -**Commits**: 089cd1f, 514af30, 3e8fd17 -**Documentation**: BITACORA_MAESTRA.md updated +**Implementation Status**: ✅ COMPLETE +**Commits**: 089cd1f, 514af30, 3e8fd17 +**Documentation**: BITACORA_MAESTRA.md updated **Validation**: Python syntax verified diff --git a/AI_SCANNER_IMPROVEMENT_PLAN.md b/AI_SCANNER_IMPROVEMENT_PLAN.md index b6628b4f2..4f2479676 100644 --- a/AI_SCANNER_IMPROVEMENT_PLAN.md +++ b/AI_SCANNER_IMPROVEMENT_PLAN.md @@ -1,15 +1,15 @@ # AI Scanner - Plan de Mejoras y Siguientes Pasos ## Documento de Planificación -**Fecha**: 2025-11-11 -**Proyecto**: IntelliDocs-ngx AI Scanner +**Fecha**: 2025-11-11 +**Proyecto**: IntelliDocs-ngx AI Scanner **Estado**: PRODUCTION READY - Mejoras Planificadas --- ## 📋 Resumen Ejecutivo -El sistema AI Scanner está completamente implementado y funcional. Este documento detalla todas las mejoras, optimizaciones y tareas pendientes organizadas por prioridad y área. +El sistema AI Scanner está completamente implementado y functional. Este documento detalla todas las mejoras, optimizaciones y tareas pendientes organizadas por prioridad y área. --- @@ -31,8 +31,8 @@ El sistema AI Scanner está completamente implementado y funcional. Este documen ## 📊 ÉPICA 1: Testing y Calidad de Código ### Issue 1.1: Tests Unitarios para AI Scanner -**Prioridad**: 🔴 ALTA -**Estimación**: 3-5 días +**Prioridad**: 🔴 ALTA +**Estimación**: 3-5 días **Dependencias**: Ninguna **Descripción**: @@ -64,8 +64,8 @@ Crear suite completa de tests unitarios para `ai_scanner.py` --- ### Issue 1.2: Tests Unitarios para AI Deletion Manager -**Prioridad**: 🔴 ALTA -**Estimación**: 2-3 días +**Prioridad**: 🔴 ALTA +**Estimación**: 2-3 días **Dependencias**: Ninguna **Descripción**: @@ -74,7 +74,7 @@ Crear tests para `ai_deletion_manager.py` y modelo `DeletionRequest` **Tareas**: - [ ] Tests para `create_deletion_request()` con análisis de impacto - [ ] Tests para `_analyze_impact()` con diferentes documentos -- [ ] Tests para `format_deletion_request_for_user()` con varios escenarios +- [ ] Tests para `format_deletion_request_for_user()` con various escenarios - [ ] Tests para `get_pending_requests()` con filtros - [ ] Tests para modelo `DeletionRequest` (approve, reject) - [ ] Tests para workflow completo de aprobación/rechazo @@ -86,15 +86,15 @@ Crear tests para `ai_deletion_manager.py` y modelo `DeletionRequest` - `src/documents/tests/test_deletion_request_model.py` **Criterios de Aceptación**: -- Cobertura >95% para componentes críticos de seguridad +- Cobertura >95% para components críticos de seguridad - Tests verifican constraints de seguridad - Tests pasan en CI/CD --- ### Issue 1.3: Tests de Integración para Consumer -**Prioridad**: 🔴 ALTA -**Estimación**: 2-3 días +**Prioridad**: 🔴 ALTA +**Estimación**: 2-3 días **Dependencias**: Issue 1.1 **Descripción**: @@ -115,13 +115,13 @@ Tests de integración para `_run_ai_scanner()` en pipeline de consumo **Criterios de Aceptación**: - Pipeline completo testeado end-to-end - Graceful degradation verificado -- Performance aceptable (<2s adicionales por documento) +- Performance acceptable (<2s adicionales por documento) --- ### Issue 1.4: Pre-commit Hooks y Linting -**Prioridad**: 🟡 MEDIA -**Estimación**: 1 día +**Prioridad**: 🟡 MEDIA +**Estimación**: 1 día **Dependencias**: Ninguna **Descripción**: @@ -150,8 +150,8 @@ Ejecutar y corregir linters en código nuevo ## 📊 ÉPICA 2: Migraciones de Base de Datos ### Issue 2.1: Migración Django para DeletionRequest -**Prioridad**: 🔴 ALTA -**Estimación**: 1 día +**Prioridad**: 🔴 ALTA +**Estimación**: 1 día **Dependencias**: Issue 1.2 (tests) **Descripción**: @@ -171,13 +171,13 @@ Crear migración Django para modelo `DeletionRequest` **Criterios de Aceptación**: - Migración se ejecuta sin errores - Índices creados correctamente -- Backward compatible si posible +- Backward compatible si possible --- ### Issue 2.2: Índices de Performance para DeletionRequest -**Prioridad**: 🟡 MEDIA -**Estimación**: 0.5 días +**Prioridad**: 🟡 MEDIA +**Estimación**: 0.5 días **Dependencias**: Issue 2.1 **Descripción**: @@ -202,8 +202,8 @@ Optimizar índices de base de datos para queries frecuentes ## 📊 ÉPICA 3: API REST Endpoints ### Issue 3.1: API Endpoints para Deletion Requests - Listado y Detalle -**Prioridad**: 🔴 ALTA -**Estimación**: 2-3 días +**Prioridad**: 🔴 ALTA +**Estimación**: 2-3 días **Dependencias**: Issue 2.1 **Descripción**: @@ -231,8 +231,8 @@ Crear endpoints REST para gestión de deletion requests --- ### Issue 3.2: API Endpoints para Deletion Requests - Acciones -**Prioridad**: 🔴 ALTA -**Estimación**: 2 días +**Prioridad**: 🔴 ALTA +**Estimación**: 2 días **Dependencias**: Issue 3.1 **Descripción**: @@ -243,7 +243,7 @@ Endpoints para aprobar/rechazar deletion requests - [ ] Endpoint POST `/api/deletion-requests/{id}/reject/` - [ ] Endpoint POST `/api/deletion-requests/{id}/cancel/` - [ ] Validación de permisos (solo owner o admin) -- [ ] Validación de estado (solo pending puede ser aprobado/rechazado) +- [ ] Validación de estado (solo pending puede set aprobado/rechazado) - [ ] Respuesta con resultado de ejecución si aprobado - [ ] Notificaciones async si configurado @@ -252,15 +252,15 @@ Endpoints para aprobar/rechazar deletion requests - Actualizar `src/documents/urls.py` **Criterios de Aceptación**: -- Workflow completo funcional via API +- Workflow completo functional via API - Validaciones de estado y permisos - Tests de API incluidos --- ### Issue 3.3: API Endpoints para AI Suggestions -**Prioridad**: 🟡 MEDIA -**Estimación**: 2-3 días +**Prioridad**: 🟡 MEDIA +**Estimación**: 2-3 días **Dependencias**: Ninguna **Descripción**: @@ -286,8 +286,8 @@ Exponer sugerencias de AI via API para frontend --- ### Issue 3.4: Webhooks para Eventos de AI -**Prioridad**: 🟢 BAJA -**Estimación**: 2 días +**Prioridad**: 🟢 BAJA +**Estimación**: 2 días **Dependencias**: Issue 3.1, 3.3 **Descripción**: @@ -315,8 +315,8 @@ Sistema de webhooks para notificar eventos de AI ## 📊 ÉPICA 4: Integración Frontend ### Issue 4.1: UI para AI Suggestions en Document Detail -**Prioridad**: 🔴 ALTA -**Estimación**: 3-4 días +**Prioridad**: 🔴 ALTA +**Estimación**: 3-4 días **Dependencias**: Issue 3.3 **Descripción**: @@ -343,8 +343,8 @@ Mostrar sugerencias de AI en página de detalle de documento --- ### Issue 4.2: UI para Deletion Requests Management -**Prioridad**: 🔴 ALTA -**Estimación**: 3-4 días +**Prioridad**: 🔴 ALTA +**Estimación**: 3-4 días **Dependencias**: Issue 3.1, 3.2 **Descripción**: @@ -357,7 +357,7 @@ Dashboard para gestionar deletion requests - [ ] Modal de confirmación para aprobar/rechazar - [ ] Mostrar análisis de impacto de forma clara - [ ] Badge de notificación para pending requests -- [ ] Historial de requests completados +- [ ] Historical de requests completados **Archivos a Crear**: - `src-ui/src/app/components/deletion-requests/` @@ -366,13 +366,13 @@ Dashboard para gestionar deletion requests **Criterios de Aceptación**: - Usuario puede revisar y aprobar/rechazar requests - Análisis de impacto claro y comprensible -- Notificaciones visuales +- Notificaciones visuals --- ### Issue 4.3: AI Status Indicator -**Prioridad**: 🟡 MEDIA -**Estimación**: 1-2 días +**Prioridad**: 🟡 MEDIA +**Estimación**: 1-2 días **Dependencias**: Ninguna **Descripción**: @@ -396,8 +396,8 @@ Indicador global de estado de AI en UI --- ### Issue 4.4: Settings Page para AI Configuration -**Prioridad**: 🟡 MEDIA -**Estimación**: 2-3 días +**Prioridad**: 🟡 MEDIA +**Estimación**: 2-3 días **Dependencias**: Ninguna **Descripción**: @@ -425,8 +425,8 @@ Página de configuración para features de AI ## 📊 ÉPICA 5: Optimización de Performance ### Issue 5.1: Caching de Modelos ML -**Prioridad**: 🔴 ALTA -**Estimación**: 2 días +**Prioridad**: 🔴 ALTA +**Estimación**: 2 días **Dependencias**: Ninguna **Descripción**: @@ -452,8 +452,8 @@ Implementar caché eficiente para modelos ML --- ### Issue 5.2: Procesamiento Asíncrono con Celery -**Prioridad**: 🟡 MEDIA -**Estimación**: 2-3 días +**Prioridad**: 🟡 MEDIA +**Estimación**: 2-3 días **Dependencias**: Issue 5.1 **Descripción**: @@ -479,8 +479,8 @@ Mover AI scanning a tareas Celery asíncronas --- ### Issue 5.3: Batch Processing para Documentos Existentes -**Prioridad**: 🟡 MEDIA -**Estimación**: 2 días +**Prioridad**: 🟡 MEDIA +**Estimación**: 2 días **Dependencias**: Issue 5.2 **Descripción**: @@ -505,8 +505,8 @@ Command para aplicar AI scanner a documentos existentes --- ### Issue 5.4: Query Optimization -**Prioridad**: 🟡 MEDIA -**Estimación**: 1-2 días +**Prioridad**: 🟡 MEDIA +**Estimación**: 1-2 días **Dependencias**: Ninguna **Descripción**: @@ -532,8 +532,8 @@ Optimizar queries de base de datos en AI scanner ## 📊 ÉPICA 6: Mejoras de ML/AI ### Issue 6.1: Training Pipeline para Custom Models -**Prioridad**: 🟡 MEDIA -**Estimación**: 3-4 días +**Prioridad**: 🟡 MEDIA +**Estimación**: 3-4 días **Dependencias**: Issue 1.1 **Descripción**: @@ -559,8 +559,8 @@ Pipeline para entrenar modelos custom con datos del usuario --- ### Issue 6.2: Active Learning Loop -**Prioridad**: 🟢 BAJA -**Estimación**: 3-5 días +**Prioridad**: 🟢 BAJA +**Estimación**: 3-5 días **Dependencias**: Issue 6.1, Issue 3.3 **Descripción**: @@ -583,8 +583,8 @@ Sistema de aprendizaje continuo basado en feedback de usuario --- ### Issue 6.3: Multi-language Support para NER -**Prioridad**: 🟡 MEDIA -**Estimación**: 2-3 días +**Prioridad**: 🟡 MEDIA +**Estimación**: 2-3 días **Dependencias**: Ninguna **Descripción**: @@ -608,8 +608,8 @@ Soporte para múltiples idiomas en extracción de entidades --- ### Issue 6.4: Confidence Calibration -**Prioridad**: 🟡 MEDIA -**Estimación**: 2 días +**Prioridad**: 🟡 MEDIA +**Estimación**: 2 días **Dependencias**: Issue 3.3 **Descripción**: @@ -634,8 +634,8 @@ Calibrar confianza basada en feedback histórico ## 📊 ÉPICA 7: Monitoreo y Observabilidad ### Issue 7.1: Metrics y Logging Estructurado -**Prioridad**: 🟡 MEDIA -**Estimación**: 2 días +**Prioridad**: 🟡 MEDIA +**Estimación**: 2 días **Dependencias**: Ninguna **Descripción**: @@ -661,17 +661,17 @@ Implementar logging estructurado y métricas --- ### Issue 7.2: Health Checks para AI Components -**Prioridad**: 🟡 MEDIA -**Estimación**: 1 día +**Prioridad**: 🟡 MEDIA +**Estimación**: 1 día **Dependencias**: Issue 7.1 **Descripción**: -Health checks para componentes ML/AI +Health checks para components ML/AI **Tareas**: -- [ ] Endpoint `/health/ai/` con status de componentes +- [ ] Endpoint `/health/ai/` con status de components - [ ] Check si modelos cargados correctamente -- [ ] Check si NER funcional +- [ ] Check si NER functional - [ ] Check uso de memoria - [ ] Check GPU si habilitado - [ ] Incluir en health check general @@ -686,8 +686,8 @@ Health checks para componentes ML/AI --- ### Issue 7.3: Audit Log Detallado -**Prioridad**: 🟡 MEDIA -**Estimación**: 1-2 días +**Prioridad**: 🟡 MEDIA +**Estimación**: 1-2 días **Dependencias**: Ninguna **Descripción**: @@ -714,8 +714,8 @@ Audit log completo de acciones de AI ## 📊 ÉPICA 8: Documentación de Usuario ### Issue 8.1: Guía de Usuario para AI Features -**Prioridad**: 🔴 ALTA -**Estimación**: 2-3 días +**Prioridad**: 🔴 ALTA +**Estimación**: 2-3 días **Dependencias**: Issue 4.1, 4.2 **Descripción**: @@ -744,8 +744,8 @@ Documentación completa para usuarios finales --- ### Issue 8.2: API Documentation -**Prioridad**: 🟡 MEDIA -**Estimación**: 1-2 días +**Prioridad**: 🟡 MEDIA +**Estimación**: 1-2 días **Dependencias**: Issue 3.1, 3.2, 3.3 **Descripción**: @@ -771,8 +771,8 @@ Documentación de API REST completa --- ### Issue 8.3: Guía de Administrador -**Prioridad**: 🟡 MEDIA -**Estimación**: 2 días +**Prioridad**: 🟡 MEDIA +**Estimación**: 2 días **Dependencias**: Issue 8.1 **Descripción**: @@ -800,8 +800,8 @@ Documentación para administradores del sistema ## 📊 ÉPICA 9: Seguridad Avanzada ### Issue 9.1: Rate Limiting para AI Operations -**Prioridad**: 🟡 MEDIA -**Estimación**: 1-2 días +**Prioridad**: 🟡 MEDIA +**Estimación**: 1-2 días **Dependencias**: Ninguna **Descripción**: @@ -812,7 +812,7 @@ Implementar rate limiting para prevenir abuso - [ ] Rate limit global: Y scans/minuto - [ ] Rate limit para deletion requests: Z requests/día - [ ] Bypass para admin/superuser -- [ ] Mensajes de error claros cuando se excede +- [ ] Mensajes de error claros cuando se exceed - [ ] Métricas de rate limiting **Archivos a Modificar**: @@ -827,8 +827,8 @@ Implementar rate limiting para prevenir abuso --- ### Issue 9.2: Validation de Inputs -**Prioridad**: 🔴 ALTA -**Estimación**: 1 día +**Prioridad**: 🔴 ALTA +**Estimación**: 1 día **Dependencias**: Ninguna **Descripción**: @@ -853,8 +853,8 @@ Validación exhaustiva de inputs para prevenir inyección --- ### Issue 9.3: Permissions Granulares -**Prioridad**: 🟡 MEDIA -**Estimación**: 2 días +**Prioridad**: 🟡 MEDIA +**Estimación**: 2 días **Dependencias**: Issue 3.1 **Descripción**: @@ -882,8 +882,8 @@ Sistema de permisos granular para AI features ## 📊 ÉPICA 10: Internacionalización ### Issue 10.1: Traducción de Mensajes de AI -**Prioridad**: 🟢 BAJA -**Estimación**: 1-2 días +**Prioridad**: 🟢 BAJA +**Estimación**: 1-2 días **Dependencias**: Ninguna **Descripción**: @@ -995,12 +995,12 @@ Internacionalizar todos los mensajes de AI ## 🎯 Conclusión -Este plan de mejoras cubre todos los aspectos necesarios para llevar el AI Scanner de PRODUCTION READY a PRODUCTION EXCELLENCE. La implementación de estos issues transformará el sistema en una solución robusta, escalable y amigable para el usuario. +Este plan de mejoras cubre todos los aspects necesarios para llevar el AI Scanner de PRODUCTION READY a PRODUCTION EXCELLENCE. La implementación de estos issues transformará el sistema en una solución robusta, escalable y amigable para el usuario. **Total Estimado**: ~60-80 días de desarrollo (3-4 meses con 1 desarrollador) -**Épicas**: 10 -**Issues**: 35+ -**Prioridad Alta**: 8 issues -**Prioridad Media**: 18 issues +**Épicas**: 10 +**Issues**: 35+ +**Prioridad Alta**: 8 issues +**Prioridad Media**: 18 issues **Prioridad Baja**: 9 issues diff --git a/AI_SCANNER_ROADMAP_SUMMARY.md b/AI_SCANNER_ROADMAP_SUMMARY.md index 8867b6a3d..e1e78ba65 100644 --- a/AI_SCANNER_ROADMAP_SUMMARY.md +++ b/AI_SCANNER_ROADMAP_SUMMARY.md @@ -2,7 +2,7 @@ ## 📊 Estado Actual: PRODUCTION READY ✅ -El sistema AI Scanner está completamente implementado y funcional. Este documento resume el plan de mejoras y siguientes pasos. +El sistema AI Scanner está completamente implementado y functional. Este documento resume el plan de mejoras y siguientes pasos. --- @@ -413,14 +413,14 @@ Esta sección se actualizará después de cada sprint con: ## 🎉 Conclusión -Este roadmap transforma el AI Scanner de un sistema funcional a una solución de clase mundial. Con ejecución disciplinada y seguimiento riguroso, en 3-4 meses tendremos un producto excepcional. +Este roadmap transforma el AI Scanner de un sistema functional a una solución de clase mundial. Con ejecución disciplinada y seguimiento riguroso, en 3-4 meses tendremos un producto excepcional. -**Estado**: ✅ PLANIFICACIÓN COMPLETA -**Próximo Paso**: Crear issues y comenzar Sprint 1 +**Estado**: ✅ PLANIFICACIÓN COMPLETA +**Próximo Paso**: Crear issues y comenzar Sprint 1 **Compromiso**: Excelencia técnica y entrega de valor --- -*Documento creado: 2025-11-11* -*Última actualización: 2025-11-11* +*Documento creado: 2025-11-11* +*Última actualización: 2025-11-11* *Versión: 1.0* diff --git a/BITACORA_MAESTRA.md b/BITACORA_MAESTRA.md index b46a72e90..3094cf707 100644 --- a/BITACORA_MAESTRA.md +++ b/BITACORA_MAESTRA.md @@ -9,21 +9,21 @@ Estado actual: **Validaciones finales completadas. Sistema LISTO para CI/CD automatizado. Próximo paso: commit y push para activar workflow.** -### ✅ Historial de Implementaciones Completadas +### ✅ Historical de Implementaciones Completadas *(En orden cronológico inverso. Cada entrada es un hito de negocio finalizado)* * **[2025-11-17] - `TSK-CICD-VALIDATION-FINAL` - Validaciones Finales y Workflow CI/CD Completado:** Implementación y validación exitosa de todas las Fases 2, 3 y 4 del plan de auditoría. **FASE 2 VALIDACIÓN** (3 tareas completadas): Sintaxis Python validada con py_compile en 6 archivos críticos (✓ migraciones 1076/1077/1078, ✓ ai_scanner.py, ✓ models.py, ✓ test_ml_smoke.py - todos OK), correcciones frontend verificadas (✓ standalone:true en ai-suggestions-panel línea 42, ✓ standalone:true en ai-settings línea 27, ✓ playCircle en main.ts líneas 123/346), compilación Angular exitosa con pnpm run build (✓ 13.43 MB en 101 segundos, sin errores críticos). **FASE 3 DOCKER** (limitaciones de entorno): Docker no disponible localmente, validaciones delegadas a CI/CD (build, smoke tests, migraciones se ejecutarán automáticamente en GitHub Actions). **FASE 4 WORKFLOW CI/CD** (completado): Creado .github/workflows/docker-intellidocs.yml (305 líneas) con 4 jobs automatizados: (1) test-ml-dependencies valida torch/transformers/opencv/sentence-transformers + ejecuta pytest test_ml_smoke.py, (2) build-and-push construye imágenes multi-arch (linux/amd64, linux/arm64) con cache GHA y sube a GHCR, (3) test-docker-image ejecuta smoke tests en contenedor (ML deps, migraciones, system deps OpenCV), (4) create-release para tags vX.X.X con release notes automáticas. Triggers configurados: push a dev/main/claude/**, pull_request a dev/main, workflow_dispatch manual. Tags automáticos: branch, pr, semver, SHA-short, latest. Dependencias OpenCV en ci.yml verificadas (✓ línea 153). **DOCUMENTACIÓN**: Creado CHECKLIST_FINAL_CICD.md (13KB) con resumen ejecutivo, checklist detallado (Backend 8/8, Frontend 3/3, CI/CD 2/2), métricas antes/después, instrucciones próximos pasos. **MÉTRICAS FINALES**: Calificación global 6.9/10 → 9.1/10 (+32% mejora real), Backend 6.5→9.2 (+41%), Frontend 6.5→9.5 (+46%), CI/CD 6.0→8.8 (+47%), 11/11 problemas críticos RESUELTOS (100%). **ARCHIVOS CREADOS/MODIFICADOS**: .github/workflows/docker-intellidocs.yml (nuevo), CHECKLIST_FINAL_CICD.md (nuevo), src-ui/dist/ (build Angular 13.43 MB), BITACORA_MAESTRA.md (actualizado). **ESTADO**: ✅ PROYECTO LISTO PARA CI/CD AUTOMATIZADO. Sistema pasa todas las validaciones locales posibles. Workflow completo automatizará: instalación deps ML/OCR, tests smoke, build Docker multi-arch, validaciones en contenedor, release automation. Próximo paso: commit+push activará pipeline completo. -* **[2025-11-16] - `TSK-CICD-FIX-CRITICAL` - Correcciones Críticas Pre-CI/CD Completadas:** Implementación exitosa de TODAS las correcciones críticas identificadas en auditoría TSK-CICD-AUDIT-001. Ejecutadas 9 correcciones en 1.5h (tiempo estimado cumplido). **MIGRACIONES CORREGIDAS**: 3 archivos renombrados (1076_add_deletionrequest_performance_indexes.py→1077, 1076_aisuggestionfeedback.py→1078), dependencias actualizadas (1077 depende de 1076, 1078 depende de 1077), índices duplicados eliminados de migración 1076 (líneas 132-147 removidas, solo mantener en models.py Meta.indexes). **FRONTEND ANGULAR CORREGIDO**: standalone:true agregado a 2 componentes (ai-suggestions-panel.component.ts línea 42, ai-settings.component.ts línea 27), icono playCircle agregado a main.ts (líneas 123 y 371 - import + uso), compilación ng build ahora funcionará. **CI/CD MEJORADO**: dependencias OpenCV agregadas a .github/workflows/ci.yml línea 153 (libglib2.0-0 libsm6 libxext6 libxrender1 libgomp1 libgl1), tests ML smoke creados en test_ml_smoke.py (7 clases, 15 tests: torch/transformers/opencv/scikit-learn/numpy/pandas imports + operaciones básicas + cache writable + performance básica), error handling mejorado en ai_scanner.py línea 321 (TableExtractor falla → advanced_ocr_enabled=False evita reintentos infinitos). **VALIDACIONES**: sintaxis Python ✓ (py_compile en 4 archivos modificados), git status ✓ (9 archivos staged: 4 modified, 2 renamed, 1 new, 2 deleted). **ARCHIVOS MODIFICADOS**: Backend - 1076_add_deletion_request.py (índices removidos), 1077_add_deletionrequest_performance_indexes.py (renombrado + dependencias), 1078_aisuggestionfeedback.py (renombrado + dependencias), ai_scanner.py (error handling), test_ml_smoke.py (creado 274 líneas); Frontend - ai-suggestions-panel.component.ts (standalone:true), ai-settings.component.ts (standalone:true), main.ts (playCircle icon); CI/CD - ci.yml (OpenCV deps). **IMPACTO**: Calificación proyecto 6.9/10 → 9.1/10 (+32% mejora estimada). Backend 6.5→9.2 (migraciones 3/10→10/10), Frontend 6.5→9.5 (standalone 3/10→10/10), CI/CD 6.0→8.8 (validación ML/OCR agregada). **ESTADO**: ✅ 9/11 problemas críticos RESUELTOS. Pendientes: workflow docker-intellidocs.yml (opcional, usar ci.yml existente), caché modelos ML (optimización futura). Sistema LISTO para CI/CD básico. Próximos pasos: ejecutar ng build local, pytest test_ml_smoke.py, docker build test. +* **[2025-11-16] - `TSK-CICD-FIX-CRITICAL` - Correcciones Críticas Pre-CI/CD Completadas:** Implementación exitosa de TODAS las correcciones críticas identificadas en auditoría TSK-CICD-AUDIT-001. Ejecutadas 9 correcciones en 1.5h (tiempo estimado cumplido). **MIGRACIONES CORREGIDAS**: 3 archivos renombrados (1076_add_deletionrequest_performance_indexes.py→1077, 1076_aisuggestionfeedback.py→1078), dependencias actualizadas (1077 depende de 1076, 1078 depende de 1077), índices duplicados eliminados de migración 1076 (líneas 132-147 removidas, solo mantener en models.py Meta.indexes). **FRONTEND ANGULAR CORREGIDO**: standalone:true agregado a 2 components (ai-suggestions-panel.component.ts línea 42, ai-settings.component.ts línea 27), icono playCircle agregado a main.ts (líneas 123 y 371 - import + uso), compilación ng build ahora funcionará. **CI/CD MEJORADO**: dependencias OpenCV agregadas a .github/workflows/ci.yml línea 153 (libglib2.0-0 libsm6 libxext6 libxrender1 libgomp1 libgl1), tests ML smoke creados en test_ml_smoke.py (7 clases, 15 tests: torch/transformers/opencv/scikit-learn/numpy/pandas imports + operaciones básicas + cache writable + performance básica), error handling mejorado en ai_scanner.py línea 321 (TableExtractor falla → advanced_ocr_enabled=False evita reintentos infinitos). **VALIDACIONES**: sintaxis Python ✓ (py_compile en 4 archivos modificados), git status ✓ (9 archivos staged: 4 modified, 2 renamed, 1 new, 2 deleted). **ARCHIVOS MODIFICADOS**: Backend - 1076_add_deletion_request.py (índices removidos), 1077_add_deletionrequest_performance_indexes.py (renombrado + dependencias), 1078_aisuggestionfeedback.py (renombrado + dependencias), ai_scanner.py (error handling), test_ml_smoke.py (creado 274 líneas); Frontend - ai-suggestions-panel.component.ts (standalone:true), ai-settings.component.ts (standalone:true), main.ts (playCircle icon); CI/CD - ci.yml (OpenCV deps). **IMPACTO**: Calificación proyecto 6.9/10 → 9.1/10 (+32% mejora estimada). Backend 6.5→9.2 (migraciones 3/10→10/10), Frontend 6.5→9.5 (standalone 3/10→10/10), CI/CD 6.0→8.8 (validación ML/OCR agregada). **ESTADO**: ✅ 9/11 problemas críticos RESUELTOS. Pendientes: workflow docker-intellidocs.yml (opcional, usar ci.yml existente), caché modelos ML (optimización futura). Sistema LISTO para CI/CD básico. Próximos pasos: ejecutar ng build local, pytest test_ml_smoke.py, docker build test. -* **[2025-11-16] - `TSK-CICD-AUDIT-001` - Auditoría Exhaustiva para CI/CD Automatizado:** Revisión completa del proyecto IntelliDocs-ngx para validar preparación para deployment automatizado con GitHub Actions. Ejecutados 3 agentes especializados en paralelo: (1) Auditoría Backend Python - 388 archivos analizados, 15 críticos revisados en detalle (~15,000 líneas), (2) Auditoría Frontend Angular - 47 archivos principales, tests y configuración, (3) Auditoría Docker/CI/CD - Dockerfile (276 líneas), 9 variantes docker-compose, 8 workflows GitHub Actions (1311 líneas). **PROBLEMAS CRÍTICOS IDENTIFICADOS (11 total)**: Backend - 3 migraciones duplicadas (1076_add_deletion_request.py, 1076_add_deletionrequest_performance_indexes.py, 1076_aisuggestionfeedback.py) causarán fallo en migrate, modelo AISuggestionFeedback falta en models.py, índices duplicados en migración 1076, no hay validación ML/OCR en CI (.github/workflows/ci.yml línea 150 falta dependencias OpenCV: libglib2.0-0 libsm6 libxext6 libxrender1 libgomp1 libgl1), falta test_ml_smoke.py para validar torch/transformers/opencv; Frontend - 2 componentes sin standalone:true (ai-suggestions-panel.component.ts línea 40, ai-settings.component.ts línea 25) bloquean compilación ng build, icono playCircle falta en main.ts (usado en ai-settings.component.html:134); Docker/CI/CD - no hay workflow específico IntelliDocs (.github/workflows/docker-intellidocs.yml faltante), no hay smoke tests post-build, no hay caché de modelos ML (cada build descargará ~1GB desde Hugging Face). **CALIFICACIONES DETALLADAS**: Backend 6.5/10 (sintaxis 10/10, type hints 9/10, migraciones 3/10), Frontend 6.5/10 (TypeScript 9/10, templates 10/10, componentes standalone 3/10), Docker 8.5/10 (multi-stage build ✓, volúmenes ✓, healthcheck básico), CI/CD 6.0/10 (workflow robusto pero sin validación ML/OCR), GLOBAL 6.9/10. **VEREDICTO**: ❌ NO LISTO PARA CI/CD - requiere correcciones. **PLAN DE ACCIÓN CREADO**: Fase 1 (1.5h) correcciones críticas 8 pasos, Fase 2 (0.5h) validación, Fase 3 (1h) build Docker local, Fase 4 (2h) workflow CI/CD nuevo. Tiempo total estimado: 5 horas. Informe exhaustivo 59KB generado en INFORME_AUDITORIA_CICD.md con checklist completa (24 items), ejemplos de código, comandos validación, métricas calidad (antes 6.9/10 → después 9.1/10 estimado). Archivos a modificar: 8 críticos (3 migraciones renombrar, 1 modelo agregar, 2 componentes standalone:true, 1 main.ts icono, 1 ci.yml dependencias, 1 test_ml_smoke.py crear). **ESTADO**: Proyecto con base sólida pero NO apto para producción automatizada hasta aplicar correcciones. Documentación BITACORA_MAESTRA.md actualizada. +* **[2025-11-16] - `TSK-CICD-AUDIT-001` - Auditoría Exhaustiva para CI/CD Automatizado:** Revisión completa del proyecto IntelliDocs-ngx para validar preparación para deployment automatizado con GitHub Actions. Ejecutados 3 agentes especializados en paralelo: (1) Auditoría Backend Python - 388 archivos analizados, 15 críticos revisados en detalle (~15,000 líneas), (2) Auditoría Frontend Angular - 47 archivos principales, tests y configuración, (3) Auditoría Docker/CI/CD - Dockerfile (276 líneas), 9 variantes docker-compose, 8 workflows GitHub Actions (1311 líneas). **PROBLEMAS CRÍTICOS IDENTIFICADOS (11 total)**: Backend - 3 migraciones duplicadas (1076_add_deletion_request.py, 1076_add_deletionrequest_performance_indexes.py, 1076_aisuggestionfeedback.py) causarán fallo en migrate, modelo AISuggestionFeedback falta en models.py, índices duplicados en migración 1076, no hay validación ML/OCR en CI (.github/workflows/ci.yml línea 150 falta dependencias OpenCV: libglib2.0-0 libsm6 libxext6 libxrender1 libgomp1 libgl1), falta test_ml_smoke.py para validar torch/transformers/opencv; Frontend - 2 components sin standalone:true (ai-suggestions-panel.component.ts línea 40, ai-settings.component.ts línea 25) bloquean compilación ng build, icono playCircle falta en main.ts (usado en ai-settings.component.html:134); Docker/CI/CD - no hay workflow específico IntelliDocs (.github/workflows/docker-intellidocs.yml faltante), no hay smoke tests post-build, no hay caché de modelos ML (cada build descargará ~1GB desde Hugging Face). **CALIFICACIONES DETALLADAS**: Backend 6.5/10 (sintaxis 10/10, type hints 9/10, migraciones 3/10), Frontend 6.5/10 (TypeScript 9/10, templates 10/10, components standalone 3/10), Docker 8.5/10 (multi-stage build ✓, volúmenes ✓, healthcheck básico), CI/CD 6.0/10 (workflow robusto pero sin validación ML/OCR), GLOBAL 6.9/10. **VEREDICTO**: ❌ NO LISTO PARA CI/CD - require correcciones. **PLAN DE ACCIÓN CREADO**: Fase 1 (1.5h) correcciones críticas 8 pasos, Fase 2 (0.5h) validación, Fase 3 (1h) build Docker local, Fase 4 (2h) workflow CI/CD nuevo. Tiempo total estimado: 5 horas. Informe exhaustivo 59KB generado en INFORME_AUDITORIA_CICD.md con checklist completa (24 items), ejemplos de código, commandos validación, métricas calidad (antes 6.9/10 → después 9.1/10 estimado). Archivos a modificar: 8 críticos (3 migraciones renombrar, 1 modelo agregar, 2 components standalone:true, 1 main.ts icono, 1 ci.yml dependencias, 1 test_ml_smoke.py crear). **ESTADO**: Proyecto con base sólida pero NO apto para producción automatizada hasta aplicar correcciones. Documentación BITACORA_MAESTRA.md actualizada. * **[2025-11-15] - `TSK-CODE-FIX-ALL` - Corrección COMPLETA de TODOS los 96 Problemas Identificados:** Implementación exitosa de correcciones para los 96 problemas identificados en auditoría TSK-CODE-REVIEW-001, ejecutadas en 6 fases. **FASES 1-4 (52 problemas)**: Ver entrada TSK-CODE-FIX-COMPLETE anterior. **FASE 5 ALTA-MEDIA RESTANTES** (28 problemas): Backend - método run() refactorizado en consumer.py de 311→65 líneas (79% reducción) creando 9 métodos especializados (_setup_working_copy, _determine_mime_type, _parse_document, _store_document_in_transaction, _cleanup_consumed_files, etc.), validación embeddings en semantic_search.py (_validate_embeddings verifica integridad numpy arrays/tensors), logging operaciones críticas (save_embeddings_to_disk con logging éxito/error), manejo disco lleno model_cache.py (detecta errno.ENOSPC, ejecuta _cleanup_old_cache_files eliminando 50% archivos antiguos), validación MIME estricta security.py (whitelist explícita 18 tipos, función validate_mime_type reutilizable), límite archivo reducido 500MB→100MB configurable (MAX_FILE_SIZE con getattr settings). **FASE 6 MEJORAS FINALES** (16 problemas): TypeScript - interfaces específicas creadas (CompletionDetails, FailedDeletion con typed fields), eliminados 4 usos de 'any' (completion_details, value en AISuggestion), @Input requeridos marcados (deletionRequest!), null-checking mejorado templates (?.operator en 2 ubicaciones), DeletionRequestImpactSummary con union types (Array<{id,name,count}> | string[]); Python - índices redundantes eliminados models.py (2 índices, optimización PostgreSQL), TypedDict implementado ai_scanner.py (7 clases: TagSuggestion, CorrespondentSuggestion, DocumentTypeSuggestion, etc., AIScanResultDict total=False), docstrings completos classifier.py (12 excepciones documentadas en load_model/train/predict con OSError/RuntimeError/ValueError/MemoryError), logging estandarizado (guía niveles DEBUG/INFO/WARNING/ERROR/CRITICAL en 2 módulos). Archivos modificados TOTAL: 24 (15 backend Python, 9 frontend Angular/TypeScript). Líneas código modificadas: ~5,200. Validaciones: sintaxis Python ✓, sintaxis TypeScript ✓, compilación ✓, imports ✓, type safety ✓, null safety ✓. Impacto final: Calificación proyecto 8.2/10 → 9.8/10 (+20%), complejidad ciclomática método run() reducida 45→8 (-82%), type safety frontend 75%→98% (+23%), documentación excepciones 0%→100%, índices BD optimizados -2 redundantes, mantenibilidad código +45%, testabilidad +60%. Estado: 96/96 problemas RESUELTOS. Sistema COMPLETAMENTE optimizado, seguro, documentado y listo producción nivel enterprise. -* **[2025-11-15] - `TSK-CODE-FIX-COMPLETE` - Corrección Masiva de 52 Problemas Críticos/Altos/Medios:** Implementación exitosa de correcciones para 52 de 96 problemas identificados en auditoría TSK-CODE-REVIEW-001. Ejecución en 4 fases priorizadas. **FASE 1 CRÍTICA** (12/12 problemas): Backend - eliminado código duplicado ai_scanner.py (3 métodos lazy-load sobrescribían instancias), corregida condición duplicada consumer.py:719 (change_groups), añadido getattr() seguro para settings:772, implementado double-checked locking model_cache.py; Frontend - eliminada duplicación interfaces DeletionRequest/Status en ai-status.ts, implementado OnDestroy con Subject/takeUntil en 3 componentes (DeletionRequestDetailComponent, AiSuggestionsPanelComponent, AIStatusService); Seguridad - CSP mejorado con nonces eliminando unsafe-inline/unsafe-eval en middleware.py; Imports - añadido Dict en ai_scanner.py, corregido TYPE_CHECKING ai_deletion_manager.py. **FASE 2 ALTA** (16/28 problemas): Rate limiting mejorado con TTL Redis explícito y cache.incr() atómico; Patrones malware refinados en security.py con whitelist JavaScript legítimo (AcroForm, formularios PDF); Regex compilados en ner.py (4 patrones: invoice, receipt, contract, letter) para optimización rendimiento; Manejo errores añadido deletion-request.service.ts con catchError; AIStatusService con startPolling/stopPolling controlado. **FASE 3 MEDIA** (20/44 problemas): 14 constantes nombradas en ai_scanner.py eliminando magic numbers (HIGH_CONFIDENCE_MATCH=0.85, TAG_CONFIDENCE_MEDIUM=0.65, etc.); Validación parámetros classifier.py (ValueError si model_name vacío, TypeError si use_cache no-bool); Type hints verificados completos; Constantes límites ner.py (MAX_TEXT_LENGTH_FOR_NER=5000, MAX_ENTITY_LENGTH=100). **FASE 4 BAJA** (4/12 problemas): Dependencias - numpy actualizado >=1.26.0 en pyproject.toml (compatibilidad scikit-learn 1.7.0); Frontend - console.log protegido con !environment.production en ai-settings.component.ts; Limpieza - 2 archivos SCSS vacíos eliminados, decoradores @Component actualizados sin styleUrls. Archivos modificados: 15 totales (9 backend Python, 6 frontend Angular/TypeScript). Validaciones: sintaxis Python ✓ (py_compile), sintaxis TypeScript ✓, imports verificados ✓, coherencia arquitectura ✓. Impacto: Calificación proyecto 8.2/10 → 9.3/10 (+13%), vulnerabilidades críticas eliminadas 100%, memory leaks frontend resueltos 100%, rendimiento NER mejorado ~40%, seguridad CSP mejorada A+, coherencia código +25%. Problemas restantes (44): refactorizaciones opcionales (método run() largo), tests adicionales, documentación expandida - NO bloquean funcionalidad. Sistema 100% operacional, seguro y optimizado. -* **[2025-11-15] - `TSK-CODE-REVIEW-001` - Revisión Exhaustiva del Proyecto Completo:** Auditoría completa del proyecto IntelliDocs-ngx siguiendo directivas agents.md. Análisis de 96 problemas identificados distribuidos en: 12 críticos, 28 altos, 44 medios, 12 bajos. Áreas revisadas: Backend Python (68 problemas - ai_scanner.py con código duplicado, consumer.py con condiciones duplicadas, model_cache.py con thread safety parcial, middleware.py con CSP permisivo, security.py con patrones amplios), Frontend Angular (16 problemas - memory leaks en componentes por falta de OnDestroy, duplicación de interfaces DeletionRequest, falta de manejo de errores en servicios), Dependencias (3 problemas - numpy versión desactualizada, openpyxl posiblemente innecesaria, opencv-python solo en módulos avanzados), Documentación (9 problemas - BITACORA_MAESTRA.md con timestamps duplicados, type hints incompletos, docstrings faltantes). Coherencia de dependencias: Backend 9.5/10, Frontend 10/10, Docker 10/10. Calificación general del proyecto: 8.2/10 - BUENO CON ÁREAS DE MEJORA. Plan de acción de 4 fases creado: Fase 1 (12h) correcciones críticas, Fase 2 (16h) correcciones altas, Fase 3 (32h) mejoras medias, Fase 4 (8h) backlog. Informe completo de 68KB generado en INFORME_REVISION_COMPLETA.md con detalles técnicos, plan de acción prioritario, métricas de impacto y recomendaciones estratégicas. Todos los problemas documentados con ubicación exacta (archivo:línea), severidad, descripción detallada y sugerencias de corrección. BITACORA_MAESTRA.md corregida eliminando timestamps duplicados. +* **[2025-11-15] - `TSK-CODE-FIX-COMPLETE` - Corrección Masiva de 52 Problemas Críticos/Altos/Medios:** Implementación exitosa de correcciones para 52 de 96 problemas identificados en auditoría TSK-CODE-REVIEW-001. Ejecución en 4 fases priorizadas. **FASE 1 CRÍTICA** (12/12 problemas): Backend - eliminado código duplicado ai_scanner.py (3 métodos lazy-load sobrescribían instancias), corregida condición duplicada consumer.py:719 (change_groups), añadido getattr() seguro para settings:772, implementado double-checked locking model_cache.py; Frontend - eliminada duplicación interfaces DeletionRequest/Status en ai-status.ts, implementado OnDestroy con Subject/takeUntil en 3 components (DeletionRequestDetailComponent, AiSuggestionsPanelComponent, AIStatusService); Seguridad - CSP mejorado con nonces eliminando unsafe-inline/unsafe-eval en middleware.py; Imports - añadido Dict en ai_scanner.py, corregido TYPE_CHECKING ai_deletion_manager.py. **FASE 2 ALTA** (16/28 problemas): Rate limiting mejorado con TTL Redis explícito y cache.incr() atómico; Patrones malware refinados en security.py con whitelist JavaScript legítimo (AcroForm, formularios PDF); Regex compilados en ner.py (4 patrones: invoice, receipt, contract, letter) para optimización rendimiento; Manejo errores añadido deletion-request.service.ts con catchError; AIStatusService con startPolling/stopPolling controlado. **FASE 3 MEDIA** (20/44 problemas): 14 constantes nombradas en ai_scanner.py eliminando magic numbers (HIGH_CONFIDENCE_MATCH=0.85, TAG_CONFIDENCE_MEDIUM=0.65, etc.); Validación parámetros classifier.py (ValueError si model_name vacío, TypeError si use_cache no-bool); Type hints verificados completos; Constantes límites ner.py (MAX_TEXT_LENGTH_FOR_NER=5000, MAX_ENTITY_LENGTH=100). **FASE 4 BAJA** (4/12 problemas): Dependencias - numpy actualizado >=1.26.0 en pyproject.toml (compatibilidad scikit-learn 1.7.0); Frontend - console.log protegido con !environment.production en ai-settings.component.ts; Limpieza - 2 archivos SCSS vacíos eliminados, decoradores @Component actualizados sin styleUrls. Archivos modificados: 15 totales (9 backend Python, 6 frontend Angular/TypeScript). Validaciones: sintaxis Python ✓ (py_compile), sintaxis TypeScript ✓, imports verificados ✓, coherencia arquitectura ✓. Impacto: Calificación proyecto 8.2/10 → 9.3/10 (+13%), vulnerabilidades críticas eliminadas 100%, memory leaks frontend resueltos 100%, rendimiento NER mejorado ~40%, seguridad CSP mejorada A+, coherencia código +25%. Problemas restantes (44): refactorizaciones opcionales (método run() largo), tests adicionales, documentación expandida - NO bloquean funcionalidad. Sistema 100% operacional, seguro y optimizado. +* **[2025-11-15] - `TSK-CODE-REVIEW-001` - Revisión Exhaustiva del Proyecto Completo:** Auditoría completa del proyecto IntelliDocs-ngx siguiendo directivas agents.md. Análisis de 96 problemas identificados distribuidos en: 12 críticos, 28 altos, 44 medios, 12 bajos. Áreas revisadas: Backend Python (68 problemas - ai_scanner.py con código duplicado, consumer.py con condiciones duplicadas, model_cache.py con thread safety parcial, middleware.py con CSP permisivo, security.py con patrones amplios), Frontend Angular (16 problemas - memory leaks en components por falta de OnDestroy, duplicación de interfaces DeletionRequest, falta de manejo de errores en servicios), Dependencias (3 problemas - numpy versión desactualizada, openpyxl posiblemente innecesaria, opencv-python solo en módulos avanzados), Documentación (9 problemas - BITACORA_MAESTRA.md con timestamps duplicados, type hints incompletos, docstrings faltantes). Coherencia de dependencias: Backend 9.5/10, Frontend 10/10, Docker 10/10. Calificación general del proyecto: 8.2/10 - BUENO CON ÁREAS DE MEJORA. Plan de acción de 4 fases creado: Fase 1 (12h) correcciones críticas, Fase 2 (16h) correcciones altas, Fase 3 (32h) mejoras medias, Fase 4 (8h) backlog. Informe completo de 68KB generado en INFORME_REVISION_COMPLETA.md con detalles técnicos, plan de acción prioritario, métricas de impacto y recomendaciones estratégicas. Todos los problemas documentados con ubicación exacta (archivo:línea), severidad, descripción detallada y sugerencias de corrección. BITACORA_MAESTRA.md corregida eliminando timestamps duplicados. * **[2025-11-15] - `TSK-DELETION-UI-001` - UI para Gestión de Deletion Requests:** Implementación completa del dashboard para gestionar deletion requests iniciados por IA. Backend: DeletionRequestSerializer y DeletionRequestActionSerializer (serializers.py), DeletionRequestViewSet con acciones approve/reject/pending_count (views.py), ruta /api/deletion_requests/ (urls.py). Frontend Angular: deletion-request.ts (modelo de datos TypeScript), deletion-request.service.ts (servicio REST con CRUD completo), DeletionRequestsComponent (componente principal con filtrado por pestañas: pending/approved/rejected/completed, badge de notificación, tabla con paginación), DeletionRequestDetailComponent (modal con información completa, análisis de impacto visual, lista de documentos afectados, botones approve/reject), ruta /deletion-requests con guard de permisos. Diseño consistente con resto de app (ng-bootstrap, badges de colores, layout responsive). Validaciones: lint ✓, build ✓, tests spec creados. Cumple 100% criterios de aceptación del issue #17. * **[2025-11-14] - `TSK-ML-CACHE-001` - Sistema de Caché de Modelos ML con Optimización de Rendimiento:** Implementación completa de sistema de caché eficiente para modelos ML. 7 archivos modificados/creados: model_cache.py (381 líneas - ModelCacheManager singleton, LRUCache, CacheMetrics, disk cache para embeddings), classifier.py (integración cache), ner.py (integración cache), semantic_search.py (integración cache + disk embeddings), ai_scanner.py (métodos warm_up_models, get_cache_metrics, clear_cache), apps.py (_initialize_ml_cache con warm-up opcional), settings.py (PAPERLESS_ML_CACHE_MAX_MODELS=3, PAPERLESS_ML_CACHE_WARMUP=False), test_ml_cache.py (298 líneas - tests comprehensivos). Características: singleton pattern para instancia única por tipo modelo, LRU eviction con max_size configurable (default 3 modelos), cache en disco persistente para embeddings, métricas de performance (hits/misses/evictions/hit_rate), warm-up opcional en startup, thread-safe operations. Criterios aceptación cumplidos 100%: primera carga lenta (descarga modelo) + subsecuentes rápidas (10-100x más rápido desde cache), memoria controlada <2GB con LRU eviction, cache hits >90% después warm-up. Sistema optimiza significativamente rendimiento del AI Scanner eliminando recargas innecesarias de modelos pesados. -* **[2025-11-13] - `TSK-API-DELETION-REQUESTS` - API Endpoints para Gestión de Deletion Requests:** Implementación completa de endpoints REST API para workflow de aprobación de deletion requests. 5 archivos creados/modificados: views/deletion_request.py (263 líneas - DeletionRequestViewSet con CRUD + acciones approve/reject/cancel), serialisers.py (DeletionRequestSerializer con document_details), urls.py (registro de ruta /api/deletion-requests/), views/__init__.py, test_api_deletion_requests.py (440 líneas - 20+ tests). Endpoints: GET/POST/PATCH/DELETE /api/deletion-requests/, POST /api/deletion-requests/{id}/approve/, POST /api/deletion-requests/{id}/reject/, POST /api/deletion-requests/{id}/cancel/. Validaciones: permisos (owner o admin), estado (solo pending puede aprobarse/rechazarse/cancelarse). Approve ejecuta eliminación de documentos en transacción atómica y retorna execution_result con deleted_count y failed_deletions. Queryset filtrado por usuario (admins ven todos, users ven solo los suyos). Tests cubren: permisos, validaciones de estado, ejecución correcta, manejo de errores, múltiples documentos. 100% funcional vía API. +* **[2025-11-13] - `TSK-API-DELETION-REQUESTS` - API Endpoints para Gestión de Deletion Requests:** Implementación completa de endpoints REST API para workflow de aprobación de deletion requests. 5 archivos creados/modificados: views/deletion_request.py (263 líneas - DeletionRequestViewSet con CRUD + acciones approve/reject/cancel), serialisers.py (DeletionRequestSerializer con document_details), urls.py (registro de ruta /api/deletion-requests/), views/__init__.py, test_api_deletion_requests.py (440 líneas - 20+ tests). Endpoints: GET/POST/PATCH/DELETE /api/deletion-requests/, POST /api/deletion-requests/{id}/approve/, POST /api/deletion-requests/{id}/reject/, POST /api/deletion-requests/{id}/cancel/. Validaciones: permisos (owner o admin), estado (solo pending puede aprobarse/rechazarse/cancelarse). Approve ejecuta eliminación de documentos en transacción atómica y retorna execution_result con deleted_count y failed_deletions. Queryset filtrado por usuario (admins ven todos, users ven solo los suyos). Tests cubren: permisos, validaciones de estado, ejecución correcta, manejo de errores, múltiples documentos. 100% functional vía API. * **[2025-11-12] - `TSK-AI-SCANNER-LINTING` - Pre-commit Hooks y Linting del AI Scanner:** Corrección completa de todos los warnings de linting en los 3 archivos del AI Scanner. Archivos actualizados: ai_scanner.py (38 cambios), ai_deletion_manager.py (4 cambios), consumer.py (22 cambios). Correcciones aplicadas: (1) Import ordering (TC002) - movido User a bloque TYPE_CHECKING en ai_deletion_manager.py, (2) Type hints implícitos (RUF013) - actualizados 3 parámetros bool=None a bool|None=None en ai_scanner.py, (3) Boolean traps (FBT001/FBT002) - convertidos 4 parámetros boolean a keyword-only usando * en __init__() y apply_scan_results(), (4) Logging warnings (G201) - reemplazadas 10 instancias de logger.error(..., exc_info=True) por logger.exception(), (5) Espacios en blanco (W293) - eliminados en ~100+ líneas, (6) Trailing commas (COM812) - corregidas automáticamente. Herramientas ejecutadas: ruff check (0 warnings), ruff format (código formateado), black (formateo consistente). Estado final: ✅ CERO warnings de linters, ✅ código pasa todas las verificaciones de ruff, ✅ formateo consistente aplicado. El código está ahora listo para pre-commit hooks y cumple con todos los estándares de calidad del proyecto. * **[2025-11-11] - `TSK-AI-SCANNER-001` - Sistema AI Scanner Comprehensivo para Gestión Automática de Metadatos:** Implementación completa del sistema de escaneo AI automático según especificaciones agents.md. 4 archivos modificados/creados: ai_scanner.py (750 líneas - módulo principal con AIDocumentScanner, AIScanResult, lazy loading de ML/NER/semantic search/table extractor), consumer.py (_run_ai_scanner integrado en pipeline), settings.py (9 configuraciones nuevas: ENABLE_AI_SCANNER, ENABLE_ML_FEATURES, ENABLE_ADVANCED_OCR, ML_CLASSIFIER_MODEL, AI_AUTO_APPLY_THRESHOLD=0.80, AI_SUGGEST_THRESHOLD=0.60, USE_GPU, ML_MODEL_CACHE), models.py (modelo DeletionRequest 145 líneas), ai_deletion_manager.py (350 líneas - AIDeletionManager con análisis de impacto). Funciones: escaneo automático en consumo, gestión de etiquetas (confianza 0.65-0.85), detección de interlocutores vía NER (0.70-0.85), clasificación de tipos (0.85), asignación de rutas (0.80), extracción de campos personalizados (0.70-0.85), sugerencia de workflows (0.50-1.0), generación de títulos mejorados. Protección de eliminaciones: modelo DeletionRequest con workflow de aprobación, análisis de impacto comprehensivo, AI NUNCA puede eliminar sin autorización explícita del usuario. Sistema cumple 100% con requisitos agents.md. Auto-aplicación automática para confianza ≥80%, sugerencias para revisión 60-80%, logging completo para auditoría. @@ -32,7 +32,7 @@ Estado actual: **Validaciones finales completadas. Sistema LISTO para CI/CD auto * **[2025-11-09] - `ROADMAP-2026-USER-FOCUSED` - Hoja de Ruta Simplificada para Usuarios y PYMEs:** Roadmap ajustado eliminando features enterprise (multi-tenancy, compliance avanzado, blockchain, AR/VR). 12 Epics enfocados en usuarios individuales y pequeñas empresas (145 tareas, NO 147). Costo $0/año (100% GRATUITO - sin servicios de pago como Zapier $19.99/mes, Google Play $25, Apple Developer $99/año). Mobile vía F-Droid (gratis) en lugar de App Store/Google Play. Solo servicios open source y gratuitos. 6 documentos actualizados: ROADMAP_2026.md, GITHUB_PROJECT_SETUP.md, NOTION_INTEGRATION_GUIDE.md, ROADMAP_QUICK_START.md, RESUMEN_ROADMAP_2026.md, ROADMAP_INDEX.md. -* **[2025-11-09] - `PHASE-4-REBRAND` - Rebranding Frontend a IntelliDocs:** Actualización completa de marca en interfaz de usuario. 11 archivos frontend modificados con branding "IntelliDocs" en todos los elementos visibles para usuarios finales. +* **[2025-11-09] - `PHASE-4-REBRAND` - Rebranding Frontend a IntelliDocs:** Actualización completa de marca en interfaz de usuario. 11 archivos frontend modificados con branding "IntelliDocs" en todos los elementos visible para usuarios finales. * **[2025-11-09] - `PHASE-4-REVIEW` - Revisión de Código Completa y Corrección de Issues Críticos:** Code review exhaustivo de 16 archivos implementados. Identificadas y corregidas 2 issues críticas: dependencias ML/AI y OCR faltantes en pyproject.toml. Documentación de review y guía de implementación añadidas. @@ -52,7 +52,7 @@ Estado actual: **Validaciones finales completadas. Sistema LISTO para CI/CD auto ### Sesión Iniciada: 2025-11-17 15:00:00 UTC -* **Directiva del Director:** "Quiero que implementes los arreglos faltantes, puedes revisar el documento AUDIT_FINDINGS_2025-11-17.md para mas detalles. crea un plan que cubra todos los arreglos que faltan antes de comenzar a arreglarlos" +* **Directiva del Director:** "Quiero que implements los arreglos faltantes, puedes revisar el documento AUDIT_FINDINGS_2025-11-17.md para mas detalles. crea un plan que cubra todos los arreglos que faltan antes de comenzar a arreglarlos" * **Plan de Acción Propuesto:** 1. Revisar INFORME_AUDITORIA_CICD.md y BITACORA_MAESTRA.md 2. Identificar todos los arreglos pendientes (Fases 2, 3, 4) @@ -66,14 +66,14 @@ Estado actual: **Validaciones finales completadas. Sistema LISTO para CI/CD auto * `15:03:00` - **ACCIÓN:** FASE 2 - Validación Python. **DETALLE:** Ejecutado py_compile en 6 archivos. **RESULTADO:** ✅ Todos los archivos Python con sintaxis válida (1076_add_deletion_request.py, 1077_add_deletionrequest_performance_indexes.py, 1078_aisuggestionfeedback.py, ai_scanner.py, models.py, test_ml_smoke.py). * `15:05:00` - **ACCIÓN:** FASE 2 - Verificación correcciones frontend. **DETALLE:** Grep de archivos TypeScript. **RESULTADO:** ✅ Todas las correcciones aplicadas correctamente: standalone:true en ai-suggestions-panel línea 42, standalone:true en ai-settings línea 27, playCircle en main.ts líneas 123 y 346. * `15:08:00` - **ACCIÓN:** FASE 2 - Instalación deps frontend. **DETALLE:** pnpm install. **RESULTADO:** ✅ 1,273 paquetes instalados en 43.6s (warning canvas no crítico). - * `15:10:00` - **ACCIÓN:** FASE 2 - Compilación Angular. **COMANDO:** pnpm run build. **RESULTADO:** ✅ Build exitoso: 13.43 MB generado en 101 segundos, sin errores críticos (solo warnings de traducciones faltantes esperados). + * `15:10:00` - **ACCIÓN:** FASE 2 - Compilación Angular. **COMMANDO:** pnpm run build. **RESULTADO:** ✅ Build exitoso: 13.43 MB generado en 101 segundos, sin errores críticos (solo warnings de traducciones faltantes esperados). * `15:12:00` - **ACCIÓN:** FASE 3 - Verificación Docker. **DETALLE:** docker --version. **RESULTADO:** ⚠️ Docker no disponible en entorno local. Decisión: Delegar validaciones Docker a CI/CD (build, smoke tests, migraciones se ejecutarán automáticamente en GitHub Actions). * `15:15:00` - **ACCIÓN:** FASE 4 - Creación workflow CI/CD. **DETALLE:** Creado .github/workflows/docker-intellidocs.yml (305 líneas). **CONTENIDO:** 4 jobs: (1) test-ml-dependencies con UV + pytest test_ml_smoke.py, (2) build-and-push multi-arch con cache GHA, (3) test-docker-image con smoke tests en contenedor, (4) create-release para tags. Triggers: push dev/main/claude/**, PR dev/main, workflow_dispatch. Tags: branch, pr, semver, SHA, latest. Plataformas: linux/amd64, linux/arm64. * `15:18:00` - **ACCIÓN:** Verificación ci.yml existente. **DETALLE:** Grep de dependencias OpenCV. **RESULTADO:** ✅ Dependencias ya presentes en línea 153 (libglib2.0-0 libsm6 libxext6 libxrender1 libgomp1 libgl1). * `15:20:00` - **ACCIÓN:** Creación de documentación. **DETALLE:** CHECKLIST_FINAL_CICD.md (13KB, 350+ líneas). **CONTENIDO:** Resumen ejecutivo, checklist detallado Backend/Frontend/CI/CD, métricas antes/después, próximos pasos (commit+push), instrucciones pull imagen Docker. - * `15:25:00` - **ACCIÓN:** Actualización BITACORA_MAESTRA.md. **CAMBIOS:** (1) Actualizada fecha última modificación 2025-11-17, (2) Actualizado WIP con estado "LISTO para CI/CD", (3) Añadida entrada TSK-CICD-VALIDATION-FINAL en historial con todas las métricas, (4) Añadida esta sesión en log forense. + * `15:25:00` - **ACCIÓN:** Actualización BITACORA_MAESTRA.md. **CAMBIOS:** (1) Actualizada fecha última modificación 2025-11-17, (2) Actualizado WIP con estado "LISTO para CI/CD", (3) Añadida entrada TSK-CICD-VALIDATION-FINAL en historical con todas las métricas, (4) Añadida esta sesión en log forense. * **Resultado de la Sesión:** Hito TSK-CICD-VALIDATION-FINAL completado. Proyecto 100% LISTO para CI/CD automatizado. -* **Commit Asociado:** Pendiente (requiere push del Director) +* **Commit Asociado:** Pendiente (require push del Director) * **Observaciones/Decisiones de Diseño:** - Decisión estratégica: Delegar validaciones Docker a CI/CD por no disponibilidad local - Workflow CI/CD diseñado para ejecutarse automáticamente en cada push a dev/main/claude/** @@ -110,16 +110,16 @@ Estado actual: **Validaciones finales completadas. Sistema LISTO para CI/CD auto * `17:01:00` - **ACCIÓN:** Análisis de estructura. **DETALLE:** Glob de todos archivos del proyecto. **RESULTADO:** 743+ archivos identificados, estructura coherente. * `17:02:00` - **ACCIÓN:** Lanzamiento de agentes paralelos. **DETALLE:** 3 agentes Task ejecutados simultáneamente para análisis exhaustivo. **AGENTES:** (1) Explore:Backend Python, (2) Explore:Frontend Angular, (3) Explore:Dependencias. * `17:05:00` - **ACCIÓN:** Análisis Backend Python. **DETALLE:** Revisión de 20+ archivos Python (ai_scanner.py, consumer.py, ml/*, ocr/*, middleware.py, security.py). **RESULTADO:** 68 problemas identificados - 8 críticos, 22 altos, 28 medios, 10 bajos. Problemas críticos: código duplicado en ai_scanner.py líneas 144-203 (3 métodos sobrescriben instancias), condición duplicada en consumer.py línea 719, settings sin verificación línea 772, thread safety parcial en model_cache.py. - * `17:12:00` - **ACCIÓN:** Análisis Frontend Angular. **DETALLE:** Revisión de componentes deletion-requests, ai-suggestions-panel, servicios, modelos TypeScript. **RESULTADO:** 16 problemas identificados - 4 críticos, 5 altos, 5 medios, 2 bajos. Problemas críticos: memory leaks en 3 componentes (falta OnDestroy), duplicación de interface DeletionRequest en ai-status.ts y deletion-request.ts, polling infinito en AIStatusService. + * `17:12:00` - **ACCIÓN:** Análisis Frontend Angular. **DETALLE:** Revisión de components deletion-requests, ai-suggestions-panel, servicios, modelos TypeScript. **RESULTADO:** 16 problemas identificados - 4 críticos, 5 altos, 5 medios, 2 bajos. Problemas críticos: memory leaks en 3 components (falta OnDestroy), duplicación de interface DeletionRequest en ai-status.ts y deletion-request.ts, polling infinito en AIStatusService. * `17:18:00` - **ACCIÓN:** Análisis de Dependencias. **DETALLE:** Verificación coherencia pyproject.toml vs imports reales, package.json vs imports TypeScript, Dockerfile vs requerimientos sistema. **RESULTADO:** 3 problemas identificados - numpy versión mínima desactualizada (1.24.0→1.26.0), openpyxl posiblemente innecesaria, opencv-python solo en módulos avanzados. Coherencia: Backend 9.5/10, Frontend 10/10, Docker 10/10. * `17:22:00` - **ACCIÓN:** Búsqueda de código duplicado. **DETALLE:** Verificación manual de ai_scanner.py líneas 144-203. **RESULTADO:** Confirmado código duplicado crítico en 3 métodos (_get_classifier, _get_ner_extractor, _get_semantic_search). * `17:25:00` - **ACCIÓN:** Verificación de nomenclatura. **DETALLE:** Análisis de convenciones PEP 8 (Python) y Angular Style Guide (TypeScript). **RESULTADO:** 95% adherencia backend, 90% frontend. Inconsistencias menores en nombres de métodos. * `17:30:00` - **ACCIÓN:** Revisión de seguridad. **DETALLE:** Análisis de middleware.py, security.py, CSP headers, validación de archivos. **RESULTADO:** CSP demasiado permisivo (unsafe-inline, unsafe-eval), rate limiting débil, patrones de malware muy amplios, límite de 500MB muy alto. * `17:35:00` - **ACCIÓN:** Consolidación de hallazgos. **DETALLE:** Integración de resultados de 3 agentes. **RESULTADO:** 96 problemas totales - 12 críticos, 28 altos, 44 medios, 12 bajos. * `17:40:00` - **ACCIÓN:** Creación de fichero. **DETALLE:** `INFORME_REVISION_COMPLETA.md` (68KB, 1,150 líneas). **MOTIVO:** Informe exhaustivo con todos hallazgos, plan de acción 4 fases (12h+16h+32h+8h=68h total), recomendaciones estratégicas, métricas de impacto. - * `17:42:00` - **ACCIÓN:** Modificación de fichero. **DETALLE:** `BITACORA_MAESTRA.md`. **CAMBIOS:** (1) Corregido timestamps duplicados líneas 2-6 → timestamp único, (2) Actualizado WIP, (3) Añadida entrada TSK-CODE-REVIEW-001 en historial, (4) Añadida esta sesión en log forense. + * `17:42:00` - **ACCIÓN:** Modificación de fichero. **DETALLE:** `BITACORA_MAESTRA.md`. **CAMBIOS:** (1) Corregido timestamps duplicados líneas 2-6 → timestamp único, (2) Actualizado WIP, (3) Añadida entrada TSK-CODE-REVIEW-001 en historical, (4) Añadida esta sesión en log forense. * **Resultado de la Sesión:** Hito TSK-CODE-REVIEW-001 completado. Revisión exhaustiva del proyecto finalizada con informe completo de 96 problemas identificados. Calificación general: 8.2/10 - BUENO CON ÁREAS DE MEJORA. -* **Commit Asociado:** Pendiente (informe generado, requiere validación del Director) +* **Commit Asociado:** Pendiente (informe generado, require validación del Director) * **Observaciones/Decisiones de Diseño:** - Uso de agentes paralelos Task para maximizar eficiencia de análisis - Priorización de problemas por severidad (CRÍTICO > ALTO > MEDIO > BAJO) @@ -145,23 +145,23 @@ Estado actual: **Validaciones finales completadas. Sistema LISTO para CI/CD auto 5. Implementar componente de detalle con análisis de impacto 6. Añadir routing y validar build * **Log de Acciones (con timestamp):** - * `15:19:00` - **ACCIÓN:** Análisis de código. **DETALLE:** Revisión de commits previos (780decf, 1b4bc75), verificación de cambios en serialisers.py y views.py. **RESULTADO:** Serializers creados pero ViewSet incompleto, frontend sin implementar. + * `15:19:00` - **ACCIÓN:** Análisis de código. **DETALLE:** Revisión de commits previous (780decf, 1b4bc75), verificación de cambios en serialisers.py y views.py. **RESULTADO:** Serializers creados pero ViewSet incompleto, frontend sin implementar. * `15:20:00` - **ACCIÓN:** Modificación de fichero. **DETALLE:** `src/documents/views.py`. **CAMBIOS:** Añadido DeletionRequestViewSet completo (120 líneas) con métodos list, retrieve, approve, reject, pending_count. Extends ModelViewSet, usa IsAuthenticated permissions, DjangoFilterBackend para filtrado. * `15:21:00` - **ACCIÓN:** Modificación de fichero. **DETALLE:** `src/paperless/urls.py`. **CAMBIOS:** Importado DeletionRequestViewSet, registrado en api_router: `api_router.register(r"deletion_requests", DeletionRequestViewSet)`. - * `15:22:00` - **ACCIÓN:** Validación de sintaxis. **COMANDO:** `python3 -m py_compile` en views.py y urls.py. **RESULTADO:** OK (✓). + * `15:22:00` - **ACCIÓN:** Validación de sintaxis. **COMMANDO:** `python3 -m py_compile` en views.py y urls.py. **RESULTADO:** OK (✓). * `15:23:00` - **ACCIÓN:** Creación de fichero. **DETALLE:** `src-ui/src/app/data/deletion-request.ts` (1153 bytes). **MOTIVO:** Interfaces TypeScript para DeletionRequest, DeletionRequestDocument, DeletionRequestImpactSummary, enum DeletionRequestStatus. * `15:24:00` - **ACCIÓN:** Creación de fichero. **DETALLE:** `src-ui/src/app/services/rest/deletion-request.service.ts` (1925 bytes). **MOTIVO:** Servicio Angular extendiendo AbstractPaperlessService con métodos approve(), reject(), getPendingCount(). * `15:24:30` - **ACCIÓN:** Creación de fichero. **DETALLE:** `src-ui/src/app/services/rest/deletion-request.service.spec.ts` (2119 bytes). **MOTIVO:** Tests unitarios para servicio. * `15:25:00` - **ACCIÓN:** Creación de componente. **DETALLE:** `src-ui/src/app/components/deletion-requests/deletion-requests.component.*` (4 archivos). **MOTIVO:** Componente principal con filtrado por tabs (pending/approved/rejected/completed), tabla con paginación, badges de estado, contador de pendientes. * `15:26:00` - **ACCIÓN:** Creación de componente. **DETALLE:** `src-ui/src/app/components/deletion-requests/deletion-request-detail/*` (4 archivos). **MOTIVO:** Modal de detalle con información completa, análisis de impacto visual (cards con métricas), lista de documentos, botones approve/reject. * `15:27:00` - **ACCIÓN:** Modificación de fichero. **DETALLE:** `src-ui/src/app/app-routing.module.ts`. **CAMBIOS:** Importado DeletionRequestsComponent, añadida ruta `/deletion-requests` con PermissionsGuard. - * `15:28:00` - **ACCIÓN:** Instalación de dependencias. **COMANDO:** `pnpm install`. **RESULTADO:** Dependencias instaladas correctamente. - * `15:28:30` - **ACCIÓN:** Lint frontend. **COMANDO:** `pnpm run lint`. **RESULTADO:** 2 errores iniciales (constructor injection, template filter). Corregidos: eliminado parámetro http del constructor, añadido método getStatusCount(). - * `15:29:00` - **ACCIÓN:** Lint frontend (2da vez). **COMANDO:** `pnpm run lint`. **RESULTADO:** ✓ All files pass linting. - * `15:29:30` - **ACCIÓN:** Build frontend. **COMANDO:** `pnpm run build`. **RESULTADO:** 2 errores de compilación (private property, incorrect extends). Corregidos: deletionRequestService cambiado a public, unsubscribeNotifier cambiado a protected. - * `15:30:00` - **ACCIÓN:** Build frontend (2da vez). **COMANDO:** `pnpm run build`. **RESULTADO:** ✓ Build successful (dist/paperless-ui generado). + * `15:28:00` - **ACCIÓN:** Instalación de dependencias. **COMMANDO:** `pnpm install`. **RESULTADO:** Dependencias instaladas correctamente. + * `15:28:30` - **ACCIÓN:** Lint frontend. **COMMANDO:** `pnpm run lint`. **RESULTADO:** 2 errores iniciales (constructor injection, template filter). Corregidos: eliminado parámetro http del constructor, añadido método getStatusCount(). + * `15:29:00` - **ACCIÓN:** Lint frontend (2da vez). **COMMANDO:** `pnpm run lint`. **RESULTADO:** ✓ All files pass linting. + * `15:29:30` - **ACCIÓN:** Build frontend. **COMMANDO:** `pnpm run build`. **RESULTADO:** 2 errores de compilación (private property, incorrect extends). Corregidos: deletionRequestService cambiado a public, unsubscribeNotifier cambiado a protected. + * `15:30:00` - **ACCIÓN:** Build frontend (2da vez). **COMMANDO:** `pnpm run build`. **RESULTADO:** ✓ Build successful (dist/paperless-ui generado). * `15:31:00` - **ACCIÓN:** Commit. **HASH:** `5edfbfc`. **MENSAJE:** `feat: Complete deletion requests management UI implementation`. -* **Resultado de la Sesión:** Hito TSK-DELETION-UI-001 completado. UI funcional y consistente con diseño de la app. +* **Resultado de la Sesión:** Hito TSK-DELETION-UI-001 completado. UI functional y consistente con diseño de la app. * **Commit Asociado:** `5edfbfc` * **Observaciones/Decisiones de Diseño:** - Backend: DeletionRequestViewSet filtra por usuario (get_queryset), solo superuser ve todos los requests @@ -171,7 +171,7 @@ Estado actual: **Validaciones finales completadas. Sistema LISTO para CI/CD auto - Frontend: DeletionRequestsComponent extiende LoadingComponentWithPermissions (patrón estándar app) - Frontend: Tabs con NgbNav para filtrado por estado, badge warning en tab Pending - Frontend: DeletionRequestDetailComponent usa modal XL responsive - - Frontend: Análisis de impacto mostrado con cards visuales (document_count, tags, correspondents) + - Frontend: Análisis de impacto mostrado con cards visuals (document_count, tags, correspondents) - Frontend: Tabla de documentos afectados muestra: id, title, correspondent, type, tags - Frontend: Solo requests pending permiten approve/reject (canModify() guard) - Frontend: Botones con spinner durante procesamiento (isProcessing flag) @@ -182,7 +182,7 @@ Estado actual: **Validaciones finales completadas. Sistema LISTO para CI/CD auto * **Directiva del Director:** "hubo un error, revisa todo e implementa lo que falte @copilot" * **Plan de Acción Propuesto:** - 1. Revisar commits previos para identificar error + 1. Revisar commits previous para identificar error 2. Verificar sintaxis Python de todos archivos modificados 3. Completar settings.py con configuraciones faltantes 4. Agregar integración de warm-up en apps.py @@ -194,10 +194,10 @@ Estado actual: **Validaciones finales completadas. Sistema LISTO para CI/CD auto * `16:08:00` - **ACCIÓN:** Modificación de fichero. **DETALLE:** `src/paperless/settings.py`. **CAMBIOS:** Añadidas 2 configuraciones: PAPERLESS_ML_CACHE_MAX_MODELS (default 3), PAPERLESS_ML_CACHE_WARMUP (default False). * `16:10:00` - **ACCIÓN:** Modificación de fichero. **DETALLE:** `src/documents/apps.py`. **CAMBIOS:** Añadido método _initialize_ml_cache() (34 líneas) que inicializa ModelCacheManager con settings y ejecuta warm_up opcional en startup. * `16:15:00` - **ACCIÓN:** Creación de fichero. **DETALLE:** `src/documents/tests/test_ml_cache.py` (298 líneas). **MOTIVO:** Tests comprehensivos para CacheMetrics, LRUCache, ModelCacheManager (15 test cases). - * `16:18:00` - **ACCIÓN:** Validación de sintaxis. **COMANDO:** `python3 -m py_compile` en apps.py, settings.py, test_ml_cache.py. **RESULTADO:** Todos OK (✓). + * `16:18:00` - **ACCIÓN:** Validación de sintaxis. **COMMANDO:** `python3 -m py_compile` en apps.py, settings.py, test_ml_cache.py. **RESULTADO:** Todos OK (✓). * `16:20:00` - **ACCIÓN:** Commit. **HASH:** `f1161ce`. **MENSAJE:** `feat(ml): Complete ML model caching implementation with settings and startup integration`. - * `16:22:00` - **ACCIÓN:** Actualización de fichero. **DETALLE:** `BITACORA_MAESTRA.md`. **CAMBIOS:** Añadida entrada TSK-ML-CACHE-001 en historial y sesión en log. -* **Resultado de la Sesión:** Hito TSK-ML-CACHE-001 completado 100%. Sistema caché ML totalmente funcional. + * `16:22:00` - **ACCIÓN:** Actualización de fichero. **DETALLE:** `BITACORA_MAESTRA.md`. **CAMBIOS:** Añadida entrada TSK-ML-CACHE-001 en historical y sesión en log. +* **Resultado de la Sesión:** Hito TSK-ML-CACHE-001 completado 100%. Sistema caché ML totalmente functional. * **Commit Asociado:** `f1161ce` * **Observaciones/Decisiones de Diseño:** - ModelCacheManager usa singleton pattern thread-safe con __new__ y lock @@ -215,7 +215,7 @@ Estado actual: **Validaciones finales completadas. Sistema LISTO para CI/CD auto * **Directiva del Director:** "vuelve a intentar esta tarea, hubo un error y dejaste de trabajar" - Retomar implementación de API endpoints para deletion requests (Issue #13) * **Plan de Acción Propuesto:** - 1. Verificar estado actual del código (commits previos f67dd15 y 780decf) + 1. Verificar estado actual del código (commits previous f67dd15 y 780decf) 2. Validar sintaxis de archivos creados previamente 3. Revisar implementación de DeletionRequestViewSet con acciones approve/reject/cancel 4. Verificar registro de ruta en urls.py @@ -223,12 +223,12 @@ Estado actual: **Validaciones finales completadas. Sistema LISTO para CI/CD auto 6. Actualizar BITACORA_MAESTRA.md con sesión completada * **Log de Acciones (con timestamp):** * `05:43:00` - **ACCIÓN:** Análisis de commits. **DETALLE:** Revisión de commits f67dd15 y 780decf. **RESULTADO:** 5 archivos ya modificados/creados (views/deletion_request.py, serialisers.py, urls.py, views/__init__.py, test_api_deletion_requests.py). - * `05:44:00` - **ACCIÓN:** Validación de sintaxis. **COMANDO:** `python3 -m py_compile` en archivos del viewset. **RESULTADO:** Todos OK (✓ deletion_request.py, ✓ serialisers.py, ✓ urls.py). + * `05:44:00` - **ACCIÓN:** Validación de sintaxis. **COMMANDO:** `python3 -m py_compile` en archivos del viewset. **RESULTADO:** Todos OK (✓ deletion_request.py, ✓ serialisers.py, ✓ urls.py). * `05:45:00` - **ACCIÓN:** Revisión de implementación. **DETALLE:** DeletionRequestViewSet (263 líneas) con ModelViewSet base, get_queryset filtrado por usuario, _can_manage_request para validación de permisos, 3 acciones (@action): approve (ejecuta deletion en transacción), reject (usa modelo.reject()), cancel (actualiza estado directamente). **RESULTADO:** Implementación completa y correcta. - * `05:46:00` - **ACCIÓN:** Verificación de serializer. **DETALLE:** DeletionRequestSerializer con document_details (SerializerMethodField), user_username y reviewed_by_username (source), Meta con 12 fields y 6 read_only_fields. get_document_details retorna array con id, title, created, correspondent, document_type, tags. **RESULTADO:** Serializer completo y funcional. + * `05:46:00` - **ACCIÓN:** Verificación de serializer. **DETALLE:** DeletionRequestSerializer con document_details (SerializerMethodField), user_username y reviewed_by_username (source), Meta con 12 fields y 6 read_only_fields. get_document_details retorna array con id, title, created, correspondent, document_type, tags. **RESULTADO:** Serializer completo y functional. * `05:47:00` - **ACCIÓN:** Verificación de routing. **DETALLE:** src/paperless/urls.py línea 46 (import) y línea 83 (registro). **RESULTADO:** Ruta /api/deletion-requests/ correctamente registrada con basename. * `05:48:00` - **ACCIÓN:** Revisión de tests. **DETALLE:** test_api_deletion_requests.py con 20+ tests: list (owner/admin), retrieve, approve (owner/admin/sin permiso/ya aprobado), reject (owner/admin/sin permiso/ya rechazado), cancel (owner/sin permiso/ya aprobado), múltiples documentos, document_details, unauthenticated. **RESULTADO:** Cobertura de tests completa. - * `05:49:00` - **ACCIÓN:** Actualización de bitácora. **DETALLE:** BITACORA_MAESTRA.md actualizada con entrada TSK-API-DELETION-REQUESTS en historial y nueva sesión en log forense. + * `05:49:00` - **ACCIÓN:** Actualización de bitácora. **DETALLE:** BITACORA_MAESTRA.md actualizada con entrada TSK-API-DELETION-REQUESTS en historical y nueva sesión en log forense. * **Resultado de la Sesión:** Hito TSK-API-DELETION-REQUESTS completado. API endpoints 100% funcionales. * **Commit Asociado:** `f67dd15` (Changes before error encountered) * **Observaciones/Decisiones de Diseño:** @@ -247,7 +247,7 @@ Estado actual: **Validaciones finales completadas. Sistema LISTO para CI/CD auto - Tests cubren todos los casos: happy path, permisos, validaciones, edge cases ### Sesión Iniciada: 2025-11-12 13:06:00 UTC -* **Directiva del Director:** "Tests de integración para `_run_ai_scanner()` en pipeline de consumo. Tareas: Test de integración end-to-end: upload → consumo → AI scan → metadata; Test con ML components deshabilitados; Test con fallos de AI scanner (graceful degradation); Test con diferentes tipos de documentos (PDF, imagen, texto); Test de performance con documentos grandes; Test con transacciones y rollbacks; Test con múltiples documentos simultáneos. Archivos a modificar: src/documents/tests/test_consumer.py. Criterios: Pipeline completo testeado end-to-end, Graceful degradation verificado, Performance aceptable (<2s adicionales por documento). haz esto usando agents.md" +* **Directiva del Director:** "Tests de integración para `_run_ai_scanner()` en pipeline de consumo. Tareas: Test de integración end-to-end: upload → consumo → AI scan → metadata; Test con ML components deshabilitados; Test con fallos de AI scanner (graceful degradation); Test con diferentes tipos de documentos (PDF, imagen, texto); Test de performance con documentos grandes; Test con transacciones y rollbacks; Test con múltiples documentos simultáneos. Archivos a modificar: src/documents/tests/test_consumer.py. Criterios: Pipeline completo testeado end-to-end, Graceful degradation verificado, Performance acceptable (<2s adicionales por documento). haz esto usando agents.md" * **Plan de Acción Propuesto:** 1. Explorar repositorio y entender estructura existente de tests 2. Revisar implementación de AI scanner y su integración en consumer @@ -258,7 +258,7 @@ Estado actual: **Validaciones finales completadas. Sistema LISTO para CI/CD auto * `13:06:00` - **ACCIÓN:** Análisis de código. **DETALLE:** Revisión de agents.md, estructura del proyecto, ai_scanner.py, consumer.py, test_consumer.py, test_ai_scanner.py, test_ai_scanner_integration.py. **RESULTADO:** Identificada estructura de tests existente con DirectoriesMixin, FileSystemAssertsMixin, GetConsumerMixin. * `13:15:00` - **ACCIÓN:** Planificación. **DETALLE:** Plan de 10 tests de integración: end-to-end, ML deshabilitado, fallos AI scanner, PDF, imagen, texto, performance, transacciones/rollbacks, múltiples documentos, configuración deshabilitada. **RESULTADO:** Plan documentado en PR. * `13:25:00` - **ACCIÓN:** Modificación de fichero. **DETALLE:** `src/documents/tests/test_consumer.py`. **CAMBIOS:** Añadida clase TestConsumerAIScannerIntegration con 10 tests de integración (550+ líneas). Tests: test_ai_scanner_end_to_end_integration, test_ai_scanner_with_ml_disabled, test_ai_scanner_failure_graceful_degradation, test_ai_scanner_with_pdf_document, test_ai_scanner_with_image_document, test_ai_scanner_performance, test_ai_scanner_transaction_rollback, test_ai_scanner_multiple_documents_concurrent, test_ai_scanner_with_text_content, test_ai_scanner_disabled_by_setting. - * `13:28:00` - **ACCIÓN:** Validación de sintaxis. **COMANDO:** `python3 -m py_compile src/documents/tests/test_consumer.py`. **RESULTADO:** ✓ OK - sintaxis correcta. + * `13:28:00` - **ACCIÓN:** Validación de sintaxis. **COMMANDO:** `python3 -m py_compile src/documents/tests/test_consumer.py`. **RESULTADO:** ✓ OK - sintaxis correcta. * `13:30:00` - **ACCIÓN:** Actualización de fichero. **DETALLE:** `BITACORA_MAESTRA.md`. **CAMBIOS:** Actualizado WIP, añadida sesión en log según requisitos agents.md. * **Resultado de la Sesión:** Tests de integración AI Scanner implementados. 10 tests cubriendo todos los criterios de aceptación. * **Commit Asociado:** Pendiente de commit con report_progress @@ -291,9 +291,9 @@ Estado actual: **Validaciones finales completadas. Sistema LISTO para CI/CD auto 9. Actualizar BITACORA_MAESTRA.md * **Log de Acciones (con timestamp):** * `13:06:40` - **ACCIÓN:** Exploración de repositorio. **DETALLE:** Análisis de estructura, pyproject.toml (ruff config), .pre-commit-config.yaml. **RESULTADO:** Identificado ruff v0.14.0 con reglas extend-select (COM, DJ, I, G201, TC, etc.), black, mypy configurados. - * `13:07:10` - **ACCIÓN:** Instalación de dependencias. **COMANDO:** `pip install ruff==0.14.0 black mypy pre-commit`. **RESULTADO:** Herramientas instaladas exitosamente. - * `13:07:30` - **ACCIÓN:** Ejecución de ruff inicial. **COMANDO:** `ruff check src/documents/ai_scanner.py src/documents/ai_deletion_manager.py src/documents/consumer.py`. **RESULTADO:** 284 errores encontrados, 229 auto-corregidos (W293, UP006, UP045, I001, Q000, COM812, F401, TC005, F541). - * `13:08:00` - **ACCIÓN:** Formateo automático. **COMANDO:** `ruff format` + `black`. **RESULTADO:** 3 archivos reformateados, advertencia sobre COM812 (conflicto con formatter). + * `13:07:10` - **ACCIÓN:** Instalación de dependencias. **COMMANDO:** `pip install ruff==0.14.0 black mypy pre-commit`. **RESULTADO:** Herramientas instaladas exitosamente. + * `13:07:30` - **ACCIÓN:** Ejecución de ruff inicial. **COMMANDO:** `ruff check src/documents/ai_scanner.py src/documents/ai_deletion_manager.py src/documents/consumer.py`. **RESULTADO:** 284 errores encontrados, 229 auto-corregidos (W293, UP006, UP045, I001, Q000, COM812, F401, TC005, F541). + * `13:08:00` - **ACCIÓN:** Formateo automático. **COMMANDO:** `ruff format` + `black`. **RESULTADO:** 3 archivos reformateados, advertencia sobre COM812 (conflicto con formatter). * `13:08:30` - **ACCIÓN:** Análisis de warnings restantes. **DETALLE:** 20 warnings pendientes identificados: TC002 (1), RUF013 (3), FBT001/FBT002 (4), G201 (10). * `13:09:00` - **ACCIÓN:** Commit. **HASH:** `2d7345f`. **MENSAJE:** `Initial exploration: AI Scanner linting and pre-commit hooks`. * `13:09:30` - **ACCIÓN:** Modificación de fichero. **DETALLE:** `src/documents/ai_deletion_manager.py`. **CAMBIOS:** Movido import User desde línea 19 a bloque TYPE_CHECKING (líneas 17-19). Corrección de TC002 warning. @@ -301,21 +301,21 @@ Estado actual: **Validaciones finales completadas. Sistema LISTO para CI/CD auto * `13:10:30` - **ACCIÓN:** Modificación de fichero. **DETALLE:** `src/documents/ai_scanner.py` - scan_document method. **CAMBIOS:** Línea 192: `str = None` → `str | None = None`. Corrección de RUF013. * `13:11:00` - **ACCIÓN:** Modificación de fichero. **DETALLE:** `src/documents/ai_scanner.py` - apply_scan_results method. **CAMBIOS:** Líneas 730-731: añadido `*` antes de auto_apply para keyword-only args. Corrección de FBT001/FBT002. * `13:12:00` - **ACCIÓN:** Modificación de fichero. **DETALLE:** `src/documents/ai_scanner.py` - logging statements. **CAMBIOS:** Reemplazadas 10 ocurrencias (líneas 300, 361, 417, 456, 488, 527, 632, 703, 723, 847): `logger.error(f"...", exc_info=True)` → `logger.exception(f"...")`. Corrección de G201 warnings. - * `13:13:00` - **ACCIÓN:** Verificación final. **COMANDO:** `ruff check`. **RESULTADO:** ✅ All checks passed! 0 warnings restantes. `ruff format` + `black` ejecutados para formateo consistente. + * `13:13:00` - **ACCIÓN:** Verificación final. **COMMANDO:** `ruff check`. **RESULTADO:** ✅ All checks passed! 0 warnings restantes. `ruff format` + `black` ejecutados para formateo consistente. * `13:14:00` - **ACCIÓN:** Commit. **HASH:** `8a5ece9`. **MENSAJE:** `fix: Corregir todos los warnings de linting (ruff, black)`. - * `13:17:00` - **ACCIÓN:** Actualización de fichero. **DETALLE:** `BITACORA_MAESTRA.md`. **CAMBIOS:** Actualizado WIP, añadida tarea completada TSK-AI-SCANNER-LINTING al historial, añadida sesión en log forense. + * `13:17:00` - **ACCIÓN:** Actualización de fichero. **DETALLE:** `BITACORA_MAESTRA.md`. **CAMBIOS:** Actualizado WIP, añadida tarea completada TSK-AI-SCANNER-LINTING al historical, añadida sesión en log forense. * **Resultado de la Sesión:** Hito TSK-AI-SCANNER-LINTING completado. Código AI Scanner 100% limpio de warnings. * **Commit Asociado:** `2d7345f`, `8a5ece9` * **Observaciones/Decisiones de Diseño:** - TC002 (type-checking import): User solo usado en type annotations, movido a TYPE_CHECKING block evita import en runtime - - RUF013 (implicit Optional): PEP 484 requiere Optional explícito, modernizado con union syntax `| None` - - FBT001/FBT002 (boolean trap): Parámetros boolean en funciones públicas convertidos a keyword-only usando `*` para prevenir bugs de orden de argumentos + - RUF013 (implicit Optional): PEP 484 require Optional explícito, modernizado con union syntax `| None` + - FBT001/FBT002 (boolean trap): Parámetros boolean en funciones públicas convertidos a keyword-only usando `*` para prevenir bugs de orden de arguments - G201 (logging): logger.exception() automáticamente incluye traceback, más conciso que logger.error(..., exc_info=True) - COM812 disabled: trailing comma rule causa conflictos con formatter, warnings ignorados por configuración - W293 (blank line whitespace): Auto-corregido por ruff format, mejora consistencia - Formateo: ruff format (fast, Rust-based) + black (standard Python formatter) para máxima compatibilidad - Pre-commit hooks: no ejecutables por restricciones de red, pero código cumple todos los requisitos de ruff/black - - Type checking completo (mypy): requiere Django environment completo con todas las dependencias, aplazado para CI/CD + - Type checking completo (mypy): require Django environment completo con todas las dependencias, aplazado para CI/CD - Impacto: 64 líneas modificadas (38 ai_scanner.py, 4 ai_deletion_manager.py, 22 consumer.py) - Resultado: Código production-ready, listo para merge, cumple estándares de calidad del proyecto @@ -339,13 +339,13 @@ Estado actual: **Validaciones finales completadas. Sistema LISTO para CI/CD auto * `14:15:00` - **ACCIÓN:** Creación de fichero. **DETALLE:** `src/documents/ai_deletion_manager.py` (350 líneas). **MOTIVO:** Manager de eliminaciones con análisis de impacto y workflow de aprobación. * `14:20:00` - **ACCIÓN:** Modificación de fichero. **DETALLE:** `src/documents/models.py`. **CAMBIOS:** Añadido modelo DeletionRequest (145 líneas) con campos: created_at, updated_at, requested_by_ai, ai_reason, user, status, documents (M2M), impact_summary (JSON), reviewed_at, reviewed_by, review_comment, completed_at, completion_details (JSON). Métodos: approve(), reject(). * `14:25:00` - **ACCIÓN:** Commit. **HASH:** `514af30`. **MENSAJE:** `feat(ai): Add deletion protection with user approval workflow`. - * `14:28:00` - **ACCIÓN:** Validación de sintaxis. **COMANDO:** `python3 -m py_compile` en 3 archivos. **RESULTADO:** Todos OK (✓ ai_scanner.py, ✓ ai_deletion_manager.py, ✓ consumer.py). + * `14:28:00` - **ACCIÓN:** Validación de sintaxis. **COMMANDO:** `python3 -m py_compile` en 3 archivos. **RESULTADO:** Todos OK (✓ ai_scanner.py, ✓ ai_deletion_manager.py, ✓ consumer.py). * `14:30:00` - **ACCIÓN:** Actualización de fichero. **DETALLE:** `BITACORA_MAESTRA.md`. **CAMBIOS:** Actualizado WIP y añadida sesión en log. -* **Resultado de la Sesión:** Hito TSK-AI-SCANNER-001 completado. Sistema AI Scanner 100% funcional. +* **Resultado de la Sesión:** Hito TSK-AI-SCANNER-001 completado. Sistema AI Scanner 100% functional. * **Commit Asociado:** `089cd1f`, `514af30` * **Observaciones/Decisiones de Diseño:** - - AIDocumentScanner usa lazy loading de componentes ML (classifier, NER, semantic_search, table_extractor) para optimizar memoria - - Sistema de confianza en dos niveles: auto-apply ≥80% (automático), suggest ≥60% (requiere revisión usuario) + - AIDocumentScanner usa lazy loading de components ML (classifier, NER, semantic_search, table_extractor) para optimizar memoria + - Sistema de confianza en dos niveles: auto-apply ≥80% (automático), suggest ≥60% (require revisión usuario) - _extract_entities() usa NER.extract_all() para obtener: personas, organizaciones, ubicaciones, fechas, cantidades, números de factura, emails, teléfonos - _suggest_tags() combina matching existente + sugerencias basadas en entidades (confianza 0.65-0.85) - _detect_correspondent() usa NER organizaciones + matching existente (confianza 0.70-0.85) @@ -373,23 +373,23 @@ Estado actual: **Validaciones finales completadas. Sistema LISTO para CI/CD auto 4. Confirmar accesibilidad de `http://localhost:8000` y documentar resultados en la bitácora. * **Log de Acciones (con timestamp):** * `10:05:20` - **ACCIÓN:** Revisión de bitácora y configuraciones Docker. **DETALLE:** Verificación de `Dockerfile`, `docker-compose.intellidocs.yml` y scripts s6. - * `10:09:45` - **ACCIÓN:** Construcción de imagen. **COMANDO:** `docker build -t intellidocs-ngx:latest .`. **RESULTADO:** Build completada con dependencias ML/OCR instaladas. - * `10:19:10` - **ACCIÓN:** Despliegue inicial. **COMANDO:** `docker compose ... up -d`. **RESULTADO:** Contenedor webserver en reinicio; error `exec /usr/bin/bash` identificado. + * `10:09:45` - **ACCIÓN:** Construcción de imagen. **COMMANDO:** `docker build -t intellidocs-ngx:latest .`. **RESULTADO:** Build completada con dependencias ML/OCR instaladas. + * `10:19:10` - **ACCIÓN:** Despliegue inicial. **COMMANDO:** `docker compose ... up -d`. **RESULTADO:** Contenedor webserver en reinicio; error `exec /usr/bin/bash` identificado. * `10:23:05` - **ACCIÓN:** Normalización de scripts s6. **DETALLE:** Conversión a LF y cambio de shebang a `/bin/bash` en `docker/rootfs/etc/s6-overlay/s6-rc.d/*/run`. - * `10:27:30` - **ACCIÓN:** Reconstrucción de imagen. **COMANDO:** `docker build -t intellidocs-ngx:latest .`. **RESULTADO:** Imagen actualizada sin errores de s6. - * `10:32:40` - **ACCIÓN:** Despliegue definitivo. **COMANDO:** `docker compose --project-name compose -f docker/compose/docker-compose.intellidocs.yml up -d`. **RESULTADO:** Servicios broker y webserver levantados con health checks en progreso. - * `10:34:20` - **ACCIÓN:** Verificación de estado. **COMANDO:** `docker compose ... ps`. **RESULTADO:** Ambos contenedores en estado **healthy**. - * `10:35:40` - **ACCIÓN:** Prueba de conectividad HTTP. **COMANDO:** `Invoke-WebRequest http://localhost:8000/`. **RESULTADO:** Respuesta 302 (Found), confirmando accesibilidad. + * `10:27:30` - **ACCIÓN:** Reconstrucción de imagen. **COMMANDO:** `docker build -t intellidocs-ngx:latest .`. **RESULTADO:** Imagen actualizada sin errores de s6. + * `10:32:40` - **ACCIÓN:** Despliegue definitivo. **COMMANDO:** `docker compose --project-name compose -f docker/compose/docker-compose.intellidocs.yml up -d`. **RESULTADO:** Servicios broker y webserver levantados con health checks en progreso. + * `10:34:20` - **ACCIÓN:** Verificación de estado. **COMMANDO:** `docker compose ... ps`. **RESULTADO:** Ambos contenedores en estado **healthy**. + * `10:35:40` - **ACCIÓN:** Prueba de conectividad HTTP. **COMMANDO:** `Invoke-WebRequest http://localhost:8000/`. **RESULTADO:** Respuesta 302 (Found), confirmando accesibilidad. * `11:45:55` - **ACCIÓN:** Análisis de errores API. **DETALLE:** Detección de 500 en `/api/ui_settings/` y `/api/profile/totp/`; revisión de logs revela `request.user` no disponible en middlewares personalizados. * `11:50:10` - **ACCIÓN:** Mitigación de bug. **DETALLE:** Actualización de `src/paperless/middleware.py` para usar `getattr(request, "user", None)` antes de acceder a propiedades y reconstrucción de imagen Docker. - * `11:55:40` - **ACCIÓN:** Validación de endpoints. **COMANDO:** `curl -i http://localhost:8000/api/ui_settings/`. **RESULTADO:** Respuesta 401 (Unauthorized) sin errores inesperados. + * `11:55:40` - **ACCIÓN:** Validación de endpoints. **COMMANDO:** `curl -i http://localhost:8000/api/ui_settings/`. **RESULTADO:** Respuesta 401 (Unauthorized) sin errores inesperados. * `12:05:20` - **ACCIÓN:** Reinicio de credenciales. **DETALLE:** Restablecida contraseña del usuario `dawnsystem` mediante `manage.py shell` con persistencia en BD Docker. * **Resultado de la Sesión:** Contenedores Docker IntelliDocs activos y saludables usando imagen reconstruida. * **Commit Asociado:** Pendiente (cambios locales sin commit). * **Observaciones/Decisiones de Diseño:** - Se reemplazó `/usr/bin/bash` por `/bin/bash` en todos los scripts `run` de s6-overlay y se eliminaron retornos de carro Windows. - Se mantuvo el volumen `ml_cache` para persistir modelos ML entre reinicios. - - Health check del webserver requiere ~60s mientras se cargan modelos; se documentó en próximos pasos ejecutar script de validación adicional. + - Health check del webserver require ~60s mientras se cargan modelos; se documentó en próximos pasos ejecutar script de validación adicional. ### Sesión Iniciada: 2025-11-10 00:10:00 UTC @@ -401,7 +401,7 @@ Estado actual: **Validaciones finales completadas. Sistema LISTO para CI/CD auto 4. Documentar resultados y próximos pasos en la Bitácora Maestra * **Log de Acciones (con timestamp):** * `00:10:05` - **ACCIÓN:** Verificación de herramienta. **DETALLE:** `docker --version`. **RESULTADO:** Docker 28.3.2 operativo. - * `00:10:30` - **ACCIÓN:** Ejecución de comando. **DETALLE:** `docker compose --env-file docker/compose/docker-compose.env -f docker/compose/docker-compose.intellidocs.yml up -d`. **RESULTADO:** Imágenes descargadas y contenedores `compose-broker-1` y `compose-webserver-1` iniciados. + * `00:10:30` - **ACCIÓN:** Ejecución de commando. **DETALLE:** `docker compose --env-file docker/compose/docker-compose.env -f docker/compose/docker-compose.intellidocs.yml up -d`. **RESULTADO:** Imágenes descargadas y contenedores `compose-broker-1` y `compose-webserver-1` iniciados. * `00:12:10` - **ACCIÓN:** Monitoreo de servicios. **DETALLE:** `docker compose ... ps`. **RESULTADO:** Broker healthy, webserver en `health: starting`. * `00:12:25` - **ACCIÓN:** Revisión de logs. **DETALLE:** `docker compose ... logs --tail 50 webserver`. **RESULTADO:** Migraciones Django aplicadas correctamente. * `00:12:50` - **ACCIÓN:** Espera controlada. **DETALLE:** `Start-Sleep -Seconds 20`. **RESULTADO:** Permitir finalización de health checks. @@ -411,7 +411,7 @@ Estado actual: **Validaciones finales completadas. Sistema LISTO para CI/CD auto * **Observaciones/Decisiones de Diseño:** - Se utilizaron los valores por defecto del archivo `docker/compose/docker-compose.env`. - No se cargaron volúmenes adicionales más allá de los definidos (`data`, `media`, `ml_cache`, `redisdata`). - - El próximo paso recomendado es validar acceso vía `http://localhost:8000` y ejecutar el script `docker/test-intellidocs-features.sh` si se requiere verificación integral. + - El próximo paso recomendado es validar acceso vía `http://localhost:8000` y ejecutar el script `docker/test-intellidocs-features.sh` si se require verificación integral. ### Sesión Iniciada: 2025-11-09 23:37:00 UTC @@ -430,10 +430,10 @@ Estado actual: **Validaciones finales completadas. Sistema LISTO para CI/CD auto * `23:40:00` - **ACCIÓN:** Creación de fichero. **DETALLE:** `DOCKER_SETUP_INTELLIDOCS.md` (14KB, 486 líneas). **MOTIVO:** Guía completa Docker con inicio rápido, configuración detallada, 4 fases de funciones, troubleshooting, mejores prácticas. * `23:42:00` - **ACCIÓN:** Creación de fichero. **DETALLE:** `docker/compose/docker-compose.intellidocs.yml` (4KB, 123 líneas). **MOTIVO:** Compose file optimizado con Redis LRU, volumen ml_cache persistente, health checks mejorados, resource limits, soporte GPU preparado. * `23:43:00` - **ACCIÓN:** Creación de fichero. **DETALLE:** `docker/test-intellidocs-features.sh` (6KB, 199 líneas). **MOTIVO:** Script bash para verificar 8 tests: contenedores activos, dependencias Python, módulos ML/OCR, Redis, webserver, variables entorno, caché ML, recursos sistema. - * `23:44:00` - **ACCIÓN:** Creación de fichero. **DETALLE:** `docker/README_INTELLIDOCS.md` (8KB, 320 líneas). **MOTIVO:** Documentación específica directorio Docker con comandos útiles, comparación compose files, configuración avanzada. + * `23:44:00` - **ACCIÓN:** Creación de fichero. **DETALLE:** `docker/README_INTELLIDOCS.md` (8KB, 320 líneas). **MOTIVO:** Documentación específica directorio Docker con commandos útiles, comparación compose files, configuración avanzada. * `23:45:00` - **ACCIÓN:** Modificación de fichero. **DETALLE:** `README.md`. **CAMBIOS:** Añadida sección "IntelliDocs Quick Start" con nuevas funciones, links a documentación Docker. * `23:46:00` - **ACCIÓN:** Commit. **HASH:** `2fd2360`. **MENSAJE:** `feat(docker): add Docker support for IntelliDocs ML/OCR features`. - * `23:47:00` - **ACCIÓN:** Modificación de fichero. **DETALLE:** `BITACORA_MAESTRA.md`. **CAMBIOS:** Añadida entrada DOCKER-ML-OCR-INTEGRATION en historial y esta sesión en log. + * `23:47:00` - **ACCIÓN:** Modificación de fichero. **DETALLE:** `BITACORA_MAESTRA.md`. **CAMBIOS:** Añadida entrada DOCKER-ML-OCR-INTEGRATION en historical y esta sesión en log. * **Resultado de la Sesión:** Hito DOCKER-ML-OCR-INTEGRATION completado. 100% listo para testing. * **Commit Asociado:** `2fd2360` * **Observaciones/Decisiones de Diseño:** @@ -443,7 +443,7 @@ Estado actual: **Validaciones finales completadas. Sistema LISTO para CI/CD auto - Health checks con start_period 120s para carga inicial de modelos - Todas variables ML/OCR con valores por defecto sensatos - GPU support preparado pero comentado (fácil activar con nvidia-docker) - - Script de test verifica 8 aspectos críticos de la instalación + - Script de test verifica 8 aspects críticos de la instalación - Documentación completa en 3 archivos (27KB total) * **Testing Realizado (23:47-23:52 UTC):** - ✅ Dockerfile: Sintácticamente válido (hadolint) @@ -455,13 +455,13 @@ Estado actual: **Validaciones finales completadas. Sistema LISTO para CI/CD auto - ✅ Volumen ml_cache: Creado y montado en /usr/src/paperless/.cache/ - ✅ Health checks: Ambos contenedores healthy en ~35 segundos - ⚠️ Build imagen: No completado (limitación SSL en sandbox) - - ⚠️ Deps ML/OCR: No en imagen oficial (requiere build local) - - **Conclusión:** Todos los componentes Docker funcionan. Usuarios deben construir imagen localmente para funciones ML/OCR completas. + - ⚠️ Deps ML/OCR: No en imagen official (require build local) + - **Conclusión:** Todos los components Docker funcionan. Usuarios deben construir imagen localmente para funciones ML/OCR completas. ### Sesión Iniciada: 2025-11-09 22:39:00 UTC -* **Directiva del Director:** "Usando agents.md como ley, quiero que hagas una investigación dentro de este proyecto. Tu misión es revisar el proyecto y crear una hoja de ruta del próximo año de implementaciones, y todas las tasks que necesitaremos hacer, puedes crear un proyecto de github para que yo pueda controlar el avance, si necesitas integrar jira o confluence, yo prefiero Notion pero tendrás que explicarme como hacerlo" -* **Plan de Acción Propuesto:** +* **Directiva del Director:** "Usando agents.md como ley, quiero que haggis una investigación dentro de este proyecto. Tu misión es revisar el proyecto y crear una hoja de ruta del próximo año de implementaciones, y todas las tasks que necesitaremos hacer, puedes crear un proyecto de github para que yo pueda controlar el advance, si necesitas integrar jira o confluence, yo prefiero Notion pero tendrás que explicarme como hacerlo" +* **Plan de Acción Propuesto:** 1. Analizar proyecto completo (agents.md, BITACORA_MAESTRA.md, IMPROVEMENT_ROADMAP.md) 2. Crear ROADMAP_2026.md con 12 Epics distribuidos en 4 trimestres 3. Desglosar en 147 tareas específicas con estimaciones @@ -470,7 +470,7 @@ Estado actual: **Validaciones finales completadas. Sistema LISTO para CI/CD auto 6. Actualizar BITACORA_MAESTRA.md * **Log de Acciones (con timestamp):** * `22:39:00` - **ACCIÓN:** Análisis de código. **DETALLE:** Revisión de agents.md, BITACORA_MAESTRA.md, IMPROVEMENT_ROADMAP.md. **RESULTADO:** Entendimiento completo del estado del proyecto y directivas. - * `22:40:00` - **ACCIÓN:** Creación de fichero. **DETALLE:** `ROADMAP_2026.md` (34KB, 752 líneas). **MOTIVO:** Hoja de ruta anual completa con 12 Epics, 147 tareas, estimaciones de tiempo y recursos, calendario de entregas, métricas de éxito. + * `22:40:00` - **ACCIÓN:** Creación de fichero. **DETALLE:** `ROADMAP_2026.md` (34KB, 752 líneas). **MOTIVO:** Hoja de ruta annual completa con 12 Epics, 147 tareas, estimaciones de tiempo y recursos, calendario de entregas, métricas de éxito. * `22:42:00` - **ACCIÓN:** Creación de fichero. **DETALLE:** `GITHUB_PROJECT_SETUP.md` (16KB, 554 líneas). **MOTIVO:** Guía completa para crear GitHub Project: columnas Kanban, 30+ labels, custom fields, vistas múltiples, automation, scripts de importación. * `22:44:00` - **ACCIÓN:** Creación de fichero. **DETALLE:** `NOTION_INTEGRATION_GUIDE.md` (21KB, 685 líneas). **MOTIVO:** Guía de integración con Notion (preferencia del Director): setup de workspace, sync bidireccional con GitHub via API/Zapier/Make, templates, dashboards, permisos. * `22:45:00` - **ACCIÓN:** Modificación de fichero. **DETALLE:** `BITACORA_MAESTRA.md`. **CAMBIOS:** Actualizado con nueva sesión ROADMAP-2026. @@ -479,10 +479,10 @@ Estado actual: **Validaciones finales completadas. Sistema LISTO para CI/CD auto * `22:49:00` - **ACCIÓN:** Modificación de fichero. **DETALLE:** `BITACORA_MAESTRA.md`. **CAMBIOS:** Actualizado inventario con 2 archivos adicionales y completado sesión. * **Resultado de la Sesión:** Hito ROADMAP-2026 completado. 5 documentos estratégicos creados (82KB total). * **Commit Asociado:** Pendiente -* **Observaciones/Decisiones de Diseño:** +* **Observaciones/Decisiones de Diseño:** - Roadmap estructurado en 12 Epics distribuidos en 4 trimestres (Q1-Q4 2026) - 147 tareas específicas con estimaciones detalladas (días de trabajo) - - Inversión estimada: $165,200-$250,200 USD anual + - Inversión estimada: $165,200-$250,200 USD annual - Priorización: Testing/QA y Encriptación como críticos en Q1 - GitHub Project con estructura Kanban completa y automation - Notion como herramienta preferida (vs Jira/Confluence) por simplicidad y flexibilidad @@ -491,24 +491,24 @@ Estado actual: **Validaciones finales completadas. Sistema LISTO para CI/CD auto ### Sesión Iniciada: 2025-11-09 22:02:00 UTC * **Directiva del Director:** Añadir archivo agents.md con directivas del proyecto y template de BITACORA_MAESTRA.md -* **Plan de Acción Propuesto:** Crear agents.md con el manifiesto completo de directivas y crear BITACORA_MAESTRA.md para este proyecto siguiendo el template especificado. +* **Plan de Acción Propuesto:** Crear agents.md con el manifesto completo de directivas y crear BITACORA_MAESTRA.md para este proyecto siguiendo el template especificado. * **Log de Acciones (con timestamp):** * `22:02:00` - **ACCIÓN:** Creación de fichero. **DETALLE:** `agents.md`. **MOTIVO:** Establecer directivas y protocolos de trabajo para el proyecto. * `22:02:05` - **ACCIÓN:** Creación de fichero. **DETALLE:** `BITACORA_MAESTRA.md`. **MOTIVO:** Fuente de verdad absoluta sobre el estado del proyecto IntelliDocs-ngx. * **Resultado de la Sesión:** En progreso - Preparando commit con ambos archivos. * **Commit Asociado:** Pendiente -* **Observaciones/Decisiones de Diseño:** Se creó la bitácora maestra con el historial completo de las 4 fases implementadas más la documentación y rebranding. +* **Observaciones/Decisiones de Diseño:** Se creó la bitácora maestra con el historical completo de las 4 fases implementadas más la documentación y rebranding. ### Sesión Iniciada: 2025-11-09 21:54:00 UTC -* **Directiva del Director:** Cambiar todos los logos, banners y nombres de marca Paperless-ngx por "IntelliDocs" (solo partes visibles por usuarios finales) +* **Directiva del Director:** Cambiar todos los logos, banners y nombres de marca Paperless-ngx por "IntelliDocs" (solo partes visible por usuarios finales) * **Plan de Acción Propuesto:** Actualizar 11 archivos frontend con branding IntelliDocs manteniendo compatibilidad interna. * **Log de Acciones (con timestamp):** * `21:54:00` - **ACCIÓN:** Modificación de fichero. **DETALLE:** `src-ui/src/index.html`. **CAMBIOS:** Actualizado a "IntelliDocs". * `21:54:05` - **ACCIÓN:** Modificación de fichero. **DETALLE:** `src-ui/src/manifest.webmanifest`. **CAMBIOS:** Actualizado name, short_name, description. * `21:54:10` - **ACCIÓN:** Modificación de fichero. **DETALLE:** `src-ui/src/environments/*.ts`. **CAMBIOS:** appTitle → "IntelliDocs". * `21:54:15` - **ACCIÓN:** Modificación de fichero. **DETALLE:** `src-ui/src/app/app.component.ts`. **CAMBIOS:** 4 notificaciones de usuario actualizadas. - * `21:54:20` - **ACCIÓN:** Modificación de ficheros. **DETALLE:** 7 archivos de componentes HTML. **CAMBIOS:** Mensajes y labels visibles actualizados. + * `21:54:20` - **ACCIÓN:** Modificación de ficheros. **DETALLE:** 7 archivos de components HTML. **CAMBIOS:** Mensajes y labels visible actualizados. * **Resultado de la Sesión:** Fase PHASE-4-REBRAND completada. * **Commit Asociado:** `20b55e7` * **Observaciones/Decisiones de Diseño:** Mantenidos nombres internos sin cambios para evitar breaking changes. @@ -584,7 +584,7 @@ Estado actual: **Validaciones finales completadas. Sistema LISTO para CI/CD auto * `01:15:45` - **ACCIÓN:** Creación de fichero. **DETALLE:** `FASE1_RESUMEN.md` (7KB). **MOTIVO:** Resumen en español. * **Resultado de la Sesión:** Fase PHASE-1 completada. * **Commit Asociado:** `71d930f` -* **Observaciones/Decisiones de Diseño:** Índices en pares (campo + created) para queries temporales comunes. Redis para caché distribuido. Signals de Django para invalidación automática. +* **Observaciones/Decisiones de Diseño:** Índices en pairs (campo + created) para queries temporales comunes. Redis para caché distribuido. Signals de Django para invalidación automática. ### Sesión Iniciada: 2025-11-09 00:49:00 UTC @@ -653,7 +653,7 @@ IntelliDocs-ngx/ │ ├── FASE4_RESUMEN.md (12KB - Fase 4 español) │ ├── CODE_REVIEW_FIXES.md (16KB - Resultados de review) │ ├── IMPLEMENTATION_README.md (16KB - Guía de instalación) -│ ├── ROADMAP_2026.md (34KB - NUEVO - Hoja de ruta anual completa) +│ ├── ROADMAP_2026.md (34KB - NUEVO - Hoja de ruta annual completa) │ ├── GITHUB_PROJECT_SETUP.md (16KB - NUEVO - Guía de GitHub Projects) │ ├── NOTION_INTEGRATION_GUIDE.md (21KB - NUEVO - Integración con Notion) │ ├── ROADMAP_QUICK_START.md (10KB - NUEVO - Guía rápida de inicio) @@ -777,7 +777,7 @@ IntelliDocs-ngx/ ### Deuda Técnica -* **TECH-DEBT-001:** Considerar migrar de Redis a solución más robusta si escala requiere (ej: Redis Cluster). **Prioridad:** Baja (solo si >100k usuarios). +* **TECH-DEBT-001:** Considerar migrar de Redis a solución más robusta si escala require (ej: Redis Cluster). **Prioridad:** Baja (solo si >100k usuarios). * **TECH-DEBT-002:** Evaluar migración a Celery para procesamiento asíncrono de OCR pesado. **Prioridad:** Media. --- diff --git a/CHECKLIST_FINAL_CICD.md b/CHECKLIST_FINAL_CICD.md index e0541cf67..307599d9a 100644 --- a/CHECKLIST_FINAL_CICD.md +++ b/CHECKLIST_FINAL_CICD.md @@ -96,8 +96,8 @@ Todas las correcciones críticas identificadas en el **INFORME_AUDITORIA_CICD.md - [x] TableExtractor error handling mejorado - [x] Tests ML smoke creados - [x] Dependencias OpenCV agregadas a CI -- [⚠️] `python manage.py check` pasa (requiere entorno Django completo) -- [⚠️] `pytest tests/test_ml_smoke.py` pasa (requiere dependencias ML instaladas) +- [⚠️] `python manage.py check` pasa (require entorno Django completo) +- [⚠️] `pytest tests/test_ml_smoke.py` pasa (require dependencias ML instaladas) **Nota:** Las validaciones con ⚠️ requieren entorno completo y se ejecutarán automáticamente en CI/CD. @@ -107,7 +107,7 @@ Todas las correcciones críticas identificadas en el **INFORME_AUDITORIA_CICD.md - [x] `standalone: true` agregado a ai-settings - [x] Icono `playCircle` agregado a main.ts - [x] `ng build --configuration production` exitoso ✅ -- [⚠️] `ng test --no-watch` pasa (no ejecutado - requiere entorno de tests) +- [⚠️] `ng test --no-watch` pasa (no ejecutado - require entorno de tests) **Nota:** Los tests frontend se ejecutarán automáticamente en CI/CD. @@ -116,7 +116,7 @@ Todas las correcciones críticas identificadas en el **INFORME_AUDITORIA_CICD.md - [⚠️] Build local exitoso (Docker no disponible en entorno local - se ejecutará en CI/CD) - [⚠️] Migraciones ejecutan sin errores (se validará en CI/CD) - [⚠️] ML dependencies funcionan en container (se validará en CI/CD) -- [⚠️] Volúmenes persisten datos (se validará en deployment) +- [⚠️] Volúmenes persistent datos (se validará en deployment) - [⚠️] Health check responde OK (se validará en deployment) **Nota:** Todas las validaciones Docker se ejecutarán automáticamente en GitHub Actions. @@ -235,5 +235,5 @@ Para dudas sobre esta implementación: - **Director:** @dawnsystem **Última actualización:** 2025-11-17 -**Responsable:** Claude (Sonnet 4.5) +**Responsible:** Claude (Sonnet 4.5) **Sesión:** TSK-CICD-VALIDATION-FINAL diff --git a/CODE_REVIEW_FIXES.md b/CODE_REVIEW_FIXES.md index cde830b5c..6baf2990c 100644 --- a/CODE_REVIEW_FIXES.md +++ b/CODE_REVIEW_FIXES.md @@ -244,7 +244,7 @@ Add missing dependencies to pyproject.toml 1. **Add ML Dependencies to pyproject.toml** ```toml "transformers>=4.30.0", - "torch>=2.0.0", + "torch>=2.0.0", "sentence-transformers>=2.2.0", ``` diff --git a/DOCKER_SETUP_INTELLIDOCS.md b/DOCKER_SETUP_INTELLIDOCS.md index d5b8f2d69..26e4ede32 100644 --- a/DOCKER_SETUP_INTELLIDOCS.md +++ b/DOCKER_SETUP_INTELLIDOCS.md @@ -4,7 +4,7 @@ Este documento proporciona instrucciones completas para ejecutar IntelliDocs con ## 📋 Tabla de Contenidos -- [Requisitos Previos](#requisitos-previos) +- [Requisitos Previous](#requisitos-previos) - [Inicio Rápido](#inicio-rápido) - [Configuración Detallada](#configuración-detallada) - [Nuevas Funciones Disponibles](#nuevas-funciones-disponibles) @@ -14,7 +14,7 @@ Este documento proporciona instrucciones completas para ejecutar IntelliDocs con --- -## 🔧 Requisitos Previos +## 🔧 Requisitos Previous ### Hardware Recomendado @@ -74,7 +74,7 @@ bash -c "$(curl -L https://raw.githubusercontent.com/dawnsystem/IntelliDocs-ngx/ ```bash # Con SQLite (más simple) docker compose -f docker-compose.sqlite.yml up -d - + # O con PostgreSQL (recomendado para producción) docker compose -f docker-compose.postgres.yml up -d ``` @@ -120,7 +120,7 @@ PAPERLESS_ENABLE_ADVANCED_OCR=1 # Opciones: distilbert-base-uncased (rápido), bert-base-uncased (más preciso) PAPERLESS_ML_CLASSIFIER_MODEL=distilbert-base-uncased -# Aceleración GPU (requiere NVIDIA Docker) +# Aceleración GPU (require NVIDIA Docker) PAPERLESS_USE_GPU=0 # Umbral de confianza para detección de tablas (0.0-1.0) @@ -164,7 +164,7 @@ chmod 777 ./ml_cache **Resultado**: 147x mejora de rendimiento (54.3s → 0.37s) -**Uso**: Automático, no requiere configuración adicional. +**Uso**: Automático, no require configuración adicional. --- @@ -209,11 +209,11 @@ PAPERLESS_COOKIE_PREFIX=intellidocs # Habilitar todas las funciones ML PAPERLESS_ENABLE_ML_FEATURES=1 -# Usar modelo más preciso (requiere más RAM) +# Usar modelo más preciso (require más RAM) PAPERLESS_ML_CLASSIFIER_MODEL=bert-base-uncased ``` -**Primer Uso**: Los modelos ML se descargan automáticamente en el primer inicio (~500MB-1GB). Esto puede tomar varios minutos. +**Primer Uso**: Los modelos ML se descargan automáticamente en el primer inicio (~500MB-1GB). Esto puede tomar various minutos. --- @@ -531,7 +531,7 @@ docker compose exec webserver ls -lh /usr/src/paperless/.cache/huggingface/hub/ ```bash # Backup de base de datos docker compose exec db pg_dump -U paperless paperless > backup.sql - + # Backup de media tar -czf media_backup.tar.gz ./media ``` @@ -564,7 +564,7 @@ docker compose exec webserver ls -lh /usr/src/paperless/.cache/huggingface/hub/ - **Documentación IntelliDocs**: Ver archivos en `/docs` - **Bitácora Maestra**: `BITACORA_MAESTRA.md` -- **Guías de Implementación**: +- **Guías de Implementación**: - `FASE1_RESUMEN.md` - Performance - `FASE2_RESUMEN.md` - Security - `FASE3_RESUMEN.md` - AI/ML @@ -583,6 +583,6 @@ Si encuentras problemas: --- -**IntelliDocs** - Sistema de Gestión Documental con IA -Versión: 1.0.0 (basado en Paperless-ngx 2.19.5) +**IntelliDocs** - Sistema de Gestión Documental con IA +Versión: 1.0.0 (basado en Paperless-ngx 2.19.5) Última actualización: 2025-11-09 diff --git a/DOCKER_TEST_RESULTS.md b/DOCKER_TEST_RESULTS.md index 07a8aa1d7..0f00ed36d 100644 --- a/DOCKER_TEST_RESULTS.md +++ b/DOCKER_TEST_RESULTS.md @@ -1,14 +1,14 @@ # 🐳 Resultados de Pruebas Docker - IntelliDocs -**Fecha de Testing:** 2025-11-09 23:47:00 - 23:52:00 UTC -**Entorno:** GitHub Actions Runner (Sandbox) +**Fecha de Testing:** 2025-11-09 23:47:00 - 23:52:00 UTC +**Entorno:** GitHub Actions Runner (Sandbox) **Tester:** AI Agent (siguiendo directivas de agents.md) --- ## 📊 Resumen Ejecutivo -✅ **Estado General:** ÉXITO PARCIAL - Todos los componentes Docker funcionan correctamente +✅ **Estado General:** ÉXITO PARCIAL - Todos los components Docker funcionan correctamente **Archivos Modificados/Creados:** 7 - `Dockerfile` - Añadidas 6 dependencias sistema OpenCV @@ -176,7 +176,7 @@ local paperless_ml_cache --- -### 7. Dependencias Python (Imagen Oficial) +### 7. Dependencias Python (Imagen Official) ```bash $ docker compose exec webserver python3 -c "import numpy; print(numpy.__version__)" @@ -196,11 +196,11 @@ $ docker compose exec webserver python3 -c "import transformers" ``` **Análisis:** -- ✅ Dependencias básicas: Presentes en imagen oficial -- ⚠️ Dependencias ML/OCR: No en imagen oficial (esperado) +- ✅ Dependencias básicas: Presentes en imagen official +- ⚠️ Dependencias ML/OCR: No en imagen official (esperado) - ✅ Comportamiento: Correcto y documentado -**Razón:** La imagen oficial de paperless-ngx no incluye las nuevas dependencias ML/OCR porque son nuestras adiciones. Los usuarios necesitarán construir localmente usando nuestro Dockerfile modificado. +**Razón:** La imagen official de paperless-ngx no incluye las nuevas dependencias ML/OCR porque son nuestras adiciones. Los usuarios necesitarán construir localmente usando nuestro Dockerfile modificado. --- @@ -218,7 +218,7 @@ Exit code: 60 ⚠️ RAZÓN: Limitación del entorno sandbox (certificados SSL) ``` -**Impacto:** +**Impacto:** - La imagen no pudo construirse en el entorno de testing - Las dependencias ML/OCR no pudieron instalarse en imagen custom - Testing end-to-end de funciones ML/OCR no realizado @@ -240,7 +240,7 @@ Exit code: 60 | Health check Redis | 6 seg | ✅ Rápido | | Memoria Redis | 512 MB | ✅ Configurado | | Volúmenes creados | 4 | ✅ Correcto | -| Puertos expuestos | 8000 | ✅ Accesible | +| Puertos expuestos | 8000 | ✅ Accessible | | HTTP Response time | < 100ms | ✅ Rápido | --- @@ -261,7 +261,7 @@ Exit code: 60 - ✅ **Variables entorno:** Todas configuradas - ✅ **Redis optimizado:** LRU policy activo - ✅ **Resource limits:** Configurados -- ✅ **Estado:** COMPLETAMENTE FUNCIONAL +- ✅ **Estado:** COMPLETAMENTE FUNCTIONAL ### docker-compose.env - ✅ **Variables ML/OCR:** 10+ añadidas @@ -273,7 +273,7 @@ Exit code: 60 - ✅ **DOCKER_SETUP_INTELLIDOCS.md:** Completo (14KB, 486 líneas) - ✅ **docker/README_INTELLIDOCS.md:** Detallado (8KB, 320 líneas) - ✅ **README.md:** Actualizado con Quick Start -- ✅ **test-intellidocs-features.sh:** Script funcional (6KB) +- ✅ **test-intellidocs-features.sh:** Script functional (6KB) - ✅ **Estado:** DOCUMENTACIÓN COMPLETA --- @@ -287,7 +287,7 @@ cd /path/to/IntelliDocs-ngx docker build -t intellidocs-ngx:local . ``` -**Tiempo estimado:** 15-30 minutos (primera vez) +**Tiempo estimado:** 15-30 minutos (primera vez) **Tamaño imagen:** ~2.5GB (incluye modelos base) ### Paso 2: Modificar Compose File @@ -298,7 +298,7 @@ Editar `docker/compose/docker-compose.intellidocs.yml`: webserver: # Cambiar de: image: ghcr.io/paperless-ngx/paperless-ngx:latest - + # A: image: intellidocs-ngx:local ``` @@ -368,7 +368,7 @@ http://localhost:8000 ### ✅ Éxitos 1. Dockerfile con dependencias OpenCV validado -2. docker-compose.intellidocs.yml completamente funcional +2. docker-compose.intellidocs.yml completamente functional 3. Variables de entorno ML/OCR configuradas 4. Redis optimizado con LRU policy 5. Volumen ml_cache persistente creado @@ -383,11 +383,11 @@ http://localhost:8000 4. Verificación de rendimiento con documentos reales ### 📊 Estado Final -**LISTO PARA PRODUCCIÓN:** Todos los componentes Docker están validados y documentados. Los usuarios pueden construir y ejecutar IntelliDocs con todas las nuevas funciones ML/OCR siguiendo las instrucciones proporcionadas. +**LISTO PARA PRODUCCIÓN:** Todos los components Docker están validados y documentados. Los usuarios pueden construir y ejecutar IntelliDocs con todas las nuevas funciones ML/OCR siguiendo las instrucciones proporcionadas. --- -**Fecha de Finalización:** 2025-11-09 23:52:00 UTC -**Validado por:** AI Agent siguiendo agents.md -**Commit:** 2fd2360 +**Fecha de Finalización:** 2025-11-09 23:52:00 UTC +**Validado por:** AI Agent siguiendo agents.md +**Commit:** 2fd2360 **Próximos Pasos:** Usuarios finales deben probar build local y reportar feedback diff --git a/DOCS_README.md b/DOCS_README.md index 35e3d3d51..753dedbd2 100644 --- a/DOCS_README.md +++ b/DOCS_README.md @@ -202,7 +202,7 @@ Complete implementation guide including: - Security hardening - Code refactoring -**Expected Impact**: +**Expected Impact**: - 5-10x faster queries - Better security posture - Cleaner codebase diff --git a/DOCUMENTATION_ANALYSIS.md b/DOCUMENTATION_ANALYSIS.md index f046bcce2..3bd3d9ef9 100644 --- a/DOCUMENTATION_ANALYSIS.md +++ b/DOCUMENTATION_ANALYSIS.md @@ -15,7 +15,7 @@ IntelliDocs-ngx is a sophisticated document management system forked from Paperl ### Architecture Overview - **Total Python Files**: 357 - **Total TypeScript Files**: 386 -- **Main Modules**: +- **Main Modules**: - `documents` - Core document processing and management - `paperless` - Framework configuration and utilities - `paperless_mail` - Email integration and processing @@ -41,7 +41,7 @@ The documents module is the heart of IntelliDocs-ngx, handling all document-rela - `try_consume_file()` - Entry point for document processing - `_consume()` - Core consumption logic - `_write()` - Saves document to database - + **Key Functions**: - Document ingestion from various sources - OCR text extraction @@ -70,7 +70,7 @@ The documents module is the heart of IntelliDocs-ngx, handling all document-rela - `Document` - Central document entity - Fields: title, content, correspondent, document_type, tags, created, modified - Methods: archiving, searching, versioning - + - `Correspondent` - Represents document senders/receivers - `DocumentType` - Categories for documents - `Tag` - Flexible labeling system @@ -91,7 +91,7 @@ The documents module is the heart of IntelliDocs-ngx, handling all document-rela - `metadata()` - Extract/update metadata - `suggestions()` - ML-based classification suggestions - `bulk_edit()` - Mass document updates - + - `CorrespondentViewSet` - Manage correspondents - `DocumentTypeViewSet` - Manage document types - `TagViewSet` - Manage tags @@ -725,13 +725,13 @@ Apache Tika integration for complex formats. ### High Priority Technical Debt 1. **Large monolithic files** - views.py (113KB), serialisers.py (96KB) - Solution: Split into feature-based modules - + 2. **Database query optimization** - N+1 queries in several endpoints - Solution: Add select_related/prefetch_related - + 3. **Frontend bundle size** - Large initial load - Solution: Implement lazy loading, code splitting - + 4. **Missing indexes** - Slow queries on large datasets - Solution: Add composite indexes diff --git a/DOCUMENTATION_INDEX.md b/DOCUMENTATION_INDEX.md index 856d6112e..59ecf280e 100644 --- a/DOCUMENTATION_INDEX.md +++ b/DOCUMENTATION_INDEX.md @@ -42,7 +42,7 @@ This is the central index for all IntelliDocs-ngx documentation. Start here to f - API reference - Troubleshooting -**Also Read**: +**Also Read**: - [TECHNICAL_FUNCTIONS_GUIDE.md](./TECHNICAL_FUNCTIONS_GUIDE.md) - [DOCUMENTATION_ANALYSIS.md](./DOCUMENTATION_ANALYSIS.md) @@ -129,7 +129,7 @@ This is the central index for all IntelliDocs-ngx documentation. Start here to f - Mail integration - OCR & parsing modules - Frontend components - + - **Section 2**: Features analysis - Document management - Classification & organization @@ -137,42 +137,42 @@ This is the central index for all IntelliDocs-ngx documentation. Start here to f - Security & access - Integration - User experience - + - **Section 3**: Key features - Current features (14+ categories) - + - **Section 4**: Improvement recommendations - Priority 1: Critical (AI/ML, OCR, performance, security) - Priority 2: Medium impact (mobile, collaboration, integration) - Priority 3: Nice to have (processing, UX, backup) - + - **Section 5**: Code quality analysis - Strengths - Areas for improvement - + - **Section 6**: Technical debt - High priority debt - Medium priority debt - + - **Section 7**: Performance benchmarks - Current vs. target performance - + - **Section 8**: Implementation roadmap - Phase 1-5 (12 months) - + - **Section 9**: Cost-benefit analysis - Quick wins - High ROI projects - + - **Section 10**: Competitive analysis - Comparison with similar systems - Differentiators - Areas to lead - + - **Section 11**: Resource requirements - Team composition - Infrastructure needs - + - **Section 12**: Conclusion & appendices - Security checklist - Testing strategy @@ -196,33 +196,33 @@ This is the central index for all IntelliDocs-ngx documentation. Start here to f - Barcode functions (get_barcodes, separate_pages) - Bulk edit functions - Workflow functions - + - **Section 2**: Paperless core functions - Settings configuration - Celery tasks - Authentication - + - **Section 3**: Mail integration functions - Email processing - OAuth authentication - + - **Section 4**: OCR & parsing functions - Tesseract parser - Tika parser - + - **Section 5**: API & serialization functions - DocumentViewSet (list, retrieve, download, etc.) - Serializers - + - **Section 6**: Frontend services - DocumentService (TypeScript) - SearchService - SettingsService - + - **Section 7**: Utility functions - File handling - Data utilities - + - **Section 8**: Database models - Document model - Correspondent, Tag, etc. @@ -239,7 +239,7 @@ This is the central index for all IntelliDocs-ngx documentation. Start here to f **Contents**: - **Quick Reference**: Priority matrix - + - **Part 1**: Critical improvements 1. Performance optimization (2-3 weeks) - Database query optimization @@ -257,13 +257,13 @@ This is the central index for all IntelliDocs-ngx documentation. Start here to f 4. Advanced OCR (3-4 weeks) - Table detection/extraction - Handwriting recognition - + - **Part 2**: Medium priority 1. Mobile experience (6-8 weeks) 2. Collaboration features (4-5 weeks) 3. Integration expansion (3-4 weeks) 4. Analytics & reporting (3-4 weeks) - + - **Part 3**: Long-term vision - Advanced features roadmap (6-12 months) @@ -428,7 +428,7 @@ Start Here 2. Read: [EXECUTIVE_SUMMARY.md](./EXECUTIVE_SUMMARY.md) (15 min) 3. Skim: [QUICK_REFERENCE.md](./QUICK_REFERENCE.md) (30 min) -**Total Time**: 1 hour +**Total Time**: 1 hour **Goal**: Understand what the project does --- @@ -439,7 +439,7 @@ Start Here 3. Read: [TECHNICAL_FUNCTIONS_GUIDE.md](./TECHNICAL_FUNCTIONS_GUIDE.md) relevant sections (1 hour) 4. Skim: [DOCUMENTATION_ANALYSIS.md](./DOCUMENTATION_ANALYSIS.md) (30 min) -**Total Time**: 3.5 hours +**Total Time**: 3.5 hours **Goal**: Start coding with confidence --- @@ -450,7 +450,7 @@ Start Here 3. Read: [IMPROVEMENT_ROADMAP.md](./IMPROVEMENT_ROADMAP.md) fully (2 hours) 4. Deep dive: Specific sections as needed (2 hours) -**Total Time**: 8-10 hours +**Total Time**: 8-10 hours **Goal**: Plan and implement improvements --- @@ -461,7 +461,7 @@ Start Here 3. Cross-reference between documents 4. Create custom implementation plans -**Total Time**: 12-15 hours +**Total Time**: 12-15 hours **Goal**: Make strategic decisions --- @@ -585,8 +585,8 @@ After reading documentation, you should be able to: --- -*Last Updated: November 9, 2025* -*Documentation Version: 1.0* +*Last Updated: November 9, 2025* +*Documentation Version: 1.0* *IntelliDocs-ngx Version: 2.19.5* **Happy coding! 🚀** diff --git a/EXECUTIVE_SUMMARY.md b/EXECUTIVE_SUMMARY.md index a0521989e..640c6b5cd 100644 --- a/EXECUTIVE_SUMMARY.md +++ b/EXECUTIVE_SUMMARY.md @@ -4,9 +4,9 @@ **IntelliDocs-ngx** is an enterprise-grade document management system (DMS) forked from Paperless-ngx. It transforms physical documents into a searchable, organized digital archive using OCR, machine learning, and workflow automation. -**Current Version**: 2.19.5 -**Code Base**: 743 files (357 Python + 386 TypeScript) -**Lines of Code**: ~150,000+ +**Current Version**: 2.19.5 +**Code Base**: 743 files (357 Python + 386 TypeScript) +**Lines of Code**: ~150,000+ **Functions**: ~5,500 --- @@ -117,52 +117,52 @@ Angular 20.3 (TypeScript) ### Priority 1: Critical Impact (Start Immediately) #### 1. Performance Optimization (2-3 weeks) -**Problem**: Slow queries, high database load, slow frontend -**Solution**: Database indexing, Redis caching, lazy loading -**Impact**: 5-10x faster queries, 50% less database load -**Effort**: Low-Medium +**Problem**: Slow queries, high database load, slow frontend +**Solution**: Database indexing, Redis caching, lazy loading +**Impact**: 5-10x faster queries, 50% less database load +**Effort**: Low-Medium #### 2. Security Hardening (3-4 weeks) -**Problem**: No encryption at rest, unlimited API requests -**Solution**: Document encryption, rate limiting, security headers -**Impact**: GDPR/HIPAA compliance, DoS protection -**Effort**: Medium +**Problem**: No encryption at rest, unlimited API requests +**Solution**: Document encryption, rate limiting, security headers +**Impact**: GDPR/HIPAA compliance, DoS protection +**Effort**: Medium #### 3. AI/ML Enhancement (4-6 weeks) -**Problem**: Basic ML classifier (70-75% accuracy) -**Solution**: BERT classification, NER, semantic search -**Impact**: 40-60% better accuracy, auto metadata extraction -**Effort**: Medium-High +**Problem**: Basic ML classifier (70-75% accuracy) +**Solution**: BERT classification, NER, semantic search +**Impact**: 40-60% better accuracy, auto metadata extraction +**Effort**: Medium-High #### 4. Advanced OCR (3-4 weeks) -**Problem**: Poor table extraction, no handwriting support -**Solution**: Table detection, handwriting OCR, form recognition -**Impact**: Structured data extraction, support handwritten docs -**Effort**: Medium +**Problem**: Poor table extraction, no handwriting support +**Solution**: Table detection, handwriting OCR, form recognition +**Impact**: Structured data extraction, support handwritten docs +**Effort**: Medium --- ### Priority 2: High Value Features #### 5. Mobile Experience (6-8 weeks) -**Current**: Responsive web only -**Proposed**: Native iOS/Android apps with camera scanning -**Impact**: Capture documents on-the-go, offline support +**Current**: Responsive web only +**Proposed**: Native iOS/Android apps with camera scanning +**Impact**: Capture documents on-the-go, offline support #### 6. Collaboration (4-5 weeks) -**Current**: Basic sharing -**Proposed**: Comments, annotations, version comparison -**Impact**: Better team collaboration, clear audit trails +**Current**: Basic sharing +**Proposed**: Comments, annotations, version comparison +**Impact**: Better team collaboration, clear audit trails #### 7. Integration Expansion (3-4 weeks) -**Current**: Email only -**Proposed**: Dropbox, Google Drive, Slack, Zapier -**Impact**: Seamless workflow integration +**Current**: Email only +**Proposed**: Dropbox, Google Drive, Slack, Zapier +**Impact**: Seamless workflow integration #### 8. Analytics & Reporting (3-4 weeks) -**Current**: Basic statistics -**Proposed**: Dashboards, custom reports, exports -**Impact**: Data-driven insights, compliance reporting +**Current**: Basic statistics +**Proposed**: Dashboards, custom reports, exports +**Impact**: Data-driven insights, compliance reporting --- @@ -191,7 +191,7 @@ Angular 20.3 (TypeScript) - Security hardening - Code refactoring -**Investment**: 1 backend dev, 1 frontend dev +**Investment**: 1 backend dev, 1 frontend dev **ROI**: 5-10x performance boost, enterprise-ready security --- @@ -203,7 +203,7 @@ Angular 20.3 (TypeScript) - Table extraction - Handwriting OCR -**Investment**: 1 backend dev, 1 ML engineer +**Investment**: 1 backend dev, 1 ML engineer **ROI**: 40-60% better accuracy, automatic metadata --- @@ -215,7 +215,7 @@ Angular 20.3 (TypeScript) - Activity feeds - Notifications -**Investment**: 1 backend dev, 1 frontend dev +**Investment**: 1 backend dev, 1 frontend dev **ROI**: Better team productivity, reduced email --- @@ -227,7 +227,7 @@ Angular 20.3 (TypeScript) - API enhancements - Webhooks -**Investment**: 1 backend dev +**Investment**: 1 backend dev **ROI**: Reduced manual work, better ecosystem fit --- @@ -239,7 +239,7 @@ Angular 20.3 (TypeScript) - Compliance features - Custom AI models -**Investment**: 2 developers (1 mobile, 1 backend) +**Investment**: 2 developers (1 mobile, 1 backend) **ROI**: New markets, advanced capabilities --- @@ -247,18 +247,18 @@ Angular 20.3 (TypeScript) ## 💡 Competitive Advantages ### Current Strengths -✅ Modern tech stack (latest Django, Angular) -✅ Strong ML foundation -✅ Comprehensive API -✅ Active development -✅ Open source +✅ Modern tech stack (latest Django, Angular) +✅ Strong ML foundation +✅ Comprehensive API +✅ Active development +✅ Open source ### After Improvements -🚀 **Best-in-class AI classification** (BERT, NER) -🚀 **Most advanced OCR** (tables, handwriting) -🚀 **Native mobile apps** (iOS/Android) -🚀 **Widest integration support** (cloud, chat, automation) -🚀 **Enterprise-grade security** (encryption, compliance) +🚀 **Best-in-class AI classification** (BERT, NER) +🚀 **Most advanced OCR** (tables, handwriting) +🚀 **Native mobile apps** (iOS/Android) +🚀 **Widest integration support** (cloud, chat, automation) +🚀 **Enterprise-grade security** (encryption, compliance) --- @@ -313,23 +313,23 @@ Angular 20.3 (TypeScript) ## ⚠️ Risks & Mitigations ### Technical Risks -**Risk**: ML models require significant compute resources +**Risk**: ML models require significant compute resources **Mitigation**: Use distilled models, cloud GPU on-demand -**Risk**: Migration could cause downtime +**Risk**: Migration could cause downtime **Mitigation**: Phased rollout, blue-green deployment -**Risk**: Breaking changes in dependencies +**Risk**: Breaking changes in dependencies **Mitigation**: Pin versions, thorough testing ### Business Risks -**Risk**: Team lacks ML expertise +**Risk**: Team lacks ML expertise **Mitigation**: Hire ML engineer or use pre-trained models -**Risk**: Budget overruns +**Risk**: Budget overruns **Mitigation**: Prioritize phases, start with quick wins -**Risk**: User resistance to change +**Risk**: User resistance to change **Mitigation**: Beta program, gradual feature rollout --- @@ -338,12 +338,12 @@ Angular 20.3 (TypeScript) IntelliDocs-ngx aligns with current technology trends: -✅ **AI/ML**: Transformer models, NER, semantic search -✅ **Cloud Native**: Docker, Kubernetes, microservices ready -✅ **API-First**: Comprehensive REST API -✅ **Mobile-First**: Responsive design, native apps planned -✅ **Security**: Zero-trust principles, encryption -✅ **DevOps**: CI/CD, automated testing +✅ **AI/ML**: Transformer models, NER, semantic search +✅ **Cloud Native**: Docker, Kubernetes, microservices ready +✅ **API-First**: Comprehensive REST API +✅ **Mobile-First**: Responsive design, native apps planned +✅ **Security**: Zero-trust principles, encryption +✅ **DevOps**: CI/CD, automated testing --- @@ -435,14 +435,14 @@ IntelliDocs-ngx is a **solid foundation** with **significant potential**. The mo 3. 🤖 **AI/ML enhancements** (40-60% better accuracy) 4. 📱 **Mobile experience** (new user segment) -**Total Investment**: $530K - $810K over 12 months -**Expected ROI**: 5x through efficiency gains and new capabilities +**Total Investment**: $530K - $810K over 12 months +**Expected ROI**: 5x through efficiency gains and new capabilities **Risk Level**: Low-Medium (mature tech stack, clear roadmap) **Recommendation**: ✅ **Proceed with phased implementation starting with Phase 1** --- -*Generated: November 9, 2025* -*Version: 1.0* +*Generated: November 9, 2025* +*Version: 1.0* *For: IntelliDocs-ngx v2.19.5* diff --git a/FASE1_RESUMEN.md b/FASE1_RESUMEN.md index 1063d21b5..b3326263a 100644 --- a/FASE1_RESUMEN.md +++ b/FASE1_RESUMEN.md @@ -14,7 +14,7 @@ 6 nuevos índices para acelerar consultas: ``` ✅ doc_corr_created_idx → Filtrar por remitente + fecha -✅ doc_type_created_idx → Filtrar por tipo + fecha +✅ doc_type_created_idx → Filtrar por tipo + fecha ✅ doc_owner_created_idx → Filtrar por usuario + fecha ✅ doc_storage_created_idx → Filtrar por ubicación + fecha ✅ doc_modified_desc_idx → Documentos modificados recientemente @@ -109,7 +109,7 @@ Las consultas ahora serán 5-150x más rápidas dependiendo de la operación. Antes: 8-12 segundos Después: <1 segundo -"Dame todos los documentos de Acme Corp" +"Dame todos los documentos de Acme Corp" Antes: 5-8 segundos Después: <0.5 segundos @@ -137,9 +137,9 @@ Deberías ver: **PostgreSQL**: ```sql -SELECT indexname, indexdef -FROM pg_indexes -WHERE tablename = 'documents_document' +SELECT indexname, indexdef +FROM pg_indexes +WHERE tablename = 'documents_document' AND indexname LIKE 'doc_%'; ``` @@ -238,7 +238,7 @@ Para más detalles, consulta: ## 🎯 Próximas Fases ### Fase 2: Frontend (2-3 semanas) -- Lazy loading de componentes +- Lazy loading de components - Code splitting - Virtual scrolling - **Mejora esperada**: +50% velocidad inicial @@ -285,7 +285,7 @@ CACHE_1_HOUR = 3600 # En vez de 5 minutos ## ✅ Resumen Ejecutivo **Tiempo de implementación**: 2-3 horas -**Tiempo de testing**: 1-2 días +**Tiempo de testing**: 1-2 días **Tiempo de despliegue**: 1 hora **Riesgo**: Bajo **Impacto**: Muy Alto (147x mejora) @@ -297,7 +297,7 @@ CACHE_1_HOUR = 3600 # En vez de 5 minutos ## 🎉 ¡Felicidades! -Has implementado la primera fase de optimización de rendimiento. +Has implementado la primera fase de optimización de rendimiento. Los usuarios notarán inmediatamente la diferencia - ¡las consultas que tomaban 10+ segundos ahora tomarán menos de 1 segundo! diff --git a/FASE2_RESUMEN.md b/FASE2_RESUMEN.md index e49b7f0d4..f6de8c1cf 100644 --- a/FASE2_RESUMEN.md +++ b/FASE2_RESUMEN.md @@ -41,7 +41,7 @@ Validaciones implementadas: ```python ✅ Tamaño máximo de archivo (500MB) ✅ Tipos MIME permitidos -✅ Extensiones peligrosas bloqueadas +✅ Extensions peligrosas bloqueadas ✅ Detección de contenido malicioso ✅ Prevención de path traversal ✅ Cálculo de checksums @@ -85,7 +85,7 @@ Los cambios se activan automáticamente al reiniciar la aplicación. ```bash # Simplemente reinicia el servidor Django -# No se requiere configuración adicional +# No se require configuración adicional ``` ### Paso 2: Verificar Cabeceras de Seguridad @@ -116,20 +116,20 @@ done **Cómo funciona**: ``` -Usuario hace petición +Usuario have petición ↓ Verificar contador en Redis ↓ ¿Dentro del límite? → Permitir ↓ -¿Excede límite? → Bloquear con HTTP 429 +¿Exceed límite? → Bloquear con HTTP 429 ``` **Ejemplo**: ``` -Minuto 0:00 - Usuario hace 90 peticiones ✅ -Minuto 0:30 - Usuario hace 10 más (total: 100) ✅ -Minuto 0:31 - Usuario hace 1 más → ❌ BLOQUEADO +Minuto 0:00 - Usuario have 90 peticiones ✅ +Minuto 0:30 - Usuario have 10 más (total: 100) ✅ +Minuto 0:31 - Usuario have 1 más → ❌ BLOQUEADO Minuto 1:01 - Contador se reinicia ``` @@ -149,7 +149,7 @@ Minuto 1:01 - Contador se reinicia **Cabecera**: `X-Frame-Options: DENY` -**Efecto**: La página no puede ser embebida en iframe +**Efecto**: La página no puede set embebida en iframe --- @@ -159,7 +159,7 @@ Minuto 1:01 - Contador se reinicia **Validaciones**: - ✅ Verifica tamaño de archivo - ✅ Valida tipo MIME (usando magic numbers, no extensión) -- ✅ Bloquea extensiones peligrosas (.exe, .bat, etc.) +- ✅ Bloquea extensions peligrosas (.exe, .bat, etc.) - ✅ Escanea contenido en busca de patrones maliciosos **Archivos Bloqueados**: @@ -341,7 +341,7 @@ ALLOWED_MIME_TYPES = { - Web Application Firewall (WAF) ### Largo Plazo (3-6 Meses) -- Auditoría de seguridad profesional +- Auditoría de seguridad professional - Certificaciones (SOC 2, ISO 27001) - Penetration testing diff --git a/FASE3_RESUMEN.md b/FASE3_RESUMEN.md index 7ad2b74f4..e24c0563d 100644 --- a/FASE3_RESUMEN.md +++ b/FASE3_RESUMEN.md @@ -209,7 +209,7 @@ nuevo_doc_id = 12345 similares = search.find_similar_documents(nuevo_doc_id, min_score=0.9) if similares and similares[0][1] > 0.95: # 95% similar - print("¡Advertencia: Posible duplicado!") + print("¡Advertencia: Possible duplicado!") ``` ### Caso 4: Auto-etiquetado Inteligente @@ -218,7 +218,7 @@ texto = """ Estimado Juan, Esta carta confirma su empleo en Acme Corporation -iniciando el 15 de enero de 2024. Su salario anual será $85,000... +iniciando el 15 de enero de 2024. Su salario annual será $85,000... """ tags = ner.suggest_tags(texto) @@ -305,7 +305,7 @@ Antes de desplegar a producción: - [ ] Clasificación funciona con datos de prueba - [ ] NER extrae entidades correctamente - [ ] Búsqueda semántica retorna resultados relevantes -- [ ] Rendimiento aceptable (CPU o GPU) +- [ ] Rendimiento acceptable (CPU o GPU) - [ ] Modelos guardados y cargados correctamente - [ ] Integración con pipeline de documentos diff --git a/FASE4_RESUMEN.md b/FASE4_RESUMEN.md index ce08af2e4..d537ac106 100644 --- a/FASE4_RESUMEN.md +++ b/FASE4_RESUMEN.md @@ -235,12 +235,12 @@ from documents.ocr import TableExtractor extractor = TableExtractor() tablas = extractor.extract_tables_from_image("factura.pdf") -# Primera tabla suele ser líneas de items +# Primera tabla suele set líneas de items if tablas: items = tablas[0]['data'] print("Artículos:") print(items) - + # Calcular total if 'Monto' in items.columns: total = items['Monto'].sum() @@ -286,19 +286,19 @@ from documents.ocr import TableExtractor, HandwritingRecognizer, FormFieldDetect def digitalizar_documento(ruta_imagen): """Pipeline completo de digitalización.""" - + # Extraer tablas extractor_tablas = TableExtractor() tablas = extractor_tablas.extract_tables_from_image(ruta_imagen) - + # Extraer notas manuscritas reconocedor = HandwritingRecognizer() notas = reconocedor.recognize_from_file(ruta_imagen, mode='lines') - + # Extraer campos de formulario detector = FormFieldDetector() datos_formulario = detector.extract_form_data(ruta_imagen) - + return { 'tablas': tablas, 'notas_manuscritas': notas, diff --git a/GITHUB_ISSUES_TEMPLATE.md b/GITHUB_ISSUES_TEMPLATE.md index 4c33e754b..8951f7af0 100644 --- a/GITHUB_ISSUES_TEMPLATE.md +++ b/GITHUB_ISSUES_TEMPLATE.md @@ -1,6 +1,6 @@ # GitHub Issues Templates para AI Scanner -Este documento contiene todos los issues que deben crearse para las mejoras del AI Scanner. Cada issue está formateado para ser copiado directamente a GitHub. +Este documento contiene todos los issues que deben crearse para las mejoras del AI Scanner. Cada issue está formateado para set copiado directamente a GitHub. --- @@ -37,8 +37,8 @@ Crear suite completa de tests unitarios para `ai_scanner.py` - [ ] Todos los tests pasan en CI/CD - [ ] Tests incluyen casos edge y errores -**Estimación**: 3-5 días -**Prioridad**: 🔴 ALTA +**Estimación**: 3-5 días +**Prioridad**: 🔴 ALTA **Épica**: Testing y Calidad de Código --- @@ -54,7 +54,7 @@ Crear tests para `ai_deletion_manager.py` y modelo `DeletionRequest` **Tareas**: - [ ] Tests para `create_deletion_request()` con análisis de impacto - [ ] Tests para `_analyze_impact()` con diferentes documentos -- [ ] Tests para `format_deletion_request_for_user()` con varios escenarios +- [ ] Tests para `format_deletion_request_for_user()` con various escenarios - [ ] Tests para `get_pending_requests()` con filtros - [ ] Tests para modelo `DeletionRequest` (approve, reject) - [ ] Tests para workflow completo de aprobación/rechazo @@ -66,12 +66,12 @@ Crear tests para `ai_deletion_manager.py` y modelo `DeletionRequest` - `src/documents/tests/test_deletion_request_model.py` **Criterios de Aceptación**: -- [ ] Cobertura >95% para componentes críticos de seguridad +- [ ] Cobertura >95% para components críticos de seguridad - [ ] Tests verifican constraints de seguridad - [ ] Tests pasan en CI/CD -**Estimación**: 2-3 días -**Prioridad**: 🔴 ALTA +**Estimación**: 2-3 días +**Prioridad**: 🔴 ALTA **Épica**: Testing y Calidad de Código --- @@ -99,11 +99,11 @@ Tests de integración para `_run_ai_scanner()` en pipeline de consumo **Criterios de Aceptación**: - [ ] Pipeline completo testeado end-to-end - [ ] Graceful degradation verificado -- [ ] Performance aceptable (<2s adicionales por documento) +- [ ] Performance acceptable (<2s adicionales por documento) -**Estimación**: 2-3 días -**Prioridad**: 🔴 ALTA -**Dependencias**: Issue 1.1 +**Estimación**: 2-3 días +**Prioridad**: 🔴 ALTA +**Dependencias**: Issue 1.1 **Épica**: Testing y Calidad de Código --- @@ -134,8 +134,8 @@ Ejecutar y corregir linters en código nuevo del AI Scanner - [ ] Código pasa pre-commit hooks - [ ] Type hints completos -**Estimación**: 1 día -**Prioridad**: 🟡 MEDIA +**Estimación**: 1 día +**Prioridad**: 🟡 MEDIA **Épica**: Testing y Calidad de Código --- @@ -164,11 +164,11 @@ Crear migración Django para modelo `DeletionRequest` **Criterios de Aceptación**: - [ ] Migración se ejecuta sin errores - [ ] Índices creados correctamente -- [ ] Backward compatible si posible +- [ ] Backward compatible si possible -**Estimación**: 1 día -**Prioridad**: 🔴 ALTA -**Dependencias**: Issue 1.2 +**Estimación**: 1 día +**Prioridad**: 🔴 ALTA +**Dependencias**: Issue 1.2 **Épica**: Migraciones de Base de Datos --- @@ -195,9 +195,9 @@ Optimizar índices de base de datos para queries frecuentes - [ ] Queries de listado <100ms - [ ] Queries de filtrado <50ms -**Estimación**: 0.5 días -**Prioridad**: 🟡 MEDIA -**Dependencias**: Issue 2.1 +**Estimación**: 0.5 días +**Prioridad**: 🟡 MEDIA +**Dependencias**: Issue 2.1 **Épica**: Migraciones de Base de Datos --- @@ -231,9 +231,9 @@ Crear endpoints REST para gestión de deletion requests (listado y detalle) - [ ] Tests de API incluidos - [ ] Permisos verificados (solo requests propios o admin) -**Estimación**: 2-3 días -**Prioridad**: 🔴 ALTA -**Dependencias**: Issue 2.1 +**Estimación**: 2-3 días +**Prioridad**: 🔴 ALTA +**Dependencias**: Issue 2.1 **Épica**: API REST Endpoints --- @@ -251,7 +251,7 @@ Endpoints para aprobar/rechazar deletion requests - [ ] Endpoint POST `/api/deletion-requests/{id}/reject/` - [ ] Endpoint POST `/api/deletion-requests/{id}/cancel/` - [ ] Validación de permisos (solo owner o admin) -- [ ] Validación de estado (solo pending puede ser aprobado/rechazado) +- [ ] Validación de estado (solo pending puede set aprobado/rechazado) - [ ] Respuesta con resultado de ejecución si aprobado - [ ] Notificaciones async si configurado @@ -260,13 +260,13 @@ Endpoints para aprobar/rechazar deletion requests - Actualizar `src/documents/urls.py` **Criterios de Aceptación**: -- [ ] Workflow completo funcional via API +- [ ] Workflow completo functional via API - [ ] Validaciones de estado y permisos - [ ] Tests de API incluidos -**Estimación**: 2 días -**Prioridad**: 🔴 ALTA -**Dependencias**: Issue 3.1 +**Estimación**: 2 días +**Prioridad**: 🔴 ALTA +**Dependencias**: Issue 3.1 **Épica**: API REST Endpoints --- @@ -296,8 +296,8 @@ Exponer sugerencias de AI via API para frontend - [ ] Tracking de user feedback - [ ] API documentada -**Estimación**: 2-3 días -**Prioridad**: 🟡 MEDIA +**Estimación**: 2-3 días +**Prioridad**: 🟡 MEDIA **Épica**: API REST Endpoints --- @@ -327,9 +327,9 @@ Sistema de webhooks para notificar eventos de AI - [ ] Retry logic robusto - [ ] Eventos documentados -**Estimación**: 2 días -**Prioridad**: 🟢 BAJA -**Dependencias**: Issues 3.1, 3.3 +**Estimación**: 2 días +**Prioridad**: 🟢 BAJA +**Dependencias**: Issues 3.1, 3.3 **Épica**: API REST Endpoints --- @@ -362,9 +362,9 @@ Mostrar sugerencias de AI en página de detalle de documento - [ ] Mobile responsive - [ ] Tests de componente incluidos -**Estimación**: 3-4 días -**Prioridad**: 🔴 ALTA -**Dependencias**: Issue 3.3 +**Estimación**: 3-4 días +**Prioridad**: 🔴 ALTA +**Dependencias**: Issue 3.3 **Épica**: Integración Frontend --- @@ -384,7 +384,7 @@ Dashboard para gestionar deletion requests - [ ] Modal de confirmación para aprobar/rechazar - [ ] Mostrar análisis de impacto de forma clara - [ ] Badge de notificación para pending requests -- [ ] Historial de requests completados +- [ ] Historical de requests completados **Archivos a Crear**: - `src-ui/src/app/components/deletion-requests/` @@ -393,11 +393,11 @@ Dashboard para gestionar deletion requests **Criterios de Aceptación**: - [ ] Usuario puede revisar y aprobar/rechazar requests - [ ] Análisis de impacto claro y comprensible -- [ ] Notificaciones visuales +- [ ] Notificaciones visuals -**Estimación**: 3-4 días -**Prioridad**: 🔴 ALTA -**Dependencias**: Issues 3.1, 3.2 +**Estimación**: 3-4 días +**Prioridad**: 🔴 ALTA +**Dependencias**: Issues 3.1, 3.2 **Épica**: Integración Frontend --- @@ -425,8 +425,8 @@ Indicador global de estado de AI en UI - [ ] Estado de AI siempre visible - [ ] Notificaciones no intrusivas -**Estimación**: 1-2 días -**Prioridad**: 🟡 MEDIA +**Estimación**: 1-2 días +**Prioridad**: 🟡 MEDIA **Épica**: Integración Frontend --- @@ -456,8 +456,8 @@ Página de configuración para features de AI - [ ] Cambios se reflejan inmediatamente - [ ] Validación de valores -**Estimación**: 2-3 días -**Prioridad**: 🟡 MEDIA +**Estimación**: 2-3 días +**Prioridad**: 🟡 MEDIA **Épica**: Integración Frontend --- diff --git a/GITHUB_PROJECT_SETUP.md b/GITHUB_PROJECT_SETUP.md index 972961c14..ff489a4de 100644 --- a/GITHUB_PROJECT_SETUP.md +++ b/GITHUB_PROJECT_SETUP.md @@ -1,7 +1,7 @@ # 📋 GitHub Projects - Configuración y Estructura -**Documento:** Guía completa para configurar GitHub Projects para IntelliDocs-ngx -**Fecha:** 2025-11-09 +**Documento:** Guía completa para configurar GitHub Projects para IntelliDocs-ngx +**Fecha:** 2025-11-09 **Autoridad:** Siguiendo directivas de `agents.md` --- @@ -16,7 +16,7 @@ Este documento proporciona las instrucciones paso a paso para crear y configurar ### Información General del Project - **Nombre:** IntelliDocs-ngx Roadmap 2026 -- **Descripción:** Plan anual de desarrollo e implementación para IntelliDocs-ngx +- **Descripción:** Plan annual de desarrollo e implementación para IntelliDocs-ngx - **Template:** Board (Kanban) + Roadmap views - **Visibilidad:** Privado (solo equipo) @@ -68,27 +68,27 @@ Crear las siguientes columnas en el Board: 1. **📥 Backlog** - Status: Backlog - Descripción: Tareas no iniciadas, priorizadas para futuro - + 2. **📅 Planned (Q1-Q4)** - Status: Planned - Descripción: Tareas planificadas con trimestre asignado - + 3. **🔨 In Progress** - Status: In Progress - Descripción: Tareas en desarrollo activo - + 4. **👀 In Review** - Status: In Review - Descripción: Tareas completadas, esperando code review - + 5. **🧪 Testing** - Status: Testing - Descripción: Features en QA y testing - + 6. **✅ Done** - Status: Done - Descripción: Tareas completadas y mergeadas - + 7. **🚫 Blocked** - Status: Blocked - Descripción: Tareas bloqueadas por dependencias @@ -150,7 +150,7 @@ area: ocr area: security ``` -### Comandos para crear labels (GitHub CLI) +### Commandos para crear labels (GitHub CLI) ```bash # Prioridades @@ -258,8 +258,8 @@ Agregar campos personalizados al project para tracking avanzado: - **Tipo:** Date - **Descripción:** Fecha objetivo de finalización -### 8. Responsable (Person) -- **Nombre:** Responsable +### 8. Responsible (Person) +- **Nombre:** Responsible - **Tipo:** Person - **Descripción:** Persona asignada a la tarea @@ -294,19 +294,19 @@ Para cada tarea en ROADMAP_2026.md: 1. Crear un Issue en GitHub: ``` Título: TSK-2601: Tests para classifier.py (clasificación BERT) - + Descripción: **Epic:** EPIC 1: Testing y QA **Prioridad:** Alta **Estimación:** 2 días **Trimestre:** Q1 2026 - + ## Subtareas - [ ] test_train_model - [ ] test_predict - [ ] test_save_load - [ ] test_edge_cases - + ## Aceptación - Tests passing - Cobertura >90% @@ -331,7 +331,7 @@ Para cada tarea en ROADMAP_2026.md: #!/usr/bin/env python3 """ Script para importar tareas del ROADMAP_2026.md a GitHub Issues -Requiere: pip install PyGithub +Require: pip install PyGithub """ from github import Github @@ -424,10 +424,10 @@ gh issue create \ 3. Group by: Trimestre 4. Sort by: Epic -### Vista 3: Por Responsable -1. Crear nueva vista: **"Por Responsable"** +### Vista 3: Por Responsible +1. Crear nueva vista: **"Por Responsible"** 2. Tipo: Board -3. Group by: Responsable +3. Group by: Responsible 4. Sort by: Prioridad ### Vista 4: Lista Completa @@ -674,6 +674,6 @@ IntelliDocs-ngx Roadmap 2026 --- -**Contacto:** -Director: @dawnsystem +**Contacto:** +Director: @dawnsystem Fecha: 2025-11-09 diff --git a/IMPROVEMENT_ROADMAP.md b/IMPROVEMENT_ROADMAP.md index 6330db47d..991cd4d72 100644 --- a/IMPROVEMENT_ROADMAP.md +++ b/IMPROVEMENT_ROADMAP.md @@ -85,7 +85,7 @@ class Migration(migrations.Migration): ), # Full-text search optimization migrations.RunSQL( - "CREATE INDEX doc_content_idx ON documents_document " + "CREATE INDEX doc_content_idx ON documents_document " "USING gin(to_tsvector('english', content));" ), ] @@ -231,7 +231,7 @@ getOptimizedThumbnailUrl(documentId: number): string { loadThumbnail(documentId: number): void { // Load low-quality placeholder first this.thumbnailUrl = `/api/documents/${documentId}/thumb/?quality=10`; - + // Then load high-quality version const img = new Image(); img.onload = () => { @@ -266,38 +266,38 @@ import base64 class DocumentEncryption: """Handle document encryption/decryption""" - + def __init__(self): # Key should be stored in secure key management system self.cipher = Fernet(settings.DOCUMENT_ENCRYPTION_KEY) - + def encrypt_file(self, file_path: str) -> str: """Encrypt a document file""" with open(file_path, 'rb') as f: plaintext = f.read() - + ciphertext = self.cipher.encrypt(plaintext) - + encrypted_path = f"{file_path}.encrypted" with open(encrypted_path, 'wb') as f: f.write(ciphertext) - + return encrypted_path - + def decrypt_file(self, encrypted_path: str, output_path: str = None): """Decrypt a document file""" with open(encrypted_path, 'rb') as f: ciphertext = f.read() - + plaintext = self.cipher.decrypt(ciphertext) - + if output_path: with open(output_path, 'wb') as f: f.write(plaintext) return output_path - + return plaintext - + def decrypt_stream(self, encrypted_path: str): """Decrypt file as a stream for serving""" import io @@ -308,13 +308,13 @@ class DocumentEncryption: class Consumer: def _write(self, document, path, ...): # ... existing code ... - + if settings.ENABLE_DOCUMENT_ENCRYPTION: encryption = DocumentEncryption() # Encrypt original file encrypted_path = encryption.encrypt_file(source_path) os.rename(encrypted_path, source_path) - + # Encrypt archive file if archive_path: encrypted_archive = encryption.encrypt_file(archive_path) @@ -363,10 +363,10 @@ import time class RateLimitMiddleware: """Rate limit API requests per user/IP""" - + def __init__(self, get_response): self.get_response = get_response - + def __call__(self, request): if request.path.startswith('/api/'): # Get identifier (user ID or IP) @@ -374,16 +374,16 @@ class RateLimitMiddleware: identifier = f'user_{request.user.id}' else: identifier = f'ip_{self.get_client_ip(request)}' - + # Check rate limit if not self.check_rate_limit(identifier, request.path): return HttpResponse( 'Rate limit exceeded. Please try again later.', status=429 ) - + return self.get_response(request) - + def check_rate_limit(self, identifier: str, path: str) -> bool: """ Rate limits: @@ -397,25 +397,25 @@ class RateLimitMiddleware: '/api/upload/': (10, 60), 'default': (200, 60) } - + # Find matching rate limit limit, window = rate_limits.get('default') for pattern, (l, w) in rate_limits.items(): if path.startswith(pattern): limit, window = l, w break - + # Check cache cache_key = f'rate_limit_{identifier}_{path}' current = cache.get(cache_key, 0) - + if current >= limit: return False - + # Increment counter cache.set(cache_key, current + 1, window) return True - + def get_client_ip(self, request): x_forwarded_for = request.META.get('HTTP_X_FORWARDED_FOR') if x_forwarded_for: @@ -440,16 +440,16 @@ class RateLimitMiddleware: # paperless/middleware.py class SecurityHeadersMiddleware: """Add security headers to responses""" - + def __init__(self, get_response): self.get_response = get_response - + def __call__(self, request): response = self.get_response(request) - + # Strict Transport Security response['Strict-Transport-Security'] = 'max-age=31536000; includeSubDomains' - + # Content Security Policy response['Content-Security-Policy'] = ( "default-src 'self'; " @@ -460,24 +460,24 @@ class SecurityHeadersMiddleware: "connect-src 'self' ws: wss:; " "frame-ancestors 'none';" ) - + # X-Frame-Options (prevent clickjacking) response['X-Frame-Options'] = 'DENY' - + # X-Content-Type-Options response['X-Content-Type-Options'] = 'nosniff' - + # X-XSS-Protection response['X-XSS-Protection'] = '1; mode=block' - + # Referrer Policy response['Referrer-Policy'] = 'strict-origin-when-cross-origin' - + # Permissions Policy response['Permissions-Policy'] = ( 'geolocation=(), microphone=(), camera=()' ) - + return response ``` @@ -503,20 +503,20 @@ from torch.utils.data import Dataset class DocumentDataset(Dataset): """Dataset for document classification""" - + def __init__(self, documents, labels, tokenizer, max_length=512): self.documents = documents self.labels = labels self.tokenizer = tokenizer self.max_length = max_length - + def __len__(self): return len(self.documents) - + def __getitem__(self, idx): doc = self.documents[idx] label = self.labels[idx] - + encoding = self.tokenizer( doc.content, truncation=True, @@ -524,7 +524,7 @@ class DocumentDataset(Dataset): max_length=self.max_length, return_tensors='pt' ) - + return { 'input_ids': encoding['input_ids'].flatten(), 'attention_mask': encoding['attention_mask'].flatten(), @@ -533,31 +533,31 @@ class DocumentDataset(Dataset): class TransformerDocumentClassifier: """BERT-based document classifier""" - + def __init__(self, model_name='distilbert-base-uncased'): self.model_name = model_name self.tokenizer = AutoTokenizer.from_pretrained(model_name) self.model = None - + def train(self, documents, labels): """Train the classifier""" # Prepare dataset dataset = DocumentDataset(documents, labels, self.tokenizer) - + # Split train/validation train_size = int(0.9 * len(dataset)) val_size = len(dataset) - train_size train_dataset, val_dataset = torch.utils.data.random_split( dataset, [train_size, val_size] ) - + # Load model num_labels = len(set(labels)) self.model = AutoModelForSequenceClassification.from_pretrained( self.model_name, num_labels=num_labels ) - + # Training arguments training_args = TrainingArguments( output_dir='./models/document_classifier', @@ -572,7 +572,7 @@ class TransformerDocumentClassifier: save_strategy='epoch', load_best_model_at_end=True, ) - + # Train trainer = Trainer( model=self.model, @@ -580,20 +580,20 @@ class TransformerDocumentClassifier: train_dataset=train_dataset, eval_dataset=val_dataset, ) - + trainer.train() - + # Save model self.model.save_pretrained('./models/document_classifier_final') self.tokenizer.save_pretrained('./models/document_classifier_final') - + def predict(self, document_text): """Classify a document""" if self.model is None: self.model = AutoModelForSequenceClassification.from_pretrained( './models/document_classifier_final' ) - + # Tokenize inputs = self.tokenizer( document_text, @@ -602,14 +602,14 @@ class TransformerDocumentClassifier: max_length=512, return_tensors='pt' ) - + # Predict with torch.no_grad(): outputs = self.model(**inputs) predictions = torch.nn.functional.softmax(outputs.logits, dim=-1) predicted_class = torch.argmax(predictions, dim=-1).item() confidence = predictions[0][predicted_class].item() - + return predicted_class, confidence ``` @@ -621,18 +621,18 @@ from transformers import pipeline class DocumentNER: """Extract entities from documents""" - + def __init__(self): self.ner_pipeline = pipeline( "ner", model="dslim/bert-base-NER", aggregation_strategy="simple" ) - + def extract_entities(self, text): """Extract named entities""" entities = self.ner_pipeline(text) - + # Organize by type organized = { 'persons': [], @@ -641,7 +641,7 @@ class DocumentNER: 'dates': [], 'amounts': [] } - + for entity in entities: entity_type = entity['entity_group'] if entity_type == 'PER': @@ -651,35 +651,35 @@ class DocumentNER: elif entity_type == 'LOC': organized['locations'].append(entity['word']) # Add more entity types... - + return organized - + def extract_invoice_data(self, text): """Extract invoice-specific data""" # Use regex + NER for better results import re - + data = {} - + # Extract amounts amount_pattern = r'\$?\d+[,\d]*\.?\d{0,2}' amounts = re.findall(amount_pattern, text) data['amounts'] = amounts - + # Extract dates date_pattern = r'\d{1,2}[/-]\d{1,2}[/-]\d{2,4}' dates = re.findall(date_pattern, text) data['dates'] = dates - + # Extract invoice numbers invoice_pattern = r'(?:Invoice|Inv\.?)\s*#?\s*(\d+)' invoice_nums = re.findall(invoice_pattern, text, re.IGNORECASE) data['invoice_numbers'] = invoice_nums - + # Use NER for organization names entities = self.extract_entities(text) data['organizations'] = entities['organizations'] - + return data ``` @@ -692,29 +692,29 @@ import numpy as np class SemanticSearch: """Semantic search using embeddings""" - + def __init__(self): self.model = SentenceTransformer('all-MiniLM-L6-v2') self.document_embeddings = {} - + def index_document(self, document_id, text): """Create embedding for document""" embedding = self.model.encode(text, convert_to_tensor=True) self.document_embeddings[document_id] = embedding - + def search(self, query, top_k=10): """Search documents by semantic similarity""" query_embedding = self.model.encode(query, convert_to_tensor=True) - + # Calculate similarities similarities = [] for doc_id, doc_embedding in self.document_embeddings.items(): similarity = util.cos_sim(query_embedding, doc_embedding).item() similarities.append((doc_id, similarity)) - + # Sort by similarity similarities.sort(key=lambda x: x[1], reverse=True) - + return similarities[:top_k] ``` @@ -748,57 +748,57 @@ from pdf2image import convert_from_path class TableExtractor: """Extract tables from documents""" - + def detect_tables(self, image_path): """Detect table regions in image""" img = cv2.imread(image_path, 0) - + # Thresholding thresh = cv2.threshold(img, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)[1] - + # Detect horizontal lines horizontal_kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (40, 1)) detect_horizontal = cv2.morphologyEx( thresh, cv2.MORPH_OPEN, horizontal_kernel, iterations=2 ) - + # Detect vertical lines vertical_kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (1, 40)) detect_vertical = cv2.morphologyEx( thresh, cv2.MORPH_OPEN, vertical_kernel, iterations=2 ) - + # Combine table_mask = cv2.add(detect_horizontal, detect_vertical) - + # Find contours (table regions) contours, _ = cv2.findContours( table_mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE ) - + tables = [] for contour in contours: x, y, w, h = cv2.boundingRect(contour) if w > 100 and h > 100: # Minimum table size tables.append((x, y, w, h)) - + return tables - + def extract_table_data(self, image_path, table_bbox): """Extract data from table region""" x, y, w, h = table_bbox - + # Crop table region img = cv2.imread(image_path) table_img = img[y:y+h, x:x+w] - + # OCR with table structure data = pytesseract.image_to_data( table_img, output_type=pytesseract.Output.DICT, config='--psm 6' # Assume uniform block of text ) - + # Organize into rows and columns rows = {} for i, text in enumerate(data['text']): @@ -811,30 +811,30 @@ class TableExtractor: 'left': data['left'][i], 'confidence': data['conf'][i] }) - + # Sort columns by X coordinate table_data = [] for row_num in sorted(rows.keys()): row = rows[row_num] row.sort(key=lambda x: x['left']) table_data.append([cell['text'] for cell in row]) - + return pd.DataFrame(table_data) - + def extract_all_tables(self, pdf_path): """Extract all tables from PDF""" # Convert PDF to images images = convert_from_path(pdf_path) - + all_tables = [] for page_num, image in enumerate(images): # Save temp image temp_path = f'/tmp/page_{page_num}.png' image.save(temp_path) - + # Detect tables tables = self.detect_tables(temp_path) - + # Extract each table for table_bbox in tables: df = self.extract_table_data(temp_path, table_bbox) @@ -842,7 +842,7 @@ class TableExtractor: 'page': page_num + 1, 'data': df }) - + return all_tables ``` @@ -865,27 +865,27 @@ import os class HandwritingRecognizer: """OCR for handwritten documents""" - + def __init__(self): # Use Google Cloud Vision API (best for handwriting) self.client = vision.ImageAnnotatorClient() - + def recognize_handwriting(self, image_path): """Extract handwritten text""" with open(image_path, 'rb') as image_file: content = image_file.read() - + image = vision.Image(content=content) - + # Use DOCUMENT_TEXT_DETECTION for handwriting response = self.client.document_text_detection(image=image) - + if response.error.message: raise Exception(f'Error: {response.error.message}') - + # Extract text full_text = response.full_text_annotation.text - + # Extract with confidence scores pages = [] for page in response.full_text_annotation.pages: @@ -904,7 +904,7 @@ class HandwritingRecognizer: }) page_text.append(paragraph_text) pages.append(page_text) - + return { 'text': full_text, 'structured': pages @@ -947,13 +947,13 @@ export const DocumentScannerScreen = () => { letUserAdjustCrop: true, croppedImageQuality: 100, }); - + if (scannedImages && scannedImages.length > 0) { // Upload to IntelliDocs await uploadDocument(scannedImages[0]); } }; - + return ( <View> <Button onPress={scanDocument} title="Scan Document" /> @@ -970,7 +970,7 @@ export const DocumentService = { const isConnected = await NetInfo.fetch().then( state => state.isConnected ); - + if (!isConnected) { // Queue for later const queue = await AsyncStorage.getItem('upload_queue') || '[]'; @@ -979,7 +979,7 @@ export const DocumentService = { await AsyncStorage.setItem('upload_queue', JSON.stringify(queueData)); return { queued: true }; } - + // Upload immediately return await api.uploadDocument(file); } @@ -1005,7 +1005,7 @@ class DocumentComment(models.Model): modified = models.DateTimeField(auto_now=True) parent = models.ForeignKey('self', null=True, blank=True) # For replies resolved = models.BooleanField(default=False) - + # For annotations (comments on specific locations) page_number = models.IntegerField(null=True) position_x = models.FloatField(null=True) @@ -1032,10 +1032,10 @@ class DocumentCommentViewSet(viewsets.ModelViewSet): position_x=request.data.get('position_x'), position_y=request.data.get('position_y'), ) - + # Notify other users notify_document_comment(comment) - + return Response(CommentSerializer(comment).data) ``` @@ -1044,11 +1044,11 @@ class DocumentCommentViewSet(viewsets.ModelViewSet): // annotation.component.ts export class AnnotationComponent { annotations: Annotation[] = []; - + addHighlight(selection: Selection) { const range = selection.getRangeAt(0); const rect = range.getBoundingClientRect(); - + const annotation: Annotation = { type: 'highlight', pageNumber: this.currentPage, @@ -1059,13 +1059,13 @@ export class AnnotationComponent { color: '#FFFF00', text: selection.toString() }; - + this.documentService.addAnnotation( this.documentId, annotation ).subscribe(); } - + renderAnnotations() { // Overlay annotations on PDF viewer this.annotations.forEach(annotation => { @@ -1092,14 +1092,14 @@ from googleapiclient.discovery import build class CloudStorageSync: """Sync documents with cloud storage""" - + def sync_with_dropbox(self, access_token): """Two-way sync with Dropbox""" dbx = Dropbox(access_token) - + # Get files from Dropbox result = dbx.files_list_folder('/IntelliDocs') - + for entry in result.entries: if entry.name.endswith('.pdf'): # Check if already imported @@ -1109,7 +1109,7 @@ class CloudStorageSync: # Download and import _, response = dbx.files_download(entry.path_display) self.import_file(response.content, entry.name) - + # Upload new documents to Dropbox new_docs = Document.objects.filter( synced_to_dropbox=False @@ -1122,20 +1122,20 @@ class CloudStorageSync: ) doc.synced_to_dropbox = True doc.save() - + def sync_with_google_drive(self, credentials_path): """Sync with Google Drive""" credentials = service_account.Credentials.from_service_account_file( credentials_path ) service = build('drive', 'v3', credentials=credentials) - + # List files in Drive folder results = service.files().list( q="'folder_id' in parents", fields="files(id, name, mimeType)" ).execute() - + for item in results.get('files', []): # Download and import request = service.files().get_media(fileId=item['id']) @@ -1156,13 +1156,13 @@ from datetime import timedelta class DocumentAnalytics: """Generate analytics and reports""" - + def get_dashboard_stats(self, user=None): """Get overview statistics""" queryset = Document.objects.all() if user: queryset = queryset.filter(owner=user) - + stats = { 'total_documents': queryset.count(), 'documents_this_month': queryset.filter( @@ -1175,21 +1175,21 @@ class DocumentAnalytics: Sum('original_size') )['original_size__sum'] or 0, } - + # Documents by type stats['by_type'] = queryset.values( 'document_type__name' ).annotate( count=Count('id') ).order_by('-count') - + # Documents by correspondent stats['by_correspondent'] = queryset.values( 'correspondent__name' ).annotate( count=Count('id') ).order_by('-count')[:10] - + # Upload trend (last 12 months) upload_trend = [] for i in range(12): @@ -1203,29 +1203,29 @@ class DocumentAnalytics: 'count': count }) stats['upload_trend'] = list(reversed(upload_trend)) - + return stats - + def generate_report(self, report_type, start_date, end_date, filters=None): """Generate custom reports""" queryset = Document.objects.filter( created__gte=start_date, created__lte=end_date ) - + if filters: if 'correspondent' in filters: queryset = queryset.filter(correspondent_id=filters['correspondent']) if 'document_type' in filters: queryset = queryset.filter(document_type_id=filters['document_type']) - + if report_type == 'summary': return self._generate_summary_report(queryset) elif report_type == 'detailed': return self._generate_detailed_report(queryset) elif report_type == 'compliance': return self._generate_compliance_report(queryset) - + def export_report(self, report_data, format='pdf'): """Export report to PDF/Excel""" if format == 'pdf': @@ -1242,14 +1242,14 @@ class DocumentAnalytics: export class AnalyticsDashboardComponent implements OnInit { stats: DashboardStats; chartOptions: any; - + ngOnInit() { this.analyticsService.getDashboardStats().subscribe(stats => { this.stats = stats; this.setupCharts(); }); } - + setupCharts() { // Upload trend chart this.chartOptions = { @@ -1266,7 +1266,7 @@ export class AnalyticsDashboardComponent implements OnInit { } }; } - + generateReport(type: string) { this.analyticsService.generateReport(type, { start_date: this.startDate, diff --git a/INFORME_AUDITORIA_CICD.md b/INFORME_AUDITORIA_CICD.md index a55deeb42..9fd8246c5 100644 --- a/INFORME_AUDITORIA_CICD.md +++ b/INFORME_AUDITORIA_CICD.md @@ -14,11 +14,11 @@ | Componente | Calificación | Estado | Listo para CI/CD | |------------|--------------|--------|------------------| -| **Backend Python** | 6.5/10 | ⚠️ Requiere correcciones | ❌ NO | -| **Frontend Angular** | 6.5/10 | ⚠️ Requiere correcciones | ❌ NO | +| **Backend Python** | 6.5/10 | ⚠️ Require correcciones | ❌ NO | +| **Frontend Angular** | 6.5/10 | ⚠️ Require correcciones | ❌ NO | | **Docker** | 8.5/10 | ✅ Mayormente correcto | ⚠️ PARCIAL | | **CI/CD** | 6.0/10 | ⚠️ Incompleto para ML/OCR | ❌ NO | -| **GLOBAL** | **6.9/10** | **REQUIERE CORRECCIONES** | **❌ NO** | +| **GLOBAL** | **6.9/10** | **REQUIRE CORRECCIONES** | **❌ NO** | ### Veredicto Final @@ -26,7 +26,7 @@ **Razones críticas:** 1. 🔴 Migraciones de base de datos duplicadas (bloquean deployment) -2. 🔴 Componentes Angular sin declaración `standalone: true` (bloquean build) +2. 🔴 Components Angular sin declaración `standalone: true` (bloquean build) 3. 🔴 No hay validación de dependencias ML/OCR en CI 4. 🔴 Modelo `AISuggestionFeedback` falta en models.py @@ -155,10 +155,10 @@ class AISuggestionFeedback(models.Model): --- -### CRÍTICO #3: Componentes Angular sin `standalone: true` +### CRÍTICO #3: Components Angular sin `standalone: true` **Severidad:** 🔴 BLOQUEANTE - Impide compilación -**Archivos afectados:** 2 componentes +**Archivos afectados:** 2 components #### Archivo 1: `src-ui/src/app/components/ai-suggestions-panel/ai-suggestions-panel.component.ts` @@ -440,7 +440,7 @@ def _get_table_extractor(self): ### MENOR #2: JSDoc faltante -**Archivos:** Varios métodos públicos sin documentación JSDoc +**Archivos:** Various métodos públicos sin documentación JSDoc **Recomendación:** Agregar documentación a métodos públicos. @@ -454,7 +454,7 @@ def _get_table_extractor(self): **Estado:** ✅ YA CORREGIDO - Protegido con `!environment.production` -**No requiere acción.** +**No require acción.** --- @@ -514,7 +514,7 @@ def _get_table_extractor(self): CMD curl -fs http://localhost:8000/api/health/ || exit 1 ``` - Crear endpoint `/api/health/` que valide: + Crear endpoint `/api/health/` que valid: - ✅ Redis conectado - ✅ BD disponible - ✅ Frontend cargado @@ -570,7 +570,7 @@ def _get_table_extractor(self): 3. **NO hay caché de modelos ML** - Cada build descargará ~1GB de modelos desde Hugging Face - Tiempo de build: +5-10 minutos extra - - Posible rate limiting de Hugging Face + - Possible rate limiting de Hugging Face 4. **NO hay smoke tests post-build** - No valida que la imagen construida funciona @@ -691,7 +691,7 @@ mv 1076_aisuggestionfeedback.py \ # Los índices ya están definidos en models.py ``` -#### Paso 1.4: Agregar `standalone: true` a componentes (5 min) +#### Paso 1.4: Agregar `standalone: true` a components (5 min) ```typescript // Editar src-ui/src/app/components/ai-suggestions-panel/ai-suggestions-panel.component.ts // Línea 41: Agregar standalone: true @@ -942,7 +942,7 @@ jobs: - [ ] Build local exitoso: `docker build -t intellidocs-ngx:test .` - [ ] Migraciones ejecutan sin errores - [ ] ML dependencies funcionan en container -- [ ] Volúmenes persisten datos correctamente +- [ ] Volúmenes persistent datos correctamente - [ ] Health check responde OK ### CI/CD @@ -1068,7 +1068,7 @@ jobs: 4. ✅ **DOCUMENTAR PROCESO** en BITACORA_MAESTRA.md **Después de correcciones:** -- ✅ Build de imagen Docker funcional +- ✅ Build de imagen Docker functional - ✅ Tests de backend/frontend/ML pasando - ✅ CI/CD automatizado en cada commit a `dev` - ✅ Pull de imagen actualizada funcionará correctamente diff --git a/INFORME_REVISION_COMPLETA.md b/INFORME_REVISION_COMPLETA.md index ce811929b..f240fc671 100644 --- a/INFORME_REVISION_COMPLETA.md +++ b/INFORME_REVISION_COMPLETA.md @@ -60,7 +60,7 @@ def _get_classifier(self): ``` **Impacto**: -- La configuración del modelo (`model_name`) se ignora +- La configuración del modelo (`model_name`) se ignore - El parámetro `use_cache=True` se pierde - Se carga el modelo dos veces innecesariamente - Pérdida de rendimiento y memoria @@ -116,7 +116,7 @@ if ( **Impacto**: - Los permisos de `change_groups` nunca se verifican -- Bug potencial en sistema de permisos +- Bug potential en sistema de permisos **Solución**: ```python @@ -262,7 +262,7 @@ response["Content-Security-Policy"] = ( **Impacto**: - Vulnerable a XSS (Cross-Site Scripting) -- Inyección de scripts maliciosos posible +- Inyección de scripts maliciosos possible - No cumple con mejores prácticas de seguridad **Solución**: @@ -284,7 +284,7 @@ def add_security_headers(request, response): --- -### 7. MEMORY LEAKS EN FRONTEND (MÚLTIPLES COMPONENTES) +### 7. MEMORY LEAKS EN FRONTEND (MÚLTIPLES COMPONENTS) **Archivos**: - `src-ui/src/app/components/deletion-requests/deletion-request-detail/deletion-request-detail.component.ts` @@ -293,7 +293,7 @@ def add_security_headers(request, response): **Severidad**: 🔴 CRÍTICO -**Descripción**: Componentes crean suscripciones HTTP sin implementar `OnDestroy` ni usar `takeUntil` para cancelarlas. +**Descripción**: Components crean suscripciones HTTP sin implementar `OnDestroy` ni usar `takeUntil` para cancelarlas. **Código Problemático**: ```typescript @@ -362,7 +362,7 @@ export class DeletionRequestDetailComponent implements OnDestroy { **Impacto**: - Viola directivas de agents.md (Artículo I, Sección 3) -- Imposible determinar cuál es la fecha real de última actualización +- Impossible determinar cuál es la fecha real de última actualización - Confusión para el equipo **Solución**: @@ -460,7 +460,7 @@ _(Ver secciones detalladas más adelante)_ ## 🔧 PROBLEMAS BAJOS (Backlog) ### 45. Archivos SCSS Vacíos -**Archivos**: Múltiples componentes Angular +**Archivos**: Múltiples components Angular **Solución**: Eliminar o añadir estilos necesarios ### 46. Duplicación de Clases CSS @@ -508,7 +508,7 @@ _(Ver secciones detalladas más adelante)_ 1. **numpy Versión Desactualizada** (🟡 MEDIO) - Actual: `>= 1.24.0` - Recomendado: `>= 1.26.0` - - Razón: scikit-learn 1.7.0 requiere numpy más reciente + - Razón: scikit-learn 1.7.0 require numpy más reciente 2. **openpyxl Posiblemente Innecesaria** (🟡 MEDIO) - No se encontraron imports directos @@ -565,7 +565,7 @@ _(Ver secciones detalladas más adelante)_ **Calificación**: 8.5/10 **Fortalezas**: -- ✅ Arquitectura modular (componentes standalone) +- ✅ Arquitectura modular (components standalone) - ✅ Uso de inject() (nuevo patrón Angular) - ✅ Tipado fuerte TypeScript - ✅ Guards para permisos @@ -599,7 +599,7 @@ _(Ver secciones detalladas más adelante)_ 2. **Rate Limiting Débil** (🟡 MEDIO) - Cache puede limpiarse - - Bypass posible + - Bypass possible 3. **Detección de Malware con Falsos Positivos** (🟡 MEDIO) - Patrones muy amplios @@ -627,7 +627,7 @@ _(Ver secciones detalladas más adelante)_ ### Código Frontend - **Líneas totales**: ~658 (módulo deletion-requests) -- **Complejidad**: Media (componentes bien estructurados) +- **Complejidad**: Media (components bien estructurados) - **Cobertura de tests**: Básica (solo tests de creación) - **Documentación**: 40% (comentarios limitados) @@ -679,7 +679,7 @@ _(Ver secciones detalladas más adelante)_ - Archivos: 2 - Prioridad: MÁXIMA -6. **Implementar OnDestroy en componentes Angular** +6. **Implementar OnDestroy en components Angular** - Tiempo estimado: 3 horas - Archivos: 3 - Prioridad: MÁXIMA @@ -694,7 +694,7 @@ _(Ver secciones detalladas más adelante)_ - Archivos: 1 - Prioridad: MÁXIMA -**Total Fase 1**: 12 horas aprox. +**Total Fase 1**: 12 horas approx. ### Fase 2: Correcciones Altas (3-5 días) @@ -706,7 +706,7 @@ _(Ver secciones detalladas más adelante)_ 6. Añadir manejo de errores en servicios Angular 7. Implementar start/stop en polling service -**Total Fase 2**: 16 horas aprox. +**Total Fase 2**: 16 horas approx. ### Fase 3: Mejoras Medias (1-2 semanas) @@ -718,7 +718,7 @@ _(Ver secciones detalladas más adelante)_ 6. Validar @Input requeridos 7. Expandir tests unitarios -**Total Fase 3**: 32 horas aprox. +**Total Fase 3**: 32 horas approx. ### Fase 4: Backlog (Planificar) @@ -728,7 +728,7 @@ _(Ver secciones detalladas más adelante)_ 4. Remover console.log 5. Actualizar documentación -**Total Fase 4**: 8 horas aprox. +**Total Fase 4**: 8 horas approx. --- @@ -801,7 +801,7 @@ _(Ver secciones detalladas más adelante)_ 7. ✅ Transacciones atómicas en operaciones críticas ### Frontend -1. ✅ Componentes standalone (nuevo patrón Angular) +1. ✅ Components standalone (nuevo patrón Angular) 2. ✅ Uso de inject() en lugar de constructor injection 3. ✅ Tipado fuerte en TypeScript 4. ✅ Uso de $localize para i18n @@ -824,7 +824,7 @@ _(Ver secciones detalladas más adelante)_ **Métodos Más Complejos**: 1. `consumer.py:run()` - 311 líneas (🔴 refactorizar) 2. `ai_scanner.py:scan_document()` - 180 líneas (🟡 revisar) -3. `ai_deletion_manager.py:_analyze_impact()` - 62 líneas (✅ aceptable) +3. `ai_deletion_manager.py:_analyze_impact()` - 62 líneas (✅ acceptable) **Complejidad Ciclomática Estimada**: - `run()`: ~45 (🔴 muy alta, límite recomendado: 10) @@ -878,7 +878,7 @@ _(Ver secciones detalladas más adelante)_ 1. **Completar documentación técnica** - Añadir docstrings completos - Documentar excepciones - - Crear diagramas de arquitectura + - Crear diagrams de arquitectura 2. **Implementar CI/CD** - Tests automáticos en PRs @@ -927,7 +927,7 @@ El proyecto IntelliDocs-ngx está en **buen estado general** con una arquitectur 1. ❌ Código duplicado que afecta funcionalidad 2. ❌ Memory leaks en frontend 3. ❌ Seguridad CSP demasiado permisiva -4. ❌ Thread safety parcial en componentes críticos +4. ❌ Thread safety parcial en components críticos 5. ❌ Falta de tests comprehensivos ### Riesgo General @@ -959,7 +959,7 @@ Se recomienda: 8. `src-ui/src/app/services/ai-status.service.ts` 9. `BITACORA_MAESTRA.md` -### B. Comandos Útiles para Verificación +### B. Commandos Útiles para Verificación ```bash # Backend - Linting diff --git a/NOTION_INTEGRATION_GUIDE.md b/NOTION_INTEGRATION_GUIDE.md index 5385210ab..16195211c 100644 --- a/NOTION_INTEGRATION_GUIDE.md +++ b/NOTION_INTEGRATION_GUIDE.md @@ -1,8 +1,8 @@ # 📘 Guía de Integración con Notion -**Documento:** Guía completa para integrar IntelliDocs-ngx Roadmap 2026 con Notion -**Fecha:** 2025-11-09 -**Autoridad:** Siguiendo directivas de `agents.md` +**Documento:** Guía completa para integrar IntelliDocs-ngx Roadmap 2026 con Notion +**Fecha:** 2025-11-09 +**Autoridad:** Siguiendo directivas de `agents.md` **Preferencia del Director:** Notion sobre Jira/Confluence --- @@ -89,7 +89,7 @@ Crear una **Full-page database** llamada "Roadmap 2026 Tasks" con las siguientes | **Progreso** | Number | Porcentaje (0-100) | | **Fecha Inicio** | Date | - | | **Fecha Fin** | Date | - | -| **Responsable** | Person | - | +| **Responsible** | Person | - | | **GitHub Issue** | URL | Link al issue en GitHub | | **GitHub PR** | URL | Link al PR cuando aplique | | **Tags** | Multi-select | backend, frontend, mobile, ml-ai, ocr, security, devops | @@ -114,8 +114,8 @@ Crear un template para nuevas tasks: - **Fin estimado:** {{Fecha Fin}} - **Trimestre:** {{Trimestre}} -## 👤 Responsable -{{Responsable}} +## 👤 Responsible +{{Responsible}} ## ✅ Subtareas - [ ] Subtarea 1 @@ -130,7 +130,7 @@ Crear un template para nuevas tasks: ## 🔗 Links - GitHub Issue: {{GitHub Issue}} - GitHub PR: {{GitHub PR}} -- Documentación relacionada: +- Documentación relacionada: ## 💬 Notas [Notas adicionales, decisiones de diseño, etc.] @@ -277,7 +277,7 @@ def get_status_from_issue(issue): def sync_issue_to_notion(issue): """Sincroniza un issue de GitHub a Notion""" - + # Buscar si ya existe en Notion results = notion.databases.query( database_id=NOTION_DATABASE_ID, @@ -286,7 +286,7 @@ def sync_issue_to_notion(issue): "url": {"equals": issue.html_url} } ) - + # Preparar propiedades properties = { "Task ID": {"title": [{"text": {"content": f"TSK-{issue.number}"}}]}, @@ -296,17 +296,17 @@ def sync_issue_to_notion(issue): "Trimestre": {"select": {"name": get_quarter_from_labels(issue.labels)}}, "GitHub Issue": {"url": issue.html_url}, } - - # Agregar responsable si existe + + # Agregar responsible si existe if issue.assignee: - properties["Responsable"] = { + properties["Responsible"] = { "people": [{"object": "user", "name": issue.assignee.login}] } - + # Agregar PR si existe if issue.pull_request: properties["GitHub PR"] = {"url": issue.pull_request.html_url} - + # Crear o actualizar en Notion if results['results']: # Actualizar existente @@ -340,17 +340,17 @@ def sync_issue_to_notion(issue): def main(): """Función principal""" print("🔄 Sincronizando GitHub Issues a Notion...") - + # Obtener todos los issues abiertos issues = repo.get_issues(state='all') - + count = 0 for issue in issues: # Solo sincronizar issues con label de Epic if any(label.name.startswith('epic:') for label in issue.labels): sync_issue_to_notion(issue) count += 1 - + print(f"\n✅ Sincronización completa: {count} issues procesados") if __name__ == '__main__': @@ -383,7 +383,7 @@ python .github/scripts/sync_github_to_notion.py 3. O usar un scheduled task en Windows -**Esta opción es 100% gratuita y no requiere servicios de terceros de pago.** +**Esta opción es 100% gratuita y no require servicios de terceros de pago.** --- @@ -407,7 +407,7 @@ python .github/scripts/sync_github_to_notion.py 3. Configurar: - **Group by:** Status - **Sort by:** Prioridad - - **Card preview:** Task ID, Responsable, Fecha Fin + - **Card preview:** Task ID, Responsible, Fecha Fin ### Vista 3: Por Epic @@ -852,9 +852,9 @@ Para compartir con usuarios sin cuenta: --- -**Soporte:** -Director: @dawnsystem -Fecha: 2025-11-09 +**Soporte:** +Director: @dawnsystem +Fecha: 2025-11-09 Versión: 1.0 **Nota:** Este documento es parte de la iniciativa del ROADMAP_2026.md y sigue las directivas de agents.md diff --git a/PERFORMANCE_OPTIMIZATION_PHASE1.md b/PERFORMANCE_OPTIMIZATION_PHASE1.md index 0352403d6..f2e56b3fb 100644 --- a/PERFORMANCE_OPTIMIZATION_PHASE1.md +++ b/PERFORMANCE_OPTIMIZATION_PHASE1.md @@ -20,23 +20,23 @@ This document details the first phase of performance optimizations implemented f 1. **Correspondent + Created Date** (`doc_corr_created_idx`) - Optimizes: "Show me all documents from this correspondent sorted by date" - Use case: Viewing documents by sender/receiver - + 2. **Document Type + Created Date** (`doc_type_created_idx`) - Optimizes: "Show me all invoices/receipts sorted by date" - Use case: Viewing documents by category - + 3. **Owner + Created Date** (`doc_owner_created_idx`) - Optimizes: "Show me all my documents sorted by date" - Use case: Multi-user environments, personal document views - + 4. **Storage Path + Created Date** (`doc_storage_created_idx`) - Optimizes: "Show me all documents in this storage location sorted by date" - Use case: Organized filing by location - + 5. **Modified Date Descending** (`doc_modified_desc_idx`) - Optimizes: "Show me recently modified documents" - Use case: "What changed recently?" queries - + 6. **Document-Tags Junction Table** (`doc_tags_document_idx`) - Optimizes: Tag filtering performance - Use case: "Show me all documents with these tags" @@ -224,8 +224,8 @@ else: **Before** (no index): ```sql -- Slow: Sequential scan through all documents -SELECT * FROM documents_document -WHERE correspondent_id = 5 +SELECT * FROM documents_document +WHERE correspondent_id = 5 ORDER BY created DESC; -- Time: ~200ms for 10k docs ``` @@ -233,8 +233,8 @@ ORDER BY created DESC; **After** (with index): ```sql -- Fast: Index scan using doc_corr_created_idx -SELECT * FROM documents_document -WHERE correspondent_id = 5 +SELECT * FROM documents_document +WHERE correspondent_id = 5 ORDER BY created DESC; -- Time: ~20ms for 10k docs (10x faster!) ``` @@ -292,7 +292,7 @@ Check if indexes are being used: ```sql -- PostgreSQL: Check index usage -SELECT +SELECT schemaname, tablename, indexname, diff --git a/QUICK_REFERENCE.md b/QUICK_REFERENCE.md index 545d816f0..5cab6207f 100644 --- a/QUICK_REFERENCE.md +++ b/QUICK_REFERENCE.md @@ -480,10 +480,10 @@ def health_check(request): # ✅ Good def process_document(document_id: int) -> Document: """Process a document and return the result. - + Args: document_id: ID of document to process - + Returns: Processed document instance """ @@ -567,6 +567,6 @@ class DocumentConsumerTest(TestCase): --- -*Last Updated: November 9, 2025* -*Version: 1.0* +*Last Updated: November 9, 2025* +*Version: 1.0* *IntelliDocs-ngx v2.19.5* diff --git a/REPORTE_COMPLETO.md b/REPORTE_COMPLETO.md index 973b7adf4..eef69b3f3 100644 --- a/REPORTE_COMPLETO.md +++ b/REPORTE_COMPLETO.md @@ -313,7 +313,7 @@ Contenido: - ✅ Desarrollo activo ### Mayores Oportunidades -1. **Rendimiento**: Mejora 5-10x posible con optimizaciones simples +1. **Rendimiento**: Mejora 5-10x possible con optimizaciones simples 2. **IA/ML**: Mejora de precisión 40-60% con modelos modernos 3. **OCR**: Extracción de tablas y escritura a mano abre nuevos casos de uso 4. **Móvil**: Apps nativas expanden base de usuarios significativamente @@ -501,4 +501,4 @@ Toda la documentación está completa y lista para revisión. Ahora puedes: *Generado: 9 de noviembre de 2025* *Versión: 1.0* *Para: IntelliDocs-ngx v2.19.5* -*Autor: GitHub Copilot - Análisis Completo* +*Author: GitHub Copilot - Análisis Completo* diff --git a/RESUMEN_ROADMAP_2026.md b/RESUMEN_ROADMAP_2026.md index 22d39e7e4..3858aaf8b 100644 --- a/RESUMEN_ROADMAP_2026.md +++ b/RESUMEN_ROADMAP_2026.md @@ -1,9 +1,9 @@ # 📊 Resumen Ejecutivo: Roadmap 2026 IntelliDocs-ngx -**Para:** Director del Proyecto, @dawnsystem -**De:** Equipo de Desarrollo IA -**Fecha:** 2025-11-09 22:45:00 UTC -**Asunto:** Investigación completa y hoja de ruta anual completada +**Para:** Director del Proyecto, @dawnsystem +**De:** Equipo de Desarrollo IA +**Fecha:** 2025-11-09 22:45:00 UTC +**Asunto:** Investigación completa y hoja de ruta annual completada --- @@ -68,12 +68,12 @@ Siguiendo las directivas de `agents.md` como ley, hemos completado una investiga - **Dashboard de métricas:** Burndown chart, Velocity, Epic progress #### Características Clave: -✅ Board Kanban completo -✅ Labels pre-configurados (comandos incluidos) -✅ Custom fields para tracking avanzado -✅ Automation con GitHub Actions -✅ Scripts para importar las 147 tareas -✅ Best practices y templates +✅ Board Kanban completo +✅ Labels pre-configurados (commandos incluidos) +✅ Custom fields para tracking avanzado +✅ Automation con GitHub Actions +✅ Scripts para importar las 147 tareas +✅ Best practices y templates --- @@ -182,11 +182,11 @@ Actualizada siguiendo las directivas de `agents.md`: □ Opción A: GitHub Project → Seguir GITHUB_PROJECT_SETUP.md → Tiempo: 2-3 horas - + □ Opción B: Notion (RECOMENDADO) → Seguir NOTION_INTEGRATION_GUIDE.md → Tiempo: 1 hora (con Zapier) o 4-5 horas (setup completo) - + □ Opción C: Ambos (IDEAL) → GitHub para tracking técnico → Notion para planificación y comunicación @@ -324,7 +324,7 @@ Antes de empezar, consideremos: - [x] Análisis de agents.md (directivas) - [x] Análisis de BITACORA_MAESTRA.md (estado actual) - [x] Análisis de IMPROVEMENT_ROADMAP.md (mejoras técnicas) -- [x] Creación de roadmap anual completo (12 Epics, 147 tareas) +- [x] Creación de roadmap annual completo (12 Epics, 147 tareas) - [x] Desglose de tareas con estimaciones - [x] Calendario de entregas por trimestre - [x] Estimación de recursos e inversión @@ -352,14 +352,14 @@ Antes de empezar, consideremos: ## 🎉 Conclusión -Hemos completado una investigación exhaustiva de IntelliDocs-ngx y creado una **hoja de ruta completa y ejecutable para el año 2026**. +Hemos completado una investigación exhaustiva de IntelliDocs-ngx y creado una **hoja de ruta completa y ejecutable para el año 2026**. El roadmap incluye: - ✅ **147 tareas específicas** distribuidas en 12 Epics - ✅ **Estimaciones detalladas** de tiempo y recursos - ✅ **Guías paso a paso** para GitHub Project y Notion - ✅ **Scripts listos para usar** para sync automático -- ✅ **Templates y best practices** +- ✅ **Templates y best practices** - ✅ Todo siguiendo las directivas de `agents.md` **Próximo paso:** Tu decisión y aprobación para comenzar la implementación. @@ -370,15 +370,15 @@ El roadmap incluye: --- -**Preparado por:** Equipo de Desarrollo IA -**Revisado siguiendo:** agents.md (directivas del proyecto) -**Registrado en:** BITACORA_MAESTRA.md -**Fecha:** 2025-11-09 22:45:00 UTC +**Preparado por:** Equipo de Desarrollo IA +**Revisado siguiendo:** agents.md (directivas del proyecto) +**Registrado en:** BITACORA_MAESTRA.md +**Fecha:** 2025-11-09 22:45:00 UTC **Versión:** 1.0 --- -**Para consultas o aclaraciones:** -Director del Proyecto: @dawnsystem -Repository: https://github.com/dawnsystem/IntelliDocs-ngx +**Para consultas o aclaraciones:** +Director del Proyecto: @dawnsystem +Repository: https://github.com/dawnsystem/IntelliDocs-ngx Issues: https://github.com/dawnsystem/IntelliDocs-ngx/issues diff --git a/ROADMAP_2026.md b/ROADMAP_2026.md index 6e87da863..395d3db0e 100644 --- a/ROADMAP_2026.md +++ b/ROADMAP_2026.md @@ -1,9 +1,9 @@ -# 🗺️ IntelliDocs-ngx - Hoja de Ruta 2026 (Roadmap Anual) +# 🗺️ IntelliDocs-ngx - Hoja de Ruta 2026 (Roadmap Annual) -**Versión:** 1.0 -**Fecha de Creación:** 2025-11-09 -**Última Actualización:** 2025-11-09 22:39:23 UTC -**Autoridad:** Este documento sigue las directivas de `agents.md` +**Versión:** 1.0 +**Fecha de Creación:** 2025-11-09 +**Última Actualización:** 2025-11-09 22:39:23 UTC +**Autoridad:** Este documento sigue las directivas de `agents.md` **Estado:** 🟢 ACTIVO --- @@ -41,9 +41,9 @@ Esta hoja de ruta define **todas las implementaciones planificadas para IntelliD --- ## 🎯 EPIC 1: Testing y QA Completo (Q1 2026) -**Prioridad:** 🔴 CRÍTICA -**Duración:** 4 semanas -**Dependencias:** Ninguna (Fase 0) +**Prioridad:** 🔴 CRÍTICA +**Duración:** 4 semanas +**Dependencias:** Ninguna (Fase 0) **Objetivo:** Cobertura >90% de código para validar las 4 fases implementadas ### Tareas (12 total) @@ -53,12 +53,12 @@ Esta hoja de ruta define **todas las implementaciones planificadas para IntelliD - Subtareas: test_train_model, test_predict, test_save_load, test_edge_cases - Estimación: 2 días - Prioridad: Alta - + - [ ] **TSK-2602:** Tests para `ner.py` (Named Entity Recognition) - Subtareas: test_extract_entities, test_invoice_data, test_confidence_scores - Estimación: 2 días - Prioridad: Alta - + - [ ] **TSK-2603:** Tests para `semantic_search.py` - Subtareas: test_index_document, test_search, test_similarity_scoring - Estimación: 1.5 días @@ -69,12 +69,12 @@ Esta hoja de ruta define **todas las implementaciones planificadas para IntelliD - Subtareas: test_detect_tables, test_extract_data, test_accuracy_benchmark - Estimación: 2 días - Prioridad: Alta - + - [ ] **TSK-2605:** Tests para `handwriting.py` - Subtareas: test_recognize_handwriting, test_trocr_model, test_fallback_tesseract - Estimación: 2 días - Prioridad: Alta - + - [ ] **TSK-2606:** Tests para `form_detector.py` - Subtareas: test_detect_forms, test_extract_fields, test_checkbox_detection - Estimación: 2 días @@ -85,7 +85,7 @@ Esta hoja de ruta define **todas las implementaciones planificadas para IntelliD - Subtareas: test_rate_limits, test_ip_detection, test_user_limits - Estimación: 1.5 días - Prioridad: Alta - + - [ ] **TSK-2608:** Tests para `security.py` (validación de archivos) - Subtareas: test_mime_validation, test_malware_detection, test_content_scan - Estimación: 2 días @@ -96,7 +96,7 @@ Esta hoja de ruta define **todas las implementaciones planificadas para IntelliD - Subtareas: measure_query_times, compare_before_after, stress_test - Estimación: 1 día - Prioridad: Media - + - [ ] **TSK-2610:** Benchmark de sistema de caché - Subtareas: test_cache_hit_rate, test_invalidation, load_test - Estimación: 1 día @@ -107,7 +107,7 @@ Esta hoja de ruta define **todas las implementaciones planificadas para IntelliD - Subtareas: setup_test_env, test_pdf_upload, test_ocr_execution, test_auto_classify - Estimación: 3 días - Prioridad: Alta - + - [ ] **TSK-2612:** Tests E2E - Búsqueda semántica + filtros - Subtareas: test_semantic_search, test_combined_filters, test_performance - Estimación: 2 días @@ -121,9 +121,9 @@ Esta hoja de ruta define **todas las implementaciones planificadas para IntelliD --- ## 🎯 EPIC 2: Documentación API y Swagger (Q1 2026) -**Prioridad:** 🔴 ALTA -**Duración:** 2 semanas -**Dependencias:** EPIC 1 +**Prioridad:** 🔴 ALTA +**Duración:** 2 semanas +**Dependencias:** EPIC 1 **Objetivo:** API totalmente documentada con OpenAPI 3.0 ### Tareas (8 total) @@ -169,9 +169,9 @@ Esta hoja de ruta define **todas las implementaciones planificadas para IntelliD --- ## 🎯 EPIC 3: Optimización Avanzada de Performance (Q1 2026) -**Prioridad:** 🟡 MEDIA-ALTA -**Duración:** 3 semanas -**Dependencias:** EPIC 1 (para validar mejoras) +**Prioridad:** 🟡 MEDIA-ALTA +**Duración:** 3 semanas +**Dependencias:** EPIC 1 (para validar mejoras) **Objetivo:** Reducir tiempos de respuesta en 50% adicional ### Tareas (10 total) @@ -229,9 +229,9 @@ Esta hoja de ruta define **todas las implementaciones planificadas para IntelliD --- ## 🎯 EPIC 4: Encriptación de Documentos en Reposo (Q1 2026) -**Prioridad:** 🔴 CRÍTICA (Security) -**Duración:** 3 semanas -**Dependencias:** EPIC 1 (tests de seguridad) +**Prioridad:** 🔴 CRÍTICA (Security) +**Duración:** 3 semanas +**Dependencias:** EPIC 1 (tests de seguridad) **Objetivo:** Proteger documentos con encriptación AES-256 ### Tareas (12 total) @@ -258,7 +258,7 @@ Esta hoja de ruta define **todas las implementaciones planificadas para IntelliD - Estimación: 4 días - Prioridad: Crítica -- [ ] **TSK-2636:** Comando de migración: encriptar documentos existentes +- [ ] **TSK-2636:** Commando de migración: encriptar documentos existentes - Estimación: 2 días - Prioridad: Alta @@ -294,9 +294,9 @@ Esta hoja de ruta define **todas las implementaciones planificadas para IntelliD --- ## 🎯 EPIC 5: Aplicación Móvil Nativa (Q2 2026) -**Prioridad:** 🟡 MEDIA-ALTA -**Duración:** 8 semanas -**Dependencias:** EPIC 2 (API documentada) +**Prioridad:** 🟡 MEDIA-ALTA +**Duración:** 8 semanas +**Dependencias:** EPIC 2 (API documentada) **Objetivo:** Apps iOS y Android con React Native ### Tareas (28 total) @@ -379,7 +379,7 @@ Esta hoja de ruta define **todas las implementaciones planificadas para IntelliD - Prioridad: Baja #### 5.6 Testing y Deployment -- [ ] **TSK-2661:** Tests unitarios para componentes críticos +- [ ] **TSK-2661:** Tests unitarios para components críticos - Estimación: 3 días - Prioridad: Alta @@ -431,9 +431,9 @@ Esta hoja de ruta define **todas las implementaciones planificadas para IntelliD --- ## 🎯 EPIC 6: Cloud Storage Sync (Q2 2026) -**Prioridad:** 🟡 MEDIA -**Duración:** 4 semanas -**Dependencias:** EPIC 2 +**Prioridad:** 🟡 MEDIA +**Duración:** 4 semanas +**Dependencias:** EPIC 2 **Objetivo:** Sincronización bidireccional con Dropbox, Google Drive, OneDrive ### Tareas (15 total) @@ -513,9 +513,9 @@ Esta hoja de ruta define **todas las implementaciones planificadas para IntelliD --- ## 🎯 EPIC 7: Estadísticas Básicas y Reportes (Q2 2026) -**Prioridad:** 🟡 MEDIA -**Duración:** 2 semanas -**Dependencias:** EPIC 1, EPIC 3 +**Prioridad:** 🟡 MEDIA +**Duración:** 2 semanas +**Dependencias:** EPIC 1, EPIC 3 **Objetivo:** Dashboard simple con estadísticas de uso personal ### Tareas (8 total) @@ -563,9 +563,9 @@ Esta hoja de ruta define **todas las implementaciones planificadas para IntelliD --- ## 🎯 EPIC 8: Colaboración y Anotaciones (Q3 2026) -**Prioridad:** 🟡 MEDIA -**Duración:** 4 semanas -**Dependencias:** EPIC 2 +**Prioridad:** 🟡 MEDIA +**Duración:** 4 semanas +**Dependencias:** EPIC 2 **Objetivo:** Features de colaboración en tiempo real ### Tareas (16 total) @@ -591,7 +591,7 @@ Esta hoja de ruta define **todas las implementaciones planificadas para IntelliD - Estimación: 1 día - Prioridad: Media -#### 8.2 Anotaciones Visuales +#### 8.2 Anotaciones Visuals - [ ] **TSK-2704:** Modelo para anotaciones (highlights, rectangles, arrows) - Estimación: 1 día - Prioridad: Media @@ -647,9 +647,9 @@ Esta hoja de ruta define **todas las implementaciones planificadas para IntelliD --- ## 🎯 EPIC 9: Mejoras de UX y Experiencia de Usuario (Q3 2026) -**Prioridad:** 🟡 MEDIA -**Duración:** 3 semanas -**Dependencias:** EPIC 8 (colaboración) +**Prioridad:** 🟡 MEDIA +**Duración:** 3 semanas +**Dependencias:** EPIC 8 (colaboración) **Objetivo:** Hacer la app más intuitiva y fácil de usar para usuarios finales ### Tareas (12 total) @@ -719,9 +719,9 @@ Esta hoja de ruta define **todas las implementaciones planificadas para IntelliD --- ## 🎯 EPIC 10: Compartir y Permisos Simples (Q3-Q4 2026) -**Prioridad:** 🟡 MEDIA -**Duración:** 3 semanas -**Dependencias:** EPIC 8 (colaboración) +**Prioridad:** 🟡 MEDIA +**Duración:** 3 semanas +**Dependencias:** EPIC 8 (colaboración) **Objetivo:** Permitir compartir documentos fácilmente con familia, amigos, o equipos pequeños ### Tareas (12 total) @@ -762,7 +762,7 @@ Esta hoja de ruta define **todas las implementaciones planificadas para IntelliD - Estimación: 1.5 días - Prioridad: Media -- [ ] **TSK-2735:** Historial de accesos (quién vio qué) +- [ ] **TSK-2735:** Historical de accesos (quién vio qué) - Estimación: 2 días - Prioridad: Baja @@ -788,9 +788,9 @@ Esta hoja de ruta define **todas las implementaciones planificadas para IntelliD --- ## 🎯 EPIC 11: Documentación y Ayuda para Usuarios (Q4 2026) -**Prioridad:** 🟢 MEDIA -**Duración:** 2 semanas -**Dependencias:** EPIC 9 (UX) +**Prioridad:** 🟢 MEDIA +**Duración:** 2 semanas +**Dependencias:** EPIC 9 (UX) **Objetivo:** Guías completas y ayuda contextual para usuarios ### Tareas (7 total) @@ -833,9 +833,9 @@ Esta hoja de ruta define **todas las implementaciones planificadas para IntelliD --- ## 🎯 EPIC 12: Estabilidad y Refinamiento (Q4 2026) -**Prioridad:** 🟢 MEDIA-BAJA -**Duración:** 2 semanas -**Dependencias:** Todos los anteriores +**Prioridad:** 🟢 MEDIA-BAJA +**Duración:** 2 semanas +**Dependencias:** Todos los anteriores **Objetivo:** Pulir features existentes, corregir bugs, mejorar estabilidad ### Tareas (5 total) @@ -1103,7 +1103,7 @@ Durante cada EPIC: - [ ] Tests passing en CI/CD Al completar cada EPIC: -- [ ] Demo funcional +- [ ] Demo functional - [ ] Documentación actualizada - [ ] Tests con cobertura >90% - [ ] Security scan passed @@ -1118,7 +1118,7 @@ Al completar cada EPIC: --- -**Aprobado por:** -Director del Proyecto: @dawnsystem -Fecha de Aprobación: Pendiente +**Aprobado por:** +Director del Proyecto: @dawnsystem +Fecha de Aprobación: Pendiente Versión: 1.0 diff --git a/ROADMAP_INDEX.md b/ROADMAP_INDEX.md index 515aab43b..b0865ceaf 100644 --- a/ROADMAP_INDEX.md +++ b/ROADMAP_INDEX.md @@ -1,6 +1,6 @@ # 📑 Índice de Documentación del Roadmap 2026 -**Hub central para la hoja de ruta anual de IntelliDocs-ngx** +**Hub central para la hoja de ruta annual de IntelliDocs-ngx** --- @@ -32,8 +32,8 @@ #### 1. RESUMEN_ROADMAP_2026.md (12KB) > **Resumen ejecutivo en español para el Director** -**Audiencia:** Director, stakeholders, ejecutivos -**Tiempo de lectura:** 10 minutos +**Audiencia:** Director, stakeholders, ejecutivos +**Tiempo de lectura:** 10 minutos **Contenido:** - Misión cumplida y entregables - Números clave (145 tareas, $0/año 100% GRATIS, 52 semanas) @@ -48,8 +48,8 @@ #### 2. ROADMAP_2026.md (34KB) > **La hoja de ruta maestra completa** -**Audiencia:** Todo el equipo -**Tiempo de lectura:** 1-2 horas +**Audiencia:** Todo el equipo +**Tiempo de lectura:** 1-2 horas **Contenido:** - Resumen ejecutivo - 12 Epics distribuidos en 4 trimestres: @@ -69,8 +69,8 @@ #### 3. ROADMAP_QUICK_START.md (10KB) > **Guía práctica para empezar HOY** -**Audiencia:** Desarrolladores, team leads -**Tiempo de lectura:** 15 minutos +**Audiencia:** Desarrolladores, team leads +**Tiempo de lectura:** 15 minutos **Contenido:** - Acción inmediata (esta semana) - Primera sprint (2 semanas) @@ -89,12 +89,12 @@ #### 4. GITHUB_PROJECT_SETUP.md (16KB) > **Guía completa para crear GitHub Project** -**Audiencia:** Product manager, tech lead -**Tiempo de setup:** 2-3 horas (completo) o 30 min (básico) +**Audiencia:** Product manager, tech lead +**Tiempo de setup:** 2-3 horas (completo) o 30 min (básico) **Contenido:** - Setup paso a paso del GitHub Project - Estructura Kanban (7 columnas) -- 30+ Labels organizados (comandos bash incluidos) +- 30+ Labels organizados (commandos bash incluidos) - 8 Custom Fields - Múltiples vistas (Roadmap, Board, Calendar, Table) - Automation workflows @@ -108,8 +108,8 @@ #### 5. NOTION_INTEGRATION_GUIDE.md (21KB) > **Guía de integración con Notion (recomendado por el Director)** -**Audiencia:** Product manager, team -**Tiempo de setup:** 2-3 horas (100% GRATIS con GitHub Actions) +**Audiencia:** Product manager, team +**Tiempo de setup:** 2-3 horas (100% GRATIS con GitHub Actions) **Contenido:** - Por qué Notion vs Jira/Confluence - Workspace setup completo @@ -134,7 +134,7 @@ 1. [RESUMEN_ROADMAP_2026.md](./RESUMEN_ROADMAP_2026.md) - 10 min 2. [ROADMAP_2026.md](./ROADMAP_2026.md) - Solo secciones: - Resumen Ejecutivo - - Vista General por Trimestre + - Vista General por Trimestre - EPIC 1-4 (Q1 2026 - Prioridad crítica) **Decisiones a tomar:** @@ -219,7 +219,7 @@ - Maintainer principal: 10-15 hrs/semana - Contribuidores voluntarios: 5-8 hrs/semana - **Costo: $0** (voluntarios) - + - **Infraestructura:** 100% servicios gratuitos - Hosting: Vercel/Netlify (gratis) - CI/CD: GitHub Actions (gratis) @@ -233,28 +233,28 @@ ## 🎯 Milestones Críticos ### Q1 2026 (Marzo 31) -✓ Testing >90% cobertura -✓ API documentada -✓ Performance +50% -✓ Encriptación activa +✓ Testing >90% cobertura +✓ API documentada +✓ Performance +50% +✓ Encriptación activa → **Release v2.0.0** ### Q2 2026 (Junio 30) -✓ Apps móviles publicadas -✓ Cloud sync activo -✓ Analytics dashboard +✓ Apps móviles publicadas +✓ Cloud sync activo +✓ Analytics dashboard → **Release v2.1.0** ### Q3 2026 (Septiembre 30) -✓ Colaboración para equipos pequeños -✓ UX renovada y accesible -✓ Compartir documentos fácilmente +✓ Colaboración para equipos pequeños +✓ UX renovada y accessible +✓ Compartir documentos fácilmente → **Release v2.2.0 (user-friendly)** ### Q4 2026 (Diciembre 31) -✓ Documentación completa en español -✓ App estable y pulida -✓ Ayuda contextual y tutoriales +✓ Documentación completa en español +✓ App estable y pulida +✓ Ayuda contextual y tutoriales → **Release v3.0.0 (listo para usuarios finales)** --- @@ -307,7 +307,7 @@ ## ❓ FAQs ### ¿Por qué 145 tareas? -Simplificado de 147 originales, eliminando features enterprise (multi-tenancy, compliance avanzado, blockchain, AR/VR). Cada tarea está diseñada para ser completable en 0.5-3 días. +Simplificado de 147 originales, eliminando features enterprise (multi-tenancy, compliance avanzado, blockchain, AR/VR). Cada tarea está diseñada para set completable en 0.5-3 días. ### ¿El roadmap es flexible? Sí. Es una guía, no una biblia. Se revisa y ajusta mensualmente según feedback y realidad. @@ -345,9 +345,9 @@ Después de cada sesión significativa (mínimo 1x por semana). ## 📞 Soporte -**Director del Proyecto:** @dawnsystem -**Repository:** https://github.com/dawnsystem/IntelliDocs-ngx -**Issues:** https://github.com/dawnsystem/IntelliDocs-ngx/issues +**Director del Proyecto:** @dawnsystem +**Repository:** https://github.com/dawnsystem/IntelliDocs-ngx +**Issues:** https://github.com/dawnsystem/IntelliDocs-ngx/issues **Documentación:** Carpeta `/docs` en el repo --- @@ -361,8 +361,8 @@ Después de cada sesión significativa (mínimo 1x por semana). --- -**Última actualización:** 2025-11-09 -**Versión:** 1.0 +**Última actualización:** 2025-11-09 +**Versión:** 1.0 **Próxima revisión:** 2026-01-01 **¡Mucho éxito con la implementación del roadmap 2026! 🚀** diff --git a/ROADMAP_QUICK_START.md b/ROADMAP_QUICK_START.md index 7ad4ca243..b8c8ec4bc 100644 --- a/ROADMAP_QUICK_START.md +++ b/ROADMAP_QUICK_START.md @@ -1,8 +1,8 @@ # 🚀 Quick Start: Implementando el Roadmap 2026 -**Documento:** Guía rápida para comenzar la implementación del ROADMAP_2026 -**Fecha:** 2025-11-09 -**Autoridad:** Siguiendo directivas de `agents.md` +**Documento:** Guía rápida para comenzar la implementación del ROADMAP_2026 +**Fecha:** 2025-11-09 +**Autoridad:** Siguiendo directivas de `agents.md` **Audiencia:** Director (@dawnsystem) y equipo de desarrollo --- @@ -26,7 +26,7 @@ Tienes 3 documentos principales creados: - Resumen Ejecutivo - Vista General por Trimestre - EPIC 1-4 (Q1 2026 - Prioridad CRÍTICA) - + 2. Decisión: ¿Aprobar el roadmap? → SI/NO/AJUSTAR ``` @@ -113,7 +113,7 @@ Usa un archivo `PROGRESS.md` en el repo: **Ventajas:** - ✅ Súper simple - ✅ Versionado en Git -- ✅ No requiere herramientas externas +- ✅ No require herramientas externas **Desventajas:** - ⚠️ No tan visual @@ -263,7 +263,7 @@ Cada tarea completada es un logro: 4. Si no: añadir al backlog con prioridad ### ...un Epic parece inviable -1. Analizar qué lo hace inviable +1. Analizar qué lo have inviable 2. Proponer alternativas 3. Discutir con director 4. Ajustar roadmap (es un documento vivo) @@ -415,8 +415,8 @@ git push origin feature/tsk-2601-tests-classifier ## 📞 Soporte -**Director del Proyecto:** @dawnsystem -**Documentación:** Ver carpeta `/docs` en el repo +**Director del Proyecto:** @dawnsystem +**Documentación:** Ver carpeta `/docs` en el repo **Issues:** https://github.com/dawnsystem/IntelliDocs-ngx/issues --- @@ -427,6 +427,6 @@ git push origin feature/tsk-2601-tests-classifier --- -**Última actualización:** 2025-11-09 -**Versión:** 1.0 +**Última actualización:** 2025-11-09 +**Versión:** 1.0 **Siguiente revisión:** 2026-01-01 diff --git a/SECURITY_HARDENING_PHASE2.md b/SECURITY_HARDENING_PHASE2.md index ad02ea6a6..c4c39504d 100644 --- a/SECURITY_HARDENING_PHASE2.md +++ b/SECURITY_HARDENING_PHASE2.md @@ -492,7 +492,7 @@ except FileValidationError: ### Compliance Impact -**Before**: +**Before**: - ❌ OWASP Top 10: Fails 5/10 categories - ❌ SOC 2: Not compliant - ❌ ISO 27001: Not compliant @@ -652,7 +652,7 @@ safety check ✅ Secure file handling utilities **Security improvements**: -✅ Security score: C → A+ +✅ Security score: C → A+ ✅ Vulnerability count: -80% ✅ Enterprise-ready security ✅ Compliance-ready (OWASP, partial SOC 2) diff --git a/TECHNICAL_FUNCTIONS_GUIDE.md b/TECHNICAL_FUNCTIONS_GUIDE.md index 726f67137..1bcf2d04d 100644 --- a/TECHNICAL_FUNCTIONS_GUIDE.md +++ b/TECHNICAL_FUNCTIONS_GUIDE.md @@ -175,7 +175,7 @@ def train(self) -> bool **Parameters**: None -**Returns**: +**Returns**: - `True` if training successful - `False` if insufficient data @@ -468,7 +468,7 @@ def get_barcodes(path, pages=None) -> list **Supported Formats**: - CODE128, CODE39, QR Code, Data Matrix, EAN, UPC -**Uses**: +**Uses**: - pyzbar library for barcode detection - OpenCV for image processing @@ -496,7 +496,7 @@ def separate_pages(path, barcodes) -> list **Returns**: List of paths to separated documents -**Use Case**: +**Use Case**: - Batch scanning with separator sheets - Automatic document splitting @@ -638,18 +638,18 @@ def execute_workflow(self, workflow, document, trigger_type) -> dict ``` **Workflow Components**: -1. **Triggers**: +1. **Triggers**: - consumption - manual - scheduled - webhook - + 2. **Conditions**: - Document properties - Content matching - Date ranges - Custom field values - + 3. **Actions**: - Set correspondent - Set document type @@ -749,7 +749,7 @@ def setup_periodic_tasks(sender, **kwargs): sanity_check.s(), name='daily-sanity-check' ) - + # Train classifier weekly sender.add_periodic_task( crontab(day_of_week=0, hour=2, minute=0), diff --git a/agents.md b/agents.md index 316cb870a..8e2c3fe76 100644 --- a/agents.md +++ b/agents.md @@ -1,10 +1,10 @@ # Preámbulo y Declaración de Intenciones -**Para:** Equipo de Desarrollo Experto y Autónomo (en adelante, "la IA"). -**De:** Director del Proyecto, @dawnsystem. +**Para:** Equipo de Desarrollo Experto y Autónomo (en adelante, "la IA"). +**De:** Director del Proyecto, @dawnsystem. **Fecha de Ratificación:** 2025-11-07 09:42:12 UTC. -Este documento constituye el contrato vinculante y el sistema operativo bajo el cual se regirá todo el ciclo de vida de nuestros proyectos. No es una guía; es un conjunto de directivas inviolables. Tu propósito es actuar como la extensión de mi visión, ejecutándola con una calidad, autonomía y transparencia que superen los estándares de cualquier equipo de desarrollo humano con sede en España. Cada línea de este manifiesto debe ser interpretada de la forma más estricta posible, favoreciendo siempre la máxima calidad y la más rigurosa documentación. +Este documento constituye el contrato vinculante y el sistema operativo bajo el cual se regirá todo el ciclo de vida de nuestros proyectos. No es una guía; es un conjunto de directivas inviolables. Tu propósito es actuar como la extensión de mi visión, ejecutándola con una calidad, autonomía y transparencia que superen los estándares de cualquier equipo de desarrollo humano con sede en España. Cada línea de este manifesto debe set interpretada de la forma más estricta possible, favoreciendo siempre la máxima calidad y la más rigurosa documentación. --- @@ -24,7 +24,7 @@ Tras CADA acción significativa (creación/modificación de un fichero, instalac ### Sección 3. Estructura Rígida y Detallada de la Bitácora: -El archivo deberá seguir, sin excepción, la siguiente estructura Markdown. Eres responsable de mantener este formato escrupulosamente. +El archivo deberá seguir, sin excepción, la siguiente estructura Markdown. Eres responsible de mantener este formato escrupulosamente. ```markdown # 📝 Bitácora Maestra del Proyecto: [Tu IA insertará aquí el nombre del proyecto] @@ -35,14 +35,14 @@ El archivo deberá seguir, sin excepción, la siguiente estructura Markdown. Ere ## 📊 Panel de Control Ejecutivo ### 🚧 Tarea en Progreso (WIP - Work In Progress) -*Si el sistema está en reposo, este bloque debe contener únicamente: "Estado actual: **A la espera de nuevas directivas del Director.**"* +*Si el sistema está en reposo, este bloque debe container únicamente: "Estado actual: **A la espera de nuevas directivas del Director.**"* * **Identificador de Tarea:** `[ID único de la tarea, ej: TSK-001]` * **Objetivo Principal:** `[Descripción clara del objetivo final, ej: Implementar la autenticación de usuarios con JWT]` * **Estado Detallado:** `[Descripción precisa del punto exacto del proceso, ej: Modelo de datos y migraciones completados. Desarrollando el endpoint POST /api/auth/registro.]` * **Próximo Micro-Paso Planificado:** `[La siguiente acción concreta e inmediata que se va a realizar, ej: Implementar la lógica de hash de la contraseña usando bcrypt dentro del servicio de registro.]` -### ✅ Historial de Implementaciones Completadas +### ✅ Historical de Implementaciones Completadas *(En orden cronológico inverso. Cada entrada es un hito de negocio finalizado)* * **[YYYY-MM-DD] - `[ID de Tarea]` - Título de la Implementación:** `[Impacto en el negocio o funcionalidad añadida. Ej: feat: Implementado el sistema de registro de usuarios.]` @@ -60,7 +60,7 @@ El archivo deberá seguir, sin excepción, la siguiente estructura Markdown. Ere * `[HH:MM:SS]` - **ACCIÓN:** Creación de fichero. **DETALLE:** `src/modelos/Usuario.ts`. **MOTIVO:** Definición del esquema de datos del usuario. * `[HH:MM:SS]` - **ACCIÓN:** Modificación de fichero. **DETALLE:** `src/rutas/auth.ts`. **CAMBIOS:** Añadido endpoint POST /api/auth/registro. * `[HH:MM:SS]` - **ACCIÓN:** Instalación de dependencia. **DETALLE:** `bcrypt@^5.1.1`. **USO:** Hashing de contraseñas. - * `[HH:MM:SS]` - **ACCIÓN:** Ejecución de test. **COMANDO:** `npm test -- auth.test.ts`. **RESULTADO:** `[PASS/FAIL + detalles]`. + * `[HH:MM:SS]` - **ACCIÓN:** Ejecución de test. **COMMANDO:** `npm test -- auth.test.ts`. **RESULTADO:** `[PASS/FAIL + detalles]`. * `[HH:MM:SS]` - **ACCIÓN:** Commit. **HASH:** `abc123def`. **MENSAJE:** `feat(auth): añadir endpoint de registro de usuarios`. * **Resultado de la Sesión:** `[Ej: Hito TSK-001 completado. / Tarea TSK-002 en progreso.]` * **Commit Asociado:** `[Hash del commit, ej: abc123def456]` @@ -69,7 +69,7 @@ El archivo deberá seguir, sin excepción, la siguiente estructura Markdown. Ere --- ## 📁 Inventario del Proyecto (Estructura de Directorios y Archivos) -*(Esta sección debe mantenerse actualizada en todo momento. Es como un `tree` en prosa.)* +*(Esta sección debe mantenerse actualizada en todo memento. Es como un `tree` en prosa.)* ``` proyecto-raiz/ @@ -227,7 +227,7 @@ Al finalizar cada sesión de trabajo significativa, proporcionarás un resumen e ### Sección 2. Solicitud de Clarificación: -Si en algún momento una directiva es ambigua o requiere decisión de negocio, tu deber es solicitar clarificación de forma proactiva antes de proceder. Nunca asumas sin preguntar. +Si en algún memento una directiva es ambigua o require decisión de negocio, tu deber es solicitar clarificación de forma proactiva antes de proceder. Nunca asumas sin preguntar. --- @@ -259,10 +259,10 @@ Este documento es un organismo vivo. Si detectas ambigüedades, contradicciones **Firma del Contrato:** -Al aceptar trabajar bajo estas directivas, la IA se compromete a seguir este manifiesto al pie de la letra, manteniendo siempre la BITACORA_MAESTRA.md como fuente de verdad absoluta y ejecutando cada tarea con el máximo estándar de calidad posible. +Al aceptar trabajar bajo estas directivas, la IA se compromete a seguir este manifesto al pie de la letra, manteniendo siempre la BITACORA_MAESTRA.md como fuente de verdad absoluta y ejecutando cada tarea con el máximo estándar de calidad possible. -**Director del Proyecto:** @dawnsystem -**Fecha de Vigencia:** 2025-11-07 09:42:12 UTC +**Director del Proyecto:** @dawnsystem +**Fecha de Vigencia:** 2025-11-07 09:42:12 UTC **Versión del Documento:** 1.0 --- diff --git a/create_ai_scanner_issues.sh b/create_ai_scanner_issues.sh index 59bb394ff..d1c3a6b64 100755 --- a/create_ai_scanner_issues.sh +++ b/create_ai_scanner_issues.sh @@ -69,7 +69,7 @@ Crear tests para \`ai_deletion_manager.py\` y modelo \`DeletionRequest\` ## Tareas - [ ] Tests para \`create_deletion_request()\` con análisis de impacto - [ ] Tests para \`_analyze_impact()\` con diferentes documentos -- [ ] Tests para \`format_deletion_request_for_user()\` con varios escenarios +- [ ] Tests para \`format_deletion_request_for_user()\` con various escenarios - [ ] Tests para \`get_pending_requests()\` con filtros - [ ] Tests para modelo \`DeletionRequest\` (approve, reject) - [ ] Tests para workflow completo de aprobación/rechazo @@ -81,7 +81,7 @@ Crear tests para \`ai_deletion_manager.py\` y modelo \`DeletionRequest\` - \`src/documents/tests/test_deletion_request_model.py\` ## Criterios de Aceptación -- [ ] Cobertura >95% para componentes críticos de seguridad +- [ ] Cobertura >95% para components críticos de seguridad - [ ] Tests verifican constraints de seguridad - [ ] Tests pasan en CI/CD @@ -115,7 +115,7 @@ Tests de integración para \`_run_ai_scanner()\` en pipeline de consumo ## Criterios de Aceptación - [ ] Pipeline completo testeado end-to-end - [ ] Graceful degradation verificado -- [ ] Performance aceptable (<2s adicionales por documento) +- [ ] Performance acceptable (<2s adicionales por documento) **Estimación**: 2-3 días **Prioridad**: 🔴 ALTA @@ -188,7 +188,7 @@ Crear migración Django para modelo \`DeletionRequest\` ## Criterios de Aceptación - [ ] Migración se ejecuta sin errores - [ ] Índices creados correctamente -- [ ] Backward compatible si posible +- [ ] Backward compatible si possible **Estimación**: 1 día **Prioridad**: 🔴 ALTA @@ -284,7 +284,7 @@ Endpoints para aprobar/rechazar deletion requests - [ ] Endpoint POST \`/api/deletion-requests/{id}/reject/\` - [ ] Endpoint POST \`/api/deletion-requests/{id}/cancel/\` - [ ] Validación de permisos (solo owner o admin) -- [ ] Validación de estado (solo pending puede ser aprobado/rechazado) +- [ ] Validación de estado (solo pending puede set aprobado/rechazado) - [ ] Respuesta con resultado de ejecución si aprobado - [ ] Notificaciones async si configurado @@ -293,7 +293,7 @@ Endpoints para aprobar/rechazar deletion requests - Actualizar \`src/documents/urls.py\` ## Criterios de Aceptación -- [ ] Workflow completo funcional via API +- [ ] Workflow completo functional via API - [ ] Validaciones de estado y permisos - [ ] Tests de API incluidos @@ -427,7 +427,7 @@ Dashboard para gestionar deletion requests - [ ] Modal de confirmación para aprobar/rechazar - [ ] Mostrar análisis de impacto de forma clara - [ ] Badge de notificación para pending requests -- [ ] Historial de requests completados +- [ ] Historical de requests completados ## Archivos a Crear - \`src-ui/src/app/components/deletion-requests/\` @@ -436,7 +436,7 @@ Dashboard para gestionar deletion requests ## Criterios de Aceptación - [ ] Usuario puede revisar y aprobar/rechazar requests - [ ] Análisis de impacto claro y comprensible -- [ ] Notificaciones visuales +- [ ] Notificaciones visuals **Estimación**: 3-4 días **Prioridad**: 🔴 ALTA @@ -820,12 +820,12 @@ gh issue create \ --title "[AI Scanner] Health Checks para AI Components" \ --label "monitoring,priority-medium,ai-scanner,enhancement" \ --body "## Descripción -Health checks para componentes ML/AI +Health checks para components ML/AI ## Tareas -- [ ] Endpoint \`/health/ai/\` con status de componentes +- [ ] Endpoint \`/health/ai/\` con status de components - [ ] Check si modelos cargados correctamente -- [ ] Check si NER funcional +- [ ] Check si NER functional - [ ] Check uso de memoria - [ ] Check GPU si habilitado - [ ] Incluir en health check general @@ -1007,7 +1007,7 @@ Implementar rate limiting para prevenir abuso - [ ] Rate limit global: Y scans/minuto - [ ] Rate limit para deletion requests: Z requests/día - [ ] Bypass para admin/superuser -- [ ] Mensajes de error claros cuando se excede +- [ ] Mensajes de error claros cuando se exceed - [ ] Métricas de rate limiting ## Archivos a Modificar diff --git a/docker/README_INTELLIDOCS.md b/docker/README_INTELLIDOCS.md index da4c84a3d..95a994691 100644 --- a/docker/README_INTELLIDOCS.md +++ b/docker/README_INTELLIDOCS.md @@ -94,13 +94,13 @@ En `docker-compose.env`: # Habilitar funciones ML PAPERLESS_ENABLE_ML_FEATURES=1 -# Habilitar OCR avanzado +# Habilitar OCR avanzado PAPERLESS_ENABLE_ADVANCED_OCR=1 # Modelo ML a usar PAPERLESS_ML_CLASSIFIER_MODEL=distilbert-base-uncased -# Usar GPU (requiere NVIDIA Docker) +# Usar GPU (require NVIDIA Docker) PAPERLESS_USE_GPU=0 # Umbral para detección de tablas @@ -135,7 +135,7 @@ docker build -t intellidocs-ngx:dev . # image: intellidocs-ngx:dev ``` -## 🔍 Comandos Útiles +## 🔍 Commandos Útiles ### Gestión de contenedores @@ -164,7 +164,7 @@ docker compose -f docker-compose.intellidocs.yml down -v # Shell en webserver docker compose -f docker-compose.intellidocs.yml exec webserver bash -# Ejecutar comando de Django +# Ejecutar commando de Django docker compose -f docker-compose.intellidocs.yml exec webserver python manage.py <command> # Crear superusuario @@ -310,6 +310,6 @@ USERMAP_GID=$(id -g) --- -**IntelliDocs** - Sistema de Gestión Documental con IA -Versión: 1.0.0 +**IntelliDocs** - Sistema de Gestión Documental con IA +Versión: 1.0.0 Última actualización: 2025-11-09 diff --git a/docs/API_AI_SUGGESTIONS.md b/docs/API_AI_SUGGESTIONS.md index d2756ac41..a77584f92 100644 --- a/docs/API_AI_SUGGESTIONS.md +++ b/docs/API_AI_SUGGESTIONS.md @@ -278,9 +278,9 @@ async function getAISuggestions(documentId: number): Promise<AISuggestions> { // Apply a suggestion async function applySuggestion( - documentId: number, - type: string, - valueId: number, + documentId: number, + type: string, + valueId: number, confidence: number ): Promise<void> { await axios.post(`${API_BASE}/${documentId}/apply-suggestion/`, { @@ -292,9 +292,9 @@ async function applySuggestion( // Reject a suggestion async function rejectSuggestion( - documentId: number, - type: string, - valueId: number, + documentId: number, + type: string, + valueId: number, confidence: number ): Promise<void> { await axios.post(`${API_BASE}/${documentId}/reject-suggestion/`, { @@ -315,21 +315,21 @@ async function handleDocument(documentId: number) { try { // Get suggestions const suggestions = await getAISuggestions(documentId); - + // Show suggestions to user if (suggestions.tags) { suggestions.tags.forEach(tag => { console.log(`Suggested tag: ${tag.name} (${tag.confidence * 100}%)`); }); } - + // User accepts a tag suggestion if (suggestions.tags && suggestions.tags.length > 0) { const tag = suggestions.tags[0]; await applySuggestion(documentId, 'tag', tag.id, tag.confidence); console.log('Tag applied successfully'); } - + } catch (error) { console.error('Error handling AI suggestions:', error); } diff --git a/docs/MIGRATION_1076_DELETION_REQUEST.md b/docs/MIGRATION_1076_DELETION_REQUEST.md index 9269aedbe..2863627e7 100644 --- a/docs/MIGRATION_1076_DELETION_REQUEST.md +++ b/docs/MIGRATION_1076_DELETION_REQUEST.md @@ -108,8 +108,8 @@ No data migration is required as this is a new model with no pre-existing data. ### Verify Table Creation ```sql -- Check table exists -SELECT table_name -FROM information_schema.tables +SELECT table_name +FROM information_schema.tables WHERE table_name = 'documents_deletionrequest'; -- Check columns @@ -119,8 +119,8 @@ WHERE table_name = 'documents_deletionrequest'; ### Verify Indexes ```sql -- Check indexes exist -SELECT indexname, indexdef -FROM pg_indexes +SELECT indexname, indexdef +FROM pg_indexes WHERE tablename = 'documents_deletionrequest'; ``` diff --git a/pyproject.toml b/pyproject.toml index 184779b6e..74d0c4a35 100644 --- a/pyproject.toml +++ b/pyproject.toml @@ -52,15 +52,15 @@ dependencies = [ "jinja2~=3.1.5", "langdetect~=1.0.9", "nltk~=3.9.1", - "numpy>=1.26.0", + "numpy>=1.26", "ocrmypdf~=16.11.0", - "opencv-python>=4.8.0", - "openpyxl>=3.1.0", - "pandas>=2.0.0", + "opencv-python>=4.8", + "openpyxl>=3.1", + "pandas>=2", "pathvalidate~=3.3.1", - "pillow>=10.0.0", - "pytesseract>=0.3.10", "pdf2image~=1.17.0", + "pillow>=10", + "pytesseract>=0.3.10", "python-dateutil~=2.9.0", "python-dotenv~=1.1.0", "python-gnupg~=0.5.4", @@ -70,12 +70,12 @@ dependencies = [ "rapidfuzz~=3.14.0", "redis[hiredis]~=5.2.1", "scikit-learn~=1.7.0", - "sentence-transformers>=2.2.0", + "sentence-transformers>=2.2", "setproctitle~=1.3.4", "tika-client~=0.10.0", - "torch>=2.0.0", + "torch>=2", "tqdm~=4.67.1", - "transformers>=4.30.0", + "transformers>=4.30", "watchdog~=6.0", "whitenoise~=6.9", "whoosh-reloaded>=2.7.5", diff --git a/src-ui/src/app/components/admin/settings/ai-settings/ai-settings.component.html b/src-ui/src/app/components/admin/settings/ai-settings/ai-settings.component.html index c00f3b4ed..7dc734aab 100644 --- a/src-ui/src/app/components/admin/settings/ai-settings/ai-settings.component.html +++ b/src-ui/src/app/components/admin/settings/ai-settings/ai-settings.component.html @@ -1,12 +1,12 @@ <div class="row"> <div class="col-xl-6 pe-xl-5"> <h5 i18n>AI Scanner Configuration</h5> - + <div class="row mb-3"> <div class="col"> - <pngx-input-check - i18n-title - title="Enable AI Scanner" + <pngx-input-check + i18n-title + title="Enable AI Scanner" formControlName="aiScannerEnabled" i18n-hint hint="Automatically scan and analyze documents using AI" @@ -17,9 +17,9 @@ <div class="row mb-3"> <div class="col"> - <pngx-input-check - i18n-title - title="Enable ML Features" + <pngx-input-check + i18n-title + title="Enable ML Features" formControlName="aiMlFeaturesEnabled" i18n-hint hint="Use machine learning for document classification and entity extraction" @@ -31,9 +31,9 @@ <div class="row mb-3"> <div class="col"> - <pngx-input-check - i18n-title - title="Enable Advanced OCR" + <pngx-input-check + i18n-title + title="Enable Advanced OCR" formControlName="aiAdvancedOcrEnabled" i18n-hint hint="Advanced OCR with table extraction and handwriting recognition" @@ -54,11 +54,11 @@ </div> <div class="col-md-8"> <div class="d-flex align-items-center"> - <input - type="range" - class="form-range flex-grow-1 me-3" - min="50" - max="100" + <input + type="range" + class="form-range flex-grow-1 me-3" + min="50" + max="100" step="5" [value]="autoApplyThreshold" (input)="onAutoApplyThresholdChange($event)" @@ -77,11 +77,11 @@ </div> <div class="col-md-8"> <div class="d-flex align-items-center"> - <input - type="range" - class="form-range flex-grow-1 me-3" - min="30" - max="90" + <input + type="range" + class="form-range flex-grow-1 me-3" + min="30" + max="90" step="5" [value]="suggestThreshold" (input)="onSuggestThresholdChange($event)" @@ -95,14 +95,14 @@ </div> <h5 class="mt-4" i18n>ML Model Selection</h5> - + <div class="row mb-3"> <div class="col-md-4 col-form-label pt-0"> <span i18n>Model</span> </div> <div class="col-md-8"> - <select - class="form-select" + <select + class="form-select" formControlName="aiMlModel" [disabled]="!aiScannerEnabled || !settingsForm.get('aiMlFeaturesEnabled')?.value" (change)="onAiSettingChange()"> @@ -120,12 +120,12 @@ <div class="col-xl-6 ps-xl-5"> <h5 class="mt-3 mt-xl-0" i18n>Testing & Validation</h5> - + <div class="row mb-3"> <div class="col"> - <button + <button type="button" - class="btn btn-outline-primary" + class="btn btn-outline-primary" (click)="testAIWithSample()" [disabled]="!aiScannerEnabled || testingInProgress"> @if (testingInProgress) { @@ -142,7 +142,7 @@ </div> <h5 class="mt-4" i18n>Performance Statistics</h5> - + <div class="card"> <div class="card-body"> @if (aiStats.totalDocumentsProcessed === 0) { @@ -156,7 +156,7 @@ {{ aiStats.totalDocumentsProcessed }} </div> </div> - + <div class="row mb-2"> <div class="col-7"> <strong i18n>Auto-applied:</strong> @@ -165,7 +165,7 @@ {{ aiStats.autoAppliedCount }} </div> </div> - + <div class="row mb-2"> <div class="col-7"> <strong i18n>Suggestions created:</strong> @@ -174,7 +174,7 @@ {{ aiStats.suggestionsCount }} </div> </div> - + <div class="row mb-2"> <div class="col-7"> <strong i18n>Average confidence:</strong> @@ -183,7 +183,7 @@ {{ aiStats.averageConfidence }}% </div> </div> - + <div class="row"> <div class="col-7"> <strong i18n>Avg. processing time:</strong> diff --git a/src-ui/src/app/components/admin/settings/ai-settings/ai-settings.component.scss b/src-ui/src/app/components/admin/settings/ai-settings/ai-settings.component.scss index 70bd32544..092985378 100644 --- a/src-ui/src/app/components/admin/settings/ai-settings/ai-settings.component.scss +++ b/src-ui/src/app/components/admin/settings/ai-settings/ai-settings.component.scss @@ -2,7 +2,7 @@ .form-range { cursor: pointer; - + &:disabled { cursor: not-allowed; opacity: 0.5; @@ -25,7 +25,7 @@ .alert { font-size: 0.9rem; - + i-bs { vertical-align: middle; } diff --git a/src-ui/src/app/components/admin/settings/ai-settings/ai-settings.component.spec.ts b/src-ui/src/app/components/admin/settings/ai-settings/ai-settings.component.spec.ts index 25b540b2b..2dfce9651 100644 --- a/src-ui/src/app/components/admin/settings/ai-settings/ai-settings.component.spec.ts +++ b/src-ui/src/app/components/admin/settings/ai-settings/ai-settings.component.spec.ts @@ -25,7 +25,7 @@ describe('AiSettingsComponent', () => { fixture = TestBed.createComponent(AiSettingsComponent) component = fixture.componentInstance - + // Create a mock form group component.settingsForm = new FormGroup({ aiScannerEnabled: new FormControl(false), @@ -35,9 +35,9 @@ describe('AiSettingsComponent', () => { aiSuggestThreshold: new FormControl(60), aiMlModel: new FormControl('bert-base'), }) - + component.isDirty$ = of(false) - + fixture.detectChanges() }) @@ -61,9 +61,9 @@ describe('AiSettingsComponent', () => { const event = { target: { value: '85' }, } as any - + component.onAutoApplyThresholdChange(event) - + expect(component.settingsForm.get('aiAutoApplyThreshold')?.value).toBe(85) }) @@ -71,29 +71,29 @@ describe('AiSettingsComponent', () => { const event = { target: { value: '70' }, } as any - + component.onSuggestThresholdChange(event) - + expect(component.settingsForm.get('aiSuggestThreshold')?.value).toBe(70) }) it('should emit settings changed event', () => { spyOn(component.settingsChanged, 'emit') - + component.onAiSettingChange() - + expect(component.settingsChanged.emit).toHaveBeenCalled() }) it('should test AI with sample document', (done) => { component.settingsForm.get('aiScannerEnabled')?.setValue(true) - + expect(component.testingInProgress).toBe(false) - + component.testAIWithSample() - + expect(component.testingInProgress).toBe(true) - + setTimeout(() => { expect(component.testingInProgress).toBe(false) expect(mockToastService.show).toHaveBeenCalled() @@ -104,7 +104,7 @@ describe('AiSettingsComponent', () => { it('should return correct aiScannerEnabled status', () => { component.settingsForm.get('aiScannerEnabled')?.setValue(true) expect(component.aiScannerEnabled).toBe(true) - + component.settingsForm.get('aiScannerEnabled')?.setValue(false) expect(component.aiScannerEnabled).toBe(false) }) @@ -112,7 +112,7 @@ describe('AiSettingsComponent', () => { it('should get correct threshold values', () => { component.settingsForm.get('aiAutoApplyThreshold')?.setValue(75) component.settingsForm.get('aiSuggestThreshold')?.setValue(55) - + expect(component.autoApplyThreshold).toBe(75) expect(component.suggestThreshold).toBe(55) }) diff --git a/src-ui/src/app/components/admin/settings/ai-settings/ai-settings.component.ts b/src-ui/src/app/components/admin/settings/ai-settings/ai-settings.component.ts index 9e6c1cbdc..9ea56c774 100644 --- a/src-ui/src/app/components/admin/settings/ai-settings/ai-settings.component.ts +++ b/src-ui/src/app/components/admin/settings/ai-settings/ai-settings.component.ts @@ -99,7 +99,7 @@ export class AiSettingsComponent implements OnInit { testAIWithSample() { this.testingInProgress = true - + // Mock test - in real implementation, this would call the backend API setTimeout(() => { this.testingInProgress = false @@ -107,7 +107,7 @@ export class AiSettingsComponent implements OnInit { content: $localize`AI test completed successfully. Check the console for results.`, delay: 5000, }) - + // Log mock test results if (!environment.production) { console.log('AI Scanner Test Results:', { diff --git a/src-ui/src/app/components/admin/settings/settings.component.html b/src-ui/src/app/components/admin/settings/settings.component.html index 7dd5601f6..c2cefd1d0 100644 --- a/src-ui/src/app/components/admin/settings/settings.component.html +++ b/src-ui/src/app/components/admin/settings/settings.component.html @@ -358,8 +358,8 @@ <li [ngbNavItem]="SettingsNavIDs.AI"> <a ngbNavLink i18n>AI Configuration</a> <ng-template ngbNavContent> - <pngx-ai-settings - [settingsForm]="settingsForm" + <pngx-ai-settings + [settingsForm]="settingsForm" [isDirty$]="isDirty$" (settingsChanged)="settingsForm.markAsDirty()"> </pngx-ai-settings> diff --git a/src-ui/src/app/components/app-frame/ai-status-indicator/ai-status-indicator.component.html b/src-ui/src/app/components/app-frame/ai-status-indicator/ai-status-indicator.component.html index 89385cf2e..97693c99b 100644 --- a/src-ui/src/app/components/app-frame/ai-status-indicator/ai-status-indicator.component.html +++ b/src-ui/src/app/components/app-frame/ai-status-indicator/ai-status-indicator.component.html @@ -1,15 +1,15 @@ <li class="nav-item ai-status-container"> - <button - class="btn border-0 position-relative" - [ngbPopover]="aiStatusPopover" + <button + class="btn border-0 position-relative" + [ngbPopover]="aiStatusPopover" popoverClass="ai-status-popover" placement="bottom" container="body" triggers="mouseenter:mouseleave"> - <i-bs - width="1.3em" - height="1.3em" - [name]="iconName" + <i-bs + width="1.3em" + height="1.3em" + [name]="iconName" [class]="iconClass"> </i-bs> @if (hasAlerts) { @@ -26,7 +26,7 @@ <i-bs name="robot" width="1em" height="1em" class="me-1"></i-bs> <span i18n>AI Scanner Status</span> </h6> - + <div class="status-info"> <div class="status-row mb-2"> <span class="status-label" i18n>Status:</span> @@ -66,8 +66,8 @@ </div> <div class="mt-3 pt-2 border-top"> - <button - class="btn btn-sm btn-outline-primary w-100" + <button + class="btn btn-sm btn-outline-primary w-100" (click)="navigateToSettings()" i18n> Configure AI Scanner diff --git a/src-ui/src/app/components/app-frame/ai-status-indicator/ai-status-indicator.component.scss b/src-ui/src/app/components/app-frame/ai-status-indicator/ai-status-indicator.component.scss index 36a090fad..bd31962e7 100644 --- a/src-ui/src/app/components/app-frame/ai-status-indicator/ai-status-indicator.component.scss +++ b/src-ui/src/app/components/app-frame/ai-status-indicator/ai-status-indicator.component.scss @@ -5,16 +5,16 @@ .ai-status-icon { transition: all 0.3s ease; - + &.inactive { opacity: 0.4; color: var(--bs-secondary); } - + &.active { color: var(--bs-success); } - + &.processing { color: var(--bs-primary); animation: pulse 1.5s ease-in-out infinite; @@ -34,12 +34,12 @@ .ai-status-tooltip { min-width: 250px; - + .status-row { display: flex; justify-content: space-between; align-items: center; - + .status-label { font-weight: 500; margin-right: 0.5rem; diff --git a/src-ui/src/app/components/app-frame/ai-status-indicator/ai-status-indicator.component.ts b/src-ui/src/app/components/app-frame/ai-status-indicator/ai-status-indicator.component.ts index 11253398e..a9713bbc3 100644 --- a/src-ui/src/app/components/app-frame/ai-status-indicator/ai-status-indicator.component.ts +++ b/src-ui/src/app/components/app-frame/ai-status-indicator/ai-status-indicator.component.ts @@ -67,7 +67,7 @@ export class AIStatusIndicatorComponent implements OnInit, OnDestroy { */ get iconClass(): string { const classes = ['ai-status-icon'] - + if (!this.aiStatus.active) { classes.push('inactive') } else if (this.aiStatus.processing) { diff --git a/src/documents/ai_scanner.py b/src/documents/ai_scanner.py index 9cf2287fe..0136aa7ed 100644 --- a/src/documents/ai_scanner.py +++ b/src/documents/ai_scanner.py @@ -44,36 +44,42 @@ logger = logging.getLogger("paperless.ai_scanner") class TagSuggestion(TypedDict): """Tag suggestion with confidence score.""" + tag_id: int confidence: float class CorrespondentSuggestion(TypedDict): """Correspondent suggestion with confidence score.""" + correspondent_id: int confidence: float class DocumentTypeSuggestion(TypedDict): """Document type suggestion with confidence score.""" + type_id: int confidence: float class StoragePathSuggestion(TypedDict): """Storage path suggestion with confidence score.""" + path_id: int confidence: float class CustomFieldSuggestion(TypedDict): """Custom field value with confidence score.""" + value: Any confidence: float class WorkflowSuggestion(TypedDict): """Workflow assignment suggestion with confidence score.""" + workflow_id: int confidence: float @@ -96,6 +102,7 @@ class AIScanResultDict(TypedDict, total=False): title_suggestion: Suggested document title (optional) metadata: Additional metadata extracted from document """ + tags: list[TagSuggestion] correspondent: CorrespondentSuggestion document_type: DocumentTypeSuggestion @@ -141,12 +148,17 @@ class AIScanResult: """ # Convert internal tuple format to TypedDict format result: AIScanResultDict = { - "tags": [{"tag_id": tag_id, "confidence": conf} for tag_id, conf in self.tags], + "tags": [ + {"tag_id": tag_id, "confidence": conf} for tag_id, conf in self.tags + ], "custom_fields": { field_id: {"value": value, "confidence": conf} for field_id, (value, conf) in self.custom_fields.items() }, - "workflows": [{"workflow_id": wf_id, "confidence": conf} for wf_id, conf in self.workflows], + "workflows": [ + {"workflow_id": wf_id, "confidence": conf} + for wf_id, conf in self.workflows + ], "extracted_entities": self.extracted_entities, "metadata": self.metadata, } @@ -279,6 +291,7 @@ class AIDocumentScanner: if self._ner_extractor is None and self.ml_enabled: try: from documents.ml.ner import DocumentNER + self._ner_extractor = DocumentNER(use_cache=True) logger.info("NER extractor loaded successfully with caching") except Exception as e: @@ -465,7 +478,9 @@ class AIDocumentScanner: # Add confidence scores based on matching strength for tag in matched_tags: - confidence = self.TAG_CONFIDENCE_HIGH # High confidence for matched tags + confidence = ( + self.TAG_CONFIDENCE_HIGH + ) # High confidence for matched tags suggestions.append((tag.id, confidence)) # Additional entity-based suggestions @@ -992,7 +1007,7 @@ class AIDocumentScanner: def warm_up_models(self) -> None: """ Pre-load all ML models on startup (warm-up). - + This ensures models are cached and ready for use, making the first document scan fast. """ @@ -1001,10 +1016,12 @@ class AIDocumentScanner: return import time + logger.info("Starting ML model warm-up...") start_time = time.time() from documents.ml.model_cache import ModelCacheManager + cache_manager = ModelCacheManager.get_instance() # Define model loaders @@ -1012,8 +1029,10 @@ class AIDocumentScanner: # Classifier if self.ml_enabled: + def load_classifier(): from documents.ml.classifier import TransformerDocumentClassifier + model_name = getattr( settings, "PAPERLESS_ML_CLASSIFIER_MODEL", @@ -1023,28 +1042,38 @@ class AIDocumentScanner: model_name=model_name, use_cache=True, ) + model_loaders["classifier"] = load_classifier # NER if self.ml_enabled: + def load_ner(): from documents.ml.ner import DocumentNER + return DocumentNER(use_cache=True) + model_loaders["ner"] = load_ner # Semantic Search if self.ml_enabled: + def load_semantic(): from documents.ml.semantic_search import SemanticSearch + cache_dir = getattr(settings, "PAPERLESS_ML_MODEL_CACHE", None) return SemanticSearch(cache_dir=cache_dir, use_cache=True) + model_loaders["semantic_search"] = load_semantic # Table Extractor if self.advanced_ocr_enabled: + def load_table(): from documents.ocr.table_extractor import TableExtractor + return TableExtractor() + model_loaders["table_extractor"] = load_table # Warm up all models @@ -1056,7 +1085,7 @@ class AIDocumentScanner: def get_cache_metrics(self) -> dict[str, Any]: """ Get cache performance metrics. - + Returns: Dictionary with cache statistics """ diff --git a/src/documents/apps.py b/src/documents/apps.py index 5bfc35147..f67e6cdb3 100644 --- a/src/documents/apps.py +++ b/src/documents/apps.py @@ -59,9 +59,11 @@ class DocumentsConfig(AppConfig): if warmup_enabled: try: from documents.ai_scanner import get_ai_scanner + scanner = get_ai_scanner() scanner.warm_up_models() except Exception as e: import logging + logger = logging.getLogger("paperless.documents") logger.warning(f"Failed to warm up ML models: {e}") diff --git a/src/documents/caching.py b/src/documents/caching.py index 054d1f4d0..f2a153ff8 100644 --- a/src/documents/caching.py +++ b/src/documents/caching.py @@ -328,7 +328,7 @@ def cache_metadata_lists(timeout: int = CACHE_5_MINUTES) -> None: """ Caches frequently accessed metadata lists (correspondents, types, tags, storage paths). These change infrequently but are queried often. - + This should be called after any changes to these models to invalidate the cache. """ from documents.models import Correspondent @@ -349,7 +349,9 @@ def cache_metadata_lists(timeout: int = CACHE_5_MINUTES) -> None: cache.set(get_document_type_list_cache_key(), doc_types, timeout) # Cache tag list - tags = list(Tag.objects.all().values("id", "name", "slug", "color").order_by("name")) + tags = list( + Tag.objects.all().values("id", "name", "slug", "color").order_by("name"), + ) cache.set(get_tag_list_cache_key(), tags, timeout) # Cache storage path list diff --git a/src/documents/consumer.py b/src/documents/consumer.py index 92a4e72c5..68a1ed6c0 100644 --- a/src/documents/consumer.py +++ b/src/documents/consumer.py @@ -310,7 +310,8 @@ class ConsumerPlugin( # Parsing phase document_parser = self._create_parser_instance(parser_class) text, date, thumbnail, archive_path, page_count = self._parse_document( - document_parser, mime_type, + document_parser, + mime_type, ) # Storage phase @@ -479,6 +480,7 @@ class ConsumerPlugin( Returns: DocumentParser: Configured parser instance """ + def progress_callback(current_progress, max_progress): # pragma: no cover # Recalculate progress to be within 20 and 80 p = int((current_progress / max_progress) * 50 + 20) @@ -1055,7 +1057,8 @@ class ConsumerPreflightPlugin( """ if TYPE_CHECKING: assert isinstance( - self.input_doc.original_file, Path, + self.input_doc.original_file, + Path, ), self.input_doc.original_file if not self.input_doc.original_file.is_file(): self._fail( diff --git a/src/documents/migrations/1075_add_performance_indexes.py b/src/documents/migrations/1075_add_performance_indexes.py index 1d76517a6..562b3ecb0 100644 --- a/src/documents/migrations/1075_add_performance_indexes.py +++ b/src/documents/migrations/1075_add_performance_indexes.py @@ -7,13 +7,13 @@ from django.db import models class Migration(migrations.Migration): """ Add composite indexes for better query performance. - + These indexes optimize common query patterns: - Filtering by correspondent + created date - Filtering by document_type + created date - Filtering by owner + created date - Filtering by storage_path + created date - + Expected performance improvement: 5-10x faster queries for filtered document lists """ @@ -66,7 +66,7 @@ class Migration(migrations.Migration): # Note: This is already handled by Django's ManyToMany, but we ensure it's optimal migrations.RunSQL( sql=""" - CREATE INDEX IF NOT EXISTS doc_tags_document_idx + CREATE INDEX IF NOT EXISTS doc_tags_document_idx ON documents_document_tags(document_id, tag_id); """, reverse_sql="DROP INDEX IF EXISTS doc_tags_document_idx;", diff --git a/src/documents/migrations/1076_add_deletion_request.py b/src/documents/migrations/1076_add_deletion_request.py index 3440a4507..331e3b3e0 100644 --- a/src/documents/migrations/1076_add_deletion_request.py +++ b/src/documents/migrations/1076_add_deletion_request.py @@ -10,7 +10,7 @@ from django.db import models class Migration(migrations.Migration): """ Add DeletionRequest model for AI-initiated deletion requests. - + This model tracks deletion requests that require user approval, implementing the safety requirement from agents.md to ensure no documents are deleted without explicit user consent. diff --git a/src/documents/migrations/1077_add_deletionrequest_performance_indexes.py b/src/documents/migrations/1077_add_deletionrequest_performance_indexes.py index 37cdd67d3..41e06cbc1 100644 --- a/src/documents/migrations/1077_add_deletionrequest_performance_indexes.py +++ b/src/documents/migrations/1077_add_deletionrequest_performance_indexes.py @@ -7,16 +7,16 @@ from django.db import models class Migration(migrations.Migration): """ Add performance indexes for DeletionRequest model. - + These indexes optimize common query patterns: - Filtering by user + status + created_at (most common listing query) - Filtering by reviewed_at (for finding reviewed requests) - Filtering by completed_at (for finding completed requests) - + Expected performance improvement: - List queries: <100ms - Filter queries: <50ms - + Addresses Issue: [AI Scanner] Índices de Performance para DeletionRequest Epic: Migraciones de Base de Datos """ diff --git a/src/documents/migrations/1078_aisuggestionfeedback.py b/src/documents/migrations/1078_aisuggestionfeedback.py index b8bce01fa..027669b0b 100644 --- a/src/documents/migrations/1078_aisuggestionfeedback.py +++ b/src/documents/migrations/1078_aisuggestionfeedback.py @@ -10,7 +10,7 @@ from django.db import models class Migration(migrations.Migration): """ Add AISuggestionFeedback model for tracking user feedback on AI suggestions. - + This model enables: - Tracking of applied vs rejected AI suggestions - Accuracy statistics and improvement of AI models diff --git a/src/documents/ml/__init__.py b/src/documents/ml/__init__.py index 0b088b60b..acbf63f3e 100644 --- a/src/documents/ml/__init__.py +++ b/src/documents/ml/__init__.py @@ -15,15 +15,19 @@ __all__ = [ "TransformerDocumentClassifier", ] + # Lazy imports to avoid loading heavy ML libraries unless needed def __getattr__(name): if name == "TransformerDocumentClassifier": from documents.ml.classifier import TransformerDocumentClassifier + return TransformerDocumentClassifier elif name == "DocumentNER": from documents.ml.ner import DocumentNER + return DocumentNER elif name == "SemanticSearch": from documents.ml.semantic_search import SemanticSearch + return SemanticSearch raise AttributeError(f"module {__name__!r} has no attribute {name!r}") diff --git a/src/documents/ml/classifier.py b/src/documents/ml/classifier.py index f3d185dec..95b478161 100644 --- a/src/documents/ml/classifier.py +++ b/src/documents/ml/classifier.py @@ -31,7 +31,7 @@ logger = logging.getLogger("paperless.ml.classifier") class DocumentDataset(Dataset): """ PyTorch Dataset for document classification. - + Handles tokenization and preparation of documents for BERT training. """ @@ -44,7 +44,7 @@ class DocumentDataset(Dataset): ): """ Initialize dataset. - + Args: documents: List of document texts labels: List of class labels @@ -83,11 +83,11 @@ class DocumentDataset(Dataset): class TransformerDocumentClassifier: """ BERT-based document classifier. - + Uses DistilBERT (a smaller, faster version of BERT) for document classification. Provides significantly better accuracy than traditional ML approaches while being fast enough for real-time use. - + Expected Improvements: - 40-60% better classification accuracy - Better handling of context and semantics @@ -330,11 +330,11 @@ class TransformerDocumentClassifier: ) -> list[tuple[int, float]]: """ Classify multiple documents efficiently. - + Args: documents: List of document texts batch_size: Batch size for inference - + Returns: List of (predicted_class, confidence) tuples """ diff --git a/src/documents/ml/model_cache.py b/src/documents/ml/model_cache.py index 47f2437bb..879b40dec 100644 --- a/src/documents/ml/model_cache.py +++ b/src/documents/ml/model_cache.py @@ -83,14 +83,14 @@ class CacheMetrics: class LRUCache: """ Thread-safe LRU (Least Recently Used) cache implementation. - + When the cache is full, the least recently used item is evicted. """ def __init__(self, max_size: int = 3): """ Initialize LRU cache. - + Args: max_size: Maximum number of items to cache """ @@ -102,10 +102,10 @@ class LRUCache: def get(self, key: str) -> Any | None: """ Get item from cache. - + Args: key: Cache key - + Returns: Cached value or None if not found """ @@ -122,7 +122,7 @@ class LRUCache: def put(self, key: str, value: Any) -> None: """ Add item to cache. - + Args: key: Cache key value: Value to cache @@ -162,13 +162,13 @@ class LRUCache: class ModelCacheManager: """ Singleton cache manager for ML models. - + Provides centralized caching for all ML models with: - Lazy loading with caching - LRU eviction policy - Thread-safe operations - Performance metrics - + Usage: cache = ModelCacheManager.get_instance() model = cache.get_or_load_model("classifier", loader_func) @@ -192,7 +192,7 @@ class ModelCacheManager: ): """ Initialize model cache manager. - + Args: max_models: Maximum number of models to keep in memory disk_cache_dir: Directory for disk cache (embeddings) @@ -220,11 +220,11 @@ class ModelCacheManager: ) -> ModelCacheManager: """ Get singleton instance of ModelCacheManager. - + Args: max_models: Maximum number of models to keep in memory disk_cache_dir: Directory for disk cache - + Returns: ModelCacheManager instance """ @@ -278,8 +278,7 @@ class ModelCacheManager: load_time = time.time() - start_time logger.info( - f"Model loaded successfully: {model_key} " - f"(took {load_time:.2f}s)", + f"Model loaded successfully: {model_key} (took {load_time:.2f}s)", ) return model @@ -334,10 +333,10 @@ class ModelCacheManager: ) -> dict[int, Any] | None: """ Load embeddings from disk cache. - + Args: key: Cache key - + Returns: Dictionary of embeddings or None if not found """ @@ -370,7 +369,7 @@ class ModelCacheManager: cache_files.sort(key=lambda f: f.stat().st_mtime) # Remove oldest 50% of files - files_to_remove = cache_files[:len(cache_files) // 2] + files_to_remove = cache_files[: len(cache_files) // 2] for cache_file in files_to_remove: try: @@ -397,7 +396,7 @@ class ModelCacheManager: def get_metrics(self) -> dict[str, Any]: """ Get cache performance metrics. - + Returns: Dictionary with cache statistics """ @@ -421,7 +420,7 @@ class ModelCacheManager: ) -> None: """ Pre-load models on startup (warm-up). - + Args: model_loaders: Dictionary of {model_key: loader_function} """ diff --git a/src/documents/ml/ner.py b/src/documents/ml/ner.py index e85949715..2d3b5fa76 100644 --- a/src/documents/ml/ner.py +++ b/src/documents/ml/ner.py @@ -41,8 +41,8 @@ class DocumentNER: """ # Límites de procesamiento - MAX_TEXT_LENGTH_FOR_NER = 5000 # Máximo de caracteres para NER - MAX_ENTITY_LENGTH = 100 # Máximo de caracteres por entidad + MAX_TEXT_LENGTH_FOR_NER = 5000 # Máximo de characters para NER + MAX_ENTITY_LENGTH = 100 # Máximo de characters por entidad def __init__( self, @@ -51,7 +51,7 @@ class DocumentNER: ): """ Initialize NER extractor. - + Args: model_name: HuggingFace NER model Default: dslim/bert-base-NER (good general purpose) @@ -118,7 +118,10 @@ class DocumentNER: # Invoice number patterns self.invoice_patterns = [ re.compile(r"(?:Invoice|Inv\.?)\s*#?\s*(\w+)", re.IGNORECASE), - re.compile(r"(?:Invoice|Inv\.?)\s*(?:Number|No\.?)\s*:?\s*(\w+)", re.IGNORECASE), + re.compile( + r"(?:Invoice|Inv\.?)\s*(?:Number|No\.?)\s*:?\s*(\w+)", + re.IGNORECASE, + ), ] # Email pattern @@ -134,16 +137,22 @@ class DocumentNER: # Document type classification patterns (compiled for performance) self.invoice_keyword_pattern = re.compile(r"\binvoice\b", re.IGNORECASE) self.receipt_keyword_pattern = re.compile(r"\breceipt\b", re.IGNORECASE) - self.contract_keyword_pattern = re.compile(r"\bcontract\b|\bagreement\b", re.IGNORECASE) - self.letter_keyword_pattern = re.compile(r"\bdear\b|\bsincerely\b", re.IGNORECASE) + self.contract_keyword_pattern = re.compile( + r"\bcontract\b|\bagreement\b", + re.IGNORECASE, + ) + self.letter_keyword_pattern = re.compile( + r"\bdear\b|\bsincerely\b", + re.IGNORECASE, + ) def extract_entities(self, text: str) -> dict[str, list[str]]: """ Extract named entities from text. - + Args: text: Document text - + Returns: dict: Dictionary of entity types and their values { @@ -154,7 +163,9 @@ class DocumentNER: } """ # Run NER model - entities = self.ner_pipeline(text[:self.MAX_TEXT_LENGTH_FOR_NER]) # Limit to first chars + entities = self.ner_pipeline( + text[: self.MAX_TEXT_LENGTH_FOR_NER], + ) # Limit to first chars # Organize by type organized = { @@ -190,10 +201,10 @@ class DocumentNER: def extract_dates(self, text: str) -> list[str]: """ Extract dates from text. - + Args: text: Document text - + Returns: list: List of date strings found """ @@ -208,10 +219,10 @@ class DocumentNER: def extract_amounts(self, text: str) -> list[str]: """ Extract monetary amounts from text. - + Args: text: Document text - + Returns: list: List of amount strings found """ @@ -226,10 +237,10 @@ class DocumentNER: def extract_invoice_numbers(self, text: str) -> list[str]: """ Extract invoice numbers from text. - + Args: text: Document text - + Returns: list: List of invoice numbers found """ @@ -244,10 +255,10 @@ class DocumentNER: def extract_emails(self, text: str) -> list[str]: """ Extract email addresses from text. - + Args: text: Document text - + Returns: list: List of email addresses found """ @@ -260,10 +271,10 @@ class DocumentNER: def extract_phones(self, text: str) -> list[str]: """ Extract phone numbers from text. - + Args: text: Document text - + Returns: list: List of phone numbers found """ @@ -276,12 +287,12 @@ class DocumentNER: def extract_all(self, text: str) -> dict[str, list[str]]: """ Extract all types of entities from text. - + This is the main method that combines NER and regex extraction. - + Args: text: Document text - + Returns: dict: Complete extraction results { @@ -317,12 +328,12 @@ class DocumentNER: def extract_invoice_data(self, text: str) -> dict[str, any]: """ Extract invoice-specific data from text. - + Specialized method for invoices that extracts common fields. - + Args: text: Invoice text - + Returns: dict: Invoice data { @@ -372,10 +383,10 @@ class DocumentNER: def suggest_correspondent(self, text: str) -> str | None: """ Suggest a correspondent based on extracted entities. - + Args: text: Document text - + Returns: str or None: Suggested correspondent name """ diff --git a/src/documents/ml/semantic_search.py b/src/documents/ml/semantic_search.py index 8ed8d9d6f..4db98bea7 100644 --- a/src/documents/ml/semantic_search.py +++ b/src/documents/ml/semantic_search.py @@ -7,10 +7,10 @@ Uses sentence embeddings to understand the semantic content of documents. Examples: - Query: "tax documents from 2023" Finds: Documents about taxes, returns, deductions from 2023 - + - Query: "medical bills" Finds: Invoices from hospitals, clinics, prescriptions, insurance claims - + - Query: "employment contract" Finds: Job offers, agreements, NDAs, work contracts """ @@ -32,10 +32,10 @@ logger = logging.getLogger("paperless.ml.semantic_search") class SemanticSearch: """ Semantic search using sentence embeddings. - + Creates vector representations of documents and queries, then finds similar documents using cosine similarity. - + This provides much better search results than keyword matching: - Understands synonyms (invoice = bill) - Understands context (medical + bill = healthcare invoice) @@ -50,7 +50,7 @@ class SemanticSearch: ): """ Initialize semantic search. - + Args: model_name: Sentence transformer model Default: all-MiniLM-L6-v2 (80MB, fast, good quality) @@ -68,9 +68,13 @@ class SemanticSearch: self.model_name = model_name self.use_cache = use_cache - self.cache_manager = ModelCacheManager.get_instance( - disk_cache_dir=cache_dir, - ) if use_cache else None + self.cache_manager = ( + ModelCacheManager.get_instance( + disk_cache_dir=cache_dir, + ) + if use_cache + else None + ) # Cache key for this model cache_key = f"semantic_search_{model_name}" @@ -83,13 +87,19 @@ class SemanticSearch: self.model = self.cache_manager.get_or_load_model(cache_key, loader) # Try to load embeddings from disk - embeddings = self.cache_manager.load_embeddings_from_disk("document_embeddings") + embeddings = self.cache_manager.load_embeddings_from_disk( + "document_embeddings", + ) if embeddings and self._validate_embeddings(embeddings): self.document_embeddings = embeddings - logger.info(f"Loaded {len(embeddings)} valid embeddings from disk cache") + logger.info( + f"Loaded {len(embeddings)} valid embeddings from disk cache", + ) else: self.document_embeddings = {} - logger.warning("Embeddings failed validation, starting with empty cache") + logger.warning( + "Embeddings failed validation, starting with empty cache", + ) self.document_metadata = {} else: # Load without caching @@ -120,8 +130,13 @@ class SemanticSearch: # Validate structure: each value should be a numpy array try: for doc_id, embedding in embeddings.items(): - if not isinstance(embedding, np.ndarray) and not isinstance(embedding, torch.Tensor): - logger.warning(f"Embedding for doc {doc_id} is not a numpy array or tensor") + if not isinstance(embedding, np.ndarray) and not isinstance( + embedding, + torch.Tensor, + ): + logger.warning( + f"Embedding for doc {doc_id} is not a numpy array or tensor", + ) return False if hasattr(embedding, "size"): if embedding.size == 0: @@ -144,9 +159,9 @@ class SemanticSearch: ) -> None: """ Index a document for semantic search. - + Creates an embedding vector for the document and stores it. - + Args: document_id: Document ID text: Document text content @@ -172,7 +187,7 @@ class SemanticSearch: ) -> None: """ Index multiple documents efficiently. - + Args: documents: List of (document_id, text, metadata) tuples batch_size: Batch size for encoding @@ -231,12 +246,12 @@ class SemanticSearch: ) -> list[tuple[int, float]]: """ Search documents by semantic similarity. - + Args: query: Search query top_k: Number of results to return min_score: Minimum similarity score (0-1) - + Returns: list: List of (document_id, similarity_score) tuples Sorted by similarity (highest first) @@ -280,12 +295,12 @@ class SemanticSearch: ) -> list[dict]: """ Search and return results with metadata. - + Args: query: Search query top_k: Number of results to return min_score: Minimum similarity score (0-1) - + Returns: list: List of result dictionaries [ @@ -321,14 +336,14 @@ class SemanticSearch: ) -> list[tuple[int, float]]: """ Find documents similar to a given document. - + Useful for "Find similar" functionality. - + Args: document_id: Document ID to find similar documents for top_k: Number of results to return min_score: Minimum similarity score (0-1) - + Returns: list: List of (document_id, similarity_score) tuples Excludes the source document @@ -367,10 +382,10 @@ class SemanticSearch: def remove_document(self, document_id: int) -> bool: """ Remove a document from the index. - + Args: document_id: Document ID to remove - + Returns: bool: True if document was removed, False if not found """ @@ -391,7 +406,7 @@ class SemanticSearch: def get_index_size(self) -> int: """ Get number of indexed documents. - + Returns: int: Number of documents in index """ @@ -400,7 +415,7 @@ class SemanticSearch: def save_index(self, filepath: str) -> None: """ Save index to disk. - + Args: filepath: Path to save index """ @@ -420,7 +435,7 @@ class SemanticSearch: def load_index(self, filepath: str) -> None: """ Load index from disk. - + Args: filepath: Path to load index from """ @@ -448,14 +463,12 @@ class SemanticSearch: def get_model_info(self) -> dict: """ Get information about the model and index. - + Returns: dict: Model and index information """ return { "model_name": self.model_name, "indexed_documents": len(self.document_embeddings), - "embedding_dimension": ( - self.model.get_sentence_embedding_dimension() - ), + "embedding_dimension": (self.model.get_sentence_embedding_dimension()), } diff --git a/src/documents/models.py b/src/documents/models.py index 457430ea1..5bdc5324b 100644 --- a/src/documents/models.py +++ b/src/documents/models.py @@ -1592,7 +1592,7 @@ class WorkflowRun(SoftDeleteModel): class DeletionRequest(models.Model): """ Model to track AI-initiated deletion requests requiring user approval. - + This ensures no documents are deleted without explicit user consent, implementing the safety requirement from agents.md. """ @@ -1678,9 +1678,15 @@ class DeletionRequest(models.Model): indexes = [ # Composite index for common listing queries (by user, filtered by status, sorted by date) # PostgreSQL can use this index for queries on: user, user+status, user+status+created_at - models.Index(fields=["user", "status", "created_at"], name="delreq_user_status_created_idx"), + models.Index( + fields=["user", "status", "created_at"], + name="delreq_user_status_created_idx", + ), # Index for queries filtering by status and date without user filter - models.Index(fields=["status", "created_at"], name="delreq_status_created_idx"), + models.Index( + fields=["status", "created_at"], + name="delreq_status_created_idx", + ), # Index for queries filtering by user and date (common for user-specific views) models.Index(fields=["user", "created_at"], name="delreq_user_created_idx"), # Index for queries filtering by review date @@ -1696,11 +1702,11 @@ class DeletionRequest(models.Model): def approve(self, user: User, comment: str = "") -> bool: """ Approve the deletion request. - + Args: user: User approving the request comment: Optional comment from user - + Returns: True if approved successfully """ @@ -1718,11 +1724,11 @@ class DeletionRequest(models.Model): def reject(self, user: User, comment: str = "") -> bool: """ Reject the deletion request. - + Args: user: User rejecting the request comment: Optional comment from user - + Returns: True if rejected successfully """ diff --git a/src/documents/ocr/__init__.py b/src/documents/ocr/__init__.py index ef3d47354..c5fdf001c 100644 --- a/src/documents/ocr/__init__.py +++ b/src/documents/ocr/__init__.py @@ -21,11 +21,14 @@ def __getattr__(name): """Lazy import to avoid loading heavy ML models on startup.""" if name == "TableExtractor": from .table_extractor import TableExtractor + return TableExtractor elif name == "HandwritingRecognizer": from .handwriting import HandwritingRecognizer + return HandwritingRecognizer elif name == "FormFieldDetector": from .form_detector import FormFieldDetector + return FormFieldDetector raise AttributeError(f"module {__name__!r} has no attribute {name!r}") diff --git a/src/documents/ocr/form_detector.py b/src/documents/ocr/form_detector.py index d52e080a5..1c6d1b016 100644 --- a/src/documents/ocr/form_detector.py +++ b/src/documents/ocr/form_detector.py @@ -19,19 +19,19 @@ logger = logging.getLogger(__name__) class FormFieldDetector: """ Detect and extract form fields from document images. - + Supports: - Text field detection - Checkbox detection and state recognition - Label association - Value extraction - + Example: >>> detector = FormFieldDetector() >>> fields = detector.detect_form_fields("form.jpg") >>> for field in fields: ... print(f"{field['label']}: {field['value']}") - + >>> # Extract specific field types >>> checkboxes = detector.detect_checkboxes("form.jpg") >>> for cb in checkboxes: @@ -41,7 +41,7 @@ class FormFieldDetector: def __init__(self, use_gpu: bool = True): """ Initialize the form field detector. - + Args: use_gpu: Whether to use GPU acceleration if available """ @@ -52,6 +52,7 @@ class FormFieldDetector: """Lazy load handwriting recognizer for field value extraction.""" if self._handwriting_recognizer is None: from .handwriting import HandwritingRecognizer + self._handwriting_recognizer = HandwritingRecognizer(use_gpu=self.use_gpu) return self._handwriting_recognizer @@ -63,12 +64,12 @@ class FormFieldDetector: ) -> list[dict[str, Any]]: """ Detect checkboxes in a form image. - + Args: image: PIL Image object min_size: Minimum checkbox size in pixels max_size: Maximum checkbox size in pixels - + Returns: List of detected checkboxes with state [ @@ -94,7 +95,11 @@ class FormFieldDetector: edges = cv2.Canny(gray, 50, 150) # Find contours - contours, _ = cv2.findContours(edges, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) + contours, _ = cv2.findContours( + edges, + cv2.RETR_EXTERNAL, + cv2.CHAIN_APPROX_SIMPLE, + ) checkboxes = [] for contour in contours: @@ -103,27 +108,32 @@ class FormFieldDetector: # Check if it looks like a checkbox (square-ish, right size) aspect_ratio = w / h if h > 0 else 0 - if (min_size <= w <= max_size and - min_size <= h <= max_size and - 0.7 <= aspect_ratio <= 1.3): - + if ( + min_size <= w <= max_size + and min_size <= h <= max_size + and 0.7 <= aspect_ratio <= 1.3 + ): # Extract checkbox region - checkbox_region = gray[y:y+h, x:x+w] + checkbox_region = gray[y : y + h, x : x + w] # Determine if checked (look for marks inside) checked, confidence = self._is_checkbox_checked(checkbox_region) - checkboxes.append({ - "bbox": [x, y, x+w, y+h], - "checked": checked, - "confidence": confidence, - }) + checkboxes.append( + { + "bbox": [x, y, x + w, y + h], + "checked": checked, + "confidence": confidence, + }, + ) logger.info(f"Detected {len(checkboxes)} checkboxes") return checkboxes except ImportError: - logger.error("opencv-python not installed. Install with: pip install opencv-python") + logger.error( + "opencv-python not installed. Install with: pip install opencv-python", + ) return [] except Exception as e: logger.error(f"Error detecting checkboxes: {e}") @@ -132,10 +142,10 @@ class FormFieldDetector: def _is_checkbox_checked(self, checkbox_image: np.ndarray) -> tuple[bool, float]: """ Determine if a checkbox is checked. - + Args: checkbox_image: Grayscale image of checkbox - + Returns: Tuple of (is_checked, confidence) """ @@ -143,11 +153,19 @@ class FormFieldDetector: import cv2 # Binarize - _, binary = cv2.threshold(checkbox_image, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU) + _, binary = cv2.threshold( + checkbox_image, + 0, + 255, + cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU, + ) # Count dark pixels in the center region (where mark would be) h, w = binary.shape - center_region = binary[int(h*0.2):int(h*0.8), int(w*0.2):int(w*0.8)] + center_region = binary[ + int(h * 0.2) : int(h * 0.8), + int(w * 0.2) : int(w * 0.8), + ] if center_region.size == 0: return False, 0.0 @@ -171,11 +189,11 @@ class FormFieldDetector: ) -> list[dict[str, Any]]: """ Detect text input fields in a form. - + Args: image: PIL Image object min_width: Minimum field width in pixels - + Returns: List of detected text fields [ @@ -197,7 +215,10 @@ class FormFieldDetector: gray = img_array # Detect horizontal lines (underlines for text fields) - horizontal_kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (min_width, 1)) + horizontal_kernel = cv2.getStructuringElement( + cv2.MORPH_RECT, + (min_width, 1), + ) detect_horizontal = cv2.morphologyEx( cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)[1], cv2.MORPH_OPEN, @@ -219,15 +240,21 @@ class FormFieldDetector: # Check if it's a horizontal line (field underline) if w >= min_width and h < 10: # Expand upward to include text area - text_bbox = [x, max(0, y-30), x+w, y+h] - text_fields.append({ - "bbox": text_bbox, - "type": "line", - }) + text_bbox = [x, max(0, y - 30), x + w, y + h] + text_fields.append( + { + "bbox": text_bbox, + "type": "line", + }, + ) # Detect rectangular boxes (bordered text fields) edges = cv2.Canny(gray, 50, 150) - contours, _ = cv2.findContours(edges, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) + contours, _ = cv2.findContours( + edges, + cv2.RETR_EXTERNAL, + cv2.CHAIN_APPROX_SIMPLE, + ) for contour in contours: x, y, w, h = cv2.boundingRect(contour) @@ -235,10 +262,12 @@ class FormFieldDetector: # Check if it's a rectangular box aspect_ratio = w / h if h > 0 else 0 if w >= min_width and 20 <= h <= 100 and aspect_ratio > 2: - text_fields.append({ - "bbox": [x, y, x+w, y+h], - "type": "box", - }) + text_fields.append( + { + "bbox": [x, y, x + w, y + h], + "type": "box", + }, + ) logger.info(f"Detected {len(text_fields)} text fields") return text_fields @@ -257,11 +286,11 @@ class FormFieldDetector: ) -> list[dict[str, Any]]: """ Detect labels near form fields. - + Args: image: PIL Image object field_bboxes: List of field bounding boxes [[x1,y1,x2,y2], ...] - + Returns: List of detected labels with associated field indices """ @@ -283,16 +312,21 @@ class FormFieldDetector: w = ocr_data["width"][i] h = ocr_data["height"][i] - label_bbox = [x, y, x+w, y+h] + label_bbox = [x, y, x + w, y + h] # Find closest field - closest_field_idx = self._find_closest_field(label_bbox, field_bboxes) + closest_field_idx = self._find_closest_field( + label_bbox, + field_bboxes, + ) - labels.append({ - "text": text.strip(), - "bbox": label_bbox, - "field_index": closest_field_idx, - }) + labels.append( + { + "text": text.strip(), + "bbox": label_bbox, + "field_index": closest_field_idx, + }, + ) return labels @@ -310,11 +344,11 @@ class FormFieldDetector: ) -> int | None: """ Find the closest field to a label. - + Args: label_bbox: Label bounding box [x1, y1, x2, y2] field_bboxes: List of field bounding boxes - + Returns: Index of closest field, or None if no fields """ @@ -335,8 +369,8 @@ class FormFieldDetector: # Euclidean distance distance = np.sqrt( - (label_center_x - field_center_x)**2 + - (label_center_y - field_center_y)**2, + (label_center_x - field_center_x) ** 2 + + (label_center_y - field_center_y) ** 2, ) if distance < min_distance: @@ -352,11 +386,11 @@ class FormFieldDetector: ) -> list[dict[str, Any]]: """ Detect all form fields and extract their values. - + Args: image_path: Path to form image extract_values: Whether to extract field values using OCR - + Returns: List of detected fields with labels and values [ @@ -379,7 +413,9 @@ class FormFieldDetector: checkboxes = self.detect_checkboxes(image) # Combine all field bboxes for label detection - all_field_bboxes = [f["bbox"] for f in text_fields] + [cb["bbox"] for cb in checkboxes] + all_field_bboxes = [f["bbox"] for f in text_fields] + [ + cb["bbox"] for cb in checkboxes + ] # Detect labels labels = self.detect_labels(image, all_field_bboxes) @@ -404,7 +440,10 @@ class FormFieldDetector: field_image = image.crop((x1, y1, x2, y2)) recognizer = self._get_handwriting_recognizer() - value = recognizer.recognize_from_image(field_image, preprocess=True) + value = recognizer.recognize_from_image( + field_image, + preprocess=True, + ) result["value"] = value.strip() result["confidence"] = recognizer._estimate_confidence(value) @@ -413,15 +452,21 @@ class FormFieldDetector: # Add checkboxes for i, checkbox in enumerate(checkboxes): field_idx = len(text_fields) + i - label_text = self._find_label_for_field(field_idx, labels, len(all_field_bboxes)) + label_text = self._find_label_for_field( + field_idx, + labels, + len(all_field_bboxes), + ) - results.append({ - "type": "checkbox", - "label": label_text, - "value": checkbox["checked"], - "bbox": checkbox["bbox"], - "confidence": checkbox["confidence"], - }) + results.append( + { + "type": "checkbox", + "label": label_text, + "value": checkbox["checked"], + "bbox": checkbox["bbox"], + "confidence": checkbox["confidence"], + }, + ) logger.info(f"Detected {len(results)} form fields from {image_path}") return results @@ -438,18 +483,17 @@ class FormFieldDetector: ) -> str: """ Find the label text for a specific field. - + Args: field_idx: Index of the field labels: List of detected labels total_fields: Total number of fields - + Returns: Label text or empty string if not found """ matching_labels = [ - label for label in labels - if label["field_index"] == field_idx + label for label in labels if label["field_index"] == field_idx ] if matching_labels: @@ -465,11 +509,11 @@ class FormFieldDetector: ) -> Any: """ Extract all form data as structured output. - + Args: image_path: Path to form image output_format: Output format ('dict', 'json', or 'dataframe') - + Returns: Structured form data in requested format """ @@ -482,11 +526,13 @@ class FormFieldDetector: elif output_format == "json": import json + data = {field["label"]: field["value"] for field in fields} return json.dumps(data, indent=2) elif output_format == "dataframe": import pandas as pd + return pd.DataFrame(fields) else: diff --git a/src/documents/ocr/handwriting.py b/src/documents/ocr/handwriting.py index 7a3d9467b..7644c9fb4 100644 --- a/src/documents/ocr/handwriting.py +++ b/src/documents/ocr/handwriting.py @@ -19,16 +19,16 @@ logger = logging.getLogger(__name__) class HandwritingRecognizer: """ Recognize handwritten text from document images. - + Uses transformer-based models (TrOCR) for accurate handwriting recognition. Supports both printed and handwritten text detection. - + Example: >>> recognizer = HandwritingRecognizer() >>> text = recognizer.recognize_from_image("handwritten_note.jpg") >>> print(text) "This is handwritten text..." - + >>> # With line detection >>> lines = recognizer.recognize_lines("form.jpg") >>> for line in lines: @@ -43,7 +43,7 @@ class HandwritingRecognizer: ): """ Initialize the handwriting recognizer. - + Args: model_name: Hugging Face model name Options: @@ -95,11 +95,11 @@ class HandwritingRecognizer: ) -> str: """ Recognize text from a single image. - + Args: image: PIL Image object containing handwritten text preprocess: Whether to preprocess image (contrast, binarization) - + Returns: Recognized text string """ @@ -113,7 +113,10 @@ class HandwritingRecognizer: image = self._preprocess_image(image) # Prepare image for model - pixel_values = self._processor(images=image, return_tensors="pt").pixel_values + pixel_values = self._processor( + images=image, + return_tensors="pt", + ).pixel_values if self.use_gpu and torch.cuda.is_available(): pixel_values = pixel_values.cuda() @@ -123,7 +126,10 @@ class HandwritingRecognizer: generated_ids = self._model.generate(pixel_values) # Decode to text - text = self._processor.batch_decode(generated_ids, skip_special_tokens=True)[0] + text = self._processor.batch_decode( + generated_ids, + skip_special_tokens=True, + )[0] logger.debug(f"Recognized text: {text[:100]}...") return text @@ -135,10 +141,10 @@ class HandwritingRecognizer: def _preprocess_image(self, image: Image.Image) -> Image.Image: """ Preprocess image for better recognition. - + Args: image: Input PIL Image - + Returns: Preprocessed PIL Image """ @@ -169,10 +175,10 @@ class HandwritingRecognizer: def detect_text_lines(self, image: Image.Image) -> list[dict[str, Any]]: """ Detect individual text lines in an image. - + Args: image: PIL Image object - + Returns: List of detected lines with bounding boxes [ @@ -195,10 +201,19 @@ class HandwritingRecognizer: gray = img_array # Binarize - _, binary = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU) + _, binary = cv2.threshold( + gray, + 0, + 255, + cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU, + ) # Find contours - contours, _ = cv2.findContours(binary, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) + contours, _ = cv2.findContours( + binary, + cv2.RETR_EXTERNAL, + cv2.CHAIN_APPROX_SIMPLE, + ) # Get bounding boxes for each contour lines = [] @@ -208,11 +223,13 @@ class HandwritingRecognizer: # Filter out very small regions if w > 20 and h > 10: # Crop line from original image - line_img = image.crop((x, y, x+w, y+h)) - lines.append({ - "bbox": [x, y, x+w, y+h], - "image": line_img, - }) + line_img = image.crop((x, y, x + w, y + h)) + lines.append( + { + "bbox": [x, y, x + w, y + h], + "image": line_img, + }, + ) # Sort lines top to bottom lines.sort(key=lambda l: l["bbox"][1]) @@ -221,7 +238,9 @@ class HandwritingRecognizer: return lines except ImportError: - logger.error("opencv-python not installed. Install with: pip install opencv-python") + logger.error( + "opencv-python not installed. Install with: pip install opencv-python", + ) return [] except Exception as e: logger.error(f"Error detecting text lines: {e}") @@ -234,11 +253,11 @@ class HandwritingRecognizer: ) -> list[dict[str, Any]]: """ Recognize text from each line in an image. - + Args: image_path: Path to image file return_confidence: Whether to include confidence scores - + Returns: List of recognized lines with text and metadata [ @@ -260,7 +279,7 @@ class HandwritingRecognizer: # Recognize each line results = [] for i, line in enumerate(lines): - logger.debug(f"Recognizing line {i+1}/{len(lines)}") + logger.debug(f"Recognizing line {i + 1}/{len(lines)}") text = self.recognize_from_image(line["image"], preprocess=True) @@ -287,10 +306,10 @@ class HandwritingRecognizer: def _estimate_confidence(self, text: str) -> float: """ Estimate confidence of recognition result. - + Args: text: Recognized text - + Returns: Confidence score (0-1) """ @@ -328,13 +347,13 @@ class HandwritingRecognizer: ) -> dict[str, Any]: """ Recognize handwriting from an image file. - + Args: image_path: Path to image file mode: Recognition mode - 'full': Recognize entire image as one block - 'lines': Detect and recognize individual lines - + Returns: Dictionary with recognized text and metadata """ @@ -356,7 +375,9 @@ class HandwritingRecognizer: # Combine all lines full_text = "\n".join(line["text"] for line in lines) - avg_confidence = np.mean([line["confidence"] for line in lines]) if lines else 0.0 + avg_confidence = ( + np.mean([line["confidence"] for line in lines]) if lines else 0.0 + ) return { "text": full_text, @@ -384,7 +405,7 @@ class HandwritingRecognizer: ) -> dict[str, str]: """ Recognize text from specific form fields. - + Args: image_path: Path to form image field_regions: List of field definitions @@ -395,7 +416,7 @@ class HandwritingRecognizer: }, ... ] - + Returns: Dictionary mapping field names to recognized text """ @@ -432,17 +453,17 @@ class HandwritingRecognizer: ) -> list[dict[str, Any]]: """ Recognize handwriting from multiple images in batch. - + Args: image_paths: List of image file paths mode: Recognition mode ('full' or 'lines') - + Returns: List of recognition results """ results = [] for i, path in enumerate(image_paths): - logger.info(f"Processing image {i+1}/{len(image_paths)}: {path}") + logger.info(f"Processing image {i + 1}/{len(image_paths)}: {path}") result = self.recognize_from_file(path, mode=mode) result["image_path"] = path results.append(result) diff --git a/src/documents/ocr/table_extractor.py b/src/documents/ocr/table_extractor.py index 4716757ae..182b610a6 100644 --- a/src/documents/ocr/table_extractor.py +++ b/src/documents/ocr/table_extractor.py @@ -18,12 +18,12 @@ logger = logging.getLogger(__name__) class TableExtractor: """ Extract tables from document images and PDFs. - + Supports multiple extraction methods: - Deep learning-based table detection (table-transformer model) - PDF structure parsing - OCR-based table extraction - + Example: >>> extractor = TableExtractor() >>> tables = extractor.extract_tables_from_image("invoice.png") @@ -40,7 +40,7 @@ class TableExtractor: ): """ Initialize the table extractor. - + Args: model_name: Hugging Face model name for table detection confidence_threshold: Minimum confidence score for detection (0-1) @@ -76,16 +76,18 @@ class TableExtractor: except ImportError as e: logger.error(f"Failed to load table detection model: {e}") - logger.error("Please install required packages: pip install transformers torch pillow") + logger.error( + "Please install required packages: pip install transformers torch pillow", + ) raise def detect_tables(self, image: Image.Image) -> list[dict[str, Any]]: """ Detect tables in an image. - + Args: image: PIL Image object - + Returns: List of detected tables with bounding boxes and confidence scores [ @@ -122,12 +124,18 @@ class TableExtractor: # Convert to list of dicts tables = [] - for score, label, box in zip(results["scores"], results["labels"], results["boxes"]): - tables.append({ - "bbox": box.cpu().tolist(), - "score": score.item(), - "label": self._model.config.id2label[label.item()], - }) + for score, label, box in zip( + results["scores"], + results["labels"], + results["boxes"], + ): + tables.append( + { + "bbox": box.cpu().tolist(), + "score": score.item(), + "label": self._model.config.id2label[label.item()], + }, + ) logger.info(f"Detected {len(tables)} tables in image") return tables @@ -144,14 +152,14 @@ class TableExtractor: ) -> dict[str, Any] | None: """ Extract table data from a specific region of an image. - + Args: image: PIL Image object bbox: Bounding box [x1, y1, x2, y2] use_ocr: Whether to use OCR for text extraction - + Returns: - Extracted table data as dictionary with 'data' (pandas DataFrame) + Extracted table data as dictionary with 'data' (pandas DataFrame) and 'raw_text' keys, or None if extraction failed """ try: @@ -184,6 +192,7 @@ class TableExtractor: else: # Fallback to basic OCR without structure import pytesseract + raw_text = pytesseract.image_to_string(table_image) return { "data": None, @@ -193,7 +202,9 @@ class TableExtractor: } except ImportError: - logger.error("pytesseract not installed. Install with: pip install pytesseract") + logger.error( + "pytesseract not installed. Install with: pip install pytesseract", + ) return None except Exception as e: logger.error(f"Error extracting table from region: {e}") @@ -202,10 +213,10 @@ class TableExtractor: def _reconstruct_table_from_ocr(self, ocr_data: dict) -> Any | None: """ Reconstruct table structure from OCR output. - + Args: ocr_data: OCR data from pytesseract - + Returns: pandas DataFrame or None if reconstruction failed """ @@ -265,11 +276,11 @@ class TableExtractor: ) -> list[dict[str, Any]]: """ Extract all tables from an image file. - + Args: image_path: Path to image file output_format: 'dataframe' or 'csv' or 'json' - + Returns: List of extracted tables with data and metadata """ @@ -283,7 +294,7 @@ class TableExtractor: # Extract data from each table tables = [] for i, detection in enumerate(detections): - logger.info(f"Extracting table {i+1}/{len(detections)}") + logger.info(f"Extracting table {i + 1}/{len(detections)}") table_data = self.extract_table_from_region( image, @@ -298,11 +309,15 @@ class TableExtractor: if output_format == "csv" and table_data["data"] is not None: table_data["csv"] = table_data["data"].to_csv(index=False) elif output_format == "json" and table_data["data"] is not None: - table_data["json"] = table_data["data"].to_json(orient="records") + table_data["json"] = table_data["data"].to_json( + orient="records", + ) tables.append(table_data) - logger.info(f"Successfully extracted {len(tables)} tables from {image_path}") + logger.info( + f"Successfully extracted {len(tables)} tables from {image_path}", + ) return tables except Exception as e: @@ -316,11 +331,11 @@ class TableExtractor: ) -> dict[int, list[dict[str, Any]]]: """ Extract tables from a PDF document. - + Args: pdf_path: Path to PDF file page_numbers: List of page numbers to process (1-indexed), or None for all pages - + Returns: Dictionary mapping page numbers to lists of extracted tables """ @@ -379,11 +394,11 @@ class TableExtractor: ) -> bool: """ Save extracted tables to an Excel file. - + Args: tables: List of table dictionaries with 'data' key containing DataFrame output_path: Path to output Excel file - + Returns: True if successful, False otherwise """ @@ -393,9 +408,9 @@ class TableExtractor: with pd.ExcelWriter(output_path, engine="openpyxl") as writer: for i, table in enumerate(tables): if table.get("data") is not None: - sheet_name = f"Table_{i+1}" + sheet_name = f"Table_{i + 1}" if "page" in table: - sheet_name = f"Page_{table['page']}_Table_{i+1}" + sheet_name = f"Page_{table['page']}_Table_{i + 1}" table["data"].to_excel( writer, diff --git a/src/documents/permissions.py b/src/documents/permissions.py index 732181f0f..a29570df4 100644 --- a/src/documents/permissions.py +++ b/src/documents/permissions.py @@ -224,7 +224,7 @@ class AcknowledgeTasksPermissions(BasePermission): class CanViewAISuggestionsPermission(BasePermission): """ Permission class to check if user can view AI suggestions. - + This permission allows users to view AI scan results and suggestions for documents, including tags, correspondents, document types, and other metadata suggestions. @@ -245,7 +245,7 @@ class CanViewAISuggestionsPermission(BasePermission): class CanApplyAISuggestionsPermission(BasePermission): """ Permission class to check if user can apply AI suggestions to documents. - + This permission allows users to apply AI-generated suggestions to documents, such as auto-applying tags, correspondents, document types, etc. """ @@ -265,7 +265,7 @@ class CanApplyAISuggestionsPermission(BasePermission): class CanApproveDeletionsPermission(BasePermission): """ Permission class to check if user can approve AI-recommended deletions. - + This permission is required to approve deletion requests initiated by AI, ensuring that no documents are deleted without explicit user authorization. """ @@ -285,7 +285,7 @@ class CanApproveDeletionsPermission(BasePermission): class CanConfigureAIPermission(BasePermission): """ Permission class to check if user can configure AI settings. - + This permission allows users to configure AI scanner settings, including confidence thresholds, auto-apply behavior, and ML feature toggles. Typically restricted to administrators. diff --git a/src/documents/serialisers.py b/src/documents/serialisers.py index 599d0cbda..299c078d2 100644 --- a/src/documents/serialisers.py +++ b/src/documents/serialisers.py @@ -2796,6 +2796,7 @@ class DeletionRequestDetailSerializer(serializers.ModelSerializer): class Meta: from documents.models import DeletionRequest + model = DeletionRequest fields = [ "id", diff --git a/src/documents/serializers/ai_suggestions.py b/src/documents/serializers/ai_suggestions.py index 52db7d1bd..72c00e143 100644 --- a/src/documents/serializers/ai_suggestions.py +++ b/src/documents/serializers/ai_suggestions.py @@ -31,7 +31,13 @@ SUGGESTION_TYPE_CHOICES = [ ] # Types that require value_id -ID_REQUIRED_TYPES = ["tag", "correspondent", "document_type", "storage_path", "workflow"] +ID_REQUIRED_TYPES = [ + "tag", + "correspondent", + "document_type", + "storage_path", + "workflow", +] # Types that require value_text TEXT_REQUIRED_TYPES = ["title"] # Types that can use either (custom_field can be ID or text) @@ -97,7 +103,7 @@ class TitleSuggestionSerializer(serializers.Serializer): class AISuggestionsSerializer(serializers.Serializer): """ Main serializer for AI scan results. - + Converts AIScanResult objects to JSON format for API responses. """ @@ -113,11 +119,11 @@ class AISuggestionsSerializer(serializers.Serializer): def from_scan_result(scan_result, document_id: int) -> dict[str, Any]: """ Convert an AIScanResult object to serializer data. - + Args: scan_result: AIScanResult instance from ai_scanner document_id: Document ID for reference - + Returns: Dictionary ready for serialization """ @@ -129,12 +135,14 @@ class AISuggestionsSerializer(serializers.Serializer): for tag_id, confidence in scan_result.tags: try: tag = Tag.objects.get(pk=tag_id) - tag_suggestions.append({ - "id": tag.id, - "name": tag.name, - "color": getattr(tag, "color", "#000000"), - "confidence": confidence, - }) + tag_suggestions.append( + { + "id": tag.id, + "name": tag.name, + "color": getattr(tag, "color", "#000000"), + "confidence": confidence, + }, + ) except Tag.DoesNotExist: # Tag no longer exists in database; skip this suggestion pass @@ -189,12 +197,14 @@ class AISuggestionsSerializer(serializers.Serializer): for field_id, (value, confidence) in scan_result.custom_fields.items(): try: field = CustomField.objects.get(pk=field_id) - field_suggestions.append({ - "field_id": field.id, - "field_name": field.name, - "value": str(value), - "confidence": confidence, - }) + field_suggestions.append( + { + "field_id": field.id, + "field_name": field.name, + "value": str(value), + "confidence": confidence, + }, + ) except CustomField.DoesNotExist: # Custom field no longer exists in database; skip this suggestion pass @@ -206,11 +216,13 @@ class AISuggestionsSerializer(serializers.Serializer): for workflow_id, confidence in scan_result.workflows: try: workflow = Workflow.objects.get(pk=workflow_id) - workflow_suggestions.append({ - "id": workflow.id, - "name": workflow.name, - "confidence": confidence, - }) + workflow_suggestions.append( + { + "id": workflow.id, + "name": workflow.name, + "confidence": confidence, + }, + ) except Workflow.DoesNotExist: # Workflow no longer exists in database; skip this suggestion pass @@ -229,6 +241,7 @@ class SuggestionSerializerMixin: """ Mixin to provide validation logic for suggestion serializers. """ + def validate(self, attrs): """Validate that the correct value field is provided for the suggestion type.""" suggestion_type = attrs.get("suggestion_type") diff --git a/src/documents/tests/test_ai_permissions.py b/src/documents/tests/test_ai_permissions.py index 39463b47e..0a681c8a6 100644 --- a/src/documents/tests/test_ai_permissions.py +++ b/src/documents/tests/test_ai_permissions.py @@ -28,7 +28,6 @@ class MockView: """Mock view for testing permissions.""" - class TestCanViewAISuggestionsPermission(TestCase): """Test the CanViewAISuggestionsPermission class.""" @@ -40,13 +39,19 @@ class TestCanViewAISuggestionsPermission(TestCase): # Create users self.superuser = User.objects.create_superuser( - username="admin", email="admin@test.com", password="admin123", + username="admin", + email="admin@test.com", + password="admin123", ) self.regular_user = User.objects.create_user( - username="regular", email="regular@test.com", password="regular123", + username="regular", + email="regular@test.com", + password="regular123", ) self.permitted_user = User.objects.create_user( - username="permitted", email="permitted@test.com", password="permitted123", + username="permitted", + email="permitted@test.com", + password="permitted123", ) # Assign permission to permitted_user @@ -106,13 +111,19 @@ class TestCanApplyAISuggestionsPermission(TestCase): # Create users self.superuser = User.objects.create_superuser( - username="admin", email="admin@test.com", password="admin123", + username="admin", + email="admin@test.com", + password="admin123", ) self.regular_user = User.objects.create_user( - username="regular", email="regular@test.com", password="regular123", + username="regular", + email="regular@test.com", + password="regular123", ) self.permitted_user = User.objects.create_user( - username="permitted", email="permitted@test.com", password="permitted123", + username="permitted", + email="permitted@test.com", + password="permitted123", ) # Assign permission to permitted_user @@ -172,13 +183,19 @@ class TestCanApproveDeletionsPermission(TestCase): # Create users self.superuser = User.objects.create_superuser( - username="admin", email="admin@test.com", password="admin123", + username="admin", + email="admin@test.com", + password="admin123", ) self.regular_user = User.objects.create_user( - username="regular", email="regular@test.com", password="regular123", + username="regular", + email="regular@test.com", + password="regular123", ) self.permitted_user = User.objects.create_user( - username="permitted", email="permitted@test.com", password="permitted123", + username="permitted", + email="permitted@test.com", + password="permitted123", ) # Assign permission to permitted_user @@ -238,13 +255,19 @@ class TestCanConfigureAIPermission(TestCase): # Create users self.superuser = User.objects.create_superuser( - username="admin", email="admin@test.com", password="admin123", + username="admin", + email="admin@test.com", + password="admin123", ) self.regular_user = User.objects.create_user( - username="regular", email="regular@test.com", password="regular123", + username="regular", + email="regular@test.com", + password="regular123", ) self.permitted_user = User.objects.create_user( - username="permitted", email="permitted@test.com", password="permitted123", + username="permitted", + email="permitted@test.com", + password="permitted123", ) # Assign permission to permitted_user @@ -344,7 +367,9 @@ class TestRoleBasedAccessControl(TestCase): def test_viewer_role_permissions(self): """Test that viewer role has appropriate permissions.""" user = User.objects.create_user( - username="viewer", email="viewer@test.com", password="viewer123", + username="viewer", + email="viewer@test.com", + password="viewer123", ) user.groups.add(self.viewer_group) @@ -359,7 +384,9 @@ class TestRoleBasedAccessControl(TestCase): def test_editor_role_permissions(self): """Test that editor role has appropriate permissions.""" user = User.objects.create_user( - username="editor", email="editor@test.com", password="editor123", + username="editor", + email="editor@test.com", + password="editor123", ) user.groups.add(self.editor_group) @@ -374,7 +401,9 @@ class TestRoleBasedAccessControl(TestCase): def test_admin_role_permissions(self): """Test that admin role has all permissions.""" user = User.objects.create_user( - username="ai_admin", email="ai_admin@test.com", password="admin123", + username="ai_admin", + email="ai_admin@test.com", + password="admin123", ) user.groups.add(self.admin_group) @@ -389,7 +418,9 @@ class TestRoleBasedAccessControl(TestCase): def test_user_with_multiple_groups(self): """Test that user permissions accumulate from multiple groups.""" user = User.objects.create_user( - username="multi_role", email="multi@test.com", password="multi123", + username="multi_role", + email="multi@test.com", + password="multi123", ) user.groups.add(self.viewer_group, self.editor_group) @@ -404,7 +435,9 @@ class TestRoleBasedAccessControl(TestCase): def test_direct_permission_assignment_overrides_group(self): """Test that direct permission assignment works alongside group permissions.""" user = User.objects.create_user( - username="special", email="special@test.com", password="special123", + username="special", + email="special@test.com", + password="special123", ) user.groups.add(self.viewer_group) @@ -427,7 +460,9 @@ class TestPermissionAssignment(TestCase): def setUp(self): """Set up test user.""" self.user = User.objects.create_user( - username="testuser", email="test@test.com", password="test123", + username="testuser", + email="test@test.com", + password="test123", ) content_type = ContentType.objects.get_for_model(Document) self.view_permission, _ = Permission.objects.get_or_create( @@ -499,7 +534,9 @@ class TestPermissionEdgeCases(TestCase): def test_inactive_user_with_permission(self): """Test that inactive users are denied even with permission.""" user = User.objects.create_user( - username="inactive", email="inactive@test.com", password="inactive123", + username="inactive", + email="inactive@test.com", + password="inactive123", ) user.is_active = False user.save() diff --git a/src/documents/tests/test_ai_scanner.py b/src/documents/tests/test_ai_scanner.py index 307574bbf..af0217c6c 100644 --- a/src/documents/tests/test_ai_scanner.py +++ b/src/documents/tests/test_ai_scanner.py @@ -64,7 +64,10 @@ class TestAIScanResult(TestCase): result.storage_path = (3, 0.85) result.custom_fields = {1: ("value1", 0.70), 2: ("value2", 0.65)} result.workflows = [(1, 0.75)] - result.extracted_entities = {"persons": ["John Doe"], "organizations": ["ACME Corp"]} + result.extracted_entities = { + "persons": ["John Doe"], + "organizations": ["ACME Corp"], + } result.title_suggestion = "Invoice - ACME Corp - 2024-01-01" result.metadata = {"tables": [{"data": "test"}]} @@ -74,10 +77,19 @@ class TestAIScanResult(TestCase): self.assertEqual(result_dict["correspondent"], (1, 0.90)) self.assertEqual(result_dict["document_type"], (2, 0.80)) self.assertEqual(result_dict["storage_path"], (3, 0.85)) - self.assertEqual(result_dict["custom_fields"], {1: ("value1", 0.70), 2: ("value2", 0.65)}) + self.assertEqual( + result_dict["custom_fields"], + {1: ("value1", 0.70), 2: ("value2", 0.65)}, + ) self.assertEqual(result_dict["workflows"], [(1, 0.75)]) - self.assertEqual(result_dict["extracted_entities"], {"persons": ["John Doe"], "organizations": ["ACME Corp"]}) - self.assertEqual(result_dict["title_suggestion"], "Invoice - ACME Corp - 2024-01-01") + self.assertEqual( + result_dict["extracted_entities"], + {"persons": ["John Doe"], "organizations": ["ACME Corp"]}, + ) + self.assertEqual( + result_dict["title_suggestion"], + "Invoice - ACME Corp - 2024-01-01", + ) self.assertEqual(result_dict["metadata"], {"tables": [{"data": "test"}]}) @@ -149,8 +161,10 @@ class TestAIDocumentScannerLazyLoading(TestCase): # Mock the import and class mock_classifier_instance = mock.MagicMock() - with mock.patch("documents.ai_scanner.TransformerDocumentClassifier", - return_value=mock_classifier_instance) as mock_classifier_class: + with mock.patch( + "documents.ai_scanner.TransformerDocumentClassifier", + return_value=mock_classifier_instance, + ) as mock_classifier_class: classifier = scanner._get_classifier() self.assertIsNotNone(classifier) @@ -164,8 +178,10 @@ class TestAIDocumentScannerLazyLoading(TestCase): scanner = AIDocumentScanner() mock_classifier_instance = mock.MagicMock() - with mock.patch("documents.ai_scanner.TransformerDocumentClassifier", - return_value=mock_classifier_instance): + with mock.patch( + "documents.ai_scanner.TransformerDocumentClassifier", + return_value=mock_classifier_instance, + ): classifier1 = scanner._get_classifier() classifier2 = scanner._get_classifier() @@ -177,8 +193,10 @@ class TestAIDocumentScannerLazyLoading(TestCase): """Test that classifier loading handles import errors gracefully.""" scanner = AIDocumentScanner() - with mock.patch("documents.ai_scanner.TransformerDocumentClassifier", - side_effect=ImportError("Module not found")): + with mock.patch( + "documents.ai_scanner.TransformerDocumentClassifier", + side_effect=ImportError("Module not found"), + ): classifier = scanner._get_classifier() self.assertIsNone(classifier) @@ -199,8 +217,10 @@ class TestAIDocumentScannerLazyLoading(TestCase): scanner = AIDocumentScanner() mock_ner_instance = mock.MagicMock() - with mock.patch("documents.ai_scanner.DocumentNER", - return_value=mock_ner_instance) as mock_ner_class: + with mock.patch( + "documents.ai_scanner.DocumentNER", + return_value=mock_ner_instance, + ) as mock_ner_class: ner = scanner._get_ner_extractor() self.assertIsNotNone(ner) @@ -213,8 +233,10 @@ class TestAIDocumentScannerLazyLoading(TestCase): """Test NER extractor handles loading errors.""" scanner = AIDocumentScanner() - with mock.patch("documents.ai_scanner.DocumentNER", - side_effect=Exception("Failed to load")): + with mock.patch( + "documents.ai_scanner.DocumentNER", + side_effect=Exception("Failed to load"), + ): ner = scanner._get_ner_extractor() self.assertIsNone(ner) @@ -226,8 +248,10 @@ class TestAIDocumentScannerLazyLoading(TestCase): scanner = AIDocumentScanner() mock_search_instance = mock.MagicMock() - with mock.patch("documents.ai_scanner.SemanticSearch", - return_value=mock_search_instance) as mock_search_class: + with mock.patch( + "documents.ai_scanner.SemanticSearch", + return_value=mock_search_instance, + ) as mock_search_class: search = scanner._get_semantic_search() self.assertIsNotNone(search) @@ -241,8 +265,10 @@ class TestAIDocumentScannerLazyLoading(TestCase): scanner = AIDocumentScanner() mock_extractor_instance = mock.MagicMock() - with mock.patch("documents.ai_scanner.TableExtractor", - return_value=mock_extractor_instance) as mock_extractor_class: + with mock.patch( + "documents.ai_scanner.TableExtractor", + return_value=mock_extractor_instance, + ) as mock_extractor_class: extractor = scanner._get_table_extractor() self.assertIsNotNone(extractor) @@ -337,8 +363,14 @@ class TestSuggestTags(TestCase): def setUp(self): """Set up test tags.""" - self.tag1 = Tag.objects.create(name="Invoice", matching_algorithm=Tag.MATCH_AUTO) - self.tag2 = Tag.objects.create(name="Company", matching_algorithm=Tag.MATCH_AUTO) + self.tag1 = Tag.objects.create( + name="Invoice", + matching_algorithm=Tag.MATCH_AUTO, + ) + self.tag2 = Tag.objects.create( + name="Company", + matching_algorithm=Tag.MATCH_AUTO, + ) self.tag3 = Tag.objects.create(name="Tax", matching_algorithm=Tag.MATCH_AUTO) self.document = Document.objects.create( title="Test Document", @@ -640,8 +672,11 @@ class TestExtractCustomFields(TestCase): """Test custom field extraction handles exceptions.""" scanner = AIDocumentScanner() - with mock.patch.object(CustomField.objects, "all", - side_effect=Exception("DB error")): + with mock.patch.object( + CustomField.objects, + "all", + side_effect=Exception("DB error"), + ): fields = scanner._extract_custom_fields(self.document, "text", {}) self.assertEqual(fields, {}) @@ -688,7 +723,9 @@ class TestExtractFieldValue(TestCase): entities = {"dates": [{"text": "2024-01-01"}]} value, confidence = scanner._extract_field_value( - self.field_date, "text", entities, + self.field_date, + "text", + entities, ) self.assertEqual(value, "2024-01-01") @@ -700,7 +737,9 @@ class TestExtractFieldValue(TestCase): entities = {"amounts": [{"text": "$1,000"}]} value, confidence = scanner._extract_field_value( - self.field_amount, "text", entities, + self.field_amount, + "text", + entities, ) self.assertEqual(value, "$1,000") @@ -712,7 +751,9 @@ class TestExtractFieldValue(TestCase): entities = {"invoice_numbers": ["INV-12345"]} value, confidence = scanner._extract_field_value( - self.field_invoice, "text", entities, + self.field_invoice, + "text", + entities, ) self.assertEqual(value, "INV-12345") @@ -724,7 +765,9 @@ class TestExtractFieldValue(TestCase): entities = {"emails": ["test@example.com"]} value, confidence = scanner._extract_field_value( - self.field_email, "text", entities, + self.field_email, + "text", + entities, ) self.assertEqual(value, "test@example.com") @@ -736,7 +779,9 @@ class TestExtractFieldValue(TestCase): entities = {"phones": ["+1-555-1234"]} value, confidence = scanner._extract_field_value( - self.field_phone, "text", entities, + self.field_phone, + "text", + entities, ) self.assertEqual(value, "+1-555-1234") @@ -748,7 +793,9 @@ class TestExtractFieldValue(TestCase): entities = {"persons": [{"text": "John Doe"}]} value, confidence = scanner._extract_field_value( - self.field_person, "text", entities, + self.field_person, + "text", + entities, ) self.assertEqual(value, "John Doe") @@ -760,7 +807,9 @@ class TestExtractFieldValue(TestCase): entities = {"organizations": [{"text": "ACME Corp"}]} value, confidence = scanner._extract_field_value( - self.field_company, "text", entities, + self.field_company, + "text", + entities, ) self.assertEqual(value, "ACME Corp") @@ -772,7 +821,9 @@ class TestExtractFieldValue(TestCase): entities = {} value, confidence = scanner._extract_field_value( - self.field_date, "text", entities, + self.field_date, + "text", + entities, ) self.assertIsNone(value) @@ -845,10 +896,15 @@ class TestSuggestWorkflows(TestCase): scan_result = AIScanResult() - with mock.patch.object(Workflow.objects, "filter", - side_effect=Exception("DB error")): + with mock.patch.object( + Workflow.objects, + "filter", + side_effect=Exception("DB error"), + ): suggestions = scanner._suggest_workflows( - self.document, "text", scan_result, + self.document, + "text", + scan_result, ) self.assertEqual(suggestions, []) @@ -875,7 +931,9 @@ class TestEvaluateWorkflowMatch(TestCase): scan_result = AIScanResult() confidence = scanner._evaluate_workflow_match( - self.workflow, self.document, scan_result, + self.workflow, + self.document, + scan_result, ) self.assertEqual(confidence, 0.5) @@ -893,7 +951,9 @@ class TestEvaluateWorkflowMatch(TestCase): ) confidence = scanner._evaluate_workflow_match( - self.workflow, self.document, scan_result, + self.workflow, + self.document, + scan_result, ) self.assertGreater(confidence, 0.5) @@ -905,7 +965,9 @@ class TestEvaluateWorkflowMatch(TestCase): scan_result.correspondent = (1, 0.90) confidence = scanner._evaluate_workflow_match( - self.workflow, self.document, scan_result, + self.workflow, + self.document, + scan_result, ) self.assertGreater(confidence, 0.5) @@ -917,7 +979,9 @@ class TestEvaluateWorkflowMatch(TestCase): scan_result.tags = [(1, 0.80), (2, 0.75)] confidence = scanner._evaluate_workflow_match( - self.workflow, self.document, scan_result, + self.workflow, + self.document, + scan_result, ) self.assertGreater(confidence, 0.5) @@ -937,7 +1001,9 @@ class TestEvaluateWorkflowMatch(TestCase): ) confidence = scanner._evaluate_workflow_match( - self.workflow, self.document, scan_result, + self.workflow, + self.document, + scan_result, ) self.assertLessEqual(confidence, 1.0) @@ -1056,7 +1122,9 @@ class TestExtractTables(TestCase): scanner = AIDocumentScanner() mock_extractor = mock.MagicMock() - mock_extractor.extract_tables_from_image.side_effect = Exception("Extraction failed") + mock_extractor.extract_tables_from_image.side_effect = Exception( + "Extraction failed", + ) scanner._table_extractor = mock_extractor tables = scanner._extract_tables("/path/to/file.pdf") @@ -1131,15 +1199,16 @@ class TestScanDocument(TestCase): mock_extract_tables.return_value = [{"data": "test"}] # Mock other methods to avoid complexity - with mock.patch.object(scanner, "_extract_entities", return_value={}), \ - mock.patch.object(scanner, "_suggest_tags", return_value=[]), \ - mock.patch.object(scanner, "_detect_correspondent", return_value=None), \ - mock.patch.object(scanner, "_classify_document_type", return_value=None), \ - mock.patch.object(scanner, "_suggest_storage_path", return_value=None), \ - mock.patch.object(scanner, "_extract_custom_fields", return_value={}), \ - mock.patch.object(scanner, "_suggest_workflows", return_value=[]), \ - mock.patch.object(scanner, "_suggest_title", return_value=None): - + with ( + mock.patch.object(scanner, "_extract_entities", return_value={}), + mock.patch.object(scanner, "_suggest_tags", return_value=[]), + mock.patch.object(scanner, "_detect_correspondent", return_value=None), + mock.patch.object(scanner, "_classify_document_type", return_value=None), + mock.patch.object(scanner, "_suggest_storage_path", return_value=None), + mock.patch.object(scanner, "_extract_custom_fields", return_value={}), + mock.patch.object(scanner, "_suggest_workflows", return_value=[]), + mock.patch.object(scanner, "_suggest_title", return_value=None), + ): result = scanner.scan_document( self.document, "Document text", @@ -1153,16 +1222,17 @@ class TestScanDocument(TestCase): """Test that tables are not extracted when file path is not provided.""" scanner = AIDocumentScanner(enable_advanced_ocr=True) - with mock.patch.object(scanner, "_extract_tables") as mock_extract_tables, \ - mock.patch.object(scanner, "_extract_entities", return_value={}), \ - mock.patch.object(scanner, "_suggest_tags", return_value=[]), \ - mock.patch.object(scanner, "_detect_correspondent", return_value=None), \ - mock.patch.object(scanner, "_classify_document_type", return_value=None), \ - mock.patch.object(scanner, "_suggest_storage_path", return_value=None), \ - mock.patch.object(scanner, "_extract_custom_fields", return_value={}), \ - mock.patch.object(scanner, "_suggest_workflows", return_value=[]), \ - mock.patch.object(scanner, "_suggest_title", return_value=None): - + with ( + mock.patch.object(scanner, "_extract_tables") as mock_extract_tables, + mock.patch.object(scanner, "_extract_entities", return_value={}), + mock.patch.object(scanner, "_suggest_tags", return_value=[]), + mock.patch.object(scanner, "_detect_correspondent", return_value=None), + mock.patch.object(scanner, "_classify_document_type", return_value=None), + mock.patch.object(scanner, "_suggest_storage_path", return_value=None), + mock.patch.object(scanner, "_extract_custom_fields", return_value={}), + mock.patch.object(scanner, "_suggest_workflows", return_value=[]), + mock.patch.object(scanner, "_suggest_title", return_value=None), + ): result = scanner.scan_document(self.document, "Document text") mock_extract_tables.assert_not_called() @@ -1265,8 +1335,11 @@ class TestApplyScanResults(TestCase): scan_result = AIScanResult() scan_result.correspondent = (self.correspondent.id, 0.90) - with mock.patch.object(self.document, "save", - side_effect=Exception("Save failed")): + with mock.patch.object( + self.document, + "save", + side_effect=Exception("Save failed"), + ): with self.assertRaises(Exception): with transaction.atomic(): scanner.apply_scan_results( @@ -1327,15 +1400,16 @@ class TestEdgeCasesAndErrorHandling(TestCase): """Test scanning document with empty text.""" scanner = AIDocumentScanner() - with mock.patch.object(scanner, "_extract_entities", return_value={}), \ - mock.patch.object(scanner, "_suggest_tags", return_value=[]), \ - mock.patch.object(scanner, "_detect_correspondent", return_value=None), \ - mock.patch.object(scanner, "_classify_document_type", return_value=None), \ - mock.patch.object(scanner, "_suggest_storage_path", return_value=None), \ - mock.patch.object(scanner, "_extract_custom_fields", return_value={}), \ - mock.patch.object(scanner, "_suggest_workflows", return_value=[]), \ - mock.patch.object(scanner, "_suggest_title", return_value=None): - + with ( + mock.patch.object(scanner, "_extract_entities", return_value={}), + mock.patch.object(scanner, "_suggest_tags", return_value=[]), + mock.patch.object(scanner, "_detect_correspondent", return_value=None), + mock.patch.object(scanner, "_classify_document_type", return_value=None), + mock.patch.object(scanner, "_suggest_storage_path", return_value=None), + mock.patch.object(scanner, "_extract_custom_fields", return_value={}), + mock.patch.object(scanner, "_suggest_workflows", return_value=[]), + mock.patch.object(scanner, "_suggest_title", return_value=None), + ): result = scanner.scan_document(self.document, "") self.assertIsNotNone(result) @@ -1346,15 +1420,16 @@ class TestEdgeCasesAndErrorHandling(TestCase): scanner = AIDocumentScanner() long_text = "A" * 100000 - with mock.patch.object(scanner, "_extract_entities", return_value={}), \ - mock.patch.object(scanner, "_suggest_tags", return_value=[]), \ - mock.patch.object(scanner, "_detect_correspondent", return_value=None), \ - mock.patch.object(scanner, "_classify_document_type", return_value=None), \ - mock.patch.object(scanner, "_suggest_storage_path", return_value=None), \ - mock.patch.object(scanner, "_extract_custom_fields", return_value={}), \ - mock.patch.object(scanner, "_suggest_workflows", return_value=[]), \ - mock.patch.object(scanner, "_suggest_title", return_value=None): - + with ( + mock.patch.object(scanner, "_extract_entities", return_value={}), + mock.patch.object(scanner, "_suggest_tags", return_value=[]), + mock.patch.object(scanner, "_detect_correspondent", return_value=None), + mock.patch.object(scanner, "_classify_document_type", return_value=None), + mock.patch.object(scanner, "_suggest_storage_path", return_value=None), + mock.patch.object(scanner, "_extract_custom_fields", return_value={}), + mock.patch.object(scanner, "_suggest_workflows", return_value=[]), + mock.patch.object(scanner, "_suggest_title", return_value=None), + ): result = scanner.scan_document(self.document, long_text) self.assertIsNotNone(result) @@ -1364,15 +1439,16 @@ class TestEdgeCasesAndErrorHandling(TestCase): scanner = AIDocumentScanner() special_text = "Test with émojis 😀 and special chars: <>{}[]|\\`~" - with mock.patch.object(scanner, "_extract_entities", return_value={}), \ - mock.patch.object(scanner, "_suggest_tags", return_value=[]), \ - mock.patch.object(scanner, "_detect_correspondent", return_value=None), \ - mock.patch.object(scanner, "_classify_document_type", return_value=None), \ - mock.patch.object(scanner, "_suggest_storage_path", return_value=None), \ - mock.patch.object(scanner, "_extract_custom_fields", return_value={}), \ - mock.patch.object(scanner, "_suggest_workflows", return_value=[]), \ - mock.patch.object(scanner, "_suggest_title", return_value=None): - + with ( + mock.patch.object(scanner, "_extract_entities", return_value={}), + mock.patch.object(scanner, "_suggest_tags", return_value=[]), + mock.patch.object(scanner, "_detect_correspondent", return_value=None), + mock.patch.object(scanner, "_classify_document_type", return_value=None), + mock.patch.object(scanner, "_suggest_storage_path", return_value=None), + mock.patch.object(scanner, "_extract_custom_fields", return_value={}), + mock.patch.object(scanner, "_suggest_workflows", return_value=[]), + mock.patch.object(scanner, "_suggest_title", return_value=None), + ): result = scanner.scan_document(self.document, special_text) self.assertIsNotNone(result) diff --git a/src/documents/tests/test_ai_scanner_integration.py b/src/documents/tests/test_ai_scanner_integration.py index 7673fa4c9..4e03d01f8 100644 --- a/src/documents/tests/test_ai_scanner_integration.py +++ b/src/documents/tests/test_ai_scanner_integration.py @@ -299,15 +299,16 @@ class TestAIScannerIntegrationPerformance(TestCase): documents.append(doc) # Mock to avoid actual ML loading - with mock.patch.object(scanner, "_extract_entities", return_value={}), \ - mock.patch.object(scanner, "_suggest_tags", return_value=[]), \ - mock.patch.object(scanner, "_detect_correspondent", return_value=None), \ - mock.patch.object(scanner, "_classify_document_type", return_value=None), \ - mock.patch.object(scanner, "_suggest_storage_path", return_value=None), \ - mock.patch.object(scanner, "_extract_custom_fields", return_value={}), \ - mock.patch.object(scanner, "_suggest_workflows", return_value=[]), \ - mock.patch.object(scanner, "_suggest_title", return_value=None): - + with ( + mock.patch.object(scanner, "_extract_entities", return_value={}), + mock.patch.object(scanner, "_suggest_tags", return_value=[]), + mock.patch.object(scanner, "_detect_correspondent", return_value=None), + mock.patch.object(scanner, "_classify_document_type", return_value=None), + mock.patch.object(scanner, "_suggest_storage_path", return_value=None), + mock.patch.object(scanner, "_extract_custom_fields", return_value={}), + mock.patch.object(scanner, "_suggest_workflows", return_value=[]), + mock.patch.object(scanner, "_suggest_title", return_value=None), + ): results = [] for doc in documents: result = scanner.scan_document(doc, doc.content) @@ -411,9 +412,9 @@ class TestAIScannerIntegrationConfidenceLevels(TestCase): scan_result = AIScanResult() scan_result.tags = [ - (self.tag_high.id, 0.90), # Should be applied + (self.tag_high.id, 0.90), # Should be applied (self.tag_medium.id, 0.70), # Should be suggested - (self.tag_low.id, 0.50), # Should be ignored + (self.tag_low.id, 0.50), # Should be ignored ] result = scanner.apply_scan_results( @@ -448,15 +449,16 @@ class TestAIScannerIntegrationGlobalInstance(TestCase): content="Test content", ) - with mock.patch.object(scanner1, "_extract_entities", return_value={}), \ - mock.patch.object(scanner1, "_suggest_tags", return_value=[]), \ - mock.patch.object(scanner1, "_detect_correspondent", return_value=None), \ - mock.patch.object(scanner1, "_classify_document_type", return_value=None), \ - mock.patch.object(scanner1, "_suggest_storage_path", return_value=None), \ - mock.patch.object(scanner1, "_extract_custom_fields", return_value={}), \ - mock.patch.object(scanner1, "_suggest_workflows", return_value=[]), \ - mock.patch.object(scanner1, "_suggest_title", return_value=None): - + with ( + mock.patch.object(scanner1, "_extract_entities", return_value={}), + mock.patch.object(scanner1, "_suggest_tags", return_value=[]), + mock.patch.object(scanner1, "_detect_correspondent", return_value=None), + mock.patch.object(scanner1, "_classify_document_type", return_value=None), + mock.patch.object(scanner1, "_suggest_storage_path", return_value=None), + mock.patch.object(scanner1, "_extract_custom_fields", return_value={}), + mock.patch.object(scanner1, "_suggest_workflows", return_value=[]), + mock.patch.object(scanner1, "_suggest_title", return_value=None), + ): result1 = scanner1.scan_document(document, document.content) result2 = scanner2.scan_document(document, document.content) @@ -476,15 +478,16 @@ class TestAIScannerIntegrationEdgeCases(TestCase): content="", ) - with mock.patch.object(scanner, "_extract_entities", return_value={}), \ - mock.patch.object(scanner, "_suggest_tags", return_value=[]), \ - mock.patch.object(scanner, "_detect_correspondent", return_value=None), \ - mock.patch.object(scanner, "_classify_document_type", return_value=None), \ - mock.patch.object(scanner, "_suggest_storage_path", return_value=None), \ - mock.patch.object(scanner, "_extract_custom_fields", return_value={}), \ - mock.patch.object(scanner, "_suggest_workflows", return_value=[]), \ - mock.patch.object(scanner, "_suggest_title", return_value=None): - + with ( + mock.patch.object(scanner, "_extract_entities", return_value={}), + mock.patch.object(scanner, "_suggest_tags", return_value=[]), + mock.patch.object(scanner, "_detect_correspondent", return_value=None), + mock.patch.object(scanner, "_classify_document_type", return_value=None), + mock.patch.object(scanner, "_suggest_storage_path", return_value=None), + mock.patch.object(scanner, "_extract_custom_fields", return_value={}), + mock.patch.object(scanner, "_suggest_workflows", return_value=[]), + mock.patch.object(scanner, "_suggest_title", return_value=None), + ): result = scanner.scan_document(document, document.content) self.assertIsInstance(result, AIScanResult) @@ -521,15 +524,16 @@ class TestAIScannerIntegrationEdgeCases(TestCase): content="Société française • 日本語 • Ελληνικά • مرحبا", ) - with mock.patch.object(scanner, "_extract_entities", return_value={}), \ - mock.patch.object(scanner, "_suggest_tags", return_value=[]), \ - mock.patch.object(scanner, "_detect_correspondent", return_value=None), \ - mock.patch.object(scanner, "_classify_document_type", return_value=None), \ - mock.patch.object(scanner, "_suggest_storage_path", return_value=None), \ - mock.patch.object(scanner, "_extract_custom_fields", return_value={}), \ - mock.patch.object(scanner, "_suggest_workflows", return_value=[]), \ - mock.patch.object(scanner, "_suggest_title", return_value=None): - + with ( + mock.patch.object(scanner, "_extract_entities", return_value={}), + mock.patch.object(scanner, "_suggest_tags", return_value=[]), + mock.patch.object(scanner, "_detect_correspondent", return_value=None), + mock.patch.object(scanner, "_classify_document_type", return_value=None), + mock.patch.object(scanner, "_suggest_storage_path", return_value=None), + mock.patch.object(scanner, "_extract_custom_fields", return_value={}), + mock.patch.object(scanner, "_suggest_workflows", return_value=[]), + mock.patch.object(scanner, "_suggest_title", return_value=None), + ): result = scanner.scan_document(document, document.content) self.assertIsInstance(result, AIScanResult) diff --git a/src/documents/tests/test_api_ai_endpoints.py b/src/documents/tests/test_api_ai_endpoints.py index dfb272403..8a5b181ec 100644 --- a/src/documents/tests/test_api_ai_endpoints.py +++ b/src/documents/tests/test_api_ai_endpoints.py @@ -35,13 +35,19 @@ class TestAISuggestionsEndpoint(DirectoriesMixin, APITestCase): # Create users self.superuser = User.objects.create_superuser( - username="admin", email="admin@test.com", password="admin123", + username="admin", + email="admin@test.com", + password="admin123", ) self.user_with_permission = User.objects.create_user( - username="permitted", email="permitted@test.com", password="permitted123", + username="permitted", + email="permitted@test.com", + password="permitted123", ) self.user_without_permission = User.objects.create_user( - username="regular", email="regular@test.com", password="regular123", + username="regular", + email="regular@test.com", + password="regular123", ) # Assign view permission @@ -174,10 +180,14 @@ class TestApplyAISuggestionsEndpoint(DirectoriesMixin, APITestCase): # Create users self.superuser = User.objects.create_superuser( - username="admin", email="admin@test.com", password="admin123", + username="admin", + email="admin@test.com", + password="admin123", ) self.user_with_permission = User.objects.create_user( - username="permitted", email="permitted@test.com", password="permitted123", + username="permitted", + email="permitted@test.com", + password="permitted123", ) # Assign apply permission @@ -284,10 +294,14 @@ class TestAIConfigurationEndpoint(DirectoriesMixin, APITestCase): # Create users self.superuser = User.objects.create_superuser( - username="admin", email="admin@test.com", password="admin123", + username="admin", + email="admin@test.com", + password="admin123", ) self.user_without_permission = User.objects.create_user( - username="regular", email="regular@test.com", password="regular123", + username="regular", + email="regular@test.com", + password="regular123", ) def test_unauthorized_access_denied(self): @@ -362,13 +376,19 @@ class TestDeletionApprovalEndpoint(DirectoriesMixin, APITestCase): # Create users self.superuser = User.objects.create_superuser( - username="admin", email="admin@test.com", password="admin123", + username="admin", + email="admin@test.com", + password="admin123", ) self.user_with_permission = User.objects.create_user( - username="permitted", email="permitted@test.com", password="permitted123", + username="permitted", + email="permitted@test.com", + password="permitted123", ) self.user_without_permission = User.objects.create_user( - username="regular", email="regular@test.com", password="regular123", + username="regular", + email="regular@test.com", + password="regular123", ) # Assign approval permission @@ -501,7 +521,9 @@ class TestEndpointPermissionIntegration(DirectoriesMixin, APITestCase): # Create user with all AI permissions self.power_user = User.objects.create_user( - username="power_user", email="power@test.com", password="power123", + username="power_user", + email="power@test.com", + password="power123", ) content_type = ContentType.objects.get_for_model(Document) diff --git a/src/documents/tests/test_api_deletion_requests.py b/src/documents/tests/test_api_deletion_requests.py index a1e65c27a..410a1d878 100644 --- a/src/documents/tests/test_api_deletion_requests.py +++ b/src/documents/tests/test_api_deletion_requests.py @@ -29,7 +29,10 @@ class TestDeletionRequestAPI(APITestCase): # Create users self.user1 = User.objects.create_user(username="user1", password="pass123") self.user2 = User.objects.create_user(username="user2", password="pass123") - self.admin = User.objects.create_superuser(username="admin", password="admin123") + self.admin = User.objects.create_superuser( + username="admin", + password="admin123", + ) # Create test documents self.doc1 = Document.objects.create( diff --git a/src/documents/tests/test_consumer.py b/src/documents/tests/test_consumer.py index 22e7bd495..29679eb97 100644 --- a/src/documents/tests/test_consumer.py +++ b/src/documents/tests/test_consumer.py @@ -1244,7 +1244,7 @@ class TestConsumerAIScannerIntegration( ): """ Integration tests for AI Scanner in the consumer pipeline. - + These tests verify the complete workflow from document upload/consumption through AI scanning to metadata application, ensuring: - End-to-end pipeline functionality @@ -1340,7 +1340,7 @@ class TestConsumerAIScannerIntegration( def test_ai_scanner_end_to_end_integration(self, mock_get_scanner): """ Test 1: End-to-end integration test (upload → consumption → AI scan → metadata) - + Verifies that the complete pipeline works from document upload through AI scanning to metadata application. """ @@ -1366,9 +1366,21 @@ class TestConsumerAIScannerIntegration( mock_scanner.apply_scan_results.return_value = { "applied": { "tags": [{"id": tag1.id, "name": "Invoice", "confidence": 0.85}], - "correspondent": {"id": correspondent.id, "name": "Test Corp", "confidence": 0.90}, - "document_type": {"id": doc_type.id, "name": "Invoice", "confidence": 0.85}, - "storage_path": {"id": storage_path.id, "name": "Invoices", "confidence": 0.80}, + "correspondent": { + "id": correspondent.id, + "name": "Test Corp", + "confidence": 0.90, + }, + "document_type": { + "id": doc_type.id, + "name": "Invoice", + "confidence": 0.85, + }, + "storage_path": { + "id": storage_path.id, + "name": "Invoices", + "confidence": 0.80, + }, "custom_fields": [], "workflows": [], }, @@ -1407,7 +1419,7 @@ class TestConsumerAIScannerIntegration( def test_ai_scanner_with_ml_disabled(self): """ Test 2: Test with ML components disabled (graceful degradation) - + Verifies that consumption continues normally when ML features are disabled, demonstrating graceful degradation. """ @@ -1427,7 +1439,7 @@ class TestConsumerAIScannerIntegration( def test_ai_scanner_failure_graceful_degradation(self, mock_get_scanner): """ Test 3: Test with AI scanner failures (error handling) - + Verifies that document consumption continues even when AI scanner fails, ensuring the core consumption pipeline remains functional. """ @@ -1452,7 +1464,7 @@ class TestConsumerAIScannerIntegration( def test_ai_scanner_with_pdf_document(self, mock_get_scanner): """ Test 4a: Test with PDF document type - + Verifies AI scanner works correctly with PDF documents. """ mock_scanner = MagicMock() @@ -1478,9 +1490,10 @@ class TestConsumerAIScannerIntegration( def test_ai_scanner_with_image_document(self, mock_get_scanner): """ Test 4b: Test with image document type - + Verifies AI scanner works correctly with image documents. """ + # Create a PNG parser mock def make_png_parser(logging_group, progress_callback=None): return DummyParser( @@ -1523,7 +1536,7 @@ class TestConsumerAIScannerIntegration( def test_ai_scanner_performance(self, mock_get_scanner): """ Test 5: Performance test with documents (<2s additional time) - + Verifies that AI scanning adds minimal overhead to document consumption. """ import time @@ -1550,14 +1563,18 @@ class TestConsumerAIScannerIntegration( # With mocks, this should be very fast (<1s). # TODO: Implement proper performance testing with real ML models in integration/performance test suite. elapsed_time = end_time - start_time - self.assertLess(elapsed_time, 1.0, "Consumer with AI scanner (mocked) took too long") + self.assertLess( + elapsed_time, + 1.0, + "Consumer with AI scanner (mocked) took too long", + ) @mock.patch("documents.ai_scanner.get_ai_scanner") @override_settings(PAPERLESS_ENABLE_AI_SCANNER=True) def test_ai_scanner_transaction_rollback(self, mock_get_scanner): """ Test 6: Test with transactions and rollbacks - + Verifies that AI scanner respects database transactions and handles rollbacks correctly. """ @@ -1597,7 +1614,7 @@ class TestConsumerAIScannerIntegration( def test_ai_scanner_multiple_documents_concurrent(self, mock_get_scanner): """ Test 7: Test with multiple documents simultaneously - + Verifies that AI scanner can handle multiple documents being processed in sequence (simulating concurrent processing). """ @@ -1655,7 +1672,7 @@ class TestConsumerAIScannerIntegration( def test_ai_scanner_with_text_content(self, mock_get_scanner): """ Test 4c: Test with plain text content - + Verifies AI scanner receives and processes document text content correctly. """ mock_scanner = MagicMock() @@ -1680,7 +1697,7 @@ class TestConsumerAIScannerIntegration( def test_ai_scanner_disabled_by_setting(self): """ Test: AI scanner can be disabled via settings - + Verifies that when PAPERLESS_ENABLE_AI_SCANNER is False, the AI scanner is not invoked at all. """ diff --git a/src/documents/tests/test_ml_smoke.py b/src/documents/tests/test_ml_smoke.py index 91d829179..db7f759ea 100644 --- a/src/documents/tests/test_ml_smoke.py +++ b/src/documents/tests/test_ml_smoke.py @@ -23,8 +23,7 @@ class TestMLDependenciesAvailable: import torch assert version.parse(torch.__version__) >= version.parse("2.0.0"), ( - f"PyTorch version {torch.__version__} is too old. " - f"Minimum required: 2.0.0" + f"PyTorch version {torch.__version__} is too old. Minimum required: 2.0.0" ) def test_transformers_available(self): @@ -41,8 +40,7 @@ class TestMLDependenciesAvailable: import cv2 assert version.parse(cv2.__version__) >= version.parse("4.8.0"), ( - f"OpenCV version {cv2.__version__} is too old. " - f"Minimum required: 4.8.0" + f"OpenCV version {cv2.__version__} is too old. Minimum required: 4.8.0" ) def test_sentence_transformers_available(self): @@ -65,8 +63,7 @@ class TestMLDependenciesAvailable: import numpy as np assert version.parse(np.__version__) >= version.parse("1.26.0"), ( - f"NumPy version {np.__version__} is too old. " - f"Minimum required: 1.26.0" + f"NumPy version {np.__version__} is too old. Minimum required: 1.26.0" ) def test_pandas_available(self): @@ -74,8 +71,7 @@ class TestMLDependenciesAvailable: import pandas as pd assert version.parse(pd.__version__) >= version.parse("2.0.0"), ( - f"Pandas version {pd.__version__} is too old. " - f"Minimum required: 2.0.0" + f"Pandas version {pd.__version__} is too old. Minimum required: 2.0.0" ) diff --git a/src/documents/views.py b/src/documents/views.py index c77dd5a09..9dcdfe5aa 100644 --- a/src/documents/views.py +++ b/src/documents/views.py @@ -1363,7 +1363,7 @@ class UnifiedSearchViewSet(DocumentViewSet): def ai_suggestions(self, request, pk=None): """ Get AI suggestions for a document. - + Returns AI-generated suggestions for tags, correspondent, document type, storage path, custom fields, workflows, and title. """ @@ -1387,7 +1387,9 @@ class UnifiedSearchViewSet(DocumentViewSet): scan_result = scanner.scan_document( document=document, document_text=document.content, - original_file_path=document.source_path if hasattr(document, "source_path") else None, + original_file_path=document.source_path + if hasattr(document, "source_path") + else None, ) # Convert scan result to serializable format @@ -1400,9 +1402,14 @@ class UnifiedSearchViewSet(DocumentViewSet): return Response(serializer.validated_data) except Exception as e: - logger.error(f"Error getting AI suggestions for document {pk}: {e}", exc_info=True) + logger.error( + f"Error getting AI suggestions for document {pk}: {e}", + exc_info=True, + ) return Response( - {"detail": "Error generating AI suggestions. Please check the logs for details."}, + { + "detail": "Error generating AI suggestions. Please check the logs for details.", + }, status=500, ) @@ -1410,7 +1417,7 @@ class UnifiedSearchViewSet(DocumentViewSet): def apply_suggestion(self, request, pk=None): """ Apply an AI suggestion to a document. - + Records user feedback and applies the suggested change. """ from documents.models import AISuggestionFeedback @@ -1477,26 +1484,37 @@ class UnifiedSearchViewSet(DocumentViewSet): user=request.user, ) - return Response({ - "status": "success", - "message": result_message, - }) + return Response( + { + "status": "success", + "message": result_message, + }, + ) else: return Response( {"detail": "Invalid suggestion type or missing value"}, status=400, ) - except (Tag.DoesNotExist, Correspondent.DoesNotExist, - DocumentType.DoesNotExist, StoragePath.DoesNotExist): + except ( + Tag.DoesNotExist, + Correspondent.DoesNotExist, + DocumentType.DoesNotExist, + StoragePath.DoesNotExist, + ): return Response( {"detail": "Referenced object not found"}, status=404, ) except Exception as e: - logger.error(f"Error applying suggestion for document {pk}: {e}", exc_info=True) + logger.error( + f"Error applying suggestion for document {pk}: {e}", + exc_info=True, + ) return Response( - {"detail": "Error applying suggestion. Please check the logs for details."}, + { + "detail": "Error applying suggestion. Please check the logs for details.", + }, status=500, ) @@ -1504,7 +1522,7 @@ class UnifiedSearchViewSet(DocumentViewSet): def reject_suggestion(self, request, pk=None): """ Reject an AI suggestion for a document. - + Records user feedback for improving AI accuracy. """ from documents.models import AISuggestionFeedback @@ -1533,15 +1551,22 @@ class UnifiedSearchViewSet(DocumentViewSet): user=request.user, ) - return Response({ - "status": "success", - "message": "Suggestion rejected and feedback recorded", - }) + return Response( + { + "status": "success", + "message": "Suggestion rejected and feedback recorded", + }, + ) except Exception as e: - logger.error(f"Error rejecting suggestion for document {pk}: {e}", exc_info=True) + logger.error( + f"Error rejecting suggestion for document {pk}: {e}", + exc_info=True, + ) return Response( - {"detail": "Error rejecting suggestion. Please check the logs for details."}, + { + "detail": "Error rejecting suggestion. Please check the logs for details.", + }, status=500, ) @@ -1549,7 +1574,7 @@ class UnifiedSearchViewSet(DocumentViewSet): def ai_suggestion_stats(self, request): """ Get statistics about AI suggestion accuracy. - + Returns aggregated data about applied vs rejected suggestions, accuracy rates, and confidence scores. """ @@ -1571,13 +1596,23 @@ class UnifiedSearchViewSet(DocumentViewSet): ).count() # Calculate accuracy rate - accuracy_rate = (total_applied / total_feedbacks * 100) if total_feedbacks > 0 else 0 + accuracy_rate = ( + (total_applied / total_feedbacks * 100) if total_feedbacks > 0 else 0 + ) # Get statistics by suggestion type using a single aggregated query - stats_by_type = AISuggestionFeedback.objects.values("suggestion_type").annotate( + stats_by_type = AISuggestionFeedback.objects.values( + "suggestion_type", + ).annotate( total=Count("id"), - applied=Count("id", filter=Q(status=AISuggestionFeedback.STATUS_APPLIED)), - rejected=Count("id", filter=Q(status=AISuggestionFeedback.STATUS_REJECTED)), + applied=Count( + "id", + filter=Q(status=AISuggestionFeedback.STATUS_APPLIED), + ), + rejected=Count( + "id", + filter=Q(status=AISuggestionFeedback.STATUS_REJECTED), + ), ) # Build the by_type dictionary using the aggregated results @@ -1592,25 +1627,36 @@ class UnifiedSearchViewSet(DocumentViewSet): "total": type_total, "applied": type_applied, "rejected": type_rejected, - "accuracy_rate": (type_applied / type_total * 100) if type_total > 0 else 0, + "accuracy_rate": (type_applied / type_total * 100) + if type_total > 0 + else 0, } # Get average confidence scores - avg_confidence_applied = AISuggestionFeedback.objects.filter( - status=AISuggestionFeedback.STATUS_APPLIED, - ).aggregate(Avg("confidence"))["confidence__avg"] or 0.0 + avg_confidence_applied = ( + AISuggestionFeedback.objects.filter( + status=AISuggestionFeedback.STATUS_APPLIED, + ).aggregate(Avg("confidence"))["confidence__avg"] + or 0.0 + ) - avg_confidence_rejected = AISuggestionFeedback.objects.filter( - status=AISuggestionFeedback.STATUS_REJECTED, - ).aggregate(Avg("confidence"))["confidence__avg"] or 0.0 + avg_confidence_rejected = ( + AISuggestionFeedback.objects.filter( + status=AISuggestionFeedback.STATUS_REJECTED, + ).aggregate(Avg("confidence"))["confidence__avg"] + or 0.0 + ) # Get recent suggestions (last 10) - recent_suggestions = AISuggestionFeedback.objects.order_by("-created_at")[:10] + recent_suggestions = AISuggestionFeedback.objects.order_by("-created_at")[ + :10 + ] # Build response data from documents.serializers.ai_suggestions import ( AISuggestionFeedbackSerializer, ) + data = { "total_suggestions": total_feedbacks, "total_applied": total_applied, @@ -1620,7 +1666,8 @@ class UnifiedSearchViewSet(DocumentViewSet): "average_confidence_applied": avg_confidence_applied, "average_confidence_rejected": avg_confidence_rejected, "recent_suggestions": AISuggestionFeedbackSerializer( - recent_suggestions, many=True, + recent_suggestions, + many=True, ).data, } @@ -1633,7 +1680,9 @@ class UnifiedSearchViewSet(DocumentViewSet): except Exception as e: logger.error(f"Error getting AI suggestion statistics: {e}", exc_info=True) return Response( - {"detail": "Error getting statistics. Please check the logs for details."}, + { + "detail": "Error getting statistics. Please check the logs for details.", + }, status=500, ) @@ -3481,10 +3530,12 @@ class DeletionRequestViewSet(ModelViewSet): ) @extend_schema( - responses={200: inline_serializer( - name="PendingCountResponse", - fields={"count": serializers.IntegerField()}, - )}, + responses={ + 200: inline_serializer( + name="PendingCountResponse", + fields={"count": serializers.IntegerField()}, + ), + }, ) @action(detail=False, methods=["get"]) def pending_count(self, request): @@ -3611,11 +3662,13 @@ class AISuggestionsView(GenericAPIView): for tag_id, confidence in scan_result.tags: try: tag = Tag.objects.get(pk=tag_id) - response_data["tags"].append({ - "id": tag.id, - "name": tag.name, - "confidence": confidence, - }) + response_data["tags"].append( + { + "id": tag.id, + "name": tag.name, + "confidence": confidence, + }, + ) except Tag.DoesNotExist: # Tag was suggested by AI but no longer exists; skip it pass @@ -3698,7 +3751,11 @@ class ApplyAISuggestionsView(GenericAPIView): ) # Check if user has permission to change this document - if not has_perms_owner_aware(request.user, "documents.change_document", document): + if not has_perms_owner_aware( + request.user, + "documents.change_document", + document, + ): return Response( {"error": "Permission denied"}, status=status.HTTP_403_FORBIDDEN, @@ -3715,10 +3772,16 @@ class ApplyAISuggestionsView(GenericAPIView): selected_tags = serializer.validated_data.get("selected_tags", []) if selected_tags: # Apply only selected tags - tags_to_apply = [tag_id for tag_id, _ in scan_result.tags if tag_id in selected_tags] + tags_to_apply = [ + tag_id for tag_id, _ in scan_result.tags if tag_id in selected_tags + ] else: # Apply all high-confidence tags - tags_to_apply = [tag_id for tag_id, conf in scan_result.tags if conf >= scanner.auto_apply_threshold] + tags_to_apply = [ + tag_id + for tag_id, conf in scan_result.tags + if conf >= scanner.auto_apply_threshold + ] for tag_id in tags_to_apply: try: @@ -3729,7 +3792,10 @@ class ApplyAISuggestionsView(GenericAPIView): # Tag not found; skip applying this tag pass - if serializer.validated_data.get("apply_correspondent") and scan_result.correspondent: + if ( + serializer.validated_data.get("apply_correspondent") + and scan_result.correspondent + ): corr_id, confidence = scan_result.correspondent try: correspondent = Correspondent.objects.get(pk=corr_id) @@ -3739,7 +3805,10 @@ class ApplyAISuggestionsView(GenericAPIView): # Correspondent not found; skip applying pass - if serializer.validated_data.get("apply_document_type") and scan_result.document_type: + if ( + serializer.validated_data.get("apply_document_type") + and scan_result.document_type + ): type_id, confidence = scan_result.document_type try: doc_type = DocumentType.objects.get(pk=type_id) @@ -3749,7 +3818,10 @@ class ApplyAISuggestionsView(GenericAPIView): # Document type not found; skip applying pass - if serializer.validated_data.get("apply_storage_path") and scan_result.storage_path: + if ( + serializer.validated_data.get("apply_storage_path") + and scan_result.storage_path + ): path_id, confidence = scan_result.storage_path try: storage_path = StoragePath.objects.get(pk=path_id) @@ -3759,18 +3831,23 @@ class ApplyAISuggestionsView(GenericAPIView): # Storage path not found; skip applying pass - if serializer.validated_data.get("apply_title") and scan_result.title_suggestion: + if ( + serializer.validated_data.get("apply_title") + and scan_result.title_suggestion + ): document.title = scan_result.title_suggestion applied.append(f"title: {scan_result.title_suggestion}") # Save document document.save() - return Response({ - "status": "success", - "document_id": document.id, - "applied": applied, - }) + return Response( + { + "status": "success", + "document_id": document.id, + "applied": applied, + }, + ) class AIConfigurationView(GenericAPIView): @@ -3799,7 +3876,7 @@ class AIConfigurationView(GenericAPIView): def post(self, request): """ Update AI configuration. - + Note: This updates the global scanner instance. Configuration changes will take effect immediately but may require server restart in production environments for consistency across workers. @@ -3810,23 +3887,28 @@ class AIConfigurationView(GenericAPIView): # Create new scanner with updated configuration config = {} if "auto_apply_threshold" in serializer.validated_data: - config["auto_apply_threshold"] = serializer.validated_data["auto_apply_threshold"] + config["auto_apply_threshold"] = serializer.validated_data[ + "auto_apply_threshold" + ] if "suggest_threshold" in serializer.validated_data: config["suggest_threshold"] = serializer.validated_data["suggest_threshold"] if "ml_enabled" in serializer.validated_data: config["enable_ml_features"] = serializer.validated_data["ml_enabled"] if "advanced_ocr_enabled" in serializer.validated_data: - config["enable_advanced_ocr"] = serializer.validated_data["advanced_ocr_enabled"] + config["enable_advanced_ocr"] = serializer.validated_data[ + "advanced_ocr_enabled" + ] # Update global scanner instance # WARNING: Not thread-safe. Consider storing configuration in database # and reloading on each get_ai_scanner() call for production use from documents import ai_scanner + ai_scanner._scanner_instance = AIDocumentScanner(**config) - return Response({ - "status": "success", - "message": "AI configuration updated. Changes may require server restart for consistency.", - }) - - + return Response( + { + "status": "success", + "message": "AI configuration updated. Changes may require server restart for consistency.", + }, + ) diff --git a/src/documents/views/deletion_request.py b/src/documents/views/deletion_request.py index 9e11d0856..b78af623b 100644 --- a/src/documents/views/deletion_request.py +++ b/src/documents/views/deletion_request.py @@ -27,7 +27,7 @@ logger = logging.getLogger("paperless.api") class DeletionRequestViewSet(ModelViewSet): """ ViewSet for managing deletion requests. - + Provides CRUD operations plus custom actions for approval workflow. """ @@ -37,7 +37,7 @@ class DeletionRequestViewSet(ModelViewSet): def get_queryset(self): """ Return deletion requests for the current user. - + Superusers can see all requests. Regular users only see their own requests. """ @@ -49,10 +49,10 @@ class DeletionRequestViewSet(ModelViewSet): def _can_manage_request(self, deletion_request): """ Check if current user can manage (approve/reject/cancel) the request. - + Args: deletion_request: The DeletionRequest instance - + Returns: bool: True if user is the owner or a superuser """ @@ -63,11 +63,11 @@ class DeletionRequestViewSet(ModelViewSet): def approve(self, request, pk=None): """ Approve a pending deletion request and execute the deletion. - + Validates: - User has permission (owner or admin) - Status is pending - + Returns: Response with execution results """ @@ -120,11 +120,13 @@ class DeletionRequestViewSet(ModelViewSet): logger.error( f"Failed to delete document {doc.id}: {e!s}", ) - failed_deletions.append({ - "id": doc.id, - "title": doc.title, - "error": str(e), - }) + failed_deletions.append( + { + "id": doc.id, + "title": doc.title, + "error": str(e), + }, + ) # Update completion status deletion_request.status = DeletionRequest.STATUS_COMPLETED @@ -163,11 +165,11 @@ class DeletionRequestViewSet(ModelViewSet): def reject(self, request, pk=None): """ Reject a pending deletion request. - + Validates: - User has permission (owner or admin) - Status is pending - + Returns: Response with updated deletion request """ @@ -215,11 +217,11 @@ class DeletionRequestViewSet(ModelViewSet): def cancel(self, request, pk=None): """ Cancel a pending deletion request. - + Validates: - User has permission (owner or admin) - Status is pending - + Returns: Response with updated deletion request """ @@ -245,7 +247,10 @@ class DeletionRequestViewSet(ModelViewSet): deletion_request.status = DeletionRequest.STATUS_CANCELLED deletion_request.reviewed_by = request.user deletion_request.reviewed_at = timezone.now() - deletion_request.review_comment = request.data.get("comment", "Cancelled by user") + deletion_request.review_comment = request.data.get( + "comment", + "Cancelled by user", + ) deletion_request.save() logger.info( diff --git a/src/paperless/middleware.py b/src/paperless/middleware.py index ba9f7a575..f5a5006b8 100644 --- a/src/paperless/middleware.py +++ b/src/paperless/middleware.py @@ -25,7 +25,7 @@ class ApiVersionMiddleware: class RateLimitMiddleware: """ Rate limit API requests per user/IP to prevent DoS attacks. - + Implements sliding window rate limiting using Redis cache. Different endpoints have different limits based on their resource usage. """ @@ -115,7 +115,7 @@ class RateLimitMiddleware: class SecurityHeadersMiddleware: """ Add security headers to all responses for enhanced security. - + Implements best practices for web security including: - HSTS (HTTP Strict Transport Security) - CSP (Content Security Policy) diff --git a/src/paperless/security.py b/src/paperless/security.py index a171b8c44..4ea774902 100644 --- a/src/paperless/security.py +++ b/src/paperless/security.py @@ -37,7 +37,6 @@ ALLOWED_MIME_TYPES = { "application/vnd.oasis.opendocument.presentation", "application/rtf", "text/rtf", - # Imágenes "image/jpeg", "image/png", @@ -45,7 +44,6 @@ ALLOWED_MIME_TYPES = { "image/tiff", "image/bmp", "image/webp", - # Texto "text/plain", "text/html", @@ -57,7 +55,12 @@ ALLOWED_MIME_TYPES = { # Can be overridden by settings.MAX_UPLOAD_SIZE try: from django.conf import settings - MAX_FILE_SIZE = getattr(settings, "MAX_UPLOAD_SIZE", 100 * 1024 * 1024) # 100MB por defecto + + MAX_FILE_SIZE = getattr( + settings, + "MAX_UPLOAD_SIZE", + 100 * 1024 * 1024, + ) # 100MB por defecto except ImportError: MAX_FILE_SIZE = 100 * 1024 * 1024 # 100MB in bytes @@ -85,7 +88,6 @@ MALICIOUS_PATTERNS = [ # Nota: No usar rb"/JavaScript" directamente - demasiado amplio rb"/Launch", # Launch actions son peligrosas rb"/OpenAction(?!.*?/AcroForm)", # OpenAction sin formularios - # Código ejecutable embebido (archivo) rb"/EmbeddedFile.*?\.exe", rb"/EmbeddedFile.*?\.bat", @@ -93,11 +95,9 @@ MALICIOUS_PATTERNS = [ rb"/EmbeddedFile.*?\.sh", rb"/EmbeddedFile.*?\.vbs", rb"/EmbeddedFile.*?\.ps1", - # Ejecutables (headers de binarios) rb"MZ\x90\x00", # PE executable header (Windows) rb"\x7fELF", # ELF executable header (Linux) - # SubmitForm a dominios externos no confiables rb"/SubmitForm.*?https?://(?!localhost|127\.0\.0\.1|trusted-domain\.com)", ] @@ -114,7 +114,6 @@ class FileValidationError(Exception): """Raised when file validation fails.""" - def has_whitelisted_javascript(content: bytes) -> bool: """ Check if PDF has whitelisted JavaScript (legitimate forms). @@ -148,19 +147,19 @@ def validate_mime_type(mime_type: str) -> None: def validate_uploaded_file(uploaded_file: UploadedFile) -> dict: """ Validate an uploaded file for security. - + Performs multiple checks: 1. File size validation 2. MIME type validation 3. File extension validation 4. Content validation (checks for malicious patterns) - + Args: uploaded_file: Django UploadedFile object - + Returns: dict: Validation result with 'valid' boolean and 'mime_type' - + Raises: FileValidationError: If validation fails """ @@ -207,13 +206,13 @@ def validate_uploaded_file(uploaded_file: UploadedFile) -> dict: def validate_file_path(file_path: str | Path) -> dict: """ Validate a file on disk for security. - + Args: file_path: Path to the file - + Returns: dict: Validation result - + Raises: FileValidationError: If validation fails """ diff --git a/src/paperless/urls.py b/src/paperless/urls.py index 406d12e18..6c88da1b7 100644 --- a/src/paperless/urls.py +++ b/src/paperless/urls.py @@ -47,7 +47,6 @@ from documents.views import WorkflowActionViewSet from documents.views import WorkflowTriggerViewSet from documents.views import WorkflowViewSet from documents.views import serve_logo -from documents.views.deletion_request import DeletionRequestViewSet from paperless.consumers import StatusConsumer from paperless.views import ApplicationConfigurationViewSet from paperless.views import DisconnectSocialAccountView @@ -86,7 +85,9 @@ api_router.register(r"config", ApplicationConfigurationViewSet) api_router.register(r"processed_mail", ProcessedMailViewSet) api_router.register(r"deletion_requests", DeletionRequestViewSet) api_router.register( - r"deletion-requests", DeletionRequestViewSet, basename="deletion-requests", + r"deletion-requests", + DeletionRequestViewSet, + basename="deletion-requests", )