Descripción general del proyecto

El proyecto es un MVP (Producto Mínimo Viable) para un agente inteligente que ayuda a las entidades públicas a optimizar el uso de sus activos de datos abiertos y, con ello, mejorar la calidad de la toma de decisiones institucionales, especialmente para la planificación sectorial (por ejemplo, movilidad pública).Se conecta conceptualmente con el Portal Nacional de Datos Abiertos de Colombia (https://www.datos.gov.co/), y está pensado para que una entidad pueda evaluar sus propios activos, entender su estado (calidad, cobertura, actualización, uso) y recibir recomendaciones accionables sobre cómo priorizar mejoras y qué datos usar en decisiones clave.

Propósito y reto que aborda

• Reto:

Optimizar el uso de activos de datos abiertos para la toma de decisiones institucionales, apoyando la planificación sectorial mediante un flujo de agente básico.

• Objetivo general:

Optimizar el uso de los activos de datos abiertos, con el fin de mejorar la calidad de la toma de decisiones institucionales.

• Objetivos específicos:

1. Diagnosticar la coherencia y cobertura del inventario de activos de datos abiertos.
2. Calcular métricas de complejidad de metadatos, frecuencia de actualización y cobertura temática para monitoreo y mejora continua.
3. Generar un informe de diagnóstico, con visualizaciones, sobre activos de un sector clave (por ejemplo, movilidad pública).

Componentes principales del sistema

• Modelos de datos (models/activo.py)
• ActivoAbierto: representa cada activo de datos (dataset, API, documento, indicador, servicio) con:
• Atributos básicos: id, nombre, descripción, tipo (TipoActivo), sector (Sector), URL, fechas, formato, tamaño, uso frecuente, tags, metadata.
• Decision, PlanificacionSectorial: representan decisiones institucionales y planes sectoriales asociados a sectores concretos.
• PrediccionRubro: permite guardar resultados de modelos de ML que predicen a qué sector/rubro pertenece un activo y con qué probabilidad.
• Procesador y analítica de activos (core/procesador_activos.py)
• Obtiene (simulados por ahora) conjuntos de ActivoAbierto desde una fuente (data_source_url, por defecto https://www.datos.gov.co/).
• Calcula métricas avanzadas de calidad por activo:
• Frescura (según fechas de publicación/actualización).
• Uso (normalización de accesos).
• Completitud de metadatos (descripción, formato, tags, metadata).
• Diversidad de tags.
• Puntaje total y puntaje para toma de decisiones.
• Optimiza la selección de activos:
• Permite priorizar activos según criterios ponderados (calidad, uso, actualización).
• Aplica bonificaciones/penalizaciones (ej. bonifica buena metadata, penaliza ausencia de actualizaciones).
• Genera recomendaciones sectoriales:
• Analiza calidad promedio, frescura, diversidad de tipos, uso promedio.
• Sugiere acciones:
• Mejorar calidad o frecuencia de actualización.
• Diversificar tipos de activos (más APIs, servicios, indicadores).
• Crear nuevos activos donde hay brechas.
• Agente y flujo de trabajo (core/agente.py, core/flujo.py, api/flujo.py, api/main.py)
• Implementan un agente básico que:
• Orquesta el flujo: obtener activos → analizarlos → optimizarlos → generar recomendaciones y diagnósticos.
• Expone funcionalidades a través de una API (con FastAPI) para:
• Consultar activos filtrados por sector/tipo.
• Obtener recomendaciones para un sector (por ejemplo, movilidad).
• Generar diagnósticos y posibles decisiones apoyadas en datos.
• Permite que otros sistemas (dashboards, aplicativos internos) consuman estos resultados.
• Configuración y entorno (config.py, run.py, requirements.txt)
• config.py: centraliza configuración:
• Nombre y versión del agente.
• Host y puerto del servidor.
• URL base de datos abiertos (https://www.datos.gov.co/).
• Parámetros de concurrencia y API keys opcionales.
• run.py: script de arranque de la API con uvicorn.
• requirements.txt: define dependencias (FastAPI, Pydantic, aiohttp, pandas, numpy, etc.).

Flujo funcional del MVP

1. Conexión / referencia a datos abiertos

• El sistema asume como fuente base la URL https://www.datos.gov.co/ (o una URL similar configurada por la entidad).
• A partir de allí, el agente o scripts pueden construir un inventario de activos relevantes (por ejemplo, desde el Excel de muestra Datos Abiertos.xlsx u otras fuentes).

1. Modelado del inventario

• Cada activo se convierte en un objeto ActivoAbierto, normalizando:
• Tipo, sector, URL, fechas, formato, uso y metadatos.
• Esto permite un tratamiento homogéneo de activos muy distintos.

1. Cálculo de métricas y diagnóstico

• Para cada activo, el procesador calcula:
• Calidad de datos (score original y métricas derivadas).
• Frescura y actualización.
• Uso y potencial de reutilización.
• Completitud y diversidad de metadatos.
• Se genera un diagnóstico agregado:
• Calidad promedio por sector.
• Tasa de activos actualizados.
• Brechas de tipos y sectores.
• Activos con alto/ bajo uso.

1. Optimización y recomendaciones

• El agente aplica un algoritmo de optimización que:
• Pondera calidad, frescura y uso.
• Ordena y selecciona los activos más relevantes.
• Genera recomendaciones textuales:
• “Activos recomendados para el sector X: …”
• “Oportunidad: faltan activos de tipo Y para el sector Z”.
• “Se recomienda mejorar actualización en estos activos concretos”.

1. Soporte a planificación sectorial

• Para un sector específico (como movilidad pública), el sistema:
• Identifica activos clave.
• Señala brechas de información.
• Proporciona insumos para planes, proyectos, o inversión en tecnologías (por ejemplo, creación de APIs, servicios de datos en tiempo real, modelos predictivos).

Alineación con objetivos e impacto

• Diagnóstico de coherencia y cobertura
• El proyecto permite ver:
• Qué sectores tienen buena base de datos abiertos.
• Dónde hay cobertura insuficiente o redundante.
• Métricas para monitoreo y mejora continua
• Las métricas calculadas (calidad, frescura, metadata, uso) convierten el inventario en un objeto de monitoreo permanente, no estático.
• Informe y visualizaciones para movilidad pública
• El sistema está preparado para integrarse con un flujo que genere informes sectoriales con gráficos e indicadores clave.
• Impacto en gobernanza y decisiones
• Gobernanza de datos más eficiente:
• Prioriza qué activos mejorar, actualizar o crear.
• Da soporte a roles de gobierno de datos (CIO, responsables de datos).
• Decisiones hacia tecnologías disruptivas:
• Permite identificar dónde tiene sentido invertir en:
• APIs abiertas,
• servicios de tiempo real,
• modelos de IA/ML,
• tableros de control avanzados.

Enfoque de caso de estudio

El archivo Datos Abiertos.xlsx se usa como caso de estudio para demostrar:

• Cómo un inventario real (con miles de filas) puede ser:
• Estandarizado en el modelo ActivoAbierto.
• Analizado con métricas de calidad, cobertura y actualización.
• Traducido en recomendaciones concretas para un sector (como movilidad pública).
• Cómo el agente puede, a partir de datos reales, observar el estado actual y pronosticar prioridades de acción, alineadas con los objetivos del reto.