Northius evoluciona hacia un modelo de organización tecnológica, escalable y centrada en el alumno


Todos estos proyectos se llevan a cabo, según el CIO, utilizando la metodología del Opportunity Space Tree para el desarrollo de producto digital. Esta metodología “se basa en partir de hipótesis construidas desde los datos que ya tenemos, y experimentar para validar o rechazar dichas teorías, aprendiendo continuamente de los insights que nos proporciona la telemetría de cada experimento. Es un proceso iterativo en el que, cuanto más experimentamos, más aprendemos y más oportunidades de impacto descubrimos. A medida que reducimos la incertidumbre a través de la experimentación podemos aumentar, progresivamente, el nivel de inversión sobre aquellas soluciones que realmente demuestran resolver el problema o hipótesis original”.  

Alberto Baselga, CIO de Northius.

Northius

Gestión del dato 

En este proceso de digitalización, la gestión eficiente del dato ha sido una prioridad estratégica. A lo largo del último año la organización ha llevado a cabo una transformación profunda de su arquitectura de datos, pasando de un enfoque más tradicional y fragmentado a una arquitectura moderna, escalable y pensada en el crecimiento del negocio. “Anteriormente, trabajábamos con AWS EMR y Step Functions para la orquestación de procesos, y las transformaciones se realizaban mediante scripts personalizados y vistas SQL, lo cual generaba rigidez y cierta dificultad en la trazabilidad de los datos”, explica Baselga. Con la evolución de su arquitectura, “hemos migrado a un stack mucho más ágil. Hoy en día utilizamos AWS ECS para ejecutar nuestras cargas de trabajo y Prefect.io como orquestador de pipelines, lo que nos da mayor flexibilidad y control. Para el modelado y las transformaciones de datos adoptamos dbt, una herramienta que nos permite aplicar buenas prácticas de ingeniería de software al mundo del dato, con modularidad, control de versiones y validación automática de calidad en cada paso”. 

El data lake se encuentra en AWS S3 y está estructurado en capas (Raw, Staging, Activities, Entities, Metrics), usando Apache Iceberg, que ofrece integridad de datos, versionado y transacciones ACID dentro del propio almacenamiento. Esto ha supuesto un cambio clave para asegurar consistencia y escalabilidad en el tiempo. 



Source link

Leave a Comment