Deezer emprendió la migración de su plataforma big data a la nube en 2019. Un proyecto en el que rápidamente se hizo imprescindible un enfoque FinOps.
Creada en 2007, Deezer construyó su servicio de streaming confiando en sus propios servidores para respaldar su crecimiento. Una posición que se ha suavizado un poco en los últimos años, a medida que su infraestructura se vuelve cada vez más híbrida.
La plataforma francesa emprendió la migración de su plataforma big data a la nube pública en 2019.
A cargo de la parte de datos de Deezer, Arthur De Kimpe detalla una migración iniciada a mediados de 2019 y que se completó a principios de 2022: “Migramos un gran clúster de Hadoop de más de cien máquinas a Dataproc, el servicio Hadoop de Nube de Google. Esta fue una migración gradual, aunque también migramos datos a BigQuery. »
Un aumento interno de las competencias de Finops
Lógicamente, a medida que crecieron los volúmenes de datos migrados, la factura de Google aumentó en consecuencia. Pero esto terminó evolucionando más allá de las estimaciones iniciales: “Los equipos estaban muy satisfechos con el cambio a la nube, habían ganado mucha eficiencia y, como resultado, utilizaban cada vez más las capacidades de la nube. El coste empezó a superar nuestras previsiones, lo que nos empujó a regular los usos para mantener el control y hacer un uso responsable de nuestro presupuesto. » especifica Arthur De Kimpe.
Su equipo adquirió rápidamente experiencia en el tema FinOps. Desde la fase de migración, implementó una arquitectura de proyectos adaptada en Google Cloud: cada equipo tiene sus propios proyectos de desarrollo y producción para simplificar los informes. Paralelamente, se pone en marcha un sistema de seguimiento y alerta a distintos niveles para detectar incrementos o descensos en el consumo.
Haga que los equipos sean responsables del control de costos
Arthur De Kimpe ha establecido una gobernanza distribuida: “Administro un equipo central que proporciona la plataforma y los datos que permiten a los equipos trabajar. Soy responsable del presupuesto total de la plataforma, pero no tengo conocimiento detallado de lo que están haciendo los equipos que tienen acceso a la plataforma. Los equipos deben tener el control de su presupuesto y ser capaces de explicar posibles aumentos y tomar medidas.
Todos deben ser conscientes de la importancia del control de costes, que nuestro enfoque on-premise no permitía, ya que añadimos máquinas en función del aumento del consumo de recursos. Los aspectos financieros y el uso de recursos estaban ocultos a los equipos. »
Hoy en día, si un equipo comienza a exceder el presupuesto asignado, debe tomar medidas para volver a cumplir con el presupuesto anual. Cada mes, los gerentes de FinOps de los equipos envían un informe de gastos y actuarán de manera proactiva con el departamento de datos para tomar las medidas adecuadas. Esto permite un aumento paulatino de las habilidades en aspectos FinOps, con el objetivo de responsabilizar a los equipos.
Arthur De Kimpe presentó este planteamiento a todos los equipos técnicos. Es este tipo de enfoque el que debería implementarse al cambiar la plataforma Deezer a la nube, con una fina granularidad en la gestión del presupuesto y una mayor autonomía para los equipos técnicos en términos de costes. Fuente: Alain Clapaud, Silicon desde Francia.
Contacto