SUCCESS STORIES / NUBE

Eliminación de problemas de Big Data mediante una solución de BigQuery basada en la nube

Cómo migramos con éxito las cargas de trabajo de Hadoop a GCP (Plataforma en la nube de Google) para mejorar el rendimiento y reducir los costos.

Background

Hadoop se ha convertido en una solución destacada a los problemas de Big Data en la última década. Está ganando rápidamente popularidad en la industria de Big Data, lo que ha llevado a los proveedores de nube a modernizar los clústeres de Big Data. Sin embargo, administrar y escalar un clúster de Hadoop puede ser complejo y costoso, y requiere una fuerza laboral dedicada.

Dados estos desafíos, es crucial que las empresas consideren soluciones alternativas que puedan optimizar sus procesos de Big Data y mejorar sus resultados.

menu-img

72% REDUCCIÓN DE COSTES DIARIOS

21% MENORES COSTOS DE MANTENIMIENTO DE INFRAESTRUCTURA

24% ACELERACIÓN DE LA HORA DE COMPRAR

Client Situation

El cliente es un líder mundial en la prestación de comunicaciones por cable, inalámbricas y de banda ancha en los EE. UU. Heredaron un clúster Hadoop de 3500 nodos como parte de su adquisición. Se incurrió en una cantidad significativa de costos para mantener la infraestructura y el ecosistema Hadoop, que el cliente quería evitar.

El cliente buscaba un socio que le ayudara a migrar su lago de datos Hadoop a Google Cloud Platform (GCP) (Plataforma en la nube de Google). Esto implica la transferencia de enormes cantidades de datos desde Hadoop a una infraestructura basada en GCP. Además, requiere optimizar el entorno actualizado para un manejo y almacenamiento eficiente de datos, lo que agrega gastos generales.

Nuestro enfoque preventivo de Hadoop ayudó al cliente a combatir los problemas de Big Data utilizando herramientas basadas en la nube y mejorar su rendimiento en un 86 %.

Diagnosis

El cliente intentó migrar su infraestructura de Data Lake a la plataforma Big Data Query (consulta de Big Data) de GCP. Sin embargo, tuvieron que lidiar con las limitaciones técnicas de los marcos y orquestadores de Hadoop, las limitaciones de recursos y las medidas de reducción de costos.

Aunque el cliente se benefició de la tecnología de almacenamiento de datos (DW) líder en la industria, se enfrentó a un considerable aumento de costos diarios, lo que hizo que la migración fuera más desafiante.

Evidentemente, los clústeres de Hadoop no eran una solución viable para las necesidades de procesamiento de datos. Debido a la naturaleza dinámica del procesamiento de datos, el cliente necesitaba explorar alternativas importantes, incluidas plataformas basadas en la nube que fueran escalables, confiables y rentables.

Solving It

El equipo de Prodapt revisó minuciosamente su infraestructura existente y brindó recomendaciones sobre el enfoque de migración. Implementamos sus canales de datos utilizando un enfoque nativo de la nube con los servicios nativos de GCP como BigQuery, Cloud Storage y Dataflow para poner el plan en acción.

Al pasar a GCP, el cliente pudo utilizar sus funciones integradas, como Cloud Composer y Looker.

GCP Cloud Composer (Compositor de Nubes) nos ayudó a automatizar y optimizar flujos de trabajo complejos durante la reestructuración. Looker, una herramienta de observabilidad, permitió la gestión proactiva de los canales de procesamiento de datos, optimizó el rendimiento laboral y redujo los costos.

Integramos Opsgenie, una herramienta de gestión de incidentes con GCP que activaba alertas en tiempo real sobre métricas y eventos, escalaba incidentes automáticamente para su reparación, construía colaboración entre equipos y organizaba procesos de respuesta a incidentes

Prodapt ha introducido nuevos aceleradores que hacen que sea más fácil y rápido crear, comparar, migrar y probar diferentes tipos de datos en una base de datos. Esto ha llevado a una reducción significativa en el esfuerzo y los costos generales.

En 6 meses, los costos diarios se redujeron en un 72 %. Al trasladar la canalización de datos de Hadoop a BigQuery, los costos de mantenimiento de la infraestructura se redujeron en un 21 %. Nuestros aceleradores y marcos también ayudaron al cliente a acelerar su tiempo de comercialización en un 24 %.

RELATED SUCCESS STORIES

See all success stories

NUBE

La solución impulsada por Google Anthos acelera el lanzamiento de nuevos servicios de semanas a días

Cómo las aplicaciones nativas de la nube y la automatización transformaron a un gigante irlandés de las comunicaciones para que estuviera preparado para el futuro

NUBE

El modelado predictivo ayuda a detectar a los clientes insatisfechos y a retenerlos también

Cómo un proveedor de comunicaciones con sede en LATAM empleó la tecnología de aprendizaje automático (ML) para reducir la pérdida de clientes y aumentar el ROI de marketing
Let’s connect

How can we help?

We'd love to hear from you.

Talk to a consultant