Después de una exitosa asociación de dos años con Google, Twitter ahora está extendiendo el acuerdo para utilizar aún más el servicio en la nube de Google para su análisis de datos . Debajo de esto, Twitter usa muchas de las herramientas de Google Cloud como BigQuery, Dataflow, NoSQL y Machine Learning para analizar los cientos de petabytes de datos del usuario todos los días.

Twitter utiliza Google Cloud para el procesamiento de datos

Twitter se asoció con Google Cloud para su procesamiento y análisis de datos

Twitter es una plataforma en la que millones de usuarios publican miles de millones de tweets todos los días. Esto equivale a grandes volcados de datos sobre las actividades de cada usuario, que pueden no ser útiles para todos.

Pero Twitter usa estos datos para mejorar sus servicios y hacer que su plataforma sea más atractiva que nunca. Por lo tanto, debe elegir un socio que pueda manejar y procesar estos datos de manera efectiva.

Y estrechó la mano de Google Cloud en 2018 y lo utilizó para procesar sus datos fríos y los clústeres de Hadoop hasta la fecha. Ahora ha anunciado la extensión de  este acuerdo, que ahora incluye mover datos fuera de línea para su procesamiento y análisis utilizando aprendizaje automático y otras herramientas.

Twitter tiene cientos de petabytes de datos provenientes de millones de usuarios todos los días. Esto incluye más de diez puntos de datos como su actividad de me gusta, tweets, retweets, etc. Procesar esto podría ser una tarea pesada, que Google Cloud, con sus herramientas, puede hacer de manera efectiva. Esto incluye el uso de BigQuery para almacenar datos, Bigtable para NoSQL, Dataflow para el análisis de datos de transmisión, etc.

Este procesamiento y análisis automático reduce la carga de trabajo de los ingenieros y científicos de datos internos de Twitter, quienes tenían que realizar la mayoría de los trabajos como extracción, conversión, carga y modelado de datos a través de programas personalizados. Antes de Twitter, Ford se registró para usar la nube de Google para su procesamiento de datos la semana pasada.