Iniciar el procesamiento de datos con Kafka y Spark

El tratamiento de big data es uno de los procedimientos más complejos a los que se enfrentan las organizaciones. El proceso se complica cuando se dispone de un gran volumen de datos en tiempo real. 

En este post, descubriremos qué es el procesamiento de big data, cómo se realiza y exploraremos Apache Kafka y Spark, ¡las dos herramientas de procesamiento de datos más famosas!

¿Qué es el tratamiento de datos? ¿Cómo se realiza?

El tratamiento de datos se define como cualquier operación o conjunto de operaciones, realizadas o no mediante un proceso automatizado. Puede concebirse como la recogida, ordenación y organización de la información de acuerdo con una disposición lógica y adecuada para su interpretación.

Cuando un usuario accede a una base de datos y obtiene resultados para su búsqueda, es el tratamiento de datos el que le proporciona los resultados que necesita. La información extraída como resultado de una búsqueda es fruto del tratamiento de datos. Por eso la tecnología de la información tiene el foco de su existencia centrado en el procesamiento de datos. 

El tratamiento tradicional de los datos se realizaba con programas informáticos sencillos. Sin embargo, con la aparición de Grandes datosLas cosas han cambiado. Big Data se refiere a la información cuyo volumen puede superar los cien terabytes y petabytes.

Además, esta información se actualiza periódicamente. Algunos ejemplos son los datos procedentes de los centros de contacto, las redes sociales, los datos bursátiles, etc. A veces, estos datos también se denominan flujo de datos: un flujo de datos constante e incontrolado. Su principal característica es que los datos no tienen límites definidos, por lo que es imposible decir cuándo empieza o termina el flujo.

Los datos se procesan a medida que llegan a su destino. Algunos autores lo llaman procesamiento en tiempo real o en línea. Un enfoque diferente es el procesamiento en bloque, por lotes o fuera de línea, en el que los bloques de datos se procesan en ventanas temporales de horas o días. A menudo, el lote es un proceso que se ejecuta por la noche, consolidando los datos de ese día. Hay casos de ventanas temporales de una semana o incluso un mes que generan informes obsoletos.

Dado que las mejores plataformas de procesamiento de Big Data vía streaming son de código abierto como Kafka y Spark, estas plataformas permiten el uso de otras diferentes y complementarias. Esto significa que, al ser de código abierto, evolucionan más rápido y utilizan más herramientas. De esta forma, se reciben flujos de datos de otros lugares a un ritmo variable y sin interrupciones. 

A continuación, examinaremos dos de las herramientas de tratamiento de datos más conocidas y las compararemos:

Apache Kafka

Apache Kafka es un sistema de mensajería que crea aplicaciones de streaming con un flujo de datos continuo. Creado originalmente por LinkedIn, Kafka se basa en registros; un registro es una forma básica de almacenamiento porque cada nueva información se añade al final del archivo. 

Kafka es una de las mejores soluciones para big data porque su principal característica es su alto rendimiento. Con Apache Kafka, es posible incluso transformar el procesamiento por lotes en tiempo real,

Apache Kafka es un sistema de mensajería de publicación-suscripción en el que una aplicación publica y una aplicación que se suscribe recibe mensajes. El tiempo entre la publicación y la recepción del mensaje puede ser de milisegundos, por lo que una solución Kafka tiene baja latencia.

Funcionamiento de Kafka

La arquitectura de Apache Kafka comprende productores, consumidores y el propio clúster. El productor es cualquier aplicación que publica mensajes en el clúster. El consumidor es cualquier aplicación que recibe mensajes de Kafka. El clúster de Kafka es un conjunto de nodos que funcionan como una única instancia del servicio de mensajería.

Un clúster Kafka está formado por varios brokers. Un broker es un servidor Kafka que recibe mensajes de los productores y los escribe en el disco. Cada broker gestiona una lista de temas, y cada tema se divide en varias particiones.

Tras recibir los mensajes, el intermediario los envía a los consumidores registrados para cada tema.

La configuración de Apache Kafka se gestiona mediante Apache Zookeeper, que almacena los metadatos del clúster, como la ubicación de las particiones, la lista de nombres, la lista de temas y los nodos disponibles. Así, Zookeeper mantiene la sincronización entre los distintos elementos del clúster.

Zookeeper es importante porque Kafka es un sistema distribuido; es decir, la escritura y la lectura son realizadas por varios clientes simultáneamente. Cuando se produce un fallo, el Zookeeper elige un sustituto y recupera la operación.

Casos prácticos

Kafka se hizo popular, especialmente por su uso como herramienta de mensajería, pero su versatilidad va más allá, y puede utilizarse en una gran variedad de escenarios, como en los ejemplos siguientes.

Mensajería

Forma asíncrona de comunicación que desacopla las partes que se comunican. En este modelo, una parte envía los datos como mensaje a Kafka, para que otra aplicación los consuma posteriormente.

Seguimiento de la actividad

Permite almacenar y procesar datos de seguimiento de la interacción de un usuario con un sitio web, como páginas vistas, clics, introducción de datos, etc.; este tipo de actividad suele generar un gran volumen de datos.

Métricas

Consiste en agregar datos y estadísticas de múltiples fuentes para generar un informe centralizado.

Agregación de registros

Agrega y almacena de forma centralizada los archivos de registro procedentes de otros sistemas.

Procesamiento de flujos

El procesamiento de canalizaciones de datos consta de múltiples etapas, en las que los datos brutos se consumen a partir de temas y se agregan, enriquecen o transforman en otros temas.

Para dar soporte a estas funciones, la plataforma ofrece esencialmente tres API:

• API de flujos: Actúa como un procesador de flujos que consume datos de un tema, los transforma y los escribe en otro.

• API de conectores: Permite conectar temas a sistemas existentes, como bases de datos relacionales.

• API productoras y consumidoras: Permite a las aplicaciones publicar y consumir datos de Kafka.

Pros

Replicado, particionado y ordenado

Los mensajes en Kafka se replican en particiones a través de los nodos del clúster en el orden en que llegan para garantizar la seguridad y la velocidad de entrega.

Transformación de datos

Con Apache Kafka, incluso es posible transformar el procesamiento por lotes en tiempo real mediante la API de flujos ETL por lotes.

Acceso secuencial al disco

Apache Kafka persiste el mensaje en disco y no en memoria, ya que se supone que es más rápido. De hecho, el acceso en memoria es más rápido en la mayoría de las situaciones, especialmente si se considera el acceso a datos que se encuentran en ubicaciones aleatorias de la memoria. Sin embargo, Kafka realiza accesos secuenciales, y en este caso, el disco es más eficiente.

Apache Spark 

Apache Spark es un motor de computación de macrodatos y un conjunto de bibliotecas para el procesamiento paralelo de datos en clústeres. Spark es una evolución de Hadoop y el paradigma de programación Map-Reduce. Puede ser 100 veces más rápido gracias a su uso eficiente de la memoria que no persiste los datos en los discos mientras se procesan.

Spark se organiza en tres niveles:

• API de bajo nivel: Este nivel contiene la funcionalidad básica para ejecutar trabajos y otras funcionalidades requeridas por los otros componentes. Otras funciones importantes de esta capa son la gestión de la seguridad, la red, la programación y el acceso lógico a los sistemas de archivos HDFS, GlusterFS, Amazon S3 y otros.

• APIs estructuradas: El nivel Structured API se ocupa de la manipulación de datos a través de DataSets o DataFrames, que pueden ser leídos en formatos como Hive, Parquet, JSON y otros. Usando SparkSQL (API que nos permite escribir consultas en SQL), podemos manipular los datos de la forma que queramos.

• Nivel alto: En el nivel más alto, tenemos el ecosistema Spark con varias bibliotecas, como Spark Streaming, Spark MLlib y Spark GraphX. Estas bibliotecas se encargan de la ingesta de streaming y de los procesos que la rodean, como la recuperación de fallos, la creación y validación de modelos clásicos de aprendizaje automático y el manejo de grafos y algoritmos.

Funcionamiento de Spark

La arquitectura de una aplicación Spark consta de tres partes principales:

Programa de conductores: Se encarga de orquestar la ejecución del tratamiento de datos.

Administrador de clústeres: Es el componente encargado de gestionar las diferentes máquinas de un cluster. Solo es necesario si Spark se ejecuta de forma distribuida.

Trabajadores Nodos: Son las máquinas que realizan las tareas de un programa. Si Spark se ejecuta localmente en su máquina, desempeñará un papel de Driver Program y Workes. Esta forma de ejecutar Spark se denomina Standalone.

El código de Spark puede escribirse en distintos lenguajes. La consola de Spark, llamada Spark Shell, es interactiva para aprender y explorar datos.

La denominada aplicación Spark se compone de uno o varios Jobs, lo que permite soportar el procesamiento de datos a gran escala.

Cuando hablamos de ejecución, Spark tiene dos modos:

• Cliente: El controlador se ejecuta directamente en el cliente, que no pasa por el gestor de recursos.

• Grupo: Controlador ejecutándose en el Maestro de Aplicaciones a través del Gestor de Recursos (En modo Cluster, si el cliente se desconecta, la aplicación continuará ejecutándose).

Es necesario utilizar Spark correctamente para que los servicios vinculados, como el Gestor de Recursos, puedan identificar la necesidad de cada ejecución, proporcionando el mejor rendimiento. Así que depende del desarrollador conocer la mejor forma de ejecutar sus trabajos Spark, estructurando la llamada realizada, y para ello, puede estructurar y configurar los ejecutores Spark de la forma que desee.

Los trabajos Spark utilizan principalmente memoria, por lo que es habitual ajustar los valores de configuración de Spark para los ejecutores de los nodos de trabajo. En función de la carga de trabajo de Spark, es posible determinar que una determinada configuración de Spark no estándar proporciona ejecuciones más óptimas. Para ello, se pueden realizar pruebas de comparación entre las distintas opciones de configuración disponibles y la propia configuración Spark por defecto.

Casos de uso

Apache Spark ayuda a procesar enormes cantidades de datos, ya sean en tiempo real o archivados, estructurados o no estructurados. Estos son algunos de sus casos de uso más populares.

Enriquecimiento de datos

A menudo, las empresas utilizan una combinación de datos históricos de clientes con datos de comportamiento en tiempo real. Spark puede ayudar a construir una canalización ETL continua para convertir los datos de eventos no estructurados en datos estructurados.

Detección de eventos desencadenantes

Spark Streaming permite una rápida detección y respuesta a algunos comportamientos raros o sospechosos que podrían indicar un posible problema o fraude. 

Análisis de datos de sesiones complejas

Utilizando Spark Streaming, los eventos relacionados con la sesión del usuario, como sus actividades después de iniciar sesión en la aplicación, se pueden agrupar y analizar. Esta información también puede utilizarse continuamente para actualizar los modelos de aprendizaje automático. 

Pros

Tratamiento iterativo

Si la tarea consiste en procesar datos repetidamente, los conjuntos de datos distribuidos resilientes (RDD) de Spark permiten realizar múltiples operaciones de mapeo en memoria sin tener que escribir los resultados intermedios en el disco.

Tratamiento gráfico

El modelo computacional de Spark con GraphX API es excelente para los cálculos iterativos típicos del procesamiento gráfico.

Aprendizaje automático

Spark cuenta con MLlib, una biblioteca de aprendizaje automático integrada que dispone de algoritmos ya creados que también se ejecutan en memoria.

Kafka frente a Spark

Aunque el interés de la gente tanto por Kafka como por Spark ha sido casi similar, existen algunas diferencias importantes entre ambos; echemos un vistazo.

#1. Tratamiento de datos

Kafka es una herramienta de streaming y almacenamiento de datos en tiempo real responsable de la transferencia de datos entre aplicaciones, pero no es suficiente para construir una solución completa. Por lo tanto, se necesitan otras herramientas para tareas que Kafka no realiza, como Spark. Spark, por su parte, es una plataforma de procesamiento de datos por lotes que extrae datos de temas de Kafka y los transforma en esquemas combinados. 

#2. Gestión de la memoria

Spark utiliza Robust Distributed Datasets (RDD) para la gestión de la memoria. En lugar de intentar procesar enormes conjuntos de datos, los distribuye entre varios nodos de un clúster. En cambio, Kafka utiliza un acceso secuencial similar al de HDFS y almacena los datos en una memoria intermedia.

#3. Transformación ETL

Tanto Spark como Kafka soportan el proceso de transformación ETL, que copia registros de una base de datos a otra, normalmente de una base transaccional (OLTP) a una base analítica (OLAP). Sin embargo, a diferencia de Spark, que viene con una capacidad incorporada para el proceso ETL, Kafka depende de Streams API para soportarlo. 

#4. Persistencia de datos

El uso de RRD por parte de Spark permite almacenar los datos en varias ubicaciones para su uso posterior, mientras que en Kafka es necesario definir objetos de conjunto de datos en la configuración para persistir los datos. 

#5. Dificultad

Spark es una solución completa y más fácil de aprender gracias a su compatibilidad con varios lenguajes de programación de alto nivel. Kafka depende de diversas API y módulos de terceros, lo que puede dificultar el trabajo con él.

#6. Recuperación

Tanto Spark como Kafka ofrecen opciones de recuperación. Spark utiliza RRD, lo que le permite guardar datos continuamente y, si se produce un fallo en el clúster, se pueden recuperar.

Kafka replica continuamente los datos dentro del clúster y los replica entre brokers, lo que permite pasar a los distintos brokers si se produce un fallo.

Similitudes entre Spark y Kafka

Palabras finales

Kafka y Spark son herramientas de código abierto escritas en Scala y Java que permiten crear aplicaciones de flujo de datos en tiempo real. Tienen varias cosas en común, como el procesamiento con estado, la compatibilidad con SQLy ETL. Kafka y Spark también pueden utilizarse como herramientas complementarias para ayudar a resolver el problema de la complejidad de la transferencia de datos entre aplicaciones.