Más de 30 preguntas y respuestas de entrevistas de Hadoop

Bueno, las estadísticas de Forbes indican que hasta el 90% de las organizaciones mundiales utilizan análisis de Big Data para crear sus informes de inversión.

Con la creciente popularidad de Big Data, en consecuencia, hay un aumento en las oportunidades de trabajo de Hadoop más que antes.

Por lo tanto, para ayudarlo a obtener ese rol de experto en Hadoop, puede usar estas preguntas y respuestas de la entrevista que hemos reunido para usted en este artículo para ayudarlo a superar su entrevista.

Tal vez conocer los hechos como el rango salarial que hace que los roles de Hadoop y Big Data sean lucrativos lo motive a aprobar esa entrevista, ¿verdad? 🤔

• Según Indeed.com, un desarrollador de Big Data Hadoop con sede en EE. UU. gana un salario promedio de $ 144,000.
• Según itjobswatch.es, el salario promedio de un desarrollador de Big Data Hadoop es de £ 66,750.
• En India, la fuente de Indeed.com afirma que ganarían un salario promedio de ₹ 16,00,000.

Lucrativo, ¿no crees? Ahora, entremos para aprender sobre Hadoop.

¿Qué es Hadoop?

Hadoop es un framework popular escrito en Java que utiliza modelos de programación para procesar, almacenar y analizar grandes conjuntos de datos.

De forma predeterminada, su diseño permite escalar desde servidores únicos a varias máquinas que ofrecen computación y almacenamiento local. Además, su capacidad para detectar y manejar fallas en la capa de aplicación que dan como resultado servicios altamente disponibles hace que Hadoop sea bastante confiable.

Pasemos directamente a las preguntas más frecuentes de la entrevista de Hadoop y sus respuestas correctas.

Preguntas y respuestas de la entrevista de Hadoop

What is the Storage Unit in Hadoop?

Respuesta: La unidad de almacenamiento de Hadoop se denomina Sistema de archivos distribuidos de Hadoop (HDFS).

How is Network Attached Storage Different from Hadoop Distributed File System?

Respuesta: HDFS, que es el almacenamiento principal de Hadoop, es un sistema de archivos distribuido que almacena archivos masivos utilizando hardware básico. Por otro lado, NAS es un servidor de almacenamiento de datos informáticos a nivel de archivo que proporciona acceso a los datos a grupos de clientes heterogéneos.

Mientras que el almacenamiento de datos en NAS está en un hardware dedicado, HDFS distribuye los bloques de datos en todas las máquinas dentro del clúster de Hadoop.

NAS utiliza dispositivos de almacenamiento de gama alta, que son bastante costosos, mientras que el hardware básico utilizado en HDFS es rentable.

NAS almacena por separado los datos de los cálculos, por lo que no es adecuado para MapReduce. Por el contrario, el diseño de HDFS le permite trabajar con el marco MapReduce. Los cálculos se trasladan a los datos en el marco MapReduce en lugar de los datos a los cálculos.

Explain MapReduce in Hadoop and Shuffling

Respuesta: MapReduce hace referencia a dos tareas distintas que realizan los programas de Hadoop para permitir una gran escalabilidad en cientos o miles de servidores dentro de un clúster de Hadoop. La reproducción aleatoria, por otro lado, transfiere la salida del mapa de Mappers al Reducer necesario en MapReduce.

Give a Glimpse into Apache Pig Architecture

Respuesta: la arquitectura Apache Pig tiene un intérprete Pig Latin que procesa y analiza grandes conjuntos de datos utilizando scripts Pig Latin.

Apache pig también consta de conjuntos de conjuntos de datos en los que se realizan operaciones de datos como unir, cargar, filtrar, clasificar y agrupar.

El lenguaje Pig Latin utiliza mecanismos de ejecución como Grant shells, UDF e incrustados para escribir scripts de Pig que realizan las tareas requeridas.

Pig facilita el trabajo de los programadores al convertir estos scripts escritos en series de trabajos Map-Reduce.

Los componentes de la arquitectura Apache Pig incluyen:

• Analizador – Maneja los Pig Scripts comprobando la sintaxis del script y realizando la comprobación de tipos. La salida del analizador representa las declaraciones y los operadores lógicos de Pig Latin y se llama DAG (gráfico acíclico dirigido).
• Optimizador – El optimizador implementa optimizaciones lógicas como proyección y pushdown en el DAG.
• Compilador – Compila el plan lógico optimizado del optimizador en una serie de trabajos de MapReduce.
• Motor de ejecución – Aquí es donde ocurre la ejecución final de los trabajos de MapReduce en la salida deseada.
• Modo de ejecución – Los modos de ejecución en Apache pig incluyen principalmente local y Map Reduce.

List the Difference Between Local Metastore and Remote Metastore

Respuesta: el servicio Metastore en Local Metastore se ejecuta en la misma JVM que Hive, pero se conecta a una base de datos que se ejecuta en un proceso separado en la misma máquina o en una remota. Por otro lado, Metastore en Remote Metastore se ejecuta en su JVM separada del servicio JVM de Hive.

What are the Five V’s of Big Data?

Respuesta: Estas cinco V representan las principales características de Big Data. Incluyen:

• Valor: Big data busca proporcionar beneficios significativos de alta Retorno de la Inversión (ROI) a una organización que utiliza big data en sus operaciones de datos. Big data aporta este valor a partir de su descubrimiento de información y reconocimiento de patrones, lo que da como resultado relaciones más sólidas con los clientes y operaciones más efectivas, entre otros beneficios.
• Variedad : Esto representa la heterogeneidad del tipo de tipos de datos recopilados. Los diversos formatos incluyen CSV, vídeos, audio, etc.
• Tamaño: Esto define la cantidad y el tamaño significativos de los datos gestionados y analizados por una organización. Estos datos representan un crecimiento exponencial.
• Velocidad: Esta es la tasa de velocidad exponencial para el crecimiento de datos.
• Veracidad: La veracidad se refiere a qué tan 'inciertos' o 'inexactos' los datos disponibles se deben a que los datos son incompletos o inconsistentes.

Explain Different Data Types of Pig Latin.

Respuesta: Los tipos de datos en Pig Latin incluyen tipos de datos atómicos y tipos de datos complejos.

Los tipos de datos atómicos son los tipos de datos básicos utilizados en todos los demás idiomas. Incluyen lo siguiente:

• Int: este tipo de datos define un entero de 32 bits con signo. Ejemplo: 13
• Long: Long define un entero de 64 bits. Ejemplo: 10L
• Flotante: define un punto flotante de 32 bits con signo. Ejemplo: 2.5F
• Doble: define un punto flotante de 64 bits con signo. Ejemplo: 23.4
• Booleano: define un valor booleano. Incluye: Verdadero/Falso
• Datetime: define un valor de fecha y hora. Ejemplo: 1980-01-01T00:00.00.000+00:00

Los tipos de datos complejos incluyen:

• Map- Map se refiere a un conjunto de pares clave-valor. Ejemplo: ['color'#'amarillo', 'número'#3]
• Bolsa: es una colección de un conjunto de tuplas y utiliza el símbolo '{}'. Ejemplo: {(Henry, 32), (Kiti, 47)}
• Tupla: una tupla define un conjunto ordenado de campos. Ejemplo: (Edad, 33)

What are Apache Oozie and Apache ZooKeeper?

Respuesta: Apache Oozie es un programador de Hadoop a cargo de programar y unir trabajos de Hadoop como un solo trabajo lógico.

Apache Zookeeper, por otro lado, se coordina con varios servicios en un entorno distribuido. Les ahorra tiempo a los desarrolladores simplemente exponiendo servicios simples como sincronización, agrupación, mantenimiento de configuración y nombres. Apache Zookeeper también proporciona soporte listo para usar para la cola y la elección de líderes.

What is the Role of the Combiner, RecordReader, and Partitioner in a MapReduce Operation?

Respuesta: El combinador actúa como un mini reductor. Recibe y trabaja con los datos de las tareas del mapa y luego pasa la salida de los datos a la fase de reducción.

RecordHeader se comunica con InputSplit y convierte los datos en pares clave-valor para que el mapeador los lea adecuadamente.

El particionador es responsable de decidir la cantidad de tareas reducidas requeridas para resumir los datos y confirmar cómo se envían las salidas del combinador al reductor. El particionador también controla la partición de claves de las salidas del mapa intermedio.

Mention Different Vendor-Specific Distributions of Hadoop.

Respuesta: Los diversos proveedores que amplían las capacidades de Hadoop incluyen:

• Plataforma abierta de IBM.
• Distribución Cloudera CDH Hadoop
• Distribución MapR Hadoop
• Amazon MapReduce elástico
• Plataforma de datos de Hortonworks (HDP)
• Suite de Big Data fundamental
• Análisis empresarial de Datastax
• HDInsight de Microsoft Azure: distribución de Hadoop basada en la nube.

Why is HDFS Fault-Tolerant?

Respuesta: HDFS replica datos en diferentes DataNodes, lo que lo hace tolerante a fallas. El almacenamiento de los datos en diferentes nodos permite la recuperación desde otros nodos cuando un modo falla.

Differentiate Between a Federation and High Availability.

Respuesta: HDFS Federation ofrece tolerancia a fallas que permite el flujo continuo de datos en un nodo cuando otro falla. Por otro lado, la alta disponibilidad requerirá dos máquinas separadas que configuren el NameNode activo y el NameNode secundario en la primera y la segunda máquina por separado.

La federación puede tener un número ilimitado de NameNodes no relacionados, mientras que en Alta disponibilidad, solo están disponibles dos NameNodes relacionados, activo y en espera, que funcionan continuamente.

Los NameNodes de la federación comparten un grupo de metadatos, y cada NameNode tiene su propio grupo dedicado. Sin embargo, en alta disponibilidad, los NameNodes activos se ejecutan uno por uno, mientras que los NameNodes en espera permanecen inactivos y solo actualizan sus metadatos ocasionalmente.

How to Find the Status of Blocks and FileSystem Health?

Respuesta: Usas el hdfs fsck / Comando tanto en el nivel de usuario raíz como en un directorio individual para verificar el estado de salud del sistema de archivos HDFS.

Comando HDFS fsck en uso:

hdfs fsck / -files --blocks –locations> dfs-fsck.log

La descripción del comando:

• -files: Imprime los archivos que estás revisando.
• –ubicaciones: Imprime las ubicaciones de todos los bloques durante la verificación.

Comando para comprobar el estado de los bloques:

hdfs fsck <path> -files -blocks

• : Comienza las comprobaciones desde la ruta pasada aquí.
• – bloques: Imprime los bloques del archivo durante la comprobación

When Do You Use the rmadmin-refreshNodes and dfsadmin-refreshNodes Commands?

Respuesta: estos dos comandos son útiles para actualizar la información del nodo, ya sea durante la puesta en marcha o cuando se completa la puesta en marcha del nodo.

EL dfsadmin-refreshNodes El comando ejecuta el cliente HDFS y actualiza la configuración del nodo de NameNode. los rmadmin-refreshNodes comando, por el otro, ejecuta las tareas administrativas de ResourceManager.

What is a Checkpoint?

Respuesta: Checkpoint es una operación que fusiona los últimos cambios del sistema de archivos con el FSImage más reciente para que los archivos de registro de edición sigan siendo lo suficientemente pequeños para acelerar el proceso de iniciar un NameNode. El punto de control se produce en el NameNode secundario.

Why Do We Use HDFS for Applications Having Large Data Sets?

Respuesta: HDFS proporciona una arquitectura DataNode y NameNode que implementa un sistema de archivos distribuido.

Estas dos arquitecturas brindan acceso de alto rendimiento a los datos en clústeres altamente escalables de Hadoop. Su NameNode almacena los metadatos del sistema de archivos en la RAM, lo que da como resultado que la cantidad de memoria limite la cantidad de archivos del sistema de archivos HDFS.

What Does the ‘jps’ Command Do?

Respuesta: el comando Java Virtual Machine Process Status (JPS) comprueba si los demonios de Hadoop específicos, incluidos NodeManager, DataNode, NameNode y ResourceManager, se están ejecutando o no. Se requiere que este comando se ejecute desde la raíz para verificar los nodos operativos en el Host.

What is ‘Speculative Execution’ in Hadoop?

Respuesta: este es un proceso en el que el nodo maestro en Hadoop, en lugar de corregir las tareas lentas detectadas, inicia una instancia diferente de la misma tarea como una tarea de copia de seguridad (tarea especulativa) en otro nodo. La ejecución especulativa ahorra mucho tiempo, especialmente en un entorno de carga de trabajo intensiva.

Name the Three Modes in Which Hadoop Can Run.

Respuesta: Los tres nodos principales en los que se ejecuta Hadoop incluyen:

• El nodo independiente es el modo predeterminado que ejecuta los servicios de Hadoop mediante el sistema de archivos local y un único proceso de Java.
• El nodo pseudodistribuido ejecuta todos los servicios de Hadoop mediante una única implementación de Hadoop ode.
• El nodo totalmente distribuido ejecuta los servicios maestro y esclavo de Hadoop mediante nodos separados.

What is a UDF?

Respuesta: UDF (Funciones definidas por el usuario) le permite codificar sus funciones personalizadas que puede usar para procesar valores de columna durante una consulta impala.

What is DistCp?

Respuesta: DistCp o Distributed Copy, en resumen, es una herramienta útil para realizar grandes copias de datos entre clústeres o dentro de ellos. Usando MapReduce, DistCp implementa efectivamente la copia distribuida de una gran cantidad de datos, entre otras tareas como el manejo de errores, la recuperación y la generación de informes.

Explain a Metastore in Hive.

Respuesta: Hive metastore es un servicio que almacena metadatos de Apache Hive para las tablas de Hive en una base de datos relacional como MySQL. Proporciona la API del servicio metastore que permite el acceso a los metadatos.

Define RDD.

Respuesta: RDD, que significa Resilient Distributed Datasets, es la estructura de datos de Spark y una colección distribuida inmutable de sus elementos de datos que se computa en los diferentes nodos del clúster.

How can Native Libraries be Included in YARN Jobs?

Respuesta: Puede implementar esto usando -Djava.library. path opción en el comando o configurando LD+LIBRARY_PATH en un archivo .bashrc usando el siguiente formato:

<property>
<name>mapreduce.map.env</name>
<value>LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/path/to/my/libs</value>
</property>

Explain ‘WAL’ in HBase.

Respuesta: El registro de escritura anticipada (WAL) es un protocolo de recuperación que registra los cambios de datos de MemStore en HBase en el almacenamiento basado en archivos. WAL recupera estos datos si RegionalServer falla o antes de vaciar MemStore.

Is YARN a Replacement for Hadoop MapReduce?

Respuesta: No, YARN no es un Hadoop MapReduce reemplazo. En cambio, una poderosa tecnología llamada Hadoop 2.0 o MapReduce 2 es compatible con MapReduce.

What is the Difference Between ORDER BY and SORT BY in HIVE?

Respuesta: Si bien ambos comandos obtienen datos de manera ordenada en Hive, los resultados del uso SORT BY sólo se puede pedir parcialmente.

Además, SORT BY requiere un reductor para ordenar las filas. Estos reductores necesarios para la salida final también pueden ser múltiples. En este caso, la salida final puede ordenarse parcialmente.

Por otra parte, ORDER BY solo requiere un reductor para un pedido total en salida. También puede utilizar el LIMIT palabra clave que reduce el tiempo total de clasificación.

What is the Difference Between Spark and Hadoop?

Respuesta: Si bien tanto Hadoop como Spark son marcos de procesamiento distribuido, su diferencia clave es su procesamiento. Donde Hadoop es eficiente para el procesamiento por lotes, Spark es eficiente para el procesamiento de datos en tiempo real.

Además, Hadoop principalmente lee y escribe archivos en HDFS, mientras que Spark utiliza el concepto de conjunto de datos distribuido resistente para procesar datos en RAM.

Según su latencia, Hadoop es un marco informático de alta latencia sin un modo interactivo para procesar datos, mientras que Spark es un marco informático de baja latencia que procesa datos de forma interactiva.

Compare Sqoop and Flume.

Respuesta: Sqoop y Flume son herramientas de Hadoop que recopilan datos de varias fuentes y los cargan en HDFS.

• Sqoop (SQL-to-Hadoop) extrae datos estructurados de bases de datos, incluidos Teradata, MySQL, Oracle, etc., mientras que Flume es útil para extraer datos no estructurados de fuentes de bases de datos y cargarlos en HDFS.
• En términos de eventos impulsados, Flume está impulsado por eventos, mientras que Sqoop no está impulsado por eventos.
• Sqoop utiliza una arquitectura basada en conectores donde los conectores saben cómo conectarse a una fuente de datos diferente. Flume utiliza una arquitectura basada en agentes, con el código escrito siendo el agente a cargo de obtener los datos.
• Debido a la naturaleza distribuida de Flume, puede recopilar y agregar datos fácilmente. Sqoop es útil para la transferencia de datos en paralelo, lo que da como resultado que la salida esté en varios archivos.

Explain the BloomMapFile.

Respuesta: BloomMapFile es una clase que amplía la clase MapFile y utiliza filtros de floración dinámicos que proporcionan una prueba rápida de membresía para las claves.

List the Difference Between HiveQL and PigLatin.

Respuesta: Mientras que HiveQL es un lenguaje declarativo similar a SQL, PigLatin es un lenguaje de flujo de datos procedimental de alto nivel.

What is Data Cleansing?

Respuesta: La limpieza de datos es un proceso crucial para eliminar o reparar errores de datos identificados que incluyen datos incorrectos, incompletos, corruptos, duplicados y con formato incorrecto dentro de un conjunto de datos.

Este proceso tiene como objetivo mejorar la calidad de los datos y proporcionar información más precisa, consistente y confiable necesaria para la toma de decisiones eficiente dentro de una organización.

Conclusión💃

Con el aumento actual de las oportunidades laborales de Big data y Hadoop, es posible que desee mejorar sus posibilidades de ingresar. Las preguntas y respuestas de la entrevista de Hadoop de este artículo lo ayudarán a dominar la próxima entrevista.

A continuación, puede consultar buenos recursos para aprender Big Data y Hadoop.

¡La mejor de las suertes! 👍