Por qué Pandas es la biblioteca de análisis de datos de Python más popular

Pandas es la biblioteca de análisis de datos más popular para Python. Es muy utilizada por analistas de datos, científicos de datos e ingenieros de aprendizaje automático.

Junto con NumPy, es una de las bibliotecas y herramientas imprescindibles para cualquiera que trabaje con datos e IA.

En este artículo, exploraremos Pandas y las características que lo hacen tan popular en el ecosistema de datos.

¿Qué es Pandas?

Pandas es una biblioteca de análisis de datos para Python. Esto significa que se utiliza para trabajar y manipular datos desde dentro de su código Python. Con Pandas, puede leer, manipular, visualizar, analizar y almacenar datos de forma eficiente.

El nombre 'Pandas' proviene de la unión de las palabras Panel Datos, un término econométrico que se refiere a los datos obtenidos de la observación de múltiples individuos a lo largo del tiempo. Pandas fue lanzado originalmente en enero de 2008 por Wes Kinney, y desde entonces ha crecido hasta convertirse en la biblioteca más popular para su caso de uso.

En el corazón de Pandas se encuentran dos estructuras de datos esenciales con las que debería estar familiarizado, Dataframes y Series. Cuando crea o carga un conjunto de datos en Pandas, se representa como una de esas dos estructuras de datos.

En la siguiente sección, exploraremos qué son, en qué se diferencian y cuándo es ideal utilizar cualquiera de ellas.

Estructuras de datos clave

Como se mencionó anteriormente, todos los datos en Pandas se representan utilizando una de las dos estructuras de datos, un Dataframe o una Serie. Estas dos estructuras de datos se explican en detalle a continuación.

Marco de datos

Un Marco de datos en Pandas es una estructura de datos bidimensional con columnas y filas. Es similar a una hoja de cálculo en su aplicación de hoja de cálculo o a una tabla en una base de datos relacional.

Se compone de columnas, y cada columna representa un atributo o característica en su conjunto de datos. Estas columnas se componen a su vez de valores individuales. Esta lista o serie de valores individuales se representa como un objeto Serie. Hablaremos de la estructura de datos Serie con más detalle más adelante en este artículo.

Las columnas de un marco de datos pueden tener nombres descriptivos para que se distingan unas de otras. Estos nombres se asignan cuando se crea o se carga el marco de datos, pero pueden renombrarse fácilmente en cualquier momento.

Los valores de una columna tienen que ser del mismo tipo de datos, aunque las columnas no tienen por qué contener datos del mismo tipo. Esto significa que una columna de nombre en un conjunto de datos almacenará exclusivamente cadenas. Pero el mismo conjunto de datos puede tener otras columnas, como la edad, que almacenen ints.

Los marcos de datos también tienen un índice que se utiliza para hacer referencia a las filas. Los valores de diferentes columnas pero con el mismo índice forman una fila. Por defecto, los índices están numerados pero pueden reasignarse para adaptarse al conjunto de datos. En el ejemplo (imagen superior, codificada a continuación), asignamos la columna del índice a la columna "meses".

import pandas as pd

sales_df = pd.DataFrame({
 'Mes': ['Enero', 'Febrero', 'Marzo'],
 'NN': [5000, 6000, 5500],
 'Juan Pérez': [4500, 6700, 6000]
})

sales_df.set_index(['Mes'], inplace=True)

print(sales_df)

Serie

Como se ha comentado anteriormente, una Serie se utiliza para representar una Pandas data column. Una Serie es, por tanto, una estructura de datos unidimensional. Esto contrasta con un Dataframe que es bidimensional.

Aunque una Serie se utiliza comúnmente como una columna en un Dataframe, también puede representar un conjunto de datos completo por sí mismo, siempre que el conjunto de datos tenga un solo atributo que se registre en una sola columna. O mejor dicho, el conjunto de datos sea simplemente una lista de valores.

Dado que una Serie es simplemente una columna, no necesita tener un nombre. Sin embargo, los valores de la Serie están indexados. Al igual que el índice de un marco de datos, el marco de datos de una Serie puede modificarse respecto a la numeración por defecto.

En el ejemplo (imagen superior, codificada a continuación), el índice se ha establecido en diferentes meses utilizando el método set_axis de un objeto Serie de Pandas.

import pandas as pd

total_ventas = pd.Series([9500, 12700, 11500])
meses = ['Enero', 'Febrero', 'Marzo']

total_ventas = total_ventas.set_axis(meses)

print(total_ventas)

Características de los pandas

Ahora que tiene una buena idea de lo que es Pandas y las estructuras de datos clave que utiliza, podemos empezar a discutir las características que hacen de Pandas una librería de análisis de datos tan potente y, como resultado, increíblemente popular dentro de los ecosistemas de Ciencia de Datos y Aprendizaje Automático.

#1. Manipulación de datos

Los objetos Dataframe y Series son mutables. Puede añadir o eliminar columnas según sea necesario. Además, Pandas le permite añadir filas e incluso fusionar conjuntos de datos.

Puede realizar cálculos numéricos, como normalizar datos y hacer comparaciones lógicas elemento a elemento. Pandas también le permite agrupar datos y aplicar funciones de agregación como media, promedio, máx. y mín. Esto hace que trabajar con datos en Pandas sea pan comido.

#2. Limpieza de datos

Los datos obtenidos del mundo real a menudo tienen valores que hacen que sea difícil trabajar con ellos o que no sean ideales para el análisis o el uso en modelos de aprendizaje automático. Los datos podrían ser del tipo incorrecto, estar en el formato equivocado o simplemente faltar por completo. En cualquier caso, estos datos necesitan un preprocesamiento, denominado limpieza, antes de poder ser utilizados.

Pandas dispone de funciones que le ayudarán a limpiar sus datos. Por ejemplo, en Pandas, puede eliminar filas duplicadas, eliminar columnas o filas con datos que faltan y sustituir valores por valores predeterminados o por algún otro valor, como la media de la columna. Hay más funciones y bibliotecas que trabajan con Pandas para permitirle hacer más limpieza de datos.

#3. Visualización de datos

Aunque no es una librería de visualización como Matplotlib, Pandas tiene funciones para crear visualizaciones básicas de datos. Y aunque son básicas, siguen haciendo el trabajo en la mayoría de los casos.

Con Pandas, puede trazar fácilmente gráficos de barras, histogramas, matrices de dispersión y otros tipos diferentes de gráficos. Combine eso con algunas manipulaciones de datos que puede hacer en Python, y podrá crear visualizaciones aún más complicadas para comprender mejor sus datos.

import pandas as pd

sales_df = pd.DataFrame({
 'Mes': ['Enero', 'Febrero', 'Marzo'],
 'NN': [5000, 6000, 5500],
 'Juan Pérez': [4500, 6700, 6000]
})

sales_df.set_index(['Mes'], inplace=True)

sales_df.plot.line()

#4. Análisis de series temporales

Pandas también soporta el trabajo con datos con marcas de tiempo. Cuando Pandas reconoce que una columna tiene valores de fecha-hora, puede realizar muchas operaciones en la misma columna que son útiles cuando se trabaja con datos de series temporales.

Entre ellas se incluyen agrupar observaciones por periodo de tiempo y aplicarles funciones agregadas, como la suma o la media, u obtener las observaciones más tempranas o más tardías utilizando mín y máx. Hay, por supuesto, muchas más cosas que puede hacer con datos de series temporales en Pandas.

#5. Entrada/Salida en Pandas

Pandas es capaz de leer datos de los formatos de almacenamiento de datos más comunes. Estos incluyen JSON, volcados SQL y CSVs. También puede escribir datos en archivos en muchos de estos formatos.

Esta capacidad de leer desde y escribir en diferentes formatos de archivos de datos permite a Pandas interoperar sin problemas con otras aplicaciones y construir pipelines de datos que se integran bien con Pandas. Esta es una de las razones por las que Pandas es ampliamente utilizado por muchos desarrolladores.

#6. Integración con otras bibliotecas

Pandas también tiene un rico ecosistema de herramientas y bibliotecas construidas sobre él para complementar su funcionalidad. Esto la convierte en una biblioteca aún más potente y útil.

Las herramientas dentro del ecosistema de Pandas mejoran su funcionalidad en diferentes áreas, incluyendo limpieza de datos, visualización, aprendizaje automático, entrada/salida y paralelización. Pandas mantiene un registro de dichas herramientas en su documentación.

Consideraciones sobre rendimiento y eficiencia en Pandas

Aunque Pandas brilla en la mayoría de las operaciones, puede ser notoriamente lento. El lado positivo es que puede optimizar su código y mejorar su velocidad. Para ello, tiene que entender cómo está construido Pandas.

Pandas está construido sobre NumPyuna popular biblioteca de Python para el cálculo numérico y científico. Por lo tanto, al igual que NumPy, Pandas funciona de forma más eficiente cuando las operaciones se vectorizan en lugar de seleccionar celdas o filas individuales mediante bucles.

La vectorización es una forma de paralelización en la que la misma operación se aplica a múltiples puntos de datos a la vez. Es lo que se conoce como SIMD: instrucción única, datos múltiples. Aprovechar las operaciones vectorizadas mejorará la velocidad y el rendimiento de Pandas de forma espectacular.

Debido a que utilizan matrices NumPy bajo el capó, las estructuras de datos DataFrame y Series son más rápidas que sus alternativas diccionarios y listas.

La implementación por defecto de Pandas se ejecuta en un solo núcleo de CPU. Otra forma de acelerar su código es utilizar librerías que permitan a Pandas utilizar todos los núcleos de CPU disponibles. Entre ellas se incluyen Dask, Vaex, Modin e IPython.

Comunidad y recursos

Al ser una biblioteca popular del lenguaje de programación más popular, Pandas tiene una gran comunidad de usuarios y colaboradores. Como resultado, hay muchos recursos a los que recurrir para aprender a utilizarlo. Entre ellos se incluye la documentación oficial de Pandas. Pero también hay innumerables cursos, tutoriales y libros con los que aprender.

También hay comunidades en línea en plataformas como Reddit en los subreddits r/Python y r/Ciencia de datos para hacer preguntas y obtener respuestas. Al ser una biblioteca de código abierto, puede informar de problemas en GitHub e incluso contribuir con código.

Palabras finales

Pandas es increíblemente útil y potente como biblioteca de ciencia de datos. En este artículo, he intentado explicar su popularidad explorando las características que lo convierten en la herramienta a la que acuden los científicos de datos y los programadores.

A continuación, eche un vistazo a cómo crear un Pandas DataFrame.