Data Science N022 NaN - Not a Number (continuación)

Continuaremos con el tema tratado en la publicación anterior: NaN - Not a Number. Trabajaremos con un archivo .CSV creado por mi. Ver Capture de Pantalla N01, en el cual coloqué toda la última columna con NaN al igual que la 4ta fila.

Iniciaremos, como siempre, llamando a la libraría pandas y luego cargaremos la información del .csv por medio de un Data Frame (Ver Capture de Pantalla N02)

Con .isnull() e .isna() podemos ver los valores NaN, si existen, con un valor booleano. En este caso True para todos los que se consigan dentro de nuetro Data Frame. Ver Capture de Pantalla N03 y N04 donde podemos apreciar mejor.

Con respecto a .notna() nos arroja un booleano pero con el valor contrario a .isnull() e .isna(). Ver Capture de pantalla N05.

Cual utilizar, depende! En programación siempre debemos tener (y siempre hay) diferentes funciones, métodos o estructuras para atacar un problema. Ahora dependerá de como estemos atacando el problema determinar si nos conviende el uso del Valor True o False. Por ahora estamos usando estructuras básicas y estamos trabajando con datos reducidos (para ejemplificar) pero más adelante trabajaremos con cientos o miles de datos, como ya lo he mencionado en publicaciones anteriores.

Con la siguiente instrucción, podemos eliminar toda la Columna con valor NaN

Y con la siguiente instrucción, podemos eliminar toda la fila con valor NaN.

Es importante que cuando trabajemos con la eliminación de la fila, debemos aplicarle el .dropna() a la columna que ya limpiamos. Se observa mejor comparando los dos casos (columnas y filas) en los captures de pantalla N06 y N07.

En determinado momento necesitamos cambiar el valor NaN por un valor (en este caso lo cambié por cero, podemos usar otro valor que nos convenga) y también (lo veremos más adelante) podemos cambiar el valor NaN por el promedio de los demas valores de una columna (o por otra operación matemática), suponiendo que solo hay uno o pocos NaN dentro de una columna.

Para hacer este ejercicios llamamos nuevamenmte nuestros datos originaeles. Ver Capture de pantalla N08

Para este cambio al valor cero de todos los NaN usaremos .fillna(). Podemos usar otro número de acuerdo a nuestra conveniencia. Ver Capture de pantalla N09

Podemos cambiar a cero toda la columna L5. Ver Capture de pantalla N10