Data Science N021 NaN - Not a Number

"La limpieza de datos (en inglés data cleansing o data scrubbing) es el acto de descubrimiento y corrección o eliminación de registros de datos erróneos de una tabla o base de datos. El proceso de limpieza de datos permite identificar datos incompletos, incorrectos, inexactos, no pertinentes, etc. y luego substituir, modificar o eliminar estos datos sucios ("data duty")." Fuente: wikipedia

En le entraga anterior eliminamos el índice que se genera automáticamente, hoy seguiremos con La limpieza de datos. Trataremos el tema: Nan = Not a Number. Los NaN los podemos ubicar visualmente y por medio de sentencias que nos dan una presición más exacta de su ubicación y cantidad, para luego determinar cuales podemos eliminar y cuales no.

Todos quisiéramos que los datos estén perfectos cuando llegan a nuestras manos para trabajarlos. Pero en realidad no es así. Cuando importamos los datos a nuestro Data Frame, si algunos valores no están definidos o no tienen ningún valor, la librería pandas automáticamente los completa con la palabra: NaN.

Para el ejercicio de hoy seguiremos con los datos de la Publicación anterior. Éste es el link del origen de los datos, los cuales los descargué en el entorno virtual donde estoy tranbajando.

Al traer los datos a mi jupyter notebook, se ve claramente que la Columna Title y Team contienen el valor NaN.En este caso se ve a simple vista. Veamos el Capture de pantalla N01

En casos donde sepamos que los datos son mayores (cientos o miles) no se ve a simple vista. Para determinar los valores NaN devemos recurrir a df.shape, df.info() y df.describe(). Con shape tenemos el número de filas (registros) y columnas. Marqué con un cuadro rojo el 33 (numero de registros) ya que info me arroja que las columnas Username, Rating y Score (recuadro rojo) están completas y se ve claramente en los recuadros azules (columnas Title y Team) que no hay ningún valor (pandas le agregó el Valor NaN). También es importante describe porque me cuanta los valores contenidos en Rating y Score. Se aprecia mejor en el Capture de pantalla N02

Veremos dos formas para eliminar los NaN que tenemos en las columnas Title y Team, esto lo hacemos tomando en cuenta el estudio anterior.

En la Capture de pantalla N03 al listar (con list) las columnas podemos seleccionar las columnas que nos interesa que aparezcan en el data Frame: Username, Rating, Score y Performance (recuadro verde) y omitir las que contienen los Nan, las cuales eliminaresmos.

En la 2da forma de eliminación de columnas nos apoyaremos en la instrucción df.dropna() agregando dos argumentos. En la Capture de pantalla N04 ver línea roja (el 1 corresponde a las columnas) y la linea azul how = 'all' se usa para que elimine si todos los elementos (todos) son NaN. No eliminará la columna Performance porque contiene Valores y algunos NaN (Ver Capture de pantalla N05).