Etapas del análisis de datos

Todos analizamos datos, las cuentas de la casa, la evaluación del crédito para renovar el auto y también las décimas que faltan para pasar el semestre.

Evaluar estos número de la vida cotidiana es relativamente sencillo, pero esos pocos números te ayudarán a tomar una decisión.

Un analista de datos no ve pocos números, por el contrario, trabaja en un mar de datos que debe procesar y visualizar con el fin de tomar una decisión. y para que este análisis llegue a buen puerto a lo largo de los años he llegado a la conclusión que hay que pasar por cuatro etapas que te ayudarán a enfocar tus energías en los datos y visualizaciones que son realmente importante y no perder el tiempo buceando por todo el repositorio de datos.

Estas etapas las llamo así

Etapas del análisis de datos

Estas cuatro etapas tienen tiempos y formas de ejecución distintos, y además son requisitos ligadas en su ejecución, que quiero decir que debes realizarlas en orden y terminar una etapa para iniciar la otra.

Es importante que a cada etapa le coloques las ganas que amerita a cada una de ellas, debido a que el éxito de una etapa te condicionará el éxito de la siguiente.

Pero bueno, veamos las etapa

Conocer

Conoce el Negocio

Cada organización es un mundo distinto, y por lo mismo debemos conocerlo tal como es, y esto es como la nasa, antes de enviar personas a marte primero envió satélites, luego vehículos robotizados y luego de evaluar todo recién tomará la decisión de si puedes ir a habitar marte. En las organizaciones es lo mismo, por muy similares que sean una con la otra, no es lo mismo, no es la misma cultura, los mismos accionistas, trabajadores, nada, pero absolutamente nada es lo mismo. Por esto enfócate en estos tres puntos.

1.-Conoce el negocio: Enfócate en conocer que es lo que venden, y como lo venden, ¿Son productos o servicios? ¿comprados o fabricados?

2.- Conoce los proceso: Conoce todos los procesos que hay para concretar la venta, desde la compra a los proveedores hasta la venta. los procesos de apoyo como la administración, contabilidad y RRHH.

3.- Conoce a la competencia: aprende de los competidores, ¿son mejores o peores?. cuanto participan en el mercado, como y por que se distinguen de la competencia.

Profundiza

Entrevístate con la alta gerencia y averigua que es lo que ellos esperan del proyecto de análisis de datos, conoces sus apreciaciones y objetivos.

También debes entrevistarte con los usuarios para saber que es lo que necesitan y como lo necesitan. el usuario de la solución de business intelligence tiene preguntas que responder ¿Cuáles son esas pregunta? por ejemplo un vendedor quiere saber cuanto ha vendido vs la venta, un encargado de producción como va vs el programa de producción un encargado de recursos humanos la rotación de personal, etc. etc. recalco, ¿Cuál es la pregunta de tu usuario?

Por último entrevístate con TI ellos conocen la infraestructura y donde están los datos, pregunta si tienen información como origen de los datos, diccionarios de datos, donde se hospedará la solución de BI, el licenciamiento con el que podrás contar y los presupuestos de infraestructura.

Preparar

Una vez que tengas el panorama completo de cual es la empresa, que necesitan y cuales son sus recursos debes preparar el trabajo que ofrecerás a los usuarios, para esto enfoca en los siguiente

1.- Escoge una herramienta de BI: Escoge la herramienta de BI que usarás para el proyecto, esta decisión debe estar basada en los siguiente criterios

• La organización tiene alguna herramienta ya en uso

• Cual es el presupuesto

• Cual es el origen de los datos

• Cual es el volumen de los datos

• Cuanto conoces la herramienta y lograr los objetivos planteados

2.- Origen de los datos: desde donde sacaré los datos y en que estado se encuentran los datos, de esta forma estimaré cual es el esfuerzo que destinaré en el orden y limpieza de estos.

3.- Que necesitas de los usuarios: después de una entrevista de usuario siempre surgen dudas, puede ser por que dos usuarios dan información distinta a un tema, algo no está claro o lo que busca un usuario no se condice con lo que quiere la alta gerencia. Anota cada pregunta y resuélvelas antes de trabajar con los datos, en esto apóyate en el dueño del proyecto, ya que, en algunos caso se trata de temas donde dos o más personas se deben poner de acuerdo.

4.- Incorporación de procesos y tareas: en cada proyecto de análisis de datos es común que surjan nuevos procesos y/o tareas, por ejemplo un proceso de calculo de datos, el llenado de una planilla de forma semanal, o también puede ser que un proceso sea modificado, por ejemplo el llenar un campo adicional en los pedidos de clientes.

Es importante detectar cuales serán estos procesos y tareas nuevos para que la organización las pueda dimensionar, cuantificar y llevar a cabo con la calidad que el proyecto de Análisis de datos requiere.

Manos en la masa

En las etapas anteriores lo que hemos hecho es preparar el camino para esta instancia. empezar a trabajar con los datos. Si me pidieras un consejo te diría:

"Invierte el mayor tiempo posible y de calidad en las etapas anteriores, esto te evitará reprocesos y extender tiempos innecesario en la etapa de modelado de datos".

Pues si, muchas veces cuando estamos modelando los datos surgen preguntas, que en un buen proceso de levantamiento estas ya estarían resueltas. no digo que no debe pasar y mucho menos que no pasará, pero si recalco que destina un buen tiempo al proceso anterior, ya que, cada minuto que dedicas al levantamiento son horas que ganas en el procesamiento de datos.

En el proceso del trabajo con datos lo dividiremos en seis sub etapas, que al igual que en el comentario anterior si cada etapa, que es cronológica, la realizas con calidad, las siguientes no tendrán problema,

Almacenamiento de los datos

Ya deberías conocer cuales son los datos, el origen y donde los almacenaras, las alternativas son muchas: tu computador, una carpeta compartida, en la nube, una base de datos, ¿Cuál es la mejor alternativa? eso lo sabrás con el tamaño de tu organización y los recursos dispuestos para el proyecto.

En esta etapa solo ocúpate de guardar los datos donde siempre deberán estar.

También planifica quienes serán los responsables de actualizar los datos cuando sea necesario, si será un proceso manual (alguien hace los clic) o será automático (un software especializado se ocupará de buscar los datos y guardarlos en el repositorio escogido) cualquiera sea el caso ambos procesos tendrán un responsable.

Trabajar los datos

Como ya tienes los datos, pero están en bruto, ahora debes trabajar en ellos para realizar la limpieza de ellos, este proceso junto al anterior se le llama ETL por sus siglas en ingles de "Extract, Transform and Load" en español "Extracción, transformación y carga".

En esta etapa debes limpiar los datos de tal manera que sean legibles para la lectura, borras información innecesaria ¿Qué borro y qué limpio? eso lo sabrás con las preguntas que deben responder los usuarios cuando usen el proyecto.

Mostrar y validar los datos

Esta es una etapa previa a la visualización definitiva de los datos, sin embargo, esta etapa tiene como objetivo validar la calidad del trabajo con los datos con el fin de identificar posibles errores en el resultado del ETL. Acá te recomiendo que realices pequeñas tablas de resumen, nada muy pomposo, el fin de ver los datos no es que el usuario final los use si no que valides los datos, usa información de conocimiento de los usuarios que te ayude, por ejemplo, es común que el proyecto sea una mejora a un informe que ya se está realizando en Excel, ahora se está automatizando, entonces, prepara tablas que te permitan comparar los datos trabajados con los resultados de esos informes, otras fuentes pueden ser por ejemplo balances o estados de resultado.

Corrige el proceso

Lo más probable que alguna inconsistencia tuviste con los datos y tendrás corregir, y deberás buscar el error.

Cuando te pase, te sugiero que te enfoques en:

• Revisa que el período de tiempo de los datos sean los mismos con los que te esta comparando.

• Revisa tu ETL puede ser que hay un dedo mal puesto en el proceso.

• Revisa la forma de calculo del documento de comparación, me ha pasado que durante años estuvo mal calculado y nadie lo notó

Visualiza los escenarios

En este punto del proyecto los datos están corregidos, las preguntas del usuario ya están planteadas, ahora lo que tienes que hacer es preparar las visualizaciones con las que el usuario final interactuará.

Antes de mostrar las visualizaciones ponte en los pie del usuario y ha

Atribuciones