La importancia del Big Data y la Calidad de los Datos Energéticos [ENTREVISTA]

Que si Big Data por aquí, que si Big Data por allá…, pero ¿sabemos realmente lo importante que es y será este concepto para los gestores energéticos y los profesionales de la energía?

En DEXMA sabemos que sí, por eso hemos realizado esta entrevista a uno de nuestros Data Scientists, Juan Carlos Fernández. Nos deja muy claro la importancia que tiene la calidad de los datos energéticos y que – «A la  hora de tomar decisiones, una mala calidad puede llevar a decisiones equivocadas.»

Sigue leyendo y encontrarás la entrevista completa:

¡Hola Juan Carlos! Háblanos un poco de ti, ¿cuáles son tus funciones en DEXMA?

JC. F – Formo parte del equipo de Data Science, nuestra función es utilizar Big Data, Machine Learning y modelos matemáticos y estadísticos para sacar el máximo partido a la base de datos de DEXMA y con ello crear algoritmos útiles para el ahorro energético de nuestros clientes.  

¿Cómo definirías en una sola frase el concepto Big Data?

JC. F – La  Revolución Industrial de nuestro tiempo.

¿Es importante la Calidad de los datos energéticos recogidos en consumo? ¿por qué?

JC. F – Es básica, sin unos datos de calidad los algoritmos de Inteligencia Artificial tendrán peor precisión o incluso no podrán ser utilizados en producción. A la  hora de tomar decisiones una mala calidad puede llevar a decisiones equivocadas.

¿Cuáles son los errores más comunes que pueden llevar a que nuestros datos no sean de calidad?

JC. F – Se tiende a acumular datos pensando simplemente en guardarlos sin una planificación y/o seguimiento de la calidad de los mismos. También se tiende a dar poca importancia a los metadatos y es la parte que nos ofrece el contexto de los datos.

¿Cuál es la parte más difícil de lograr una alta calidad de los datos energéticos? ¿dónde crees que está la clave?

JC. F – El flujo desde que se reciben los datos hasta que se guarda en una base de datos tiene muchos puntos críticos. Un pequeño error en uno de esos puntos puede suponer un error catastrófico en la base de datos, los errores se propagan y magnifican durante el flujo.

¡No existe la magia! La clave… métricas de la calidad y seguimiento constante. Unos datos de calidad permite modelizar sobre una base robusta.

¿Qué debe de tener en cuenta los gestores energéticos para saber si los datos son de calidad?

JC. F – Los gestores energéticos deben contestarse a tres preguntas.

• ¿Qué porcentaje de datos guardo?, ¿que partes de la instalación no tengo monitorizadas?
• Mis datos; ¿cuántos datos pierdo? ¿tienen sentido (Valores Lógicos)?
• Todos los datos que entran, ¿están etiquetados correctamente? ¿los metadatos están bien definidos?

Si la respuesta no es positiva o si directamente no saben la respuesta es cuando pueden tener problemas en la base de datos.

¿Cómo asegura la calidad de sus datos energéticos DEXMA?

En DEXMA disponemos de una infraestructura Big Data replicada con métricas y alarmas. Una métrica de calidad es una medida matemática de cuan buenos son nuestros datos. En DEXMA tenemos métricas en tiempo real. Si en algún momento la calidad baja de ciertos niveles; saltan las alarmas y actuamos para corregirlo.

¿Me podrías dar algunos ejemplos de las verificaciones de datos que se realizan en DEXMA?

JC. F – Nuestro equipo de development (equipo de desarrollo) lleva a cabo múltiples verificaciones, pero algunas de las que tenemos son:

• Filtros que detectan valores anormales producidos por errores en los medidores (ceros o valores muy elevados).
• Alertas detectables con faltas de datos, es decir, puedes configurar una alerta para que te avise si tu medidor ha dejado de enviar datos.
• Se realizan ponderaciones de datos en caso de periodos con falta de datos. Es decir, si en algún momento se detecta un dato muy elevado que realmente corresponde a un período de tiempo durante el cual no se recibió nada y los recibe todos de golpe, se realiza una ponderación que nos de el consumo real.
• “Alertas de túnel” del consumo. El sistema calcula un patrón de consumo que debería tener un medidor en base a los consumos de las últimas semanas, y se puede indicar el margen de error.

¿Algún consejo extra para los profesionales que trabajan con datos de Energía?

JC. F – Si están leyendo esto probablemente ya lo saben, pero en el futuro la diferencia entre un producto bueno y uno excelente será la calidad de los datos en los que se basa cada uno de ellos.

Mejorar la base de datos hoy puede suponer una gran ventaja competitiva el día de mañana, inviertan en el futuro.

---

Tras esta entrevista a Juan Carlos, podemos ver cómo los datos y su analítica forma parte de cualquiera de los aspectos de nuestros negocios actualmente. Me gustaría darle las gracias a Juan Carlos por su tiempo y aclarar nuestras dudas respecto al Big Data y la importancia de la Calidad de los Datos.

Si te gustaría ampliar el conocimiento en Big Data, Metadata y Calidad de lo Datos energéticos, puedes ver el vídeo de la formación que tuvo lugar al respecto el pasado 20 de septiembre. Haz click abajo o pincha aquí.