Control óptimo y autónomo impulsado por IA en el dominio de la Industria 4.0

Autores: Lluís Echeverria^1,2, *, Xavier Domingo ¹, Gabriel Anzaldi ¹, Cèsar Fernández²

^{1 Eurecat, Centre Tecnològic de Catalunya, unitat d’Intel·ligència Artificial Aplicada}

^{2 Universitat de Lleida, Grup de Recerca en Energia i Intel·ligència Artificial}

^{* Correspondencia: lluis.echeverria@eurecat.org}

La era de la Industria 4.0 ha demostrado el potencial de las tecnologías digitales para generar soluciones inteligentes e impulsar los procesos operativos de toma de decisiones en una amplia variedad de ámbitos, como la industria de la manufactura, el sistema agroalimentario, la logística y, en general, la gestión eficiente y sostenible de los recursos (por ejemplo, agua o energía, entre otros). En esta línea, estas soluciones ofrecen varios servicios avanzados como el mantenimiento predictivo o prescriptivo, la predicción de calidad de procesos productivos, la optimización de operaciones o la asignación óptima de recursos, etc., que ayudan a los técnicos y expertos correspondientes a tomar las decisiones más precisas y adecuadas, basándose en fundamentos empíricos, en vez de actuar por intuición. Sin embargo, el factor humano sigue desempeñando un papel importante en la toma de decisiones finales donde, incluso siendo apoyado y respaldado por soluciones inteligentes, este (el factor humano) sigue siendo necesario para el buen funcionamiento de los entornos, procesos o sistemas bajo control.

De esta manera, nuestro proyecto se marca el objetivo de demostrar e implementar nuevas tecnologías y soluciones para evolucionar y mejorar los sistemas actuales hacia los conceptos de autonomía y control óptimo en los procesos de toma de decisiones, permitiéndoles (a los sistemas) operar independientemente del control humano, garantizando siempre la máxima y óptima calidad del proceso y el uso mínimo (y eficiente) de los recursos.

Inicialmente, el proyecto se centra en el campo de la gestión de la infraestructura del ciclo del agua, donde existen una amplia variedad de procesos, operados por expertos técnicos con años de experiencia y grandes conocimientos de dominio (probablemente asesorados por servicios inteligentes avanzados apoyados por Inteligencia Artificial tradicional), que son susceptibles a: i) ser controlados de forma autónoma por agentes software inteligentes y, ii) lograr un mayor nivel de operación. En esta área, por ejemplo, encontramos los procesos llevados a cabo en las plantas de tratamiento de aguas residuales (Estaciones Depuradoras de Aguas Residuales, EDAR), ya sea a pequeña o gran escala, donde un conjunto de procesos, tanto físicos como biológicos, requieren un seguimiento constante de los expertos para garantizar el cumplimiento de la calidad final del agua siguiendo la normativa vigente. Además, una vez garantizada la calidad final, también es necesario que los procesos implicados se ejecuten de manera óptima, haciendo un uso eficiente de los recursos, de modo que se atiendan aspectos como la sostenibilidad, y se minimicen los costes asociados o la contaminación. Las redes de distribución de agua también son una fase más del ciclo del agua con una fuerte aplicabilidad de este tipo de soluciones, donde un gran conjunto de elementos de control hidráulico están conectados entre sí para transportar grandes volúmenes de agua desde las fuentes a los consumidores. El alto número de restricciones y variables de control y la no linealidad y complejidad de las ecuaciones que regulan estos entornos tienen implicaciones directas para la gestión y planificación de los sistemas de suministro de agua.

Para lograrlo, proponemos el uso de algoritmos de Aprendizaje por Refuerzo (Reinforcement Learning, RL), una rama del Aprendizaje Automático (Machine Learning) (AI), orientada al desarrollo de agentes inteligentes para el control óptimo y autónomo de diferentes entornos. Estos algoritmos se basan en un enfoque computacional para comprender y automatizar el aprendizaje basado en objetivos y la toma de decisiones. A partir de aquí, y gracias a la integración del Aprendizaje Profundo (Deep Learning, DL) como motor de generalización del conocimiento, RL, ahora conocido como Aprendizaje por Refuerzo Profundo (Deep Reinforcement Learning, DRL), incrementa sus capacidades para la toma de decisiones habilitando agentes capaces de responder de forma óptima a situaciones desconocidas partiendo del conocimiento adquirido en otras situaciones ya experimentadas. Esto permite a los agentes de DRL operar, aún más, como lo hacen los seres humanos, extrapolando el conocimiento previamente adquirido a nuevas situaciones.  De esta manera, se abre la oportunidad de operar y gestionar sistemas grandes y continuos, de alta dimensionalidad y complejidad, a la vez que se proporciona respuesta, en tiempo real, de forma autónoma y óptima, aumentando así la resiliencia a escenarios desconocidos (o previamente no experimentados).

Además, este proyecto también abordará parcialmente el desarrollo de entornos digitales basados en datos e impulsados por IA, aproximando un prototipo inicial del concepto del Gemelo Digital (Digital Twin), con el objetivo de proporcionar a los agentes DRL simuladores donde puedan adquirir rápidamente conocimientos operativos. Este hecho aporta las ventajas de i) no requerir desplegar agentes software directamente en el entorno real, ii) aprender más rápido (el tiempo de ciclo digital se reduce circunstancialmente), iii) evitar posibles problemas derivados de la prueba, por parte del agente, de acciones no óptimas, y iv) tener un entorno de demostración para estudiar cómo el agente aprende a gestionarlo de manera eficiente (maximizando resultados mientras se minimiza los recursos y los costos).

La consecución de este proyecto incluirá, en primer lugar, un demostrador que integra un simulador (Gemelo Digital) de un entorno (real) de gestión del ciclo del agua y un agente inteligente, basado en metodologías DRL, que gestiona (en tiempo real) los procesos implicados, maximizando la calidad de operación, y minimizando los recursos implicados, teniendo en cuenta la contaminación derivada y otros aspectos importantes. A partir de aquí, se estudiará la posibilidad de desplegar este sistema en el entorno real, permitiendo así el objetivo final de autonomía en el control de los sistemas de gestión del agua. Para concluir, el logro satisfactorio de este proyecto nos posicionará a la vanguardia de la investigación aplicada en tecnologías autónomas, atando dos líneas de investigación globales críticas (autonomía en la Industria 4.0 y calidad en Agua 4.0), y nos situará estratégicamente en un nuevo mercado emergente de soluciones inteligentes avanzadas en estos dominios.

Este proyecto ha sido impulsado por el Plan de Doctorados Industriales (Pla de Doctorats Industrials) (http://doctoratsindustrials.gencat.cat/)

Noticias Relacionadas: