Registro fonte: Deep Q-Learning para o controle supervisório flexível de sistemas a eventos discretos em larga escala

Deep Q-Learning para o controle supervisório flexível de sistemas a eventos discretos em larga escala

Industrial Systems, as the manufacturing ones, can be tipically associated with a system profile that evolves with asynchronous events, in discrete time instants, which we name Discrete Event Systems (DES). Basically, a DES synthesizes the idea that the time between two actions (or events) in the sy...

ver descrição completa

Autor principal:	Hendges, Lucas Volkmer
Formato:	Trabalho de Conclusão de Curso (Graduação)
Idioma:	Português
Publicado em:	Universidade Tecnológica Federal do Paraná 2022
Assuntos:	Controle de processo Automação Aprendizado de máquinas Modelagem Process control Automation Machine learning Modelyng CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Acesso em linha:	http://repositorio.utfpr.edu.br/jspui/handle/1/29126
Tags:	Adicionar Tag Sem tags, seja o primeiro a adicionar uma tag!

id	riut-1-29126
recordtype	dspace
spelling	riut-1-291262022-07-30T06:05:44Z Deep Q-Learning para o controle supervisório flexível de sistemas a eventos discretos em larga escala Deep Q-Learning on supervisory flexible control of discrete-event systems Hendges, Lucas Volkmer Casanova, Dalcimar Teixeira, Marcelo Casanova, Dalcimar Barbosa, Marco Antonio de Castro Cardoso, Rafael Controle de processo Automação Aprendizado de máquinas Modelagem Process control Automation Machine learning Modelyng CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO Industrial Systems, as the manufacturing ones, can be tipically associated with a system profile that evolves with asynchronous events, in discrete time instants, which we name Discrete Event Systems (DES). Basically, a DES synthesizes the idea that the time between two actions (or events) in the system can be despised due to the way the events occur. That means that DES prioritizes the logical mapping of the occurence of events in the system, and the operations on them consist only in processing logical outputs that orchestrate precisely the system’s physical structure. From the control perspective, one of the approaches that is dedicated on calculating optimal logical sequences to DES, taking into account properties such as the controllability and deadlock absence, is the Supervisory Control Theory (SCT), that is processed over DES models, expressed as Finite State Machines (FSM). As the SCT structures a formal method focused in the precision of the control logic’s computation, as a consequence, it benefits propertites such as safety and robustness of the control action, which is positive in many industrial environments. On the other hand, SCT fails on its limitation on totally or partially flexibilizing this logic, by processing events that are not necessarily exact. For these cases, i.e., when a DES has some events with probabilistic nature, intelligent processing approaches can be more suitable. For that, it is fundamental that the artificial perception be applied to certain events, but not to all of them, with the risk of compromising the exact control imposed by the SCT, which we want to preserve. Thus, this work proposes the partition of the event set of a DES on the deterministic and probabilistic subsets, in order to process them distinctly. While the deterministic ones are processed through SCT as usual, the ones that remain are treated through the conversion of a controlled model (FSM) of a DES in a Markov’s Decision Process (MDP), over which a Deep Q-Learning approach is applied. The choice of Deep Q-Learning is, over all, for its potential on processing big state sets, which is closer to the real applications of DES. The result of this integration is a more flexible control approach, in comparison to the classical SCT, making it possible to maximize certain system rewards while preserving the formality of the controller. Sistemas industriais, como os de manufatura, podem ser tipicamente associados a um perfil de sistemas que evoluem a eventos que ocorrem assincronamente, em pontos discretos no tempo, aos quais dá-se o nome de Sistemas a Eventos Discretos (SEDs). Basicamente, um SED absorve a ideia de que o tempo tomado entre uma ação e outra (eventos) no sistema pode ser desprezado em detrimento à razão lógica como os eventos ocorrem. Ou seja, um SED prioriza o mapeamento lógico da ocorrência de eventos no sistema e as operações sobre SEDs consistem tão somente em processar saídas lógicas que orquestram com precisão o arranjo físico do sistema. Do ponto de vista de controle, uma das abordagens que se dedica a calcular sequências lógicas ótimas para SEDs, levando em conta propriedades como controlabilidade e ausência de deadlocks, é a Teoria do Controle Supervisório (TCS), que é processada sobre modelos de SEDs expressos como Máquinas de Estados Finitos (MEFs). Como a TCS estrutura um método formal pautado na precisão do cálculo da lógica de controle, ela consequentemente beneficia propriedades como segurança e robustez da ação de controle, o que é positivo em muitos ambientes industriais. Em contrapartida, a TCS se mostra limitada quando o objetivo é flexibilizar a lógica de controle, total ou parcialmente, e processar eventos que não necessariamente tenham uma natureza exata de ocorrência. Para esses casos, ou seja, quando um SED possui alguns eventos com natureza probabilística, outros não, uma alternativa é integrar a ação exata, calculada via TCS, com processamento inteligente. Nesse caso, é fundamental que a inteligência artificial se aplique a apenas certos eventos do sistema, sob pena de comprometer os aspectos exatos dos eventos que são de interesse preservar como tais. Este trabalho, portanto, propõe o particionamento do conjunto de eventos de um SED em determinísticos e probabilísticos, a fim de processá-los distintamente. Enquanto os determinísticos são processados via TCS, como usual, os demais são tratados a partir da conversão de um modelo (MEF) controlado de um SED em um Processo Decisório de Markov (PDM), sobre o qual aplica-se uma abordagem de Deep Q-Learning. A escolha de Deep Q-Learning é, sobretudo, por seu potencial para processar quantidades consideráveis de estados, o que se aproxima do perfil de aplicações reais de SEDs. O resultado dessa integração é uma abordagem mais flexível de controle, em comparação à TCS clássica, que se mostra capaz de maximizar recompensas de certas ações do sistema ao passo em que preserva o rigor formal do controlador. 2022-07-28T13:11:47Z 2022-07-28T13:11:47Z 2022-04-08 bachelorThesis HENDGES, Lucas Volkmer. Deep Q-Learning para o controle supervisório flexível de sistemas a eventos discretos em larga escala. 2022. Trabalho de Conclusão de Curso (Bacharelado em Engenharia de Computação) - Universidade Tecnológica Federal do Paraná, Pato Branco, 2022. http://repositorio.utfpr.edu.br/jspui/handle/1/29126 por openAccess https://creativecommons.org/licenses/by-nc-sa/4.0/ application/pdf Universidade Tecnológica Federal do Paraná Pato Branco Brasil Departamento Acadêmico de Informática Engenharia de Computação UTFPR
institution	Universidade Tecnológica Federal do Paraná
collection	RIUT
language	Português
topic	Controle de processo Automação Aprendizado de máquinas Modelagem Process control Automation Machine learning Modelyng CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
spellingShingle	Controle de processo Automação Aprendizado de máquinas Modelagem Process control Automation Machine learning Modelyng CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO Hendges, Lucas Volkmer Deep Q-Learning para o controle supervisório flexível de sistemas a eventos discretos em larga escala
description	Industrial Systems, as the manufacturing ones, can be tipically associated with a system profile that evolves with asynchronous events, in discrete time instants, which we name Discrete Event Systems (DES). Basically, a DES synthesizes the idea that the time between two actions (or events) in the system can be despised due to the way the events occur. That means that DES prioritizes the logical mapping of the occurence of events in the system, and the operations on them consist only in processing logical outputs that orchestrate precisely the system’s physical structure. From the control perspective, one of the approaches that is dedicated on calculating optimal logical sequences to DES, taking into account properties such as the controllability and deadlock absence, is the Supervisory Control Theory (SCT), that is processed over DES models, expressed as Finite State Machines (FSM). As the SCT structures a formal method focused in the precision of the control logic’s computation, as a consequence, it benefits propertites such as safety and robustness of the control action, which is positive in many industrial environments. On the other hand, SCT fails on its limitation on totally or partially flexibilizing this logic, by processing events that are not necessarily exact. For these cases, i.e., when a DES has some events with probabilistic nature, intelligent processing approaches can be more suitable. For that, it is fundamental that the artificial perception be applied to certain events, but not to all of them, with the risk of compromising the exact control imposed by the SCT, which we want to preserve. Thus, this work proposes the partition of the event set of a DES on the deterministic and probabilistic subsets, in order to process them distinctly. While the deterministic ones are processed through SCT as usual, the ones that remain are treated through the conversion of a controlled model (FSM) of a DES in a Markov’s Decision Process (MDP), over which a Deep Q-Learning approach is applied. The choice of Deep Q-Learning is, over all, for its potential on processing big state sets, which is closer to the real applications of DES. The result of this integration is a more flexible control approach, in comparison to the classical SCT, making it possible to maximize certain system rewards while preserving the formality of the controller.
format	Trabalho de Conclusão de Curso (Graduação)
author	Hendges, Lucas Volkmer
author_sort	Hendges, Lucas Volkmer
title	Deep Q-Learning para o controle supervisório flexível de sistemas a eventos discretos em larga escala
title_short	Deep Q-Learning para o controle supervisório flexível de sistemas a eventos discretos em larga escala
title_full	Deep Q-Learning para o controle supervisório flexível de sistemas a eventos discretos em larga escala
title_fullStr	Deep Q-Learning para o controle supervisório flexível de sistemas a eventos discretos em larga escala
title_full_unstemmed	Deep Q-Learning para o controle supervisório flexível de sistemas a eventos discretos em larga escala
title_sort	deep q-learning para o controle supervisório flexível de sistemas a eventos discretos em larga escala
publisher	Universidade Tecnológica Federal do Paraná
publishDate	2022
citation	HENDGES, Lucas Volkmer. Deep Q-Learning para o controle supervisório flexível de sistemas a eventos discretos em larga escala. 2022. Trabalho de Conclusão de Curso (Bacharelado em Engenharia de Computação) - Universidade Tecnológica Federal do Paraná, Pato Branco, 2022.
url	http://repositorio.utfpr.edu.br/jspui/handle/1/29126
_version_	1805320578512453632
score	10,814766

Deep Q-Learning para o controle supervisório flexível de sistemas a eventos discretos em larga escala

Registros relacionados