Imagem da capa

Controle flexível de sistemas a eventos discretos utilizando simulação de ambiente e aprendizado por reforço

Discrete Event Systems (DESs) are classically modeled as Finite State Machines (FSMs), and controlled in a maximally permissive, controllable, and nonblocking way using Supervisory Control Theory (SCT). While SCT is powerful to orchestrate events of DESs, it fail to process events whose control is b...

ver descrição completa

Autor principal: Zielinski, Kallil Miguel Caparroz
Formato: Dissertação
Idioma: Português
Publicado em: Universidade Tecnológica Federal do Paraná 2021
Assuntos:
Sistemas de tempo discreto
Processos de fabricação
Processo decisório
Controle de processo
Discrete-time systems
Manufacturing processes
Decision making
Process control
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
Engenharia/Tecnologia/Gestão
Acesso em linha: http://repositorio.utfpr.edu.br/jspui/handle/1/25701
Tags: Adicionar Tag
Sem tags, seja o primeiro a adicionar uma tag!
id riut-1-25701
recordtype dspace
spelling riut-1-257012021-08-11T06:06:47Z Controle flexível de sistemas a eventos discretos utilizando simulação de ambiente e aprendizado por reforço Flexible control of discrete event systems using environment simulation and reinforcement learning Zielinski, Kallil Miguel Caparroz Casanova, Dalcimar https://orcid.org/0000-0002-1905-4602 http://lattes.cnpq.br/4155115530052195 Teixeira, Marcelo https://orcid.org/0000-0002-1008-7838 http://lattes.cnpq.br/8925349327322997 Casanova, Dalcimar https://orcid.org/0000-0002-1905-4602 http://lattes.cnpq.br/4155115530052195 Florindo, Joao Batista http://orcid.org/0000-0002-0071-0227 http://lattes.cnpq.br/4462635233301972 Lopes, Yuri Kaszubowski https://orcid.org/0000-0002-4627-5590 http://lattes.cnpq.br/6645986822120975 Sistemas de tempo discreto Processos de fabricação Processo decisório Controle de processo Discrete-time systems Manufacturing processes Decision making Process control CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA Engenharia/Tecnologia/Gestão Discrete Event Systems (DESs) are classically modeled as Finite State Machines (FSMs), and controlled in a maximally permissive, controllable, and nonblocking way using Supervisory Control Theory (SCT). While SCT is powerful to orchestrate events of DESs, it fail to process events whose control is based on probabilistic assumptions. In this research, we show that some events can be approached as usual in SCT, while others can be processed apart using Artificial Intelligence. We first present a tool to convert SCT controllers into Reinforcement Learning (RL) simulation environments, from where they become suitable for intelligent processing. Then, we propose a RL-based approach that recognizes the context under which a selected set of stochastic events occur, and treats them accordingly, aiming to find suitable decision making as complement to deterministic outcomes of the SCT. The result is an efficient combination of safe and flexible control, which tends to maximize performance for a class of DES that evolves probabilistically. Two RL algorithms are tested, State-Action-Reward-State-Action (SARSA) and N-step SARSA, over a flexible automotive plant control. Results suggest a performance improvement 9 times higher when using the proposed combination in comparison with non-intelligent decisions. Sistemas a Eventos Discretos (SEDs) são modelados classicamente com Máquinas de Estados Finitos (MEFs), e possuem máxima permissividade, controlabilidade e não bloqueabilidade utilizandoa Teoria de Controle Supervisório (TCS). Enquanto a TCS é poderosa para lidar com eventos de um SED, ela falha ao processar eventos em que o controle é baseado em premissas probabilísticas. Neste documento, mostramos que alguns eventos podem ser tratados comumente na TCS, enquanto outros podem ser processados utilizando Inteligência Artificial. Primeiro apresentamos uma ferramenta para converter controladores da TCS em simulações de ambientes de Aprendizado por Reforço (AR), em que eles se tornam suscetíveis a processamento inteligente. Em sequência, propomos uma abordagem baseada em AR que reconhece o contexto em que um conjunto de eventos estocásticos ocorre e os trata de acordo, buscando uma tomada de decisões como complemento dos caminhos determinísticos da TCS. O resultado é uma eficiente combinação de um controle flexível e seguro, que tende a maximizar o desempenho de um SED que evolui de maneira probabilística. Dois algoritmos de AR são testados: SARSA e N-STEP SARSA, sobre uma planta automotiva controlada flexível. Os resultados sugerem um aumento de 9 vezes no desempenho utilizando a combinação proposta em comparação com decisões não inteligentes. 2021-08-10T19:02:33Z 2021-08-10T19:02:33Z 2021-06-10 masterThesis ZIELINSKI, Kallil Miguel Caparroz. Controle flexível de sistemas a eventos discretos utilizando simulação de ambiente e aprendizado por reforço. 2021. Dissertação (Mestrado em Engenharia Elétrica) - Universidade Tecnológica Federal do Paraná, Pato Branco, 2021. http://repositorio.utfpr.edu.br/jspui/handle/1/25701 por openAccess application/pdf Universidade Tecnológica Federal do Paraná Pato Branco Brasil Programa de Pós-Graduação em Engenharia Elétrica UTFPR
institution Universidade Tecnológica Federal do Paraná
collection RIUT
language Português
topic Sistemas de tempo discreto
Processos de fabricação
Processo decisório
Controle de processo
Discrete-time systems
Manufacturing processes
Decision making
Process control
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
Engenharia/Tecnologia/Gestão
spellingShingle Sistemas de tempo discreto
Processos de fabricação
Processo decisório
Controle de processo
Discrete-time systems
Manufacturing processes
Decision making
Process control
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
Engenharia/Tecnologia/Gestão
Zielinski, Kallil Miguel Caparroz
Controle flexível de sistemas a eventos discretos utilizando simulação de ambiente e aprendizado por reforço
description Discrete Event Systems (DESs) are classically modeled as Finite State Machines (FSMs), and controlled in a maximally permissive, controllable, and nonblocking way using Supervisory Control Theory (SCT). While SCT is powerful to orchestrate events of DESs, it fail to process events whose control is based on probabilistic assumptions. In this research, we show that some events can be approached as usual in SCT, while others can be processed apart using Artificial Intelligence. We first present a tool to convert SCT controllers into Reinforcement Learning (RL) simulation environments, from where they become suitable for intelligent processing. Then, we propose a RL-based approach that recognizes the context under which a selected set of stochastic events occur, and treats them accordingly, aiming to find suitable decision making as complement to deterministic outcomes of the SCT. The result is an efficient combination of safe and flexible control, which tends to maximize performance for a class of DES that evolves probabilistically. Two RL algorithms are tested, State-Action-Reward-State-Action (SARSA) and N-step SARSA, over a flexible automotive plant control. Results suggest a performance improvement 9 times higher when using the proposed combination in comparison with non-intelligent decisions.
format Dissertação
author Zielinski, Kallil Miguel Caparroz
author_sort Zielinski, Kallil Miguel Caparroz
title Controle flexível de sistemas a eventos discretos utilizando simulação de ambiente e aprendizado por reforço
title_short Controle flexível de sistemas a eventos discretos utilizando simulação de ambiente e aprendizado por reforço
title_full Controle flexível de sistemas a eventos discretos utilizando simulação de ambiente e aprendizado por reforço
title_fullStr Controle flexível de sistemas a eventos discretos utilizando simulação de ambiente e aprendizado por reforço
title_full_unstemmed Controle flexível de sistemas a eventos discretos utilizando simulação de ambiente e aprendizado por reforço
title_sort controle flexível de sistemas a eventos discretos utilizando simulação de ambiente e aprendizado por reforço
publisher Universidade Tecnológica Federal do Paraná
publishDate 2021
citation ZIELINSKI, Kallil Miguel Caparroz. Controle flexível de sistemas a eventos discretos utilizando simulação de ambiente e aprendizado por reforço. 2021. Dissertação (Mestrado em Engenharia Elétrica) - Universidade Tecnológica Federal do Paraná, Pato Branco, 2021.
url http://repositorio.utfpr.edu.br/jspui/handle/1/25701
_version_ 1805315941176705024
score 10,814766

Registros relacionados