Imagem da capa

Otimização de hiperparâmetros em machine learning utilizando uma surrogate e algoritmos evolutivos

This work presents a new approach for hyperparameter optimization in Machine Learning algorithms. The idea is to build a surrogate with quasirandom numbers generated by Sobol's algorithm and then use an evolutionary algorithm (DE or PSO in this case) to perform the optimization on it. It is als...

ver descrição completa

Autor principal: Neves, José Marcos Miranda
Formato: Trabalho de Conclusão de Curso (Graduação)
Idioma: Português
Publicado em: Universidade Tecnológica Federal do Paraná 2022
Assuntos:
Aprendizado do computador
Algoritmos
Otimização matemática
Machine learning
Algorithms
Mathematical optimization
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Acesso em linha: http://repositorio.utfpr.edu.br/jspui/handle/1/28557
Tags: Adicionar Tag
Sem tags, seja o primeiro a adicionar uma tag!
id riut-1-28557
recordtype dspace
spelling riut-1-285572022-05-18T06:08:51Z Otimização de hiperparâmetros em machine learning utilizando uma surrogate e algoritmos evolutivos Neves, José Marcos Miranda Sanches, Danilo Sipoli Sanches, Danilo Sipoli Silva, Natássya Barlate Floro da Silva, Adrinao Rivolli da Aprendizado do computador Algoritmos Otimização matemática Machine learning Algorithms Mathematical optimization CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO This work presents a new approach for hyperparameter optimization in Machine Learning algorithms. The idea is to build a surrogate with quasirandom numbers generated by Sobol's algorithm and then use an evolutionary algorithm (DE or PSO in this case) to perform the optimization on it. It is also implemented a way of performing more than one optimization with the evolutionary algorithm in the same execution of the method without increasing the computational cost in relation to other optimization methods. The objective is then to verify if the use of these two strategies would make the proposed method less likely to be trapped in a local minimum and also make it more consistent when compared to others. The focus of this work was the optimization of LightGBM applied to binary classification, however it is possible to expand it to other areas by making the necessary adaptations. In addition to the proposed method, Random Search and Bayesian Optimization are also used to optimize LightGBM models trained on 3 datasets. The results obtained show that the proposed approach with PSO is the most consistent of the 3 methods, however Bayesian Optimization still performs better in general. Este trabalho apresenta uma nova abordagem para otimização de hiperparâmetros em algoritmos de Machine Learning. A ideia é construir uma surrogate através de pontos semi aleatórios gerados com o método de Sobol e então utilizar um algoritmo evolutivo (DE ou PSO neste caso) para realizar a otimização sobre ela. Também é implementado uma forma de realizar mais de uma otimização com o algoritmo evolutivo em uma mesma execução do método sem aumentar o custo computacional em relação a outros métodos de otimização. O objetivo é então verificar se a utilização dessas duas estratégias tornaria o método proposto menos propenso a ficar preso em mínimos locais e também mais consistente se comparado a outros. O foco do trabalho foi a otimização do LightGBM aplicado a classificação binária, porém é possível expandir para outras áreas fazendo as devidas adaptações. Além do método proposto, são utilizados Random Search e Bayesian Optimization para realizar a otimização do LightGBM com 3 conjuntos de dados. Os resultados obtidos mostram que a abordagem proposta com a utilização do PSO consegue ser a mais consistente dos 3 métodos, porém Bayesian Optimization ainda se sai melhor no geral. 2022-05-17T15:49:35Z 2022-05-17T15:49:35Z 2020-07-16 bachelorThesis NEVES, José Marcos Miranda. Otimização de hiperparâmetros em machine learning utilizando uma surrogate e algoritmos evolutivos. 2020. Trabalho de Conclusão de Curso (Bacharelado em Engenharia de Computação) - Universidade Tecnológica Federal do Paraná, Cornélio Procópio, 2020. http://repositorio.utfpr.edu.br/jspui/handle/1/28557 por openAccess application/pdf Universidade Tecnológica Federal do Paraná Cornelio Procopio Brasil Engenharia da Computação UTFPR
institution Universidade Tecnológica Federal do Paraná
collection RIUT
language Português
topic Aprendizado do computador
Algoritmos
Otimização matemática
Machine learning
Algorithms
Mathematical optimization
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
spellingShingle Aprendizado do computador
Algoritmos
Otimização matemática
Machine learning
Algorithms
Mathematical optimization
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Neves, José Marcos Miranda
Otimização de hiperparâmetros em machine learning utilizando uma surrogate e algoritmos evolutivos
description This work presents a new approach for hyperparameter optimization in Machine Learning algorithms. The idea is to build a surrogate with quasirandom numbers generated by Sobol's algorithm and then use an evolutionary algorithm (DE or PSO in this case) to perform the optimization on it. It is also implemented a way of performing more than one optimization with the evolutionary algorithm in the same execution of the method without increasing the computational cost in relation to other optimization methods. The objective is then to verify if the use of these two strategies would make the proposed method less likely to be trapped in a local minimum and also make it more consistent when compared to others. The focus of this work was the optimization of LightGBM applied to binary classification, however it is possible to expand it to other areas by making the necessary adaptations. In addition to the proposed method, Random Search and Bayesian Optimization are also used to optimize LightGBM models trained on 3 datasets. The results obtained show that the proposed approach with PSO is the most consistent of the 3 methods, however Bayesian Optimization still performs better in general.
format Trabalho de Conclusão de Curso (Graduação)
author Neves, José Marcos Miranda
author_sort Neves, José Marcos Miranda
title Otimização de hiperparâmetros em machine learning utilizando uma surrogate e algoritmos evolutivos
title_short Otimização de hiperparâmetros em machine learning utilizando uma surrogate e algoritmos evolutivos
title_full Otimização de hiperparâmetros em machine learning utilizando uma surrogate e algoritmos evolutivos
title_fullStr Otimização de hiperparâmetros em machine learning utilizando uma surrogate e algoritmos evolutivos
title_full_unstemmed Otimização de hiperparâmetros em machine learning utilizando uma surrogate e algoritmos evolutivos
title_sort otimização de hiperparâmetros em machine learning utilizando uma surrogate e algoritmos evolutivos
publisher Universidade Tecnológica Federal do Paraná
publishDate 2022
citation NEVES, José Marcos Miranda. Otimização de hiperparâmetros em machine learning utilizando uma surrogate e algoritmos evolutivos. 2020. Trabalho de Conclusão de Curso (Bacharelado em Engenharia de Computação) - Universidade Tecnológica Federal do Paraná, Cornélio Procópio, 2020.
url http://repositorio.utfpr.edu.br/jspui/handle/1/28557
_version_ 1805298086418841600
score 10,814766

Registros relacionados