Computer vision methods for tattoo detection, location and classification
Tattoos are still poorly explored as a biometric factor for human identification, especially in law enforcement, where they can play an important role in identifying criminals, victims or other persons of interest. Tattoos are classified as soft biometrics as they are not permanent and can change ov...
| Autor principal: | Silva, Rodrigo Tchalski da |
|---|---|
| Formato: | Dissertação |
| Idioma: | Inglês |
| Publicado em: |
Universidade Tecnológica Federal do Paraná
2022
|
| Assuntos: | |
| Acesso em linha: |
http://repositorio.utfpr.edu.br/jspui/handle/1/29025 |
| Tags: |
Adicionar Tag
Sem tags, seja o primeiro a adicionar uma tag!
|
| id |
riut-1-29025 |
|---|---|
| recordtype |
dspace |
| spelling |
riut-1-290252022-07-08T06:06:00Z Computer vision methods for tattoo detection, location and classification Métodos de visão computacional para detecção, localização e classificação de tatuagens Silva, Rodrigo Tchalski da Lopes, Heitor Silvério https://orcid.org/0000-0003-3984-1432 http://lattes.cnpq.br/4045818083957064 Lazzaretti, André Eugênio https://orcid.org/0000-0003-1861-3369 http://lattes.cnpq.br/7649611874688878 Lopes, Heitor Silvério https://orcid.org/0000-0003-3984-1432 http://lattes.cnpq.br/4045818083957064 Aquino, Nelson Marcelo Romero https://orcid.org/0000-0002-8673-3744 http://lattes.cnpq.br/8808593951086037 Minetto, Rodrigo https://orcid.org/0000-0003-2277-4632 http://lattes.cnpq.br/8366112479020867 Tatuagem - Detecção Tatuagem - Localização Tatuagem - Classificação Visão por computador Identificação biométrica Processamento de imagens Tattooing - Detection Tattooing - Location Tattooing - Classification Computer vision Biometric identification Image processing CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO Engenharia Elétrica Tattoos are still poorly explored as a biometric factor for human identification, especially in law enforcement, where they can play an important role in identifying criminals, victims or other persons of interest. Tattoos are classified as soft biometrics as they are not permanent and can change over time, unlike hard biometric traits (fingerprint, iris, DNA, etc.). In this way, the main objective of this work is to apply computer vision methods and transfer learning to the problems of tattoo detection, location and classification in images. Given the scarcity of datasets available in the literature for these problems, specific annotated datasets were created for each problem addressed here. For the tattoo detection problem, a deep learning model based on transfer learning was presented. Data augmentation technique was also applied to improve the diversity of the training sets to obtain a better classification accuracy, and comparative experiments were carried out to evaluate the diversity of images in the data sets and the accuracy of the proposed model. For the tattoo location problem, an approach was presented by retraining the Mask R-CNN network with a tattoo dataset, and a fine-tuning was performed on the network to find the set of parameters that presented the best results in training the network. For the tattoo classification problem, the proposed model was also based on using deep networks with transfer learning to classify a set of 40 tattoo categories, many of them with practical meaning for law enforcement. Data augmentation technique was also used to improve the diversity and robustness of the training data. In tattoo detection, the results were very promising, achieving an accuracy of 95.1% in the test dataset and an F1-score of 0.79 in an external dataset, which, in general, were satisfactory, given the complexity of the problem. In tattoos location, the results reached an average accuracy of 89.3%, showing that the Mask R-CNN network has great adaptability to the tattoo environment, in addition to performing a qualitative analysis that helped to understand how the characteristics of images and annotations influence the results. In tattoos classification, the results reached accuracy of 85.24% when using cross validation and data augmentation, showing that the transfer learning approach adopted has good capacity for this problem. Future work will include improving the quality and volume of the databases, conducting a more in-depth study on the fine-tuning of network parameters, and studies of open-world techniques for classifying tattoos, as well as developing models for other problems that compose the tattoo recognition roadmap. As tatuagens ainda são pouco exploradas como fator biométrico para identificação humana, principalmente na segurança pública, onde elas podem desempenhar um papel importante na identificação de criminosos, vítimas ou outras pessoas de interesse. As tatuagens são classificadas como biometria suave, pois não são permanentes e podem mudar ao longo do tempo, diferentemente dos traços biométricos rígidos (impressão digital, íris, DNA, etc.). Desta forma, o objetivo principal deste trabalho é aplicar métodos de visão computacional e transferência de aprendizado para os problemas de detecção, localização e classificação de tatuagens em imagens. Dada a escassez de bases de dados disponíveis na literatura para estes problemas, foram criadas bases de dados anotadas específicas para cada um dos problemas aqui abordados. Para o problema de detecção de tatuagens foi apresentado um modelo de aprendizado profundo baseado em transferência de aprendizado. Também foi aplicada a técnica de data augmentation para melhorar a diversidade dos conjuntos de treinamento para obter uma melhor precisão de classificação, e experimentos comparativos foram feitos para avaliar a diversidade de imagens nos conjuntos de dados e a precisão do modelo proposto. Para o problema de localização de tatuagens foi apresentada uma abordagem retreinando a rede Mask R-CNN com uma base de dados de tatuagens, e um fine tuning foi realizado na rede com o objetivo de encontrar o conjunto de parâmetros que apresentasse melhores resultados no treinamento da rede. Para o problema de classificação de tatuagens o modelo proposto foi também baseado na utilização de redes profundas com transferência de aprendizado para classificar um conjunto de 40 categorias de tatuagens, muitas delas com significado prático para segurança pública. A técnica de data augmentation também foi utilizada para melhorar a diversidade e robustez dos dados de treinamento. Na detecção de tatuagens os resultados foram muito promissores, alcançando uma precisão de 95,1% no conjunto de teste e um F1-score de 0,79 em um conjunto de dados externo que, no geral, foram satisfatórios, dada a complexidade do problema. Na localização de tatuagens os resultados alcançaram uma precisão média de 89,3%, mostrando que a rede Mask R-CNN possui grande capacidade de adaptação para o ambiente de tatuagens, além de ser realizada uma análise qualitativa que ajudou a entender como as características das imagens e das anotações tem influência sobre os resultados. Na classificação de tatuagens, os resultados alcançaram 85,48% de acurácia ao utilizar validação cruzada e data augmentation, mostrando que a abordagem de transferência de aprendizado adotada tem boa capacidade para este problema. Trabalhos futuros incluirão melhorar a qualidade e o volume das bases de dados, realizar um estudo mais profundo sobre o ajuste fino de parâmetros das redes, e estudos de técnicas de mundo aberto para classificação de tatuagens, além de desenvolvimento de modelos para outros problemas que compõem o sistema de reconhecimento de tatuagens. 2022-07-07T13:17:58Z 2022-07-07T13:17:58Z 2022-05-31 masterThesis SILVA, Rodrigo Tchalski da. Computer vision methods for tattoo detection, location and classification. 2022. Dissertação (Mestrado em Engenharia Elétrica e Informática Industrial) - Universidade Tecnológica Federal do Paraná, Curitiba, 2022. http://repositorio.utfpr.edu.br/jspui/handle/1/29025 eng openAccess http://creativecommons.org/licenses/by/4.0/ application/pdf Universidade Tecnológica Federal do Paraná Curitiba Brasil Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial UTFPR |
| institution |
Universidade Tecnológica Federal do Paraná |
| collection |
RIUT |
| language |
Inglês |
| topic |
Tatuagem - Detecção Tatuagem - Localização Tatuagem - Classificação Visão por computador Identificação biométrica Processamento de imagens Tattooing - Detection Tattooing - Location Tattooing - Classification Computer vision Biometric identification Image processing CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO Engenharia Elétrica |
| spellingShingle |
Tatuagem - Detecção Tatuagem - Localização Tatuagem - Classificação Visão por computador Identificação biométrica Processamento de imagens Tattooing - Detection Tattooing - Location Tattooing - Classification Computer vision Biometric identification Image processing CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO Engenharia Elétrica Silva, Rodrigo Tchalski da Computer vision methods for tattoo detection, location and classification |
| description |
Tattoos are still poorly explored as a biometric factor for human identification, especially in law enforcement, where they can play an important role in identifying criminals, victims or other persons of interest. Tattoos are classified as soft biometrics as they are not permanent and can change over time, unlike hard biometric traits (fingerprint, iris, DNA, etc.). In this way, the main objective of this work is to apply computer vision methods and transfer learning to the problems of tattoo detection, location and classification in images. Given the scarcity of datasets available in the literature for these problems, specific annotated datasets were created for each problem addressed here. For the tattoo detection problem, a deep learning model based on transfer learning was presented. Data augmentation technique was also applied to improve the diversity of the training sets to obtain a better classification accuracy, and comparative experiments were carried out to evaluate the diversity of images in the data sets and the accuracy of the proposed model. For the tattoo location problem, an approach was presented by retraining the Mask R-CNN network with a tattoo dataset, and a fine-tuning was performed on the network to find the set of parameters that presented the best results in training the network. For the tattoo classification problem, the proposed model was also based on using deep networks with transfer learning to classify a set of 40 tattoo categories, many of them with practical meaning for law enforcement. Data augmentation technique was also used to improve the diversity and robustness of the training data. In tattoo detection, the results were very promising, achieving an accuracy of 95.1% in the test dataset and an F1-score of 0.79 in an external dataset, which, in general, were satisfactory, given the complexity of the problem. In tattoos location, the results reached an average accuracy of 89.3%, showing that the Mask R-CNN network has great adaptability to the tattoo environment, in addition to performing a qualitative analysis that helped to understand how the characteristics of images and annotations influence the results. In tattoos classification, the results reached accuracy of 85.24% when using cross validation and data augmentation, showing that the transfer learning approach adopted has good capacity for this problem. Future work will include improving the quality and volume of the databases, conducting a more in-depth study on the fine-tuning of network parameters, and studies of open-world techniques for classifying tattoos, as well as developing models for other problems that compose the tattoo recognition roadmap. |
| format |
Dissertação |
| author |
Silva, Rodrigo Tchalski da |
| author_sort |
Silva, Rodrigo Tchalski da |
| title |
Computer vision methods for tattoo detection, location and classification |
| title_short |
Computer vision methods for tattoo detection, location and classification |
| title_full |
Computer vision methods for tattoo detection, location and classification |
| title_fullStr |
Computer vision methods for tattoo detection, location and classification |
| title_full_unstemmed |
Computer vision methods for tattoo detection, location and classification |
| title_sort |
computer vision methods for tattoo detection, location and classification |
| publisher |
Universidade Tecnológica Federal do Paraná |
| publishDate |
2022 |
| citation |
SILVA, Rodrigo Tchalski da. Computer vision methods for tattoo detection, location and classification. 2022. Dissertação (Mestrado em Engenharia Elétrica e Informática Industrial) - Universidade Tecnológica Federal do Paraná, Curitiba, 2022. |
| url |
http://repositorio.utfpr.edu.br/jspui/handle/1/29025 |
| _version_ |
1805323316610727936 |
| score |
10,814766 |