Metodologia baseada em visão computacional e aprendizado de máquina para guiar o projeto de sistemas de comunicação aumentativa e alternativa usando interação gestual personalizada
Verbal communication is essential for socialization, building and sharing knowledge in society. People with speech impairment may experience difficulties in interaction and learning, family life, among other situations that can lead to emotional, social, and cognitive problems. Often, these people a...
| Autor principal: | Ascari, Rúbia Eliza de Oliveira Schultz |
|---|---|
| Formato: | Tese |
| Idioma: | Português |
| Publicado em: |
Universidade Federal do Paraná
2022
|
| Assuntos: | |
| Acesso em linha: |
http://repositorio.utfpr.edu.br/jspui/handle/1/28805 |
| Tags: |
Adicionar Tag
Sem tags, seja o primeiro a adicionar uma tag!
|
| id |
riut-1-28805 |
|---|---|
| recordtype |
dspace |
| spelling |
riut-1-288052022-06-15T06:06:25Z Metodologia baseada em visão computacional e aprendizado de máquina para guiar o projeto de sistemas de comunicação aumentativa e alternativa usando interação gestual personalizada Ascari, Rúbia Eliza de Oliveira Schultz Silva, Luciano http://orcid.org/0000-0001-6341-1323 http://lattes.cnpq.br/9578832375902806 Pereira, Roberto http://lattes.cnpq.br/1607596289960868 Silva, Luciano http://orcid.org/0000-0001-6341-1323 http://lattes.cnpq.br/9578832375902806 Baranauskas, Maria Cecília Calani https://orcid.org/0000-0002-4830-5298 http://lattes.cnpq.br/1750385790843118 Boscarioli, Clodis https://orcid.org/0000-0002-7110-2026 http://lattes.cnpq.br/2844207318576160 Valentim, Natasha Malveira Costa https://orcid.org/0000-0002-6027-3452 http://lattes.cnpq.br/1374747002879287 Interação homem-máquina Aprendizado do computador Visão por computador Equipamentos de autoajuda para pessoas com deficiência Human-computer interation Machine learning Computer vision Self-help devices for people with disabilities CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO Ciências Exatas Verbal communication is essential for socialization, building and sharing knowledge in society. People with speech impairment may experience difficulties in interaction and learning, family life, among other situations that can lead to emotional, social, and cognitive problems. Often, these people also have associated motor impairment, which further hinders their ability to interact with other people and the environment in which they are inserted. Augmentative and Alternative Communication (AAC) is a research area that involves the use of non-oral modes as a complement or substitute for spoken language, increasing the communicative interaction of individuals without orality. The AAC supported by Computer Vision (CV) systems can benefit from the recognition of the user’s remaining functional movements as an alternative design approach to interaction. In this thesis, a new methodology, named MyPGI (Methodology to yield Personalized Gestural Interaction), is presented, built to guide the design of AAC systems for people with motor and speech difficulties, using CV techniques and Machine Learning to enable personalized and non-invasive gestural interaction. Many of the works in the literature focus on specific situations and characteristics, offering little or no flexibility for people with disabilities and their different contexts of use, thus requiring people to adapt to the system instead of adjusting the system to different user needs. The MyPGI methodology was used in the development of an AAC system, named PGCA (Personal Gesture Communication Assistant), employing a low-cost approach, in experiments conducted with volunteers, including students with motor and speech difficulties. The results obtained with the experiments and also with interviews and usability evaluation conducted with professionals from the Special Education area indicate the feasibility of the proposed methodology and the system developed, in addition to adding knowledge about the specific challenges and needs of the target audience. The main scientific contribution of this thesis is, therefore, the definition of the MyPGI methodology, to promote greater autonomy for users of computer systems that have motor and speech difficulties and for their caregivers. The technological contribution of this thesis refers to the production of an AAC system as a way of applying the proposed methodology. Conselho Nacional do Desenvolvimento Científico e Tecnológico (CNPq) Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) A comunicação verbal é essencial para a socialização, construção e compartilhamento de conhecimento em uma sociedade. Pessoas que apresentam comprometimento de fala podem apresentar dificuldades de interação e aprendizagem, convivência familiar, entre outras situações que podem levar a problemas emocionais, sociais e cognitivos. Muitas vezes, essas pessoas também apresentam comprometimento motor associado, o que dificulta ainda mais sua capacidade de interagir com outras pessoas e com o ambiente em que estão inseridas. A Comunicação Aumentativa e Alternativa (CAA) é uma área de pesquisa que envolve o uso de modos não orais como complemento ou substituto da linguagem falada, aumentando a interação comunicativa de indivíduos sem oralidade. A CAA suportada por sistemas de Visão Computacional (VC) pode se beneficiar do reconhecimento dos movimentos funcionais restantes do usuário como uma abordagem alternativa de design de interação. Nesta tese, é apresentada uma nova metodologia, chamada MyPGI (Methodology to yield Personalized Gestural Interaction), construída para guiar o projeto de sistemas de CAA para pessoas com dificuldades motora e de fala, usando técnicas de VC e Aprendizado de Máquina para possibilitar interação gestual personalizada e não-invasiva. Muitos dos trabalhos existentes na literatura concentram-se em situações e características específicas, oferecendo pouca ou nenhuma flexibilidade para as pessoas com deficiência e seus diferentes contextos de uso, exigindo, portanto, que as pessoas se adaptem ao sistema em vez de adaptar o sistema às diferentes necessidades dos usuários. A metodologia MyPGI foi empregada no desenvolvimento de um sistema de CAA, chamado PGCA (Personal Gesture Communication Assistant), usando uma abordagem de baixo custo, em experimentos conduzidos com voluntários, incluindo alunos com dificuldades motora e de fala. Os resultados obtidos com os experimentos e também com entrevistas e avaliação de usabilidade conduzidas com profissionais da área de educação especial indicam a viabilidade da metodologia proposta e do sistema desenvolvido, além de agregar conhecimento sobre os desafios e necessidades específicas do público-alvo. A principal contribuição científica desta tese é, portanto, a definição da metodologia MyPGI, com o objetivo de promover maior autonomia para usuários de sistemas computacionais que possuem dificuldade motora e de fala e para seus cuidadores. A contribuição tecnológica desta tese se refere à produção de um sistema de CAA como uma forma de aplicação da metodologia proposta. 2022-06-14T16:16:21Z 2022-06-14T16:16:21Z 2020-06-19 doctoralThesis ASCARI, Rúbia Eliza de Oliveira Schultz. Metodologia baseada em visão computacional e aprendizado de máquina para guiar o projeto de sistemas de comunicação aumentativa e alternativa usando interação gestual personalizada. 2020. Tese (Doutorado em Ciência da Computação) - Universidade Federal do Paraná, Curitiba, 2020. http://repositorio.utfpr.edu.br/jspui/handle/1/28805 por https://acervodigital.ufpr.br/handle/1884/69184 openAccess application/pdf Universidade Federal do Paraná Pato Branco Brasil Programa de Pós-Graduação em Informática UFPR |
| institution |
Universidade Tecnológica Federal do Paraná |
| collection |
RIUT |
| language |
Português |
| topic |
Interação homem-máquina Aprendizado do computador Visão por computador Equipamentos de autoajuda para pessoas com deficiência Human-computer interation Machine learning Computer vision Self-help devices for people with disabilities CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO Ciências Exatas |
| spellingShingle |
Interação homem-máquina Aprendizado do computador Visão por computador Equipamentos de autoajuda para pessoas com deficiência Human-computer interation Machine learning Computer vision Self-help devices for people with disabilities CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO Ciências Exatas Ascari, Rúbia Eliza de Oliveira Schultz Metodologia baseada em visão computacional e aprendizado de máquina para guiar o projeto de sistemas de comunicação aumentativa e alternativa usando interação gestual personalizada |
| description |
Verbal communication is essential for socialization, building and sharing knowledge in society. People with speech impairment may experience difficulties in interaction and learning, family life, among other situations that can lead to emotional, social, and cognitive problems. Often, these people also have associated motor impairment, which further hinders their ability to interact with other people and the environment in which they are inserted. Augmentative and Alternative Communication (AAC) is a research area that involves the use of non-oral modes as a complement or substitute for spoken language, increasing the communicative interaction of individuals without orality. The AAC supported by Computer Vision (CV) systems can benefit from the recognition of the user’s remaining functional movements as an alternative design approach to interaction. In this thesis, a new methodology, named MyPGI (Methodology to yield Personalized Gestural Interaction), is presented, built to guide the design of AAC systems for people with motor and speech difficulties, using CV techniques and Machine Learning to enable personalized and non-invasive gestural interaction. Many of the works in the literature focus on specific situations and characteristics, offering little or no flexibility for people with disabilities and their different contexts of use, thus requiring people to adapt to the system instead of adjusting the system to different user needs. The MyPGI methodology was used in the development of an AAC system, named PGCA (Personal Gesture Communication Assistant), employing a low-cost approach, in experiments conducted with volunteers, including students with motor and speech difficulties. The results obtained with the experiments and also with interviews and usability evaluation conducted with professionals from the Special Education area indicate the feasibility of the proposed methodology and the system developed, in addition to adding knowledge about the specific challenges and needs of the target audience. The main scientific contribution of this thesis is, therefore, the definition of the MyPGI methodology, to promote greater autonomy for users of computer systems that have motor and speech difficulties and for their caregivers. The technological contribution of this thesis refers to the production of an AAC system as a way of applying the proposed methodology. |
| format |
Tese |
| author |
Ascari, Rúbia Eliza de Oliveira Schultz |
| author_sort |
Ascari, Rúbia Eliza de Oliveira Schultz |
| title |
Metodologia baseada em visão computacional e aprendizado de máquina para guiar o projeto de sistemas de comunicação aumentativa e alternativa usando interação gestual personalizada |
| title_short |
Metodologia baseada em visão computacional e aprendizado de máquina para guiar o projeto de sistemas de comunicação aumentativa e alternativa usando interação gestual personalizada |
| title_full |
Metodologia baseada em visão computacional e aprendizado de máquina para guiar o projeto de sistemas de comunicação aumentativa e alternativa usando interação gestual personalizada |
| title_fullStr |
Metodologia baseada em visão computacional e aprendizado de máquina para guiar o projeto de sistemas de comunicação aumentativa e alternativa usando interação gestual personalizada |
| title_full_unstemmed |
Metodologia baseada em visão computacional e aprendizado de máquina para guiar o projeto de sistemas de comunicação aumentativa e alternativa usando interação gestual personalizada |
| title_sort |
metodologia baseada em visão computacional e aprendizado de máquina para guiar o projeto de sistemas de comunicação aumentativa e alternativa usando interação gestual personalizada |
| publisher |
Universidade Federal do Paraná |
| publishDate |
2022 |
| citation |
ASCARI, Rúbia Eliza de Oliveira Schultz. Metodologia baseada em visão computacional e aprendizado de máquina para guiar o projeto de sistemas de comunicação aumentativa e alternativa usando interação gestual personalizada. 2020. Tese (Doutorado em Ciência da Computação) - Universidade Federal do Paraná, Curitiba, 2020. |
| url |
http://repositorio.utfpr.edu.br/jspui/handle/1/28805 |
| _version_ |
1805304795804729344 |
| score |
10,814766 |