ENTRE GESTES ET ALGORITHMES
INTELLIGENCE ARTIFICIELLE ET NOUVELLES FRONTIÈRES DE LA PHONOLOGIE VISUELLE
DOI :
https://doi.org/10.20873/asel.v34i1.22600Mots-clés :
Phonologie visuelle, Langues des signes, Intelligence artificielle, Livres, Analyse multimodaleRésumé
Cet article étudie les interfaces entre la phonologie visuelle des langues des signes et les systèmes algorithmiques basés sur l'intelligence artificielle (IA), en se concentrant sur la langue des signes brésilienne (Balance). On suppose que, bien que l’IA ait considérablement progressé dans la reconnaissance des gestes, de nombreux modèles négligent encore les paramètres phonologiques fondamentaux – tels que la configuration de la main, le mouvement, la localisation, l’orientation et les expressions non manuelles – qui constituent la structure linguistique des langues des signes. À travers une revue théorico-critique, des études récentes sur la linguistique de la langue des signes et le traitement multimodal sont analysées, cherchant à identifier les lacunes conceptuelles et techniques dans l'intégration entre la théorie linguistique et la modélisation informatique. Les résultats indiquent que la plupart des systèmes d’IA fonctionnent avec une vision instrumentalisée du geste, au mépris de son statut linguistique et sémiotique, ce qui peut renforcer les inégalités d’accès à la communication et à l’information pour les personnes sourdes. Il est donc proposé qu'il existe un besoin urgent de corpus linguistiques marqués d'une annotation phonologique rigoureuse et de partenariats interdisciplinaires incluant des chercheurs sourds et des spécialistes en linguistique. La réflexion développée ici contribue à repenser les fondements de la « phonologie computationnelle » dans des contextes visuels et à orienter le développement de technologies plus éthiques, inclusives et linguistiquement informées.
Références
ALMEIDA, F. R.; LACERDA, C. B. F. Fonologia visual e aprendizado de máquina: desafios para a construção de corpora anotados em Libras. Revista Brasileira de Linguística Aplicada. Vol. 24, N. 1, p. 112–135, jan./mar. 2024. https://doi.org/10.1590/1984-639820240301
BRASIL. Lei nº 10.436, de 24 de abril de 2002. Dispõe sobre a Língua Brasileira de Sinais – Libras e dá outras providências. Diário Oficial da União, Brasília, DF, 25 abr. 2002. Disponível em: https://www.planalto.gov.br/ccivil_03/leis/2002/L10436.htm. Acesso em: 28 dez. 2025.
BRENTARI, D. A Prosodic Model of Sign Language Phonology. Cambridge: MIT Press, 1998.
DOGAN, Ö. İ.; AYDIN, E.; KAYA, M. et al. A Survey on Sign Language Recognition: Datasets, Methods, and Challenges. ACM Computing Surveys. Vol. 55, N. 4, p. 1–37, mar. 2022. https://doi.org/10.1145/3507905
FELIPE, T. A. O processo de reconhecimento da Libras como língua: implicações para a educação de surdos. In: QUADROS, R. M. (Org.). Estudos Surdos II. Petrópolis: Editora Arara Azul, 2012. p. 25–46.
FERREIRA, A. C.; SILVA, M. L.; OLIVEIRA, P. R. Corpora sinalizados e inteligência artificial: avanços e desafios no contexto brasileiro. SignWriting Journal. Vol. 5, N. 1, p. 44–67, 2022. https://doi.org/10.5281/zenodo.6543210
HALL, S. A identidade cultural na pós-modernidade. Tradução Tomaz Tadeu da Silva; Guaraci Corrêa. 13ª. Ed. Rio de Janeiro: Lamparina, 2017.
HUENERFORTH, M.; MATTNER, M.; SCHNEIDER, D. et al. Towards Continuous Sign Language Recognition: Challenges in Linguistic Grounding. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP). Punta Cana: Association for Computational Linguistics, 2021. p. 456–471. https://doi.org/10.18653/v1/2021.emnlp-main.35
KRESS, G.; VAN LEEUWEN, T. Reading Images: The Grammar of Visual Design. 2nd ed. London: Routledge, 2006.
LACERDA, C. B. F. Inclusão digital e participação surda: desafios para a pesquisa e a inovação. Revista Educação e Pesquisa. Vol. 46, e211690, 2020. https://doi.org/10.1590/s1678-4634202046211690
MIRANDA-GÁLVEZ, R.; ALMEIDA, F. R. Linguística de línguas de sinais e inteligência artificial: por uma ética do reconhecimento. Revista Linguagem & Ensino. Vol. 27, N. 2, p. 201–225, maio/ago. 2024. https://doi.org/10.15210/rle.v27i2.33421
ORGANIZAÇÃO DAS NAÇÕES UNIDAS (ONU). Convenção sobre os Direitos das Pessoas com Deficiência. Nova York, 2006. Disponível em: https://www.un.org/development/desa/disabilities/convention-on-the-rights-of-persons-with-disabilities.html. Acesso em: 28 dez. 2025.
PERLIN, G. T. Semiologia do corpo surdo: linguagem, corpo e espaço. Revista Línguas & Letras. Vol. 19, N. 38, p. 12–29, jul./dez. 2018. https://doi.org/10.5433/1982-1283.2018v19n38p12
PERLIN, G. T.; QUADROS, R. M. Fonologia da Libras: parâmetros e variação. In: QUADROS, R. M. (Org.). Estudos Surdos I. Petrópolis: Editora Arara Azul, 2008. p. 11–41.
QUADROS, R. M. Pesquisa com comunidades surdas: ética, participação e coautoria. Revista Brasileira de Educação Especial. Vol. 27, p. 517–534, 2021. https://doi.org/10.1590/1980-547020212702supl02
QUADROS, R. M.; KARNOPP, L. B. Língua de Sinais Brasileira: estudos linguísticos. Porto Alegre: Artmed, 2004.
SANDLER, W.; LILLO-MARTIN, D. Sign Language and Linguistic Universals. Cambridge: Cambridge University Press, 2006.
SILVA, A. V. R.; GUSTAVO, V. R.; ALMEIDA, F. R. Variação fonológica na Libras: implicações para o reconhecimento automático. Revista Letras. Vol. 103, p. 289–312, jan./abr. 2023. https://doi.org/10.5380/letras.v103i0.89231
SILVA, J. C.; GÓES, M. C. R.; SOUZA, R. M. Expressões não manuais e prosódia na Libras: evidências experimentais. Cadernos Cedes. Vol. 42, N. 129, p. 301–320, set./dez. 2022. https://doi.org/10.1590/0101-326220224212907
STOKOE, W. C. Sign Language Structure: An Outline of the Visual Communication Systems of the American Deaf. Studies in Linguistics: Occasional Papers, n. 8. Buffalo: University of Buffalo, 1960.
YIN, H.; WANG, Y.; LIU, Z. et al. Multimodal Sign Language Recognition with Phonological-Aware Attention. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Vancouver: IEEE, 2023. p. 13456–13465. https://doi.org/10.1109/CVPR52729.2023.01321.
