BETWEEN GESTURES AND ALGORITHMS
ARTIFICIAL INTELLIGENCE AND THE NEW FRONTIERS OF VISUAL PHONOLOGY
DOI:
https://doi.org/10.20873/asel.v34i1.22600Keywords:
Visual Phonology, Sign Languages, Artificial Intelligence, Pounds, Multimodal AnalysisAbstract
This article explores the interfaces between the visual phonology of sign languages and algorithmic systems based on artificial intelligence (AI), with a focus on Brazilian Sign Language (Libras). While AI has made significant advances in gesture recognition, many models still overlook core phonological parameters—such as handshape, movement, location, orientation, and non-manual markers—that constitute the linguistic structure of sign languages. Through a critical-theoretical review, recent studies in sign language linguistics and multimodal processing are examined to identify conceptual and technical gaps between linguistic theory and computational modeling. Findings suggest that most AI systems operate with an instrumentalized view of gesture, disregarding its linguistic and semiotic status, potentially reinforcing communication and information access inequalities for Deaf individuals. The article argues for the urgent development of linguistically annotated signed corpora and interdisciplinary collaborations that include Deaf researchers and linguists. This reflection contributes to rethinking the foundations of “computational phonology” in visual contexts and to guiding the design of more ethical, inclusive, and linguistically grounded technologies.
References
ALMEIDA, F. R.; LACERDA, C. B. F. Fonologia visual e aprendizado de máquina: desafios para a construção de corpora anotados em Libras. Revista Brasileira de Linguística Aplicada. Vol. 24, N. 1, p. 112–135, jan./mar. 2024. https://doi.org/10.1590/1984-639820240301
BRASIL. Lei nº 10.436, de 24 de abril de 2002. Dispõe sobre a Língua Brasileira de Sinais – Libras e dá outras providências. Diário Oficial da União, Brasília, DF, 25 abr. 2002. Disponível em: https://www.planalto.gov.br/ccivil_03/leis/2002/L10436.htm. Acesso em: 28 dez. 2025.
BRENTARI, D. A Prosodic Model of Sign Language Phonology. Cambridge: MIT Press, 1998.
DOGAN, Ö. İ.; AYDIN, E.; KAYA, M. et al. A Survey on Sign Language Recognition: Datasets, Methods, and Challenges. ACM Computing Surveys. Vol. 55, N. 4, p. 1–37, mar. 2022. https://doi.org/10.1145/3507905
FELIPE, T. A. O processo de reconhecimento da Libras como língua: implicações para a educação de surdos. In: QUADROS, R. M. (Org.). Estudos Surdos II. Petrópolis: Editora Arara Azul, 2012. p. 25–46.
FERREIRA, A. C.; SILVA, M. L.; OLIVEIRA, P. R. Corpora sinalizados e inteligência artificial: avanços e desafios no contexto brasileiro. SignWriting Journal. Vol. 5, N. 1, p. 44–67, 2022. https://doi.org/10.5281/zenodo.6543210
HALL, S. A identidade cultural na pós-modernidade. Tradução Tomaz Tadeu da Silva; Guaraci Corrêa. 13ª. Ed. Rio de Janeiro: Lamparina, 2017.
HUENERFORTH, M.; MATTNER, M.; SCHNEIDER, D. et al. Towards Continuous Sign Language Recognition: Challenges in Linguistic Grounding. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP). Punta Cana: Association for Computational Linguistics, 2021. p. 456–471. https://doi.org/10.18653/v1/2021.emnlp-main.35
KRESS, G.; VAN LEEUWEN, T. Reading Images: The Grammar of Visual Design. 2nd ed. London: Routledge, 2006.
LACERDA, C. B. F. Inclusão digital e participação surda: desafios para a pesquisa e a inovação. Revista Educação e Pesquisa. Vol. 46, e211690, 2020. https://doi.org/10.1590/s1678-4634202046211690
MIRANDA-GÁLVEZ, R.; ALMEIDA, F. R. Linguística de línguas de sinais e inteligência artificial: por uma ética do reconhecimento. Revista Linguagem & Ensino. Vol. 27, N. 2, p. 201–225, maio/ago. 2024. https://doi.org/10.15210/rle.v27i2.33421
ORGANIZAÇÃO DAS NAÇÕES UNIDAS (ONU). Convenção sobre os Direitos das Pessoas com Deficiência. Nova York, 2006. Disponível em: https://www.un.org/development/desa/disabilities/convention-on-the-rights-of-persons-with-disabilities.html. Acesso em: 28 dez. 2025.
PERLIN, G. T. Semiologia do corpo surdo: linguagem, corpo e espaço. Revista Línguas & Letras. Vol. 19, N. 38, p. 12–29, jul./dez. 2018. https://doi.org/10.5433/1982-1283.2018v19n38p12
PERLIN, G. T.; QUADROS, R. M. Fonologia da Libras: parâmetros e variação. In: QUADROS, R. M. (Org.). Estudos Surdos I. Petrópolis: Editora Arara Azul, 2008. p. 11–41.
QUADROS, R. M. Pesquisa com comunidades surdas: ética, participação e coautoria. Revista Brasileira de Educação Especial. Vol. 27, p. 517–534, 2021. https://doi.org/10.1590/1980-547020212702supl02
QUADROS, R. M.; KARNOPP, L. B. Língua de Sinais Brasileira: estudos linguísticos. Porto Alegre: Artmed, 2004.
SANDLER, W.; LILLO-MARTIN, D. Sign Language and Linguistic Universals. Cambridge: Cambridge University Press, 2006.
SILVA, A. V. R.; GUSTAVO, V. R.; ALMEIDA, F. R. Variação fonológica na Libras: implicações para o reconhecimento automático. Revista Letras. Vol. 103, p. 289–312, jan./abr. 2023. https://doi.org/10.5380/letras.v103i0.89231
SILVA, J. C.; GÓES, M. C. R.; SOUZA, R. M. Expressões não manuais e prosódia na Libras: evidências experimentais. Cadernos Cedes. Vol. 42, N. 129, p. 301–320, set./dez. 2022. https://doi.org/10.1590/0101-326220224212907
STOKOE, W. C. Sign Language Structure: An Outline of the Visual Communication Systems of the American Deaf. Studies in Linguistics: Occasional Papers, n. 8. Buffalo: University of Buffalo, 1960.
YIN, H.; WANG, Y.; LIU, Z. et al. Multimodal Sign Language Recognition with Phonological-Aware Attention. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Vancouver: IEEE, 2023. p. 13456–13465. https://doi.org/10.1109/CVPR52729.2023.01321.
