RAIA-BRASIL/spellnet_libras

SpellNetLIBRAS

SpellNetLIBRAS é um modelo de classificação de letras em Língua Brasileira de Sinais (LIBRAS), treinado com redes neurais convolucionais (CNNs), com foco em reconhecimento de fingerspelling em tempo real. O modelo faz parte da plataforma interativa SpellNet, que permite ao usuário praticar soletração em LIBRAS ou ASL por meio da webcam, com feedback instantâneo. Seu principal objetivo é promover acessibilidade e inclusão no ensino de línguas de sinais.

Detalhes do Modelo

Descrição

• —Desenvolvido por: Cecilia Sedenho, João Pedro Viguini, Daniel Carvalho, Bernardo Marques, Gabriel Iamato, Matheus Vicente
• —Patrocinado por: SignLink
• —Tipo do modelo: Classificador de imagem baseado em CNN (MobileNet via feature extraction)
• —Modelo base: MobileNet
• —Correspondência: raia.projetos@gmail.com, ceciliasedenho@gmail.com

Fontes

• —Repositório: https://github.com/gruporaia/SpellNet
• —Demo: Vídeo no YouTube

Usos

O modelo é destinado ao uso em aplicações de ensino e prática de fingerspelling em LIBRAS. Os usuários interagem com a aplicação por meio de webcam, recebendo feedback letra por letra conforme tentam soletrar palavras. Pode ser usado por:

• —Estudantes de LIBRAS;
• —Instrutores e intérpretes;
• —Pesquisadores em acessibilidade e visão computacional;
• —Desenvolvedores de aplicações educacionais.

Viéses, Riscos e Limitações

• —Vieses nos dados de treinamento: Como os dados foram coletados por membros da equipe via webcam, há risco de viés relacionado à aparência das mãos, fundo, iluminação e estilo de gesticulação.
• —Contextos inadequados: O modelo não é adequado para reconhecimento de gestos contínuos ou palavras com sinais únicos (sem soletração).

Como Usar

# Available backend options are: "jax", "torch", "tensorflow".
import os
os.environ["KERAS_BACKEND"] = "torch"
	
import keras

model = keras.saving.load_model("hf://RAIA-BRASIL/spellnet_libras")

Detalhes do treinamento

Dados de Treino

• —Dados autorais capturados via webcam com \~3.700 imagens por classe para LIBRAS (gestos estáticos de letras).

Procedimento

Pré-processamento

• —Redimensionamento para 224x224 px
• —Extração de landmarks com MediaPipe Hands
• —Data augmentation: rotação, variações de cor, salt and pepper noise

Hiperparâmetros

\[More Information Needed]

Infraestrutura computacional

Hardware

• —1x GPU (L4)
• —Treinamento feito localmente com validação cruzada estratificada por intérprete

Software

• —Python, TensorFlow/Keras, OpenCV, MediaPipe, Docker, Streamlit

Avaliação

Dados de Teste & Métricas

Dados de Teste

• —Conjunto separado por intérprete (cross-validation estratificada)

Métricas

• —Acurácia

Resultados

Agradecimentos

Agradecimentos aos membros da RAIA e à equipe da SignLink, cuja colaboração foi essencial para o sucesso deste projeto.