Transformar imagens de uma aula em informações que ajudem o professor a compreender a participação da turma. Essa é a proposta do Presente!, que realizou sua demonstração final nesta quinta-feira (22/10), no Instituto Nacional de Telecomunicações (Inatel), em Santa Rita do Sapucaí (MG). A solução combina inteligência artificial, visão computacional e uma rede 5G privada para reconhecer ações dos estudantes e apresentar indicadores sobre as dinâmicas em sala de aula.
O projeto surgiu de uma chamada pública de 2022 da Financiadora de Estudos e Projetos (Finep) e tem a Rede Nacional de Ensino e Pesquisa (RNP) como coordenadora geral e executora principal, com participação da co-executora Inatel e da Universidade Federal do Rio de Janeiro (UFRJ). A demonstração reuniu os componentes desenvolvidos, da infraestrutura de conectividade ao processamento das imagens e à visualização dos dados.
“O processo educativo nas escolas e universidades não mudou muito nos últimos anos. A inserção de novas tecnologias é importante para aferir o engajamento dos alunos e prover aos educadores indicadores para mudanças no processo pedagógico para aumentar o engajamento, especialmente com as novas gerações que têm dificuldade em se manterem engajadas”, afirmou José Ferreira de Rezende, assessor acadêmico e científico da RNP, professor da UFRJ e coordenador-geral do projeto.
Das imagens aos indicadores
Na sala protótipo instalada no Inatel, quatro câmeras captam diferentes ângulos do ambiente. As imagens são processadas por modelos de inteligência artificial que detectam os estudantes e reconhecem seis categorias de ações: movimentar-se, usar o celular, escrever, utilizar o computador, ler e prestar atenção.
Os resultados alimentam um painel que apresenta o número de estudantes detectados e estimativas de engajamento ao longo do tempo. Também é possível consultar o histórico para analisar diferentes momentos de uma aula. Outra funcionalidade apresentada foi a geração automática de listas de presença, por meio do reconhecimento facial de pessoas previamente cadastradas.
As estimativas de engajamento se baseiam em comportamentos visíveis e precisam ser interpretadas no contexto da atividade pedagógica. Um estudante pode, por exemplo, usar o celular como calculadora ou olhar para o quadro enquanto pensa em outro assunto. Os indicadores oferecem, portanto, informações complementares à observação e à avaliação do professor.
Uma base construída em sala de aula
O desenvolvimento dos modelos utilizou uma base construída a partir de 468 horas de gravações. Os registros de diferentes perspectivas permitiram treinar e comparar abordagens para reconhecer as ações dos estudantes em condições reais de sala de aula. “Construir uma base com imagens reais foi fundamental para trabalhar com a diversidade de situações que aparecem em uma aula. A mesma ação pode parecer diferente conforme o ângulo da câmera, e fatores como iluminação e estudantes parcialmente encobertos tornam o reconhecimento mais desafiador”, explica Murilo Cruz Lopes, do Inatel.
Entre as arquiteturas avaliadas — SlowFast, X3D, Swin3D e MViT —, a MViT-V2 apresentou o melhor desempenho na classificação dos comportamentos nos testes do projeto. Ainda assim, distinguir ações visualmente semelhantes permaneceu um desafio: ler pode ser confundido com escrever, assim como utilizar o computador pode se alternar com olhar para a aula. “O principal desafio foi avançar na detecção dos comportamentos dos estudantes e transformar essas informações em indicadores apresentados em um painel, para que o professor possa acompanhar as estimativas de engajamento da turma”, explica Leonardo Carvalho, coordenador de projetos da RNP.
A equipe também trabalhou na correspondência entre as imagens das câmeras, para relacionar a presença de um mesmo estudante em diferentes perspectivas. Além das oclusões, quando uma pessoa fica parcialmente encoberta por outra, foram observadas dificuldades associadas à iluminação e ao uso de roupas semelhantes.
Legado e próximos passos
O Presente! deixa como legado uma sala de aula piloto no Inatel, equipada com rede privativa 5G e câmeras para pesquisas sobre o uso de inteligência artificial na educação. A infraestrutura foi integrada a partir da evolução do 5G-in-a-Box já existente na instituição, em um trabalho conjunto entre os parceiros.
Além desse ambiente, o projeto produziu uma base de dados com 468 horas de vídeo, um modelo de inteligência artificial para reconhecer ações dos estudantes e duas publicações científicas. Essas entregas reúnem infraestrutura, dados e conhecimento para apoiar novas pesquisas sobre as dinâmicas em sala de aula. Entre os próximos passos está a anonimização da base de dados, com o tratamento das imagens para proteger a identidade dos participantes e preservar seu valor para a pesquisa. Saiba mais sobre o projeto aqui.
