As escolas podem estar usando IA para manter o controle sobre os alunos – aqui está o porquê

As escolas estão cada vez mais indo além das câmeras de vigilância para ficar de olho nos alunos.

Uma nova reportagem do Dallas Morning News revelou que o uso da inteligência artificial (IA) para monitorar os alunos é generalizado nas escolas de todo o país. Muitos campi afirmam que o monitoramento de computadores é necessário para proteger e salvar a vida de estudantes que correm o risco de prejudicar a si mesmos ou a outras pessoas. Mas alguns observadores estão reclamando.

“Quando os alunos sabem que estão sendo monitorados com IA, eles são menos propensos a compartilhar pensamentos verdadeiros on-line e são mais cuidadosos com o que pesquisam”,

Nir Kshetri, professor da Universidade da Carolina do Norte em Greensboro, que estuda comunidades digitais, disse à Lifewire por e-mail. “Isto pode desencorajar grupos vulneráveis, como estudantes com problemas de saúde mental, de obterem os serviços necessários. Quando os alunos sabem que cada movimento seu e tudo o que é lido e escrito é observado, também é menos provável que se tornem adultos com um elevado nível de autoconfiança.”

Observando os alunos

A reportagem afirma que a empresa Social Sentinel ofereceu às escolas tecnologia para escanear postagens de alunos nas redes sociais. Pelo menos 37 faculdades usaram o Social Sentinel desde 2015. O Social Sentinel alegou que o seu serviço não pode ser utilizado para monitorizar protestos, mas o relatório concluiu que foi utilizado para esse fim.

“Durante um evento, os alertas de ameaças podem fornecer informações importantes sobre os líderes ou agitadores que podem querer um confronto com a lei. fiscalização, o clima geral da multidão e o potencial de crescimento da multidão", escreveu o Social Sentinel em um e-mail de acordo com o relatório. Navigate360, empresa que adquiriu o Social Sentinel em 2020, chamou a investigação impreciso e desatualizado.

Alguns membros da indústria dizem que o uso crescente da IA ​​para vigilância é inevitável. “O paradoxo das redes sociais é que, à medida que a nossa pegada digital cresce, também aumenta o nosso uso das redes sociais.” Chris Piche, o fundador da Smarter AI, uma empresa que conecta CCTV com câmeras de IA definidas por software, disse à Lifewire em uma entrevista por e-mail. “É aqui que as regulamentações governamentais desempenham um papel fundamental. Por exemplo, os governos europeus e americanos introduziram o Direito ao Esquecimento ao abrigo do GDPR, CCPA e outras regulamentações estaduais dos EUA."

Minorias sob um microscópio de IA

Kshetri disse que o uso da IA ​​para monitorar os estudantes poderia ter um impacto desproporcional nas minorias. As chances de estudantes negros serem suspensos são mais de três vezes maiores do que seus colegas brancos, disse ele.

“Depois de avaliar o conteúdo sinalizado, os fornecedores relatam quaisquer preocupações aos funcionários da escola, que tomam medidas disciplinares caso a caso”, acrescentou. “A falta de supervisão no uso dessas ferramentas pelas escolas pode causar ainda mais danos aos alunos de minorias”.

Os principais modelos de IA têm 50% mais probabilidade de sinalizar tweets escritos por afro-americanos como “ofensivos” do que aqueles escritos por outros, disse Kshetri. Eles têm 2,2 vezes mais probabilidade de sinalizar tweets escritos em gírias afro-americanas.

“Essas ferramentas também afetam de forma mais adversa as minorias sexuais e de gênero”, acrescentou. A empresa Gaggle "supostamente sinalizou 'gay', 'lésbica' e outros termos relacionados a LGBTQ porque eles estão associados à pornografia, embora os termos sejam frequentemente usados ​​para descrever identidade."

Os fornecedores de sistemas de vigilância usam sistemas inseguros que os hackers podem explorar, disse Kshetri. Em março de 2021, a empresa de software de segurança de computadores McAfee descobriu diversas vulnerabilidades no sistema de monitoramento de alunos fornecedor do software Vision Pro Education da Netop. Por exemplo, o Netop não criptografou as comunicações entre professores e alunos para bloquear o acesso não autorizado.

“O software foi usado por mais de 9.000 escolas em todo o mundo para monitorar milhões de alunos”, disse Kshetri adicionado." A vulnerabilidade permitiu que hackers obtivessem controle sobre webcams e microfones nas salas dos alunos. computadores."

Muitas empresas oferecem às escolas formas de monitorar os alunos pela internet. As plataformas de mídia social possuem software de monitoramento proprietário, por exemplo, para detectar e bloquear bots e spam, observou Piche. Faculdades, empresas e governos usam software de monitoramento de mídia social (ou SMMS, para abreviar) de fornecedores, incluindo Hootsuite, Sprout Social e Zoho Social.

“Assim como uma praça, as redes sociais são um fórum público, não privado”, acrescentou. “Sempre que usamos as redes sociais, deixamos pegadas digitais que são compartilhadas e vendidas pelas redes sociais plataformas para terceiros, por exemplo, do Twitter para Elon Musk e do Facebook para Cambridge Analytica."