Scholen gebruiken mogelijk AI om leerlingen in de gaten te houden – hier is waarom

Scholen gaan steeds verder dan bewakingscamera’s om hun leerlingen in de gaten te houden.

Een nieuw rapport van de Dallas Morning News heeft onthuld dat het gebruik van kunstmatige intelligentie (AI) om leerlingen te monitoren wijdverbreid is op scholen in het hele land. Veel campussen zeggen dat computermonitoring noodzakelijk is om de levens van studenten te beschermen en te redden die het risico lopen zichzelf of anderen schade toe te brengen. Maar sommige waarnemers schreeuwen gemeen.

“Als studenten weten dat ze worden gemonitord met AI, is de kans kleiner dat ze hun ware gedachten online delen en zijn ze voorzichtiger met wat ze zoeken.”

Nir Kshetri, hoogleraar aan de Universiteit van North Carolina in Greensboro, die digitale gemeenschappen bestudeert, vertelde Lifewire via e-mail. “Dit kan kwetsbare groepen, zoals studenten met geestelijke gezondheidsproblemen, ontmoedigen om de benodigde diensten te krijgen. Als studenten weten dat al hun bewegingen en alles wat ze lezen en schrijven in de gaten wordt gehouden, ontwikkelen ze zich ook minder snel tot volwassenen met een hoog zelfvertrouwen.”

Studenten kijken

Het nieuwsrapport beweert dat het bedrijf Social Sentinel scholen technologie aanbood om berichten op sociale media van studenten te scannen. Minstens 37 hogescholen hebben sinds 2015 Social Sentinel gebruikt. Social Sentinel heeft beweerd dat zijn dienst niet kan worden gebruikt voor het monitoren van protesten, maar uit het rapport blijkt dat deze voor dat doel wordt gebruikt.

“Tijdens een evenement kunnen dreigingswaarschuwingen belangrijk inzicht verschaffen over de leiders of agitatoren die mogelijk een confrontatie met de wet willen handhaving, het algemene klimaat van de menigte en het potentieel voor menigtegroei”, schreef Social Sentinel in een e-mail volgens de rapport. Navigate360, het bedrijf dat Social Sentinel in 2020 heeft overgenomen, het onderzoek genoemd onjuist en achterhaald.

Sommige insiders uit de sector zeggen dat het toenemende gebruik van AI voor surveillance onvermijdelijk is. "De paradox van sociale media is dat naarmate onze digitale voetafdruk groeit, ook ons ​​gebruik van sociale media toeneemt", Chris Piche, vertelde de oprichter van Smarter AI, een bedrijf dat CCTV verbindt met softwaregedefinieerde AI-camera's, aan Lifewire in een e-mailinterview. ‘Dit is waar overheidsregels een sleutelrol spelen. Europese en Amerikaanse overheden hebben bijvoorbeeld het recht om vergeten te worden geïntroduceerd onder de AVG, CCPA en andere Amerikaanse staatsregels."

Minderheden onder een AI-microscoop

Kshetri zei dat het gebruik van AI om studenten te monitoren een onevenredige impact zou kunnen hebben op minderheden. De kansen van zwarte studenten om geschorst te worden zijn meer dan drie keer zo groot als die van hun blanke leeftijdsgenoten, zei hij.

"Na het evalueren van de gemarkeerde inhoud melden leveranciers eventuele zorgen aan schoolfunctionarissen, die van geval tot geval disciplinaire maatregelen nemen", voegde hij eraan toe. "Het gebrek aan toezicht op het gebruik van deze hulpmiddelen door scholen zou tot verdere schade voor minderheidsstudenten kunnen leiden."

Toonaangevende AI-modellen hebben 50 procent meer kans om tweets die door Afro-Amerikanen zijn geschreven als ‘aanstootgevend’ te markeren dan die van anderen, zei Kshetri. Het is 2,2 keer zo waarschijnlijk dat ze tweets markeren die in Afrikaans-Amerikaans jargon zijn geschreven.

“Deze instrumenten hebben ook een negatievere invloed op seksuele en genderminderheden”, voegde hij eraan toe. Het bedrijf Gaggle heeft “naar verluidt ‘homo’, ‘lesbisch’ en andere LGBTQ-gerelateerde termen gemarkeerd omdat ze worden geassocieerd met pornografie, ook al worden de termen vaak gebruikt om iemands persoonlijkheid te beschrijven identiteit."

Leveranciers van bewakingssystemen gebruiken onveilige systemen die hackers kunnen misbruiken, zei Kshetri. In maart 2021 ontdekte computerbeveiligingssoftwarebedrijf McAfee diverse kwetsbaarheden in het leerlingvolgsysteem leverancier Netop's Vision Pro Education-software. Netop heeft bijvoorbeeld de communicatie tussen docenten en leerlingen niet gecodeerd om ongeautoriseerde toegang te blokkeren.

"De software werd door meer dan 9.000 scholen over de hele wereld gebruikt om miljoenen leerlingen te monitoren", zegt Kshetri toegevoegd.” Door de kwetsbaarheid konden hackers controle krijgen over webcams en microfoons in studentenkamers. computer."

Veel bedrijven bieden scholen manieren om leerlingen via internet te volgen. Socialemediaplatforms beschikken over eigen monitoringsoftware om bijvoorbeeld bots en spam te detecteren en te blokkeren, merkte Piche op. Hogescholen, bedrijven en overheden gebruiken software voor het monitoren van sociale media (of kortweg SMMS) van leveranciers, waaronder Hootsuite, Sprout Social en Zoho Social.

"Net als een stadsplein zijn sociale media een openbaar forum, geen privéforum", voegde hij eraan toe. “Elke keer dat we sociale media gebruiken, laten we digitale voetafdrukken achter die via sociale media worden gedeeld en verkocht platforms aan derden, bijvoorbeeld door Twitter aan Elon Musk en Facebook aan Cambridge Analytica."