Capture d’écran Youtube / WGRZ-TV

Reconnaissance faciale et algorithme raciste en milieu scolaire : un coûteux fiasco dans l’état de New York

17 Shares
17
0
0
0
0
0

Les technologies de surveillance modernes ont-elles leur place à l’école, même dans un pays marqué par les tueries en milieu scolaire ? La polémique fait rage à Lockport, alors que la solution coûteuse choisie par les autorités s’avère aussi peu efficace que discriminante.

Située à une dizaine de kilomètres de la frontière canadienne, la ville de Lockport, état de New York, est depuis plusieurs années dans le collimateur des militants pour le respect de la vie privée. En cause : l’installation d’un réseau de caméras utilisant la technologie de la reconnaissance faciale pour “sécuriser” ses établissements scolaires. Le système est notamment censé :

  • détecter toute personne jugée indésirable après avoir été préalablement incluse dans une base de données (prédateur sexuel notoire, ancien élève exclu, etc.)
  • reconnaître la présence d’une arme à feu sauf si elle est cachée dans un sac ou sous un vêtement (ce qui limite fortement l’efficacité du dispositif pour détecter des armes…)
  • prévenir les autorités en cas d’alerte.

Comme l’écrivait en juin 2019 dans le New York Times un auteur, mais surtout parent d’élève concerné, cette solution sécuritaire a été envisagée dès 2015 dans des conditions opaques – sur Twitter, le rédacteur qualifie même d’“escrocs” les investigateurs du projet.

Cette initiative, qui n’avait évidemment pas été présentée comme une lucrative opportunité pour certains entremetteurs, était vendue comme un moyen d’éviter une potentielle tuerie comme celle de l’école primaire de Sandy Hook (28 morts, dont 20 enfants, en décembre 2012).  Comme bien d’autres textes inquiets publiés sur le sujet, cette tribune alertait sur le fait que :

“la technologie de reconnaissance faciale est notoirement peu fiable, en particulier pour reconnaître des femmes et des personnes de couleur”.

Ces avertissements répétés n’ont pas été suivis d’effets, et les écoles de la zone concernée ont été équipées début 2020, comme l’avait alors relevé ce reportage d’une chaîne locale :

Mitraillette ou balai ?

Les lanceurs d’alerte ignorés par les pouvoirs publics avaient pourtant raison. Moins d’un an plus tard, Motherboard, le site spécialisé en culture numérique de Vice, a révélé ce mardi, documents à l’appui, de nombreuses défaillances dans la solution technologique adoptée par le Lockport City School District.

La société canadienne SN Technologies, responsable des installations controversées, est ainsi accusée d’avoir menti sur la fiabilité de sa solution, qui confondrait des manches à balai avec des armes à feu ; une telle détection déclenchant un processus d’alerte auprès des autorités, ces dernières peuvent ainsi croire à tort qu’une fusillade est en cours ou imminente.

Une femme noire aurait 16 fois plus de chances d’être mal identifiée

Plus grave encore que cette confusion entre objets, le taux de réussite du logiciel en matière de reconnaissance de personnes de couleurs s’avère moins performant qu’annoncé initialement dans les chiffres de SN Technologies. L’entreprise affirme utiliser pour ses produits une solution développée en France par la PME grenobloise id3 Technologies, qui se décrit sur son site comme “l’un des principaux experts dans la biométrie [qui] a déjà délivré 30 millions de licences de son algorithme d’authentification sur carte à puce”. Selon SN Technologies, l’algorithme utilisé à Lockport aurait été classé 49e sur 139 lors de tests de “biais racistes” effectués par la NIST (Institut Nationale des Standards et de la Technologie) – soit un résultat pas extraordinaire, mais dans la moyenne haute du domaine.

Problème : un expert de la NIST a catégoriquement démenti que les solutions proposées par la PME française puissent correspondre aux chiffres avancés pour amadouer les écoles de Lockport. SN Technologies avait ainsi déclaré que l’algorithme utilisé avait deux fois plus de chances de mal identifier un homme noir qu’un homme blanc. Selon le NIST, cette probabilité a été sous-estimée : un homme noir aurait 4 fois plus de chance d’être mal identifié qu’un homme blanc. La probabilité d’erreur grimperait encore plus pour les femmes noires comparées aux hommes blancs : elles auraient 16 fois plus de chance d’être mal identifiées.

Des fonds pour l’éducation alloués à de la surveillance

Outre les inégalités entre élèves selon leur couleur de peau et leurs potentielles conséquences en cas d’interventions de police non justifiées, le financement d’une telle sécurisation a scandalisé outre-Atlantique : les 2,7 millions de dollars dépensés pour cette technologie intrusive et peu fiable ont été puisés sur les fonds du programme Smart Schools Bond Act. Cette loi votée en 2014 dans l’État de New York est censée permettre aux écoles de s’équiper de technologies pour améliorer l’apprentissage des élèves. Ce qui se traduit généralement par le remplacement d’ordinateurs vieillissants ou la modernisation du réseau Internet, et non par l’instauration de systèmes de surveillance. 

Une pétition de l’Union new-yorkaise pour les libertés civiles adressée au gouverneur de l’Etat, Andrew Cuomo, lui demande d’interdire ces pratiques qui “font peu pour améliorer la sécurité des écoles et donnent aux élèves l’impression d’être des suspects dans leur propres salles de classe”.

Interrogé par Motherboard, Jim Shultz -le parent auteur de la tribune dans le New York Times citée précédemment- rappelle la triste ironie de cette affaire : en 2020, ce coûteux système a été totalement inutile. Covid oblige, toutes les personnes se rendant dans les établissements scolaires portent un masque, et ne sont donc pas reconnaissables !

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *