Opérant dans l'ombre des commerces en ligne, des sociétés technologiques spécialisées dont vous n'avez probablement jamais entendu parler exploitent de vastes quantités de nos données personnelles pour générer des "scores de surveillance " secrètes - des photos numériques de millions d'Américains - qui sont censées prédire notre comportement futur. Ces entreprises vendent leurs services de notation aux grandes entreprises de l'économie américaine.
Les personnes dont les scores sont faibles peuvent subir de graves conséquences.
CoreLogic et TransUnion affirment que les scores qu'elles vendent aux bailleurs peuvent prédire si un locataire potentiel paiera le loyer à temps, pourra "absorber les augmentations de loyer" ou rompra un bail. Les grands employeurs utilisent HireVue, une entreprise qui génère un score d'"employabilité" sur les candidats en analysant "des dizaines de milliers de facteurs", dont les expressions du visage et les intonations de la voix d'une personne. D'autres employeurs utilisent le score de Cornerstone, qui tient compte de l'endroit où vit un candidat et du navigateur web qu'il utilise pour juger de son aptitude à occuper un emploi.
Les détaillants de marque achètent des "scores de risque" de Retail Equation pour déterminer si les consommateurs commettent une fraude lorsqu'ils retournent des marchandises pour se faire rembourser. Les acteurs de l'économie des petits boulots (big economy) font appel à des entreprises extérieures telles que Sift pour évaluer la "fiabilité globale" des consommateurs. Les clients d'opérateurs mobiles dont on prévoit qu'ils seront moins rentables sont parfois obligés de supporter des délais d'attente plus longs pour le service client.
Les assureurs automobiles augmentent les primes sur la base de scores calculés à partir d'informations provenant d'applications pour smartphones qui suivent les styles de conduite. Les grandes sociétés d'analyse surveillent si nous sommes susceptibles de prendre nos médicaments en fonction de notre propension à renouveler nos ordonnances ; les sociétés pharmaceutiques, les prestataires de soins de santé et les compagnies d'assurance peuvent utiliser ces scores pour, entre autres, "faire correspondre le bon niveau d'investissement aux bons patients".
Les personnes dont les scores sont faibles peuvent subir de graves conséquences.
CoreLogic et TransUnion affirment que les scores qu'elles vendent aux bailleurs peuvent prédire si un locataire potentiel paiera le loyer à temps, pourra "absorber les augmentations de loyer" ou rompra un bail. Les grands employeurs utilisent HireVue, une entreprise qui génère un score d'"employabilité" sur les candidats en analysant "des dizaines de milliers de facteurs", dont les expressions du visage et les intonations de la voix d'une personne. D'autres employeurs utilisent le score de Cornerstone, qui tient compte de l'endroit où vit un candidat et du navigateur web qu'il utilise pour juger de son aptitude à occuper un emploi.
Les détaillants de marque achètent des "scores de risque" de Retail Equation pour déterminer si les consommateurs commettent une fraude lorsqu'ils retournent des marchandises pour se faire rembourser. Les acteurs de l'économie des petits boulots (big economy) font appel à des entreprises extérieures telles que Sift pour évaluer la "fiabilité globale" des consommateurs. Les clients d'opérateurs mobiles dont on prévoit qu'ils seront moins rentables sont parfois obligés de supporter des délais d'attente plus longs pour le service client.
Les assureurs automobiles augmentent les primes sur la base de scores calculés à partir d'informations provenant d'applications pour smartphones qui suivent les styles de conduite. Les grandes sociétés d'analyse surveillent si nous sommes susceptibles de prendre nos médicaments en fonction de notre propension à renouveler nos ordonnances ; les sociétés pharmaceutiques, les prestataires de soins de santé et les compagnies d'assurance peuvent utiliser ces scores pour, entre autres, "faire correspondre le bon niveau d'investissement aux bons patients".
La notation de la surveillance est le produit de deux tendances. La première est la collecte effrénée (et la plupart du temps non réglementée) de tous les détails intimes de nos vies, accumulés à la nanoseconde près, des smartphones aux voitures, des grille-pain aux jouets. Ces données - dont la plupart sont communiquées volontairement - comprennent nos données démographiques, nos revenus, les caractéristiques de notre visage, le son de notre voix, notre localisation précise, l'historique de nos achats, nos problèmes de santé, des informations génétiques, ce que nous recherchons sur Internet, les sites web que nous visitons, quand nous lisons un courriel, les applications que nous utilisons et la durée de leur utilisation, et la durée de notre sommeil, de notre exercice physique, etc.
La deuxième tendance à l'origine de ces scores est l'arrivée de technologies capables d'écraser instantanément ces données : des ordinateurs exponentiellement plus puissants et des systèmes de communication à haut débit tels que la 5G, qui conduisent aux algorithmes de notation qui utilisent l'intelligence artificielle pour nous noter tous d'une manière ou d'une autre.
Le résultat : des décisions automatisées, basées sur un score unique pour chaque consommateur, qui sont, en pratique, irréversibles.
La deuxième tendance à l'origine de ces scores est l'arrivée de technologies capables d'écraser instantanément ces données : des ordinateurs exponentiellement plus puissants et des systèmes de communication à haut débit tels que la 5G, qui conduisent aux algorithmes de notation qui utilisent l'intelligence artificielle pour nous noter tous d'une manière ou d'une autre.
Le résultat : des décisions automatisées, basées sur un score unique pour chaque consommateur, qui sont, en pratique, irréversibles.
C'est parce que tout le processus - les notes elles-mêmes, ainsi que les données sur lesquelles elles sont basées - nous est caché. Il est pratiquement impossible de savoir quand on est victime d'un score, et encore moins si un score est inexact, dépassé ou le produit d'un code biaisé ou discriminatoire programmé par un ingénieur logiciel sans visage. Il n'y a pas de recours.
Le scoring de surveillance ressemble un peu au scoring de crédit des années 1960. À l'époque pré-informatique, les enquêteurs privés travaillant pour les banques, les détaillants et les compagnies d'assurance suivaient les consommateurs et parcouraient les journaux à la recherche d'informations sur les arrestations, les promotions, l'orientation sexuelle, les habitudes de consommation d'alcool et la propreté pour déterminer la solvabilité d'un consommateur - jusqu'à ce que le Congrès établisse, dans les années 70, des règles donnant aux consommateurs le droit d'examiner et de remettre en question leurs scores de crédit.
Aujourd'hui, les mouchards obtiennent infiniment plus d'informations sur leurs cibles, et en temps réel. Et l'impact du scoring de surveillance est bien plus pernicieux.
Le scoring de surveillance ressemble un peu au scoring de crédit des années 1960. À l'époque pré-informatique, les enquêteurs privés travaillant pour les banques, les détaillants et les compagnies d'assurance suivaient les consommateurs et parcouraient les journaux à la recherche d'informations sur les arrestations, les promotions, l'orientation sexuelle, les habitudes de consommation d'alcool et la propreté pour déterminer la solvabilité d'un consommateur - jusqu'à ce que le Congrès établisse, dans les années 70, des règles donnant aux consommateurs le droit d'examiner et de remettre en question leurs scores de crédit.
Aujourd'hui, les mouchards obtiennent infiniment plus d'informations sur leurs cibles, et en temps réel. Et l'impact du scoring de surveillance est bien plus pernicieux.
L'industrie technologique insiste sur le fait que chaque progrès qu'elle réalise améliore notre vie. Mais c'est un mythe. La notation de surveillance permet aux entreprises de dissimuler la discrimination à l'ancienne dans une aura d'infaillibilité technologique et d'émerveillement.
Les scores de surveillance secrets créent des micro-marchés dans lesquels certains consommateurs ne sont plus les bienvenus. Ils divisent les Américains en "nantis" et "démunis", les perdants étant relégués au statut de citoyens de seconde zone.
Les consommateurs ont besoin d'une solution du XXIe siècle pour faire face à cette menace émergente. Le Congrès, inondé par l'argent de la technologie, est embourbé dans un paradigme juridique dépassé : "divulgation" des politiques de protection de la vie privée et "consentement" par un clic. Personne ne prétend que ces concepts du droit des contrats de l'ère industrielle feront quoi que ce soit pour freiner le vol de données, et encore moins pour réglementer ou interdire les scores de surveillance secrets.
Nous avons demandé à la Commission fédérale du commerce d'enquêter sur les scores de surveillance et de les réglementer. La réponse de la commission ? Un billet de blog invitant les entreprises qui développent et appliquent des scores à s'autoréguler.
Ce n'est que le dernier exemple de la capitulation de Washington face à l'industrie technologique, dont la spirale continue de violations de la vie privée, d'excuses abjectes et de paiement de pénalités sans conséquence confirme que les consommateurs ne peuvent pas compter sur la protection du gouvernement fédéral.
Le surveillance scoring secret nous place au bord du précipice de la "singularité", un tournant dystopique après lequel les machines porteront sur les humains des jugements qui détermineront notre sort. Soit nous prenons le contrôle de notre avenir, soit nous risquons de le perdre.
Les scores de surveillance secrets créent des micro-marchés dans lesquels certains consommateurs ne sont plus les bienvenus. Ils divisent les Américains en "nantis" et "démunis", les perdants étant relégués au statut de citoyens de seconde zone.
Les consommateurs ont besoin d'une solution du XXIe siècle pour faire face à cette menace émergente. Le Congrès, inondé par l'argent de la technologie, est embourbé dans un paradigme juridique dépassé : "divulgation" des politiques de protection de la vie privée et "consentement" par un clic. Personne ne prétend que ces concepts du droit des contrats de l'ère industrielle feront quoi que ce soit pour freiner le vol de données, et encore moins pour réglementer ou interdire les scores de surveillance secrets.
Nous avons demandé à la Commission fédérale du commerce d'enquêter sur les scores de surveillance et de les réglementer. La réponse de la commission ? Un billet de blog invitant les entreprises qui développent et appliquent des scores à s'autoréguler.
Ce n'est que le dernier exemple de la capitulation de Washington face à l'industrie technologique, dont la spirale continue de violations de la vie privée, d'excuses abjectes et de paiement de pénalités sans conséquence confirme que les consommateurs ne peuvent pas compter sur la protection du gouvernement fédéral.
Le surveillance scoring secret nous place au bord du précipice de la "singularité", un tournant dystopique après lequel les machines porteront sur les humains des jugements qui détermineront notre sort. Soit nous prenons le contrôle de notre avenir, soit nous risquons de le perdre.
source :
https://www.washingtonpost.com/opinions/2020/07/31/data-isnt-just-being-collected-your-phone-its-being-used-score-you/
Miroir :
https://app.sigle.io/linkzilla1.id.blockstack/4ZzG7yfxQZMw1WNlcNVDr