Press "Enter" to skip to content

Bienvenue dans Deepfake Hell et la démocratie technophile

Partager

Tweet

Partager

Partager

Email

Jusqu'à présent, le XXIe siècle a été un long trajet en voiture-choc meurtrière de mensonges publics extravagants, démystifiés et discrédités, mais – à des degrés divers – faisant toujours des dégâts: Swiftboating, WMDs, catfishing, Benghazi, anti-vax, Brian Williams, Lance Armstrong, faits alternatifs, Pizzagate, foule inaugurale, Theranos, «Le Mexique paiera pour le mur», encore et encore.

Dans le carnaval du parc d'attractions de la technologie moderne, faire face à des mensonges et des tromperies de plus en plus sophistiqués est un problème chronique que la plupart attendent comme le prix à payer pour vivre dans une société libre. Mais il y a un sentiment de pressentiment que nous pourrions tous être dans une chute abrupte vers le bas dans une zone crépusculaire de mensonge et de fabrication. Grâce à une technologie émergente, nous semblons être arrivés à un moment haut de gamme où le futur apparaît soudainement à couper le souffle dans tous ses détails vertigineux et terrifiants.

Bienvenue à l'ère des «deepfakes».

Ces derniers mois, le buzz autour de la technologie deepfake a pénétré presque tous les domaines de la culture au sens large – médias, université, technologie, sécurité nationale, divertissement – et il n'est pas difficile de comprendre pourquoi. Dans la lutte constante entre la vérité et le mensonge, déjà un problème confondant de l'ère d'Internet, les deepfakes représentent ce point dans le film de super-héros lorsque le méchant caquetant révèle son arme apocalyptique aux masses ébranlées.

«Deepfakes» est un terme appliqué à un contenu vidéo ou audio représenté de manière réaliste qui a été techniquement modifié pour présenter une version fondamentalement fausse de la vie réelle. C'est une tromperie assez puissante pour passer le test de Turing de l'esprit humain, un mensonge sur les stéroïdes.

Dans de nombreux cas, c'est fait pour la valeur du divertissement et nous sommes tous sur la blague. Dans la vidéo du chef-d'œuvre d'échange de visage de Weird Al Yankovic pour «Perform This Way», une parodie de «Born This Way» de Lady Gaga, personne ne croit vraiment que Weird Al a le corps d'un mannequin féminin, mais de manière convaincante, il fait le cas. Ce mois-ci, une discussion en table ronde hilarante avec des simulations effrayantes de Tom Cruise, Robert Downey Jr., Jeff Goldblum et George Lucas a recueilli plus d'un million de vues en quelques jours.

Un historien n'a pas non plus à réfuter l'idée selon laquelle Forrest Gump a rencontré le président John F. Kennedy, car personne ne risque de prendre cette idée au sérieux. Mais la technologie a maintenant progressé au point où elle peut potentiellement être armée pour infliger des dommages durables aux individus, aux groupes, même aux systèmes économiques et politiques. Un nouveau système appelé FSGAN a maintenant vu le jour qui rend la création de deepfakes beaucoup plus facile, éliminant la courbe d'apprentissage technique abrupte. Cette technologie évolue de semaine en semaine.

Depuis des générations, la vidéo et l'audio jouissent d'une crédibilité presque absolue. Ces jours arrivent à une fin abrupte et désorientante. Qu'il s'agisse de mettre des mots scandaleux dans la bouche d'un politicien ou de créer une urgence ou une crise bidon juste pour semer le chaos, le jour approche à grands pas où les deepfakes peuvent être utilisés pour l'exploitation, l'extorsion, les attaques malveillantes, voire le terrorisme.

Pour un petit groupe d'individus par ailleurs extrêmement privilégiés, ce jour est déjà là. Si vous faites partie de cette petite élite de célébrités féminines jugées sexuellement désirables sur Internet – Emma Watson, Jennifer Lawrence, Gal Gadot, etc. – vous vous réveillez chaque matin en sachant que vous êtes à un clic ou deux de vous voir explicite porno auquel vous n'avez jamais participé. Cette horrible expérience Black Mirror n'est pas exactement un viol, mais c'est un cousin voyant. Et si les prophètes du malheur ont raison, le cadeau d’Emma Watson pourrait être l’avenir pour nous tous.

Bien sûr, la création de fausses vidéos qui détruisent la réputation d'une autre personne, que ce soit pour se venger ou pour obtenir une rançon, n'est que le cauchemar le plus individualisé des deepfakes. Si vous pouvez détruire une personne, pourquoi pas des groupes entiers ou des catégories de personnes? Pensez à l'effet d'une vidéo convaincante mais complètement fausse d'un soldat américain brûlant un Coran, ou d'un flic étouffant un manifestant non armé, ou d'un immigrant sans papiers tuant un citoyen américain à la frontière. La vraie violence peut suivre la fausse violence. Une vidéo en profondeur pourrait paralyser les marchés financiers, saper la crédibilité d'une élection libre ou pousser un président impétueux et mal informé à atteindre le football nucléaire.

ÉVASION DE LA VALLÉE D'UNCANNY

En fin de compte, l'histoire des deepfakes est une histoire de technologie atteignant un seuil particulier. Au moins depuis l'aube de la télévision, des générations ont grandi en développant des compétences très sophistiquées pour interpréter l'imagerie audiovisuelle. Lorsque vous passez votre vie à regarder des informations visuelles sur un écran, vous êtes bon à les «lire», un peu comme un lion «lit» la savane africaine. À un moment donné, la technologie vidéo a pu créer des images réalistes à partir de tissus entiers, mais elle s'est rapidement heurtée à un problème connu sous le nom d '«effet de vallée étrange», dans lequel la technologie la plus proche de la réalité, les petites différences plus dissonantes semblaient apparaître. un spectateur sophistiqué. Les deepfakes, tels qu'ils existent maintenant, sont toujours confrontés à ce problème spécifique, mais la crainte est qu'ils transcenderont bientôt l'étrange vallée et permettront ensuite de fausses vidéos qui ne peuvent être distinguées de la réalité. Cue le grand saut en avant dans l'apocalypse des médias.

Les Deepfakes sont le produit de l'apprentissage automatique et de l'intelligence artificielle. Les applications qui les créent fonctionnent à partir d'ensembles d'algorithmes en duel appelés «réseaux contradictoires génératifs» ou GANS. Fonctionnant à partir d'une base de données géante de vidéos et d'images fixes, cette technologie oppose deux algorithmes, l'un appelé «générateur» et l'autre «discriminateur». Imaginez deux entraîneurs de football rivaux, ou maîtres d'échecs, développant des plans offensifs et défensifs de plus en plus compliqués et sophistiqués pour se répondre, dans le but de créer une infraction qui ne peut pas être arrêtée. Le processus GANS accélère une sorte de «sélection naturelle» technologique, au point qu'un algorithme peut tromper l'œil et / ou l'oreille humaine.

Naturellement, l'industrie du divertissement a été à l'avant-garde de cette technologie, et l'obsession actuelle des deepfakes pourrait avoir commencé avec la sortie en décembre 2016 de Rogue One, le spin-off de Star Wars qui présentait une image créée par CGI de feu Carrie Fisher en tant que jeune princesse Leia. Un an plus tard, un utilisateur anonyme de Reddit a publié des vidéos porno de célébrités deepfake avec un outil qu'il a créé appelé FakeApp. Peu de temps après, la journaliste technologique Samantha Cole a écrit un article pour le blog Motherboard de Vice sur le phénomène intitulé "Le faux porno assisté par l'IA est là et nous sommes tous baisés". Quelques mois plus tard, l'humoriste et cinéaste Jordan Peele a créé une vidéo dans qu'il a mis des mots dans la bouche de l'ancien président Obama pour illustrer les dangers naissants des deepfakes. Reddit a interdit les subreddits concernant le faux porno de célébrités et d'autres plateformes, y compris PornHub et Twitter, a également interdit les deepfakes. Depuis lors, tout le monde, de PBS à Samantha Bee, a consciencieusement pris un tour pour sonner l'alarme pour avertir les consommateurs. La panique profonde avait commencé.

LA VÉRITÉ SURVIVRA-T-ELLE?

Il y a deux décennies, l'univers médiatique – un univers médiatique sans Facebook, sans Twitter et sans YouTube, devrions-nous ajouter – a été intégré dans un récit apocalyptique inspiré de la technologie appelé «Y2K», qui postulait que les systèmes informatiques mondiaux saisiraient , ou sinon se détraquer d'un certain nombre de façons imprévues, la minute où l'horloge est passée au 1er janvier 2000. Y2K s'est avéré être un Nothingburger géant, et maintenant ce n'est plus qu'une ligne de frappe pour des peurs comiques à la mauvaise tête.

Dans ce cas, Y2K mérite d'être rappelé comme une illustration de ce qui peut se produire lorsque les médias s'accumulent sur un récit de tech-apocalypse. Les effets d'écho peuvent surestimer une menace perçue et même créer un problème de monstres sous le lit. Dans le cas des deepfakes, la panique des médias pourrait également détourner l'attention d'une approche plus nuancée d'un problème à venir.

Riana Pfefferkorn est directrice adjointe de la surveillance et de la cybersécurité au Stanford’s Center for Internet and Society. Elle a été à l'avant-garde de ce que les deepfakes signifieront pour le système juridique. «Je ne pense pas que cela va être aussi important et répandu que les gens craignent que cela se produise», dit-elle. "Mais, en même temps, il y aura totalement des choses qu'aucun de nous ne verra venir."

Les ramifications des deepfakes apparaissant dans l'écosystème juridique sont profondes. La vidéo et l'audio sont utilisés dans les procédures judiciaires depuis des décennies et la véracité de ces preuves a rarement été contestée. "C'est une norme assez basse pour être admise (preuves vidéo et audio) jusqu'à présent", explique Pfefferkorn. "L'une des choses que je souhaite explorer est de savoir si les vidéos deepfake nécessiteront de modifier les règles de la preuve, car le seuil est maintenant si bas."

Mais les deepfakes n'auront pas seulement le potentiel de faire des ravages dans les stades de preuve des tribunaux pénaux et civils. Ils pourraient avoir un impact sur l'homologation et le droit des valeurs mobilières – pour simuler un testament, par exemple, ou pour échapper à la fraude. Pfefferkorn appelle le système juridique à procéder à ses ajustements maintenant, et elle est convaincue que ce sera le cas. "Quand (Adobe) Photoshop est sorti dans les années 90", dit-elle, "beaucoup de nouvelles ont ensuite parlé de la falsification des photos et ont prédit la chute de la vérité. Les tribunaux ont compris cela et se sont adaptés, et je pense que nous survivrons probablement aussi à celui-ci. »

Ce qui peut être plus troublant, c'est l'autre côté de l'énigme des deepfakes – non pas que les fausses vidéos seront vues comme réelles, mais que les vraies seront vues comme fausses. C’est un concept connu sous le nom de «dividende du menteur», un terme défendu par les professeurs de droit Danielle Citron et Robert Chesney, qui ont été les principaux penseurs du monde universitaire sur la question des deepfakes. "L'un des dangers dans un monde où vous pouvez accuser n'importe quoi d'être faux est ce que vous pouvez faire croire aux gens", explique Pfefferkorn. "Si les gens sont déjà dans cet état d'esprit suspect, ils vont l'emporter avec eux dans la boîte du jury."

Andrew Grotto est chercheur au Stanford’s Hoover Institute et chercheur au Center for International Security and Cooperation, également à Stanford. Avant cela, il a été directeur principal de la politique de cybersécurité à la Maison Blanche dans les administrations Obama et Trump. L'intérêt de Grotto pour les deepfakes est de savoir comment ils affecteront le processus électoral et la messagerie politique.

"Si le 11 septembre est un 10, et, disons, la violation Target (une violation de données de 2013 chez le détaillant qui a touché 40 millions de clients de cartes de crédit) est un 1", dit-il, "je mettrais cela à environ 6 ou 7. »Grotto s'est rendu à Capitol Hill et à Sacramento pour parler aux législateurs fédéraux et d'État des menaces posées par les contrefaçons. La plupart des législateurs à qui il a parlé n'avaient jamais entendu parler de deepfakes et étaient alarmés par ce que cela signifiait pour leurs perspectives électorales.

"Je leur ai dit:" Voulez-vous vivre et opérer dans un monde où vos adversaires peuvent littéralement mettre des mots dans votre bouche? " pour développer une sorte de norme de retenue. "

Grotto exprime son espoir que les deepfakes n'auront pas une grande influence sur la politique électorale dans le langage de la guerre froide. «Il y a presque une logique de destruction mutuelle assurée», dit-il, appliquant un terme utilisé pour expliquer pourquoi les États-Unis et l'Union soviétique n'ont pas déclenché une guerre nucléaire l'un contre l'autre. En d'autres termes, aucune des deux parties n'utilisera une arme politique aussi puissante car elle sera pétrifiée et sera ensuite utilisée contre elle. Mais une telle notion semble fausse à l'époque de Trump. Et les partis politiques n'ont pas à utiliser de vidéos deepfake dans les campagnes lorsqu'il existe d'innombrables sources partisanes, dont beaucoup sont sommaires, qui le feront pour eux.

L'un des politiciens que Grotto a impressionné à Sacramento était le démocrate Marc Berman, qui représente le 24e district de Californie (qui comprend Palo Alto et la moitié sud de la péninsule) à l'Assemblée d'État. Berman préside le Comité des élections et du redécoupage de l'Assemblée, et il a rédigé un projet de loi qui criminaliserait la création ou la distribution de tout enregistrement vidéo ou audio qui est «susceptible de tromper toute personne qui consulte l'enregistrement» ou qui est susceptible de «diffamer, calomnier ou embarrasser le sujet de l'enregistrement. »La nouvelle loi créerait des exceptions pour la satire, la parodie ou tout ce qui est clairement étiqueté comme faux. Le projet de loi (AB 602) a été adopté par l'Assemblée législative et signé par le gouverneur Newsom en octobre.

"Je vous le dis, les gens ont soulevé des préoccupations concernant le premier amendement", a déclaré Berman lors d'une interview téléphonique. «Mais, je dois dire: ce projet de loi soulève-t-il vraiment des préoccupations concernant le premier amendement? Maintenant, je n'ai pas de réponse à cela. Mais le premier amendement est la liberté d'expression – "Je peux dire ce que je veux dire." Cela fait 11 ans que j'ai obtenu mon diplôme en droit, mais je ne me souviens pas de la liberté d'expression, ce qui signifie que vous êtes libre de mettre votre discours dans ma bouche . "

L'Electronic Frontier Foundation, qui lutte depuis près de trois décennies contre la réglementation gouvernementale au nom des libertés civiles en ligne, repousse tous les efforts législatifs pour lutter contre les deepfakes. Dans un communiqué de presse, l'EFF a admis que les deepfakes pouvaient créer des méfaits et du chaos, mais a soutenu que les lois existantes relatives à l'extorsion, au harcèlement et à la diffamation sont à la hauteur de la tâche de protéger les gens contre les pires effets.

Berman, cependant, n'a aucun de cet argument: «Plutôt que d'être réactif, comme lors de la campagne (présidentielle) de 2016 lorsque des acteurs infâmes ont fait beaucoup de mauvaises choses en utilisant les médias sociaux que nous n'avions pas anticipés – et c'est seulement maintenant que nous réagissons à cela – essayons d'anticiper ce qu'ils vont faire et de prendre les devants. De cette façon, nous avons des politiques et des lois qui sont mises à jour en même temps que la technologie, au lieu d'être toujours derrière la technologie. »

FAUX AVENIR

Existe-t-il des utilisations potentiellement positives de la technologie Deepfake? Aux États-Unis du divertissement, les horizons sont sans limites, non seulement pour toutes les futures vidéos de Weird Al et les suites de Stars Wars, mais pour de tout nouveaux genres d'art à naître. Qui pourrait douter que la révolution CGI d'Hollywood continuera d'évoluer dans de nouvelles directions éblouissantes? Peut-être y a-t-il un autre film Marlon Brando ou une vidéo Prince dans notre avenir collectif.

L'Electronic Frontier Foundation vante quelque chose appelé «vanité consensuelle ou pornographie de nouveauté». Deepfakes pourrait permettre aux gens de changer leur apparence physique en ligne comme moyen de protection de l'identité. Il pourrait y avoir des avantages thérapeutiques pour les survivantes d'abus sexuels ou de SSPT à suivre une thérapie par vidéoconférence sans montrer leur visage. Certains ont spéculé sur les utilisations éducatives – créant, par exemple, des vidéos d’Abraham Lincoln lisant son discours de Gettysburg, puis régalant la classe de cinquième année de Mme Periwinkle avec des histoires de sa jeunesse.

Andrew Grotto à Stanford envisage une sorte d'application de «tromperie bénigne» qui permettrait à un politicien en campagne d'être essentiellement à plus d'un endroit à la fois, ainsi que des avantages dans les campagnes de sortie du vote.

Mais ici, au sommet des montagnes russes, les inconvénients potentiels semblent beaucoup plus vifs et importants que tout effet positif spéculatif. Deepfakes pourrait ajouter une ride de complication dans une variété d'activités légitimes. Par exemple, dans le domaine du journalisme, imaginez comment la nécessité de vérifier un élément vidéo ou audio pourrait ralentir ou contrecarrer une grande enquête. Pensez à ce que les deepfakes pourraient faire sur la scène des rencontres, dans laquelle les rencontres en ligne sont déjà consommées à tous les niveaux de fausseté. Les jeux vidéo, les applications de réalité virtuelle et autres mondes participatifs en ligne doivent-ils être plus séduisants?

Si l'ère d'Internet nous a appris quelque chose, c'est que les trolls sont inévitables, voire indomptables. Les deux dernières décennies nous ont donné une gamme décourageante de fléaux, d'Alex Jones à la vengeance du porno. La pêche à la traîne s'est même révélée être une stratégie gagnante pour entrer à la Maison Blanche. Derrière toute l’attention des médias consacrée aux deepfakes au cours des derniers mois, il y a la suspicion furtive que les trolls obtiennent une nouvelle arme efficace et dévastatrice pour tourmenter la société d’une manière peut-être même qu’ils n’ont pas encore conçue.

Et l'effet Emma Watson n'est peut-être même pas le pire.

"Continuons de marcher sur le chemin malveillant ici", explique Grotto dans son bureau de Stanford, spéculant sur la profondeur du trou de ver. Il évoque le spectre de ce qu'il appelle le «deepfake for text», qu'il dit désormais inévitable. Cela signifie qu'un jour, les deepfakes seront interactifs. Ils pourraient créer une conversation bidirectionnelle totalement fausse. Ce que l'on sait du processus de radicalisation conduisant à la participation à des groupes extrémistes, c'est que les conversations interactives sont le moyen de recrutement le plus efficace.

«Les gens regardent des vidéos, bien sûr», explique Grotto. «Mais la plupart du temps, ce qui excite vraiment les gens, c'est de discuter avec quelqu'un qui essaie de plaider pour qu'ils rejoignent la cause. Au lieu de regarder passivement YouTube ou d'échanger des messages sur Facebook, vous avez maintenant la possibilité de créer un personnage pour s'asseoir devant quelqu'un pendant des heures et essayer de le persuader de ceci ou de cela. Imaginez ce qu'un deepfake interactif, ciblé sur des individus basés sur la collecte de données, pourrait faire entre les mains d'ISIS, ou d'un groupe suprémaciste blanc, ou choisir votre méchant.

LA GARDER RÉELLE

Face à la menace des contrefaçons, la plupart des experts en sécurité et des technologues conviennent qu'il n'y a pas de vaccin, pas de solution miracle. La technologie du filigrane pourrait être insérée dans les métadonnées du matériel audio et vidéo. Même en l'absence de législation, les magasins d'applications exigeraient probablement qu'un tel filigrane soit inclus sur toute application Deepfake. Mais combien de temps cela prendrait-il avant que quelqu'un ne trouve un moyen de truquer le filigrane? Il y a des spéculations selon lesquelles les célébrités et les politiciens pourraient opter pour un «lifelogging» 24/7, une auto-surveillance numérique de chacun de leurs mouvements pour leur donner un alibi contre toute fausse vidéo.

Les Deepfakes sont encore au stade brut de développement. "Il est encore difficile de le faire fonctionner", explique Grotto. "Les outils ne sont pas au point où quelqu'un peut simplement s'asseoir sans une tonne d'expérience et faire quelque chose (c'est convaincant)."

Il dit que l'élection présidentielle de 2020 pourrait être en proie à de nombreuses choses, mais les deepfakes n'en feront probablement pas partie. Mais après ça? "En 2022, 2024, c'est à ce moment que les outils s'améliorent", dit-il. "C’est là que les barrières à l’entrée commencent vraiment à tomber. C'est à ce moment-là que vous verrez plus d'applications malveillantes dans d'autres domaines, où un enfant de 16 ans pourrait imaginer un tournage scolaire. "

Ce n'est pas le moment de paniquer, dit-il. C'est le moment de développer des politiques et des normes pour contenir les pires excès de la technologie, tout en étant au sommet des montagnes russes. Grotto dit que convaincre les politiciens et leurs partis de résister à la technologie, développer des mesures légales et volontaires pour les plateformes et les développeurs, et étiqueter et appliquer les règles auront tous des effets positifs en ralentissant la descente dans l'enfer profond.

«Je pense que nous avons quelques années pour nous mettre dans la tête et décider du genre de monde dans lequel nous voulons vivre et à quoi ressemble le bon ensemble d'interventions politiques», dit-il. "Mais parlez-moi dans cinq ans, et peut-être que mes cheveux seront en feu."

Rédactrice
à
Bon temps

| Blog

Wallace Baine est écrivain, critique de cinéma, chroniqueur et monteur à Santa Cruz depuis plus de 25 ans. Il est l'auteur de «A Light in the Midst of Darkness», une histoire culturelle de la libraire indépendante Bookshop Santa Cruz, ainsi que du livre «Rhymes with Vain: Belabored Humor and Attempted Profundity» et de la collection d'histoire «The Last Temptation of Lincoln. »Il est rédacteur pour Good Times, Metro Silicon Valley et le magazine San Benito / South Valley.

Bienvenue dans Deepfake Hell et la démocratie technophile
4.9 (98%) 32 votes