Overblog
Editer l'article Suivre ce blog Administration + Créer mon blog
Knock on Wood

BODYGUARD et protection Internet

1 Février 2019 , Rédigé par Ipsus Publié dans #Dans L'AIR DU TEMPS, #INFORMATIQUE -Web

Bodyguard : une application française qui protège des commentaires haineux sur YouTube et Twitter

Créée par un jeune développeur français de 22 ans, Bodyguard protège ses utilisateurs des commentaires haineux sur YouTube et Twitter.

BODYGUARD et protection Internet
BODYGUARD et protection Internet

Techniquement, comment fonctionne-t-elle ?

Bodyguard est gérée par une intelligence artificielle : elle reproduit une action qui nécessite normalement un cerveau humain (cf : la modération.). Nous analysons le contexte de la phrase et nous nous adaptons à l’utilisateur que nous protégeons. Pour résumer rapidement :

Dans un premier temps nous recherchons dans la phrase une suite de mots haineux, ou une insulte (parmi une combinaison de plusieurs dizaines de millions de mots), peu importe l’orthographe, les emojis, le langage SMS, le langage LEET, peu importe si l’utilisateur essaie de censurer l’insulte, ou de contourner Bodyguard.

Dans un second temps nous allons analyser le contexte, à savoir ce qu’il y a avant et après ces mots, et en fonction de ça nous prenons une première décision : haineux ou pas haineux.

Exemple :

  • n’écoute pas connards qui disent que t’es une pute -> détecté comme non haineux par Bodyguard.
  • t’es une p uuuuuuuuuuuuu t e -> haineux.
  • j’suis grave un connard parfois -> non haineux.
  • t’es vraiment une groooooossssssssseeeeeeeeeeeeeeeeee ****** -> haineux.
  • t mère c tlmnt 1 p*te -> haineux.

Ce sont des exemples basiques, mais la technologie fonctionne bien entendu avec tout type de violences : menaces, harcèlement sexuel, moral, troll, moqueries, haine, homophobie, insultes, racisme…

Exemple :

  • T’es moche -> moquerie -> haineux.
  • Ne fais pas attention à ceux qui disent que t’es moche -> non haineux.
  • T vidéo c dla merde, non je rigole -> non haineux.
  • T’es pas belle -> haineux.
  • T’es belle -> non haineux.
  • N’ecoute pas ceux qui disent que t’es belle -> moquerie -> haineux.
  • T’es vraiment magnifique, non je rigole. -> moquerie -> haineux.
  • Tu meriterai qu’on te viole. -> harcèlement sexuel -> haineux.
  • Ta mère mérite des claques -> menace -> haineux.
  • Ta un gros 👃 -> moquerie

Dans un troisième temps, nous nous adaptons au profil de l’utilisateur : si l’utilisateur est homosexuel nous serons intransigeants avec l’homophobie, si l’utilisateur est un homme qui se maquille nous allons être bien plus sévères avec certaines remarques, si l’utilisateur a une différence physique (obésité, handicap), nous serons intransigeants sur les moqueries, etc… Nous nous adaptons également à l’âge : si l’utilisateur est très jeune, nous allons le protéger bien plus efficacement, et pour finir nous détectons les raids. Lors d’un raid de commentaires haineux, Bodyguard sera encore une fois bien plus sévère avec la modération pour protéger nos utilisateurs intégralement. Cette troisième étape nous permet pour certains utilisateurs par exemple, d’accepter l’humour :

Exemple :

  • Mdr t’es un enculé 😂 -> non haineux selon l’utilisateur.
  • Montre nous tes fesses 😂 -> supprimé si l’utilisateur est une fille, conservé si l’utilisateur est un homme majeur.

Bodyguard protège également contre les remarques envers vos proches, et toutes ces étapes sont réalisées en 5 millisecondes en moyenne. Ce qui nous permet de protéger également le Chat des lives YouTube avec la même technologie. L’utilisateur a bien entendu la possibilité de restaurer un commentaire (ou débloquer un Twittos) qui a été supprimé. Mais généralement, si Bodyguard a fait une erreur nous le restaurons nous même, puis nous apprenons à l’IA à ne plus faire cette erreur. Ainsi, l’utilisateur n’a rien à faire : on s’occupe de tout !

Forcément, il arrive également que Bodyguard passe au travers de certains commentaires, ce n’est pas un problème car nous disposons également d’outils nous permettant de vérifier manuellement certains commentaires « à risques » que nous supprimons manuellement si ils s’avèrent être haineux. Nous apprenons encore une fois à Bodyguard à détecter ce genre de commentaires afin de ne pas les laisser passer. C’est grâce à ces dispositifs que nous pouvons certifier à nos utilisateurs que nous les protégeons des commentaires haineux à 100%.

BODYGUARD et protection Internet

Partager cet article

Repost0
Pour être informé des derniers articles, inscrivez vous :