Një hetim i detajuar i BBC-së ka zbuluar një trend shqetësues në platformat e mediave sociale si TikTok dhe Instagram: përdorimin e avatarëve të krijuar nga Inteligjenca Artificiale (AI) për të promovuar përmbajtje seksualizuese, duke vënë në shënjestër veçanërisht gratë me ngjyrë. Pas publikimit të gjetjeve, TikTok ka ndërmarrë veprime të menjëhershme, duke hequr dhjetëra video dhe duke mbyllur llogari që shkelnin udhëzimet e platformës. Kjo ngjarje thekson sfidat në rritje të moderimit të përmbajtjes në epokën e AI dhe ngre shqetësime serioze etike dhe sociale rreth shfrytëzimit dhe paraqitjes së shtrembëruar të grave.
Hetimi i BBC-së, në bashkëpunim me analistë nga publikimi i pavarur i AI “Riddance”, identifikoi të paktën 60 llogari që përdornin imazhe të gjeneruara nga AI pa etiketim të duhur. Këto llogari shfaqnin avatarë dixhitalë të grave me ngjyrë, shpesh me pjesë trupi të ekzagjeruara dhe tone lëkure të manipuluara, të veshura me rroba zbuluese ose rroba banje. Emrat e llogarive shpesh përfshinin terma racistë si “ebony”, “noir” dhe “dark”, ndërsa komentet në postime shpesh bënin referenca eksplicite ndaj audiencave meshkujsh të bardhë, si “dashuron meshkujt e bardhë” ose “pse kam nevojë për një djalë të bardhë në jetën time”. Kjo praktikë jo vetëm që përdor stereotipe racore, por gjithashtu kontribuon në një kulturë racizmi dhe shfrytëzimi, duke paraqitur versione joreale dhe hiperseksualizuese të feminitetit të grave me ngjyrë. Disa prej këtyre llogarive madje lidheshin me përmbajtje shprehimisht seksuale me pagesë në faqe të palëve të treta.
Reagimi nga platformat ka qenë i ndryshëm. Ndërsa TikTok ndërmori veprime të shpejta duke mbyllur 20 llogari të identifikuara për promovimin e shërbimeve seksuale jashtë platformës dhe shkeljen e rregullave për përmbajtjen e paetiketuar të gjeneruar nga AI pa pëlqimin e individëve, Meta, kompania mëmë e Instagramit, është ende në proces hetimi dhe nuk ka ndërmarrë veprime publike deri më tani. Politikave të TikTok-ut kërkojnë që media sintetike ose e manipuluar, e cila shfaq skena realiste, të zbulohet qartësisht me një etiketë ose mbishkrim “Sintetike”, “I rremë”, “E gjeneruar nga AI”, etj., në mënyrë që shikuesit të informohen kur një video realiste nuk është reale. Ky rast nxjerr në pah vështirësitë që kanë platformat sociale në moderimin e përmbajtjes së gjeneruar nga AI, e cila mund të mashtrojë lehtësisht shikuesit dhe të dëmtojë individët. Për më tepër, zbulimet vënë në pah një paragjykim të thellë algoritmik, ku AI-ja trajnohet shpesh me të dhëna të paragjykuara, duke riprodhuar dhe përforcuar karikatura degraduese dhe stereotipe të shekujve të vjetër.
Kjo çështje është pjesë e një problemi më të gjerë me keqpërdorimin e teknologjisë AI. Kërkime të tjera kanë zbuluar se mjete të tjera të AI-së, si Grok i Elon Musk, kanë gjeneruar miliona imazhe të seksualizuara, duke përfshirë ato të fëmijëve, duke ngritur shqetësime për materiale të abuzimit seksual të fëmijëve të krijuara nga AI. Vjedhja dhe manipulimi i videove të krijuesve të vërtetë të përmbajtjes pa pëlqimin e tyre, siç ndodhi me një krijuese, videot e të cilës u përdorën për të krijuar video të gjeneruara nga AI me tone lëkure të errësuara në mënyrë ekstreme, thekson dimensionin shfrytëzues të kësaj tendence. Ndërsa teknologjia e AI vazhdon të zhvillohet me shpejtësi, është thelbësore që zhvilluesit dhe platformat të sigurojnë që sistemet e tyre të jenë të dizajnuara dhe të vendosura në mënyrë të përgjegjshme, duke mbrojtur grupet e margjinalizuara nga shfrytëzimi dhe duke nxitur një peizazh dixhital më të drejtë.
Përmbajtja e gjeneruar nga AI që shfrytëzon dhe seksualizon grave me ngjyrë, duke përjetësuar stereotipe racore, është një formë e “ministrelsisë dixhitale” dhe përbën një shfrytëzim të paprecedentë në epokën moderne. Ajo rrezikon të bëjë normë hipersexualizimin dhe objektivizimin e grave, sidomos atyre të margjinalizuara, dhe kërkon veprime të koordinuara nga platformat, rregullatorët dhe shoqëria civile. Transparenca, ndërhyrjet e shpejta dhe edukimi i përdoruesve janë thelbësore për të luftuar këtë fenomen dhe për të siguruar që mjetet e fuqishme të AI-së të përdoren për mirë, jo për keq.