Não é muito comum se deparar com conteúdo potencialmente sensível em redes sociais nos dias atuais. Os algoritmos de filtragem são extremamente poderosos e precisos para compreender, em poucos segundos, se uma publicação é violenta, imprópria ou perturbadora e, sem demora, a remove. Em casos mais extremos, a conta e o IP de quem insiste neste tipo de comportamento é marcada e banida.
Porém, por mais sofisticados que sejam os algoritmos de grandes corporações donas de redes sociais, eles não são perfeitos. Além disso, não raro os usuários descobrem brechas que acabam servindo para enganar o monitoramento automático. Assim, quando um conteúdo sensível acaba sendo publicado, burlando as regras da comunidade, os internautas tendem a denunciar. Uma vez feito isso, a moderação “manual” precisa ser feita.
Segundo a reportagem de Max Fisher no livro “A Máquina do Caos”, a média de tempo que uma pessoa aguenta neste emprego é de apenas nove meses. Alguns ficam apenas durante poucas semanas e uns poucos resistem a tempos maiores, chegando a dois anos. Um fator comum entre todos esses moderadores é que eles costumam investir em terapia após o fim de suas carreiras.
Caso pense que esses profissionais são contratados diretamente pela Meta ou X (antigo Twitter), você se enganou. Existem agências de moderação terceirizadas que costumam operar em países menos desenvolvidos, como na Índia e na Malásia. De forma geral, costumam existir moderadores nativos de diferentes idiomas, mas em países mais “exóticos”, como alguns da Ásia e da África, a filtragem manual desse tipo de conteúdo costuma ser mais difícil. Por isso que não é raro que material extremista circule com alguma liberdade em locais como Mianmar, por exemplo. Exceções para isso acontecem, é claro, quando se trata de vídeos e fotos explícitas, na qual é evidente a violação das regras.
Tais funcionários precisam analisar, em um tempo recorde, um número gigantesco de denúncias feitas por internautas todos os dias. Assim, eles são expostos constantemente a vídeos e fotos de criminosos executando desavenças, abuso sexual, pornografia, vítimas de acidentes e discursos políticos de grupos extremistas carregados de racismo, homofobia, xenofobia e misoginia. Terroristas também precisam ser monitorados e, assim, seus materiais publicitários que passam pelo filtro dos algoritmos precisam ser revisados e removidos de forma manual.
Dessa forma, o contato constante com conteúdos tão degradantes vai, aos poucos, minando a sanidade mental dos moderadores. Existem relatos, inclusive, que estes desenvolvem casos graves de ansiedade, depressão e dependência em drogas e medicamentos.
E quem se sujeita a aceitar esse tipo de trabalho? Infelizmente, são pessoas pobres e com pouca perspectiva de crescimento. Não é raro também que esses profissionais sejam jovens e estudantes que recém estão se lançando no mercado de trabalho e não encontraram nada melhor. Como os grandes polos dessas agências terceirizadas estão concentrados em países pobres, esse tipo de coisa passa a ser feita sem muitos questionamentos.
- O fim do YouTube e o poder da imprensa
- Uma breve história sobre os vírus de computador
- Planilha expõe as piores empresas para se trabalhar no Brasil
Algoritmo reforçando a pedofilia?
Como podemos constatar, muitas vezes o algoritmo das redes sociais falha em seu propósito de filtrar conteúdo sensível. No entanto, o que podemos dizer quando a tecnologia é tão refinada que é capaz de prever comportamentos até mesmo criminosos e pervertidos? Pois é exatamente isso que Fischer nos na obra através do relato de uma mãe de uma criança.
De acordo com essa mulher, em certa ocasião, os vídeos publicados em seu canal pessoal do YouTube (que não tinha nenhuma pretensão de produzir conteúdos profissionais) começaram a acumular milhares de visualizações.
Até pouco tempo antes, os conteúdos tinham poucas dezenas de acessos. Intrigada com a situação, ela começou a se dar conta de que seus vídeos mais vistos eram os que mostravam sua filha pequena de biquíni na praia ou na piscina.
Investigando mais ainda, ela descobriu algo perturbador.
Basicamente, o algoritmo do YouTube estava correlacionando os vídeos de sua filha (e de outras crianças) com outros conteúdos que envolviam sexualidade. Em alguns casos, estes outros materiais tinha cunho educativo, inclusive. Porém, ela passou a se dar conta que o programa de recomendação do site estava aprendendo que pessoas que são expostas constantemente a esse tipo de conteúdo sexual poderiam “perder a sensibilidade” a estímulos considerados “normais”. Dessa forma, para continuarem se excitando, elas podem acabar procurando materiais não-convencionais e até mesmo criminosos.
Em outras palavras, o algoritmo do YouTube havia aprendido que usuários que procuravam temas relacionados a sexo também consumiam muita pornografia e, por consequência, também estavam “se calejando” com esse tipo de conteúdo. Dessa forma, passou a recomendar vídeos que levaram a outra toda “a um outro nível”.
Recomendações de desligamento do algoritmo de recomendação neste tipo de conteúdo familiar e pessoal foi recomendado, mas pouco foi feito.
