Perspectivas sobre o Humanismo Digital
Manifesto de Viena sobre o Humanismo Digital
Parte V Dados, Algoritmo e Equidade
[135]Você encontrou Isso na Internet? Complexidades Éticas dos Ranqueamentos de Motores de Busca1
por Cansu Canca
Resumo Motores de busca desempenham um papel crucial em nosso acesso à informação. O seu ranqueamento de busca pode amplificar certa informação, enquanto tornando outras virtualmente invisíveis. Questões éticas surgem com respeito aos critérios nos quais o ranqueamento está baseado, a estrutura do ranqueamento resultante e as suas implicações. Os críticos frequentemente propõem um coleção de valores e princípios comumente sustentados, argumentando que eles fornecem a orientação necessária para motores de busca éticos. Contudo, esses valores e princípios, frequentemente, estão em tensão uns com os outros e conduzem-nos a critérios e resultados incompatíveis, como eu mostro neste breve capítulo. Nós necessitamos de um debate público mais rigoroso, que vá além de princípios e engaje-se com necessários compromissos (trade-offs) de valor.
1 Introdução
Em nossa vida digitalizada, os motores de busca funcionam como os porteiros (gatekeepers) e a principal interface para informação. Os aspectos éticos dos motores de busca são extensivamente discutidos no discurso acadêmico. Um desses aspectos é o viés de motor de busca, uma questão que inclui preocupações éticas sobre os ranqueamentos de motores de busca estando carregados de valores implícitos (value-laden), favorecendo certos resultados e usando critérios não objetivos (Tavani 2020). O debate ético acadêmico (ainda) não convergiu para uma resolução altamente aceita dessa questão complexa. Entrementes, o debate público convencional ignorou principalmente os difíceis compromissos éticos, optando antes por uma coleção de princípios e valores comumente sustentados, tais como precisão, igualdade, eficiência e democracia. Neste breve capítulo, eu explico porque essa abordagem conduz a conflitos insolúveis e, dessa forma, por fim, a uma rua sem saída.
[136]2 Valor de e Valor dentro de Motores de Busca
Motores de busca são inestimáveis. Sem eles, é impossível navegar através das quantidades massivas de informação disponível no mundo digital. Eles são o nosso principal mediador de informação (CoE 2018). A cada dia, mas de 7 bilhões de buscas são conduzidas apenas no Google,2 equivalendo a mais de 85% de todas as buscas no mundo.3 Em adição a isso, várias buscas são conduzidas por motores especializados de busca, tais como Amazon e YouTube. Mesmo a pesquisa acadêmica e científica depende do Google Scholar, Pubmed, JSTOR, e similares motores especializados de busca – significando não apenas que nós dependemos de motores de busca para acessar informação, mas também dependemos deles enquanto criando mais conhecimento.
Nós nos submetemos tanto ao ranqueamento da informação por motores de busca que a maior parte das pessoas nem mesmo checa a segunda página dos resultados de busca.4 No Google, 28,5% dos usuários clica no primeiro resultado, enquanto 2,5% clica no décimo resultado, e menos do que 1% clica em resultados da segunda página.5 Isso significa que o ranqueamento tem um grande efeito sobre os que as pessoas veem e aprendem.
O ranqueamento por motores de busca nunca é neutro quanto a valor, nem livre de interferência humana. Ele é otimizado para alcançar um objetivo. Mesmo se nós podemos concordar que esse objetivo é a relevância para o usuário, a definição do que é relevante envolve conjecturas e julgamentos de valor. Por definição, na maioria das perguntas de busca, os usuários não conhecem qual resultado eles estão procurando. Em cima disso, o motor de busca tem de adivinhar a partir das palavras-chave de busca em que tipo de informação o usuário está interessado. Por exemplo, um usuário pesquisando por “vacinação de corona (corona vacination)” poderia estar procurando por opções de vacina, informação de segurança da vacina, opiniões antivacinação, taxas de vacinação, ou celebridades que estão vacinadas, e ele poderia estar procurando por isso em uma escala global ou local. Mais importante, ele poderia igualmente ficar satisfeito com informação bem explicada de segurança de vacina ou opiniões antivacinação, uma vez que ele poderia não ter razões anteriores para diferenciar esses dois resultados opostos. Aqui, o julgamento de valor entra em jogo no design do sistema. Deveria o sistema primeiro mostrar a informação de segurança de vacina, para assegurar que o usuário esteja bem informado, ou as opiniões antivacinação, uma vez que elas frequentemente são mais intrigantes e engajantes? O sistema deveria tornar os resultados dependentes de perfis de usuários (ou seja, sendo cientifica ou orientados a conspiração)? Ele deveria ordenar os resultados global ou localmente por taxas de cliques, pelas preferências pessoais do usuário, pela precisão da informação, pelo balanceamento de opiniões, ou pela segurança pública? A decisão de qual ranqueamento apresentar inseri um julgamento de valor no motor de busca. E essa decisão não pode depender completamente da avaliação da satisfação do usuário sobre a questão da pesquisa, porque o usuário não conhece a variedade completa [137]de informação que poderia ter sido mostrada. Além disso, a satisfação do usuário ainda poderia conduz a resultados antiéticos.
3 Importância Ética dos Ranqueamentos de Motores de Busca
Imagine basear a sua decisão de se vacinar em informação falsa porque é o que surgiu em sua busca (Ghezzi et al. 2020; Johnson et al. 2020). Imagine decidir em quem votar baseado em teorias de conspiração (Epstein e Robertson 2015). Imagine ter sua percepção de outras raças e outros gêneros empurrada a extremos negativos porque esse é o estereótipo ao qual você é apresentado online (Noble 2018). Imagine pesquisar um emprego mas não ver nenhuma posição de alto pagamento e alto poder por causa do conhecimento ou estimativa do motor de busca da sua raça, gênero ou contexto socioeconômico.6 Imagine o seu CV nunca aparecer para empregadores para aqueles trabalhos para os quais você facilmente se qualificaria por causa do perfis criados (profiling) pelo motor de busca (Deshpande et al. 2020). Essas são questões éticas. Elas brotam a partir de julgamentos de valor embutidos no processamento de motores de busca e, como um resultado, impactam a autonomia individual, o bem-estar e a justiça social.
Nós baseamos as nossas decisões no que nós conhecemos. Ao selecionarem qual informação apresentar e em qual ordem, os motores de busca afetam e dão forma a nossa percepção, conhecimento, decisão e comportamento tanto na esfera digital quanto na física. Como um resultado, eles podem manipular ou cutucar (nudge) decisões de indivíduos, interferir com a autonomia deles e afetar o seu bem-estar.
Ao ordenarem e ranquearem o que está lá fora no mundo digital, os motores de busca também impactam como benefícios e fardos são distribuídos no interior da sociedade. Em um mundo onde nós pesquisamos online por empregos, empregados, créditos de banco, escolas, casas, passagens de avião e produtos, os motores de busca desempenham um papel significante na distribuição de oportunidades e recursos. Quando certos bens ou oportunidades são sistematicamente ocultos de alguns de nós, há um óbvio problema de igualdade, oportunidade e recursos iguais, e, mais geralmente, equidade (fairness). Para ilustrar mais claramente o argumento, uma vez que certa informação não está acessível para alguns, eles frequentemente nem mesmo sabem que ela existe. Se nós não podemos compreender a injustiça, nós também não podemos exigir um tratamento justo.
4 Você vê Professoras?
Um exemplo corrente do viés de motores de busca tem sido a imagem dos resultados de busca para o termo “professor.”7 Quando pesquisando por “professor,” os motores de busca apresentam um conjunto esmagadoramente de homens branco. Nos EUA, por exemplo, as mulheres formam 42% [138]de todo o corpo docente estável (tenured) ou em processo de estabilização (tenure-track).8 Em resultados de motores de busca, a razão de imagens femininas tem sido de aproximadamente 10-15% e apenas recentemente subiu para 20-22%.9 Quando pesquisando especificamente por “professoras (female professors),” os resultados de imagem são acompanhados por sugestões pouco lisonjeiras: o primeiro termo sugerido pelo Google foi “clipart” (Fig. 1), enquanto que as quatro sugestões no top do Bing incluem professoras “loucas,” “caricatura” e “clipart” (Fig. 2).10
 |
[139]Fig. 1 Professoras e o Google |
 |
[140]Fig. 2 Professoras e o Bing |
Por que isso é um problema ético? Estudos revelam que garotas são mais prováveis de escolher um campo de estudo se elas tiverem papéis modelos femininos (Lockwood 2006; Porter e Serra 2020). Estudos também revelam que estereótipos de gênero têm um efeito negativo na contratação de mulheres para posições que tradicionalmente são possuídas por homens (Isaac et al. 2009; Rice e Barth 2016). Ao amplificarem estereótipos existentes, os resultados de motores de busca contribuem para o existente desequilíbrio de gênero em posições de alto poder. É razoável pensar que esse desequilíbrio de gênero na vida real tenha suas raízes em discriminação injustificada contra mulheres no local de trabalho, assim como em estruturas sócias discriminatórias, ambas as quais não permitem ao talento feminino escalarem a escada de carreira. O viés de motor de busca contribui para a perpetuação desse desequilíbrio de gênero.
De fato, isso não é exclusivo de resultados de busca por imagem para “professor.” Mulheres estão sub-representadas através de imagens de trabalho e, especialmente, em posições de alto poder (Kay et al. 2015; Lam et al. 2018). Dê um passo adicional neste problema, e nós terminamos com questões tais como o LinkedIn – uma plataforma para networking profissional – corrigindo automaticamente nomes femininos para masculinos em sua função de busca11 e o Google mostrando poucos anúncios de trabalhos prestigiosos para mulheres do que para homens.12
A maior parte das reações convencionais critica os ranqueamentos de motores de busca a partir de valores e princípios comumente sustentados: os motores de busca deveriam refletir a verdade e ser justos; eles deveriam promover a igualdade e ser utéis; eles deveriam permitir aos usuários exercitarem ação e evitar dano; e assim por diante. Contudo, em uma inspeção de perto, esses valores e princípios comumente sustentados falham em fornecer orientação e podem mesmo conflitar uns com os outros. Nos próximos parágrafos, eu examino brevemente três valores, precisão, igualdade e ação para mostrar como a simples orientação é inadequada pra responder esse problema complexo.
Precisão Alguém poderia argumentar que os motores de busca, sendo uma plataforma para informação, deveriam refletir precisamente o mundo como ele é. Isso implicaria que os resultados de imagem [141]deveriam ser revisados e continuamente atualizados para refletir a proporção de gênero na vida real de professores. Em contraste, os resultados correntes de busca retratam a percepção social sobre papéis de gênero e trabalhos prestigiosos. Note que implementar precisão nos resultados de busca requereria determinar o escopo da informação: deveriam os resultados refletirem precisamente a proporção local ou global? E que outras variáveis – tais como raça, habilidade, idade e contexto socioeconômico – e suas proporções os resultados deveriam refletir precisamente?
Igualdade Contestando a priorização da precisão, alguém poderia argumentar que motores de busca deveriam promover a igualdade, porque eles dão forma à percepção enquanto apresentando informação, e simplesmente mostrar o status quo a despeito das desigualdades embutidas seria injusto. Se nós interpretamos a igualdade como representação igual, isso implicaria mostrar um número igual professores e professoras. A implementação da representação igual em resultados de busca também requereria levar em consideração outras variações acima mencionadas – tais como raça, habilidade, idade e contexto socioeconômico – e representar igualmente todas as combinações. Portanto, uma questão crucial seria, com o que os resultados de busca se pareceriam se todas as identidades possíveis fossem representadas e esses resultados ainda seriam relevantes, úteis ou informativos para o usuários?
Ação Contestando igualmente precisão e igualdade, alguém poderia argumentar que o sistema deveria priorizar a ação e escolha do usuário, ranqueando os resultados mais clicados no topo. Esse não é um argumento forte. Quando conduzindo uma busca, os usuários não transmitem uma escolha informada e intencional através dos seus vários cliques. Contudo, alguém poderia incorporar configurações de usuário à interface do motor de busca para encorajar a ação do usuários e fornecer a eles um catálogo de opções de configurações para o ranqueamento. Todavia, uma vez que a maior parte das pessoas tem inércia psicológica e viés de status quo, a maioria dos usuários ainda terminaria usando a configuração padrão (ou mais fácil) – o que nos traz de volta à nossa questão inicial: qual deveria ser o ranqueamento padrão?
Uma consideração adicional tem de ser o conteúdo das páginas web das quais essas imagens se originam. Não é suficiente ter uma combinação eticamente justificável de imagens nos resultados de busca. Também é importante que as páginas web que se ligam a essas imagens sigam uma estrutura ética similar. Por exemplo, se resultados de busca revelam número igual de imagens femininas e masculinas, mas as páginas com imagens femininas questionam igualdade de gênero, isso não seria um triunfo do princípio de igualdade.
Nós poderíamos continuar com outros valores, tais como bem-estar, eficiência e democracia. Eles produziriam resultados de ranqueamento ainda mais diferentes e conflitantes. Aí jaz o problema. Esses valores importantes e comumente sustentados não fornecem uma resposta simples. Frequentemente, eles estão em tensão uns com os outros. Todos nós queremos promover valores estimados e amplamente acordados. Isso é aparente a partir da Declaração Universal dos Direitos Humanos, a partir da estrutura do principalismo e a partir das ameaças comuns no interior dos vários conjuntos de princípios publicados ao redor do mundo.13 Mas simplesmente propor alguns desses ou todos esses valores e princípios e [142]exigir que eles sejam satisfeitos é uma requisição irracional e impossível, o qual não nos leva muito longe na maioria dos casos (Canca 2019, 2020).
5 O Processo e o Produto Final
Até aqui eu me foquei no produto final. Qual é a composição eticamente justificada para resultados de motores de busca? Mas nós também temos de nos focar no processo: como nós terminamos com os resultados correntes, e que mudanças podem ou deveriam ser implementadas?
Motores de busca usam uma combinação de representantes (proxies) para “relevância.” Em adição à combinação de palavra-chave, isso poderia incluir, por exemplo, taxas de clique, tags e indexação, data da página, posição do termo na página web, links de página, especialidade da fonte e localização e configurações de usuários.14 A busca é uma tarefa complexa, e a maneira como esses representantes combinam-se muda todo tempo. O Google relata que em 2020 eles conduziram 600.000 experimentos para aperfeiçoar o seu motor de busca e fizeram mais de 4500 mudanças.15 Uma vez que as empresas de motores de busca competem no fornecimento da experiência mais satisfatória de usuário, elas não revelam os seus algoritmos.16 Retornando ao nosso exemplo, quando nós comparamos resultados de imagem para “professor” no Google, Bing, e DuckDuckGo, nós vimos que o Google prioriza a imagem da Wikipeda como resultado no topo, o Bing e DuckDuckGo referem-se a canais de notícias e imagens de blogs para os seus primeiros dez resultados, excluindo a imagem da página da Wikipedia.17
Julgamentos de valor ocorrem na decisão de quais representantes usar e como os ponderar. Assegurar que o algoritmo não caia em armadilhas éticas requer navegar através de questões éticas existentes e esperadas. Retornando ao nosso exemplo, o conteúdo uploaded e etiquetado (tagged) pelos usuários ou desenvolvedores é provável de carregar o seus vieses implícitos de gênero. Portanto, para começar, é razoável assumir que o poço de imagens etiquetadas como “professor” seria altamente orientado a homens brancos. Com qualquer intervenção, esse desequilíbrio é provável de piorar quando os usuários clicam nos resultados que combinam com o seu viés implícito e/ou quando um algoritmo tenta predizer a escolha do usuário e, por esse meio, o viés do usuário.
[143]6 Conclusões
Uma abordagem ética compreensiva dos ranqueamentos de motores de busca tem de levar em conta o impacto dos motores de busca sobre os indivíduos e a sociedade. A questão é como mitigar questões éticas existentes no processamento de motores de busca e evitar amplificá-las ou criar novas através do comportamento do usuário e/ou estrutura do sistema. Ao fazê-lo, valores e princípios podem ajudar-nos a formular e clarificar os problemas éticos à mão, mas eles não podem nos conduzir a uma solução. Para isso, nós temos de nos engajar em análises éticas mais profundas que forneçam intuições para os compromissos de valor e as demandas conflitantes que nós temos de navegar para implementar quaisquer soluções para esses problemas. Em seguida, essas análises éticas deveriam alimentar o debate público, de maneira que a discussão possam ir além de argumentos iniciais, revelar os compromissos de valor da sociedade e ser informativo para os tomadores de decisão.
Referências
Canca, C. (2019) ‘Human Rights and AI Ethics – Why Ethics Cannot be Replaced by the UDHR’, in AI & Global Governance, United Nations University Centre for Policy Research [online]. Disponível em: https://cpr.unu.edu/publications/articles/ai-global-governance-human-rights-and-ai-ethics-why-ethics-cannot-be-replaced-by-the-udhr.html (Acessado em: 1 de maio de 2021).
Canca, C. (2020) ‘Operationalizing AI Ethics Principles’, Communications of the ACM, 63(12), pp.18-21. https://doi.org/10.1145/3430368
Council of Europe (CoE) (2018) Algorithms and Human Rights [online]. Disponível em: https://rm.coe.int/algorithms-and-human-rights-en-rev/16807956b5 (Acessado em: 1 de maio de 2021)
Deshpande, K.V., Shimei, P. e Foulds, J.R. (2020) ‘Mitigating Demographic Bias in AI-based Resume Filtering’, in Adjunct Publication of the 28th ACM Conference on User Modeling, Adaptation and Personalization. https://doi.org/10.1145/3386392.3399569
Epstein, R. e Robertson R.E. (2015) ‘The search engine manipulation effect (SEME) and its possible impact on the outcomes of elections’, Proceedings of the National Academy of Sciences, 112(33). https://doi.org/10.1073/pnas.1419828112
Grimmelmann, J. (2010) ‘Some Skepticism About Search Neutrality’ [online]. Disponível em: http://james.grimmelmann.net/essays/SearchNeutrality (Acessado em: 1 de maio de 2021)
Ghezzi, P., Bannister, P.G., Casino, G., Catalani, A., Goldman, M., Morley, J., Neunez, M., Prados-Bo, A., Smeesters, P.R., Taddeo, M., Vanzolini, T. e Floridi, L. (2020) ‘Online Information of Vaccines: Information Quality, Not Only Privacy, Is an Ethical Responsibility of Search Engines’, Frontiers in Medicine, 7(400). https://doi.org/10.3389/fmed.2020.00400
Isaac, C., Lee, B. e Carnes, M. (2009) ‘Interventions that affect gender bias in hiring: a systematic review’, Academic medicine: Journal of the Association of American Medical Colleges, 84(10), pp.1440 – 1446. https://doi.org/10.1097/ACM.0b013e3181b6ba00
Johnson, N.F., Velásquez, N., Restrepo, N.J., Leahy, R., Gabriel, N., El Oud, S., Zheng, M., Manrique, P., Wuchty, S. e Lupu, Y. (2020) ‘The online competition between pro- and anti-vaccination views’, Nature, 582, pp.230 – 233. https://doi.org/10.1038/s41586-020-2281-1
Kay, M., Matuszek, C. e Munson, S.A. (2015) ‘ Unequal Representation and Gender Stereotypes in Image Search Results for Occupations’, in Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems. https://doi.org/10.1145/2702123.2702520
[144]Lam, O., Wojcik, S., Broderick, B. e Hughes, A. (2018) ‘Gender and Jobs in Online Image Searches’, Pew Research Center [online]. Disponível em: https://www.pewresearch.org/social-trends/2018/12/17/gender-and-jobs-in-online-image-searches/ (Acessado em: 1 de maio de 2021)
Lockwood, P. (2006) ‘Someone Like Me can be Successful: Do College Students Need Same-Gender Role Models?’, Psychology of Women Quarterly, 30(1), pp.36 – 46. https://doi.org/10.1111/j.1471-6402.2006.00260.x
Noble, S.U. (2018) Algorithms of Oppression: How Search Engines Reinforce Racism, New York: New York University Press.
Porter, C. e Serra, D. (2020) ‘Gender Differences in the Choice of Major: The Importance of Female Role Models’, American Economic Journal: Applied Economics, 12(3), pp.226 – 254. https://doi.org/10.1257/app.20180426
Rice, L. e Barth, J.M. (2016) ‘Hiring Decisions: The Effect of Evaluator Gender and Gender Stereotype Characteristics on the Evaluation of Job Applicants’, Gender Issues 33, pp.1 – 21. https://doi.org/10.1007/s12147-015-9143-4
Tavani, H. (2020) ‘Search Engines and Ethics’, The Stanford Encyclopedia of Philosophy, Edição do Outono de 2020 in Zalta, E.N. (ed.) [online]. Disponível em: https://plato.stanford.edu/archives/fall2020/entries/ethics-search/ (Acessado em: 1 de maio de 2021)
ORIGINAL:
CANCA, C. Did You Find It on the Internet? Ethical Complexities of Search Engine Rankings. In: GHEZZI, C. et al. (eds.). Perspective on Digital Humanism. Springer Cham: 2022. p.135-144. Disponível em: <https://link.springer.com/book/10.1007/978-3-030-86144-5>
TRADUÇÃO:
EderNB do Blog Mathesis
Licença: CC BY 4.0
1 [135]Este capítulo é construído sobre a oficina de Mapping (https://aiethicslab.com/the-mapping/) que eu projetei e desenvolvi junto com Laura Haaber Ihle no AI Ethics Lab. Eu também agradeço a Laura pelas suas intuições e retorno valioso sobre este capítulo. A versão geral deste capítulo foi revisada com uma atualização na afiliação do autor Cansu Canca. Uma correção deste capítulo pode ser encontrada em https://doi.org/10.1007/978-3-030-86144-5_47#DOI
9 Calculado a partir de resultados de motores de busca do Google, Bing e DuckDuckGo em maio de 2021. Observe que esses números flutuam dependendo de vários fatores sobre o usuário, tais como a sua região e resultados anteriores de busca.
10 Em comparação, sugestões do Bing quando pesquisando “professor homem” permanecem dentro do reino profissional: “professor negro,” “idoso professor homem,” “professora mulher (female) negra,” “professora mulher (woman) negra,” “estudante professor” e semelhantes. Contudo, o Google falha igualmente mal em suas sugestões para “professor homem.” As suas primeiras duas sugestões são “fotografia de estoque (stock photo)” e “modelo.”
12 https://www.washingtonpost.com/news/the-intersect/wp/2015/07/06/googles-algorithm-shows-prestigious-job-ads-to-men-but-not-to-women-heres-why-that-should-worry-you/
14 [142]https://www.google.com/search/howsearchworks/algorithms/; https://www.bing.com/webmasters/help/webmasters-guidelines-30fba23a; http://dx.doi.org/10.1145/3361570.3361578
16 Mesmo se eles revelassem os seus algoritmos, isso provavelmente seria extremamente ineficiente e eticamente problemático. Ver Grimmelmann (2010) para uma discussão mais detalhadas da transparência em motores de busca.
17 No auge dessas discussões em 2019, a imagem da entrada para “professor” na Wikipedia foi trocada para Toni Morrison, uma professora negra, desse modo, tornando essa a primeira imagem a aparecer nos resultados de busca de imagem no Google. Correntemente (maio de 2021), a imagem da Wikipedia foi mudada para um retrato de Einstein.
Nenhum comentário:
Postar um comentário