Perspectivas sobre o Humanismo Digital
Manifesto de Viena sobre o Humanismo Digital
Parte V Dados, Algoritmo e Equidade
[145]Personalização, Equidade e Pós-usuarismo
por Robin Burke
Resumo A incorporação de aprendizagem de máquina ciente de equidade (fairness-aware) apresenta um desafio para criadores de sistemas personalizados, tais como os sistemas de recomendação encontrados no comércio eletrônico, nas mídias sociais e em outros lugares. Esses sistemas são projetados e promovidos como fornecendo serviços ajustados às necessidades únicas do usuário individual. Contudo, a equidade pode requerer que outros objetivos, possivelmente em conflito com personalização, também sejam satisfeitos. A estrutura teórica do pós-usuarismo, a qual alarga o foco de design em configurações IHC além do usuário final individual, fornece um curso de ação para essa integração. Contudo, ao adotarem essa abordagem, os desenvolvedores terão de oferecer novas e mais complexas narrativas do que os sistemas personalizados fazem e a que necessidades eles servem.
1 Introdução
A virada em direção a questões de equidade em aprendizagem de máquina (Barocas e Selbst 2016; Dwork et al. 2012; Mitchell et al. 2021) levanta alguns problemas interessantes para o entendimento de sistemas personalizados. Pesquisas estudando esses sistemas e as organizações lançando-os apresentam uma narrativa comum realçando os benefícios da personalização para os usuários finais, para a experiência dos quais tais sistemas são otimizados. Por sua vez, essa narrativa dá forma às expectativas dos usuários e às suas teorias populares (entendimento de funcionamento) sobre a funcionalidade e possibilidade dos sistemas personalizados. A equidade (fairness) requer um tipo diferente de análise. Em vez de se focar no indivíduo, a equidade é entendida em termos de distribuição: como é o prejuízo ou benefício a partir de um sistema distribuído através de diferentes indivíduos ou diferentes classes de indivíduos? Essas preocupações distributivas, pelo menos em parte, tiram o foco do usuário final, e, dessa maneira, a implementação da equidade em sistemas personalizados requer um repensamento de questões fundamentais sobre para o que existem sistemas personalizados e que alegações deveriam ser feitas sobre eles.
[146]Um sistema personalizado ajusta a sua apresentação para um entendimento em evolução do que um usuário parece querer ou necessitar no momento presente. O que nós devemos fazer quando a coisa que o usuário quer contribui para falta de equidade (unfairness)? Para tornar essa questão mais concreta, consideremos uma classe particular de sistema personalizado, os sistemas de recomendação, os quais filtram e priorizam informação e itens para os usuários de uma maneira personalizada. Exemplos comuns incluem aplicações embutidas em mídias sociais, streaming de áudio e vídeo, notícias, busca de emprego e sites de comércio eletrônico. Considere um sistema de recomendação embutido em site orientado à empregabilidade tal como XING ou LinkedIn, os quais dão suporte a profissionais de recursos humanos na localização de candidatos a cargos. Pode ser que o usuário (o recrutador, neste caso), em virtude de suas interações, construa um perfil que coloque em desvantagem candidatos de uma categoria protegida: mulheres, por exemplo. As listas de recomendação do recrutador estão desproporcionalmente cheias com candidatos masculinos, e ele nem mesmo consegue compreender a sequência de eventos causando isso. Ainda pior, a predominância de candidatos masculinos provavelmente levará as interações do recrutador a serem primariamente com candidatos masculinos, gerando ainda mais evidência (a partir da perspectiva do sistema) do interesse nesses candidatos em vez de em candidatos femininos ou não binários. Por esse meio, o sistema torna-se o que O’Neil (2016) chama de uma “arma de destruição matemática,” um ciclo de retroalimentação (feedback cycle) computacionalmente governado gerando sempre resultados piores.
A partir do ponto de vista da pura personalização, esse resultado poderia parecer ser uma história de sucesso: o usuário diz ao sistema o que ele quer e o sistema entrega, tornando-se “melhor” e fazendo-o ao longo do tempo. Contudo, deveria ser claro que isso é um resultado altamente indesejável. Um sistema que perpetua a falta de equidade sistêmica, mesmo se apenas transmitindo os vieses do seu input para o seu output, por definição, torna-se parte do sistema opressivo (Kendi 2019). Se nós estamos interessados na beneficência da personalização, nós não podemos ignorar esse risco, e, portanto, demanda-se que nós reconsideremos o conceito mesmo de personalização. O conceito de “pós-usuarismo (post-userism)” como articulado por Baumer e Brubaker (2017) é uma abordagem teórica que coloca em questão o foco no usuário que tem dominado o estudo da interação humano-computador desde o começo do campo de estudo e levanta a possibilidade de que, no entendimento e avaliação de sistemas de computação, uma estruturação maior e mais complexa pode ser essencial. O nosso sistema de recrutamento personalizado um pouco distópico, embora dificilmente irrealista, sugere precisamente que nós temos de olhar além da necessidade do usuário final para entendermos como construir sistemas de recomendação livre de tais efeitos prejudiciais.
2 Descentrar o Usuário
Descentrar o usuário em recomendação é considerar a possibilidade de partes interessadas (stakeholders) adicionais, cujos objetivos e metas deveriam ser integrados na geração das recomendações. O conceito da parte interessada emerge na literatura sobre gerenciamento no meio dos anos de 1960 (como um contraste com o acionista (shareholder)) definido por alguns autores como “quaisquer grupos ou indivíduos que podem afetar, ou serem afetados por, os objetivos da firma” (Freeman 2010). Uma multiplicidade de considerações de não usuários, especialmente [147]objetivos de negócio, tem entrado em projetos de sistemas de recomendação práticos desde os seus primeiros lançamentos. Contudo, empresas que empregam tais objetivos de recomendação geralmente têm sido muito relutantes em identificar qualquer coisa além do benefício do usuário como um motor para as suas decisões técnicas. Uma consideração explícita de objetivos multiparte interessada, e uma que especificamente incorpore a equidade, é muito mais recente (Abdollahpouri et al. 2020).
Com o que se poderia parecer uma perspectiva pós-usuarista sobre a personalização? Nós examinamos considerações multipartes interessadas que podem ajudar a responder essa questão.
Primeiro, considere o sistema recomendador orientado a recrutador delineado acima. O desafio aqui é atingir a equidade do lado do provedor (R. Burke 2017): representação igual através daqueles itens providos para serem recomendados, no caso de candidatos a emprego. Assim, um design de sistema desejado é um no qual há limites para o grau de personalização que pode ser realizado, mesmo para um usuário único.
O sistema teria de assegurar que cada lista de recomendação tenha, pelo menos, um grau mínimo de diversidade através das diferentes categorias de grupos protegidos. Alguém esperaria que um recrutador/usuário final necessitaria saber (e poderia mesmo requerer como uma questão de lei ou política de empresa), ao prosseguir, que o recomendador está aplicando tais restrições de equidade.
Uma versão mais relaxada dessa restrição do lado do provedor poderia aparecer no domínio do gosto do consumidor, tais como a recomendação de faixas de música em serviço de streaming de música. A organização poderia ter o objetivo de exposição igual de artistas através de diferentes grupos demográficos ou através de diferentes categoria de popularidade (Mehrotra et al 2018). Garantidos no âmbito da lista poderiam não ser importantes, visto que podem haver alguns usuários com gostos musicais muitos estreitos e outros que são mais ecumênicos. Enquanto o objetivo de exposição equalizadora for satisfeito, a distribuição precisa dessa exposição através da população de usuários poderia não ser importante. Nesse caso, pode ser desejável diferenciar entre tipos de usuários para os propósitos de exposição igual como em Liu et al. (2019) ou para ter mais precisamente como alvo os tipos de diversidade de interesse para usuários individuais (Sonboli et al. 2020). Um sistema que funciona dessa maneira poderia ter de informar os usuários que objetivos de não personalização, tais como a equidade, estão em vigor nas recomendações que ele produz.
Uma distinção importante entre os casos acima é que as faixas de música são bens não rivais (non-rivalrous goods): uma faixa de música pode ser tocada por qualquer número de usuários, e a sua utilidade não é afetada pelo número de recomendação ou sua ocorrência no tempo. Um candidato a emprego é diferente. Um candidato altamente qualificado pode estar presente no mercado de trabalho por um período muito limitado de tempo. Um recrutador que é recomendado com um tal candidato tão logo o currículo dele apareça no sistema obtém mais utilidade da recomendação do que obtém o usuário que o obtém depois. Uma situação na qual um candidato altamente qualificado aparece apenas para um número limitado de recrutadores é mais valiosa para eles do que uma situação na qual as recomendações são compartilhadas com um grupo maior. Alguém poderia imaginar que os usuários-recrutadores ficariam corretamente preocupados de que a inclusão de considerações de multipartes interessadas na recomendação poderia colocá-los em desvantagem relativo ao status quo puramente personalizado. Eu digo aqui “poderia” porque o estudo estrito da recomendação multiparte interessada é suficientemente novo para que seja obscuro quais são as interações entre a qualidade de recomendação como [148]experienciada pelos usuários e as propriedades de equidade dos resultados associados. Resultados preliminares em algumas aplicações indicam que melhorias simultâneas em ambas dimensões podem ser possíveis (Mehrotra et al. 2018). Onde há um compromisso (trade-off) entre resultados precisos e resultados iguais, nós podemos ter de considerar a distribuição da perda de precisão como um interesse de equidade através dos usuários do sistema (Patro et al. 2020).
A figura muda quando nós consideramos a equidade do lado do consumidor. Aqui nós estamos interessados em considerações de equidade através dos usuários finais mesmos, e isso requer uma orientação de comunidade em como a tarefa de recomendação é entendida. Contudo, nós novamente podemos nos basear na empregabilidade como um exemplo, agora em termos da recomendação de empregos para usuários.
A tensão entre personalização e outras metas se torna complexa quando nós consideramos que os comportamentos mesmos dos usuários, os dados brutos sobre os quais a personalização opera, podem eles mesmos estar sujeitos a inconsistência de mensuração. Por exemplo, usuárias são conhecidas por serem menos prováveis de clicar em anúncios que contenham linguagem masculinizada sobre desempenho no emprego (por exemplo, “programador rock star”), mas isso não diz nada sobre as suas capacidades subjacentes para tais empregos (Hentschel et al. 2014). Ainda mais fundamentalmente, pode haver diferenças entre os usuários em sua experiência da coleta de dados requerida pelos sistemas personalizados; indivíduos experienciando desempoderamento (disempowerment) podem identificar as capacidades de vigilância que possibilitam a personalização como ainda outra oportunidade de controle externo indesejado (V. I. Burke e R. D. Burke 2019).
Mesmo se nós postularmos que perfis podem ser acumulados de uma maneira justa e aceitável, ainda pode ser o caso de que um sistema funcione melhor para algumas classes de usuários do que outras. Melhorar a equidade para grupos desprivilegiados pode envolver baixar o desempenho para outros, especialmente em contextos de rivalidade como a empregabilidade, onde, como notado acima, recomendar alguma coisa para todos não é desejável. Por exemplo, um sistema recomendador poderia otimizar para equidade de tal maneira que um emprego desejável é mostrado mais frequentemente para membros de um grupo desprivilegiado e menos frequentemente para outros. Como um usuário deveria pensar sobre suportar uma parte do peso em termos de baixar a utilidade de fornecer recomendações mais justas para outros usuários do sistema? Aceitar tal comportamento em um sistema requer a adoção de uma orientação pró-social na direção da comunidade de companheiros usuários da plataforma, alguma coisa que pode não ser fácil de cultivar em um contexto de recomendação multiparte interessada.
Finalmente, nós deveríamos notar que as perspectivas dos consumidores de recomendação e provedores de itens não exaurem o conjunto de partes interessadas impactadas por um sistema recomendador. Autores tais como Pariser (2011) e Sunstein (2018) têm observado a maneira pela qual a curadoria algorítmica de notícias e informação tem impactos potenciais de longo alcance sobre a sociedade e política. Incorporar esse amplo conjunto de partes envolvidas distancia o foco de um sistema de recomendação ainda mais da personalização como uma característica definidora.
[149]3 Conclusão
Essa discussão mostra que a necessidade de incorporar a equidade em sistemas de recomendação requer mais do que inovação técnica. A forma como os usuários pensam sobre esses sistemas terá de mudar radicalmente, e o ônus jaz sobre os tecnologistas para fornecerem nova terminologia e nossas narrativas que deem suporte a essa mudança. Um passo-chave pode ser reconhecer a natureza de multiparte envolvida das aplicações comerciais existentes nas quais a recomendação e a personalização estão embutidas e para desafiar as simplistas narrativas centradas no usuários promulgadas pelos operadores de plataforma.
Reconhecimento Este trabalho foi suportado pela National Science Foundation sob a concessão Nº 1911025.
Referências
Abdollahpouri, Himan et al. (2020). “Multistakeholder recommendation: Survey and research directions”. In: User Modeling and User-Adapted Interaction 30, pp. 127 – 158.
Barocas, Solon e Andrew D Selbst (2016). “Big Data’s Disparate Impact”. In: California law review 104.3, p. 671-732.
Baumer, Eric PS e Jed R Brubaker (2017). “Post-userism”. In: Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems, pp. 6291 – 6303.
Burke, Robin (July 2017). “Multisided Fairness for Recommendation”. In: Workshop on Fairness, Accountability and Transparency in Machine Learning. arXiv: 1707.00093 [cs.CY].
Burke, Victoria I e Robin D Burke (2019). “Powerlessness and Personalization”. In: International Journal of Applied Philosophy 33.2, pp. 319 – 343.
DeVito, Michael A, Darren Gergle, and Jeremy Birnholtz (2017). ““Algorithms ruin everything” #RIPTwitter, Folk Theories, and Resistance to Algorithmic Change in Social Media”. In: Proceedings of the 2017 CHI conference on human factors in computing systems, pp. 3163 – 3174.
Dwork, Cynthia et al. (2012). “Fairness Through Awareness”. In: Proceedings of the 3rd Innovations in Theoretical Computer Science Conference. ITCS ’ 12. New York, NY, USA: ACM, pp. 214 – 226.
Freeman, R Edward (2010). Strategic management: A stakeholder approach. Cambridge University Press.
Hentschel, Tanja et al. (Jan. 2014). “Wording of Advertisements Influences Women’s Intention to Apply for Career Opportunities”. In: Academy of Management Proceedings 2014.1, p. 15994.
Kendi, Ibram X (2019). How to be an antiracist. One World.
Liu, Weiwen et al. (2019). “Personalized Fairness-aware Re-ranking for Microlending”. In: Proceedings of the 13th ACM Conference on Recommender Systems. RecSys ’ 19. ACM.
Mehrotra, Rishabh et al. (2018). “Towards a fair marketplace: Counterfactual evaluation of the trade-off between relevance, fairness & satisfaction in recommendation systems”. In: Proceedings of the 27th ACM International Conference on Information and Knowledge Management, pp. 2243 – 2251.
Mitchell, S., Potash, E., Barocas, S., D ’ Amour, A. e Lum, K., 2021. Algorithmic Fairness: Choices, Assumptions, and Definitions. Annual Review of Statistics and Its Application, 8, pp. 141-163.
O ’ Neil, Cathy (2016). Weapons of math destruction: How big data increases inequality and threatens democracy. Crown.
[150]Pariser, E. (2011). The filter bubble: How the new personalized web is changing what we read and how we think. Penguin.
Patro, Gourab K et al. (2020). “Fairrec: Two-sided fairness for personalized recommendations in two-sided platforms”. In: Proceedings of The Web Conference 2020, pp. 1194 – 1204.
Sonboli, Nasim et al. (July 2020). “Opportunistic Multi-aspect Fairness through Personalized Re-ranking”. In: Proceedings of the 28th ACM Conference on User Modeling, Adaptation and Personalization. UMAP ’ 20. Genoa, Italy: Association for Computing Machinery, pp. 239 – 247.
Sunstein, C.R. (2018). #Republic: Divided democracy in the age of social media. Princeton University Press.
ORIGINAL:
BURKE, R. Did You Find It on the Internet? Ethical Complexities of Search Engine Rankings. In: GHEZZI, C. et al. (eds.). Perspective on Digital Humanism. Springer Cham: 2022. p.145-150. Disponível em: <https://link.springer.com/book/10.1007/978-3-030-86144-5>
TRADUÇÃO:
EderNB do Blog Mathesis
Licença: CC BY 4.0
Nenhum comentário:
Postar um comentário