Perspectivas sobre o Humanismo Digital
Manifesto de Viena sobre o Humanismo Digital
Parte IX Sistemas e Sociedade
[277]Navegando através das Mudanças de um Mundo Digital
por Nathalie Hauk e Manfred Hauswirth
Resumo Neste capítulo nós tratamos da questão de como a confiança no desenvolvimento tecnológico pode ser aumentada. O uso das tecnologias da informação pode, potencialmente, permitir humanidade, justiça social e o processo democrático. Ao mesmo tempo, há preocupações de que o implementação de certas tecnologias, por exemplo, tecnologias de IA, possam ter consequências imprevistas ou até possam ser usadas para propósitos maliciosos. Neste capítulo nós discutimos essas posições conflitantes.
As tecnologias da informação tornaram-se uma parte integral do trabalho, da saúde, do entretenimento, da comunicação e da educação. Contudo, a grande esperança dessa (r)evolução tecnológica para a abertura de um mundo de possibilidades – acesso ilimitado à informação, liberdade de expressão para todos, energia limpa, sustentabilidade, crescimento econômico e inovações industriais – tornou-se em um medo de viver sob um estado de vigilância com cidadãos “transparentes.” Cada vez mais a sociedade está dividida entre aqueles que se consideram como progressistas, desejosos de pularem no movimento da inovação tecnológica, e aqueles para quem as coisas estão movendo-se rápido demais, quem se sentem impotentes na defesa dos seus direitos e da sua segurança. Esse debate dentro da sociedade tem sido chamado da “crise de meia-idade da revolução tecnológica” (Ars Electronica 2019), referindo-se ironicamente à busca por orientação das pessoas em seus 40 anos. Consequentemente, esse é o momento correto para nos perguntar as questões fundamentais de “porque nós desenvolvemos tecnologias” e “para que propósito elas servem.” Historicamente, os humanos sempre têm usado ferramentas para superar suas próprias limitações (físicas) para assegurar a sobrevivência. Hoje em dia, as tecnologias digitais portam o potencial não apenas para superar limitações físicas, mas para promover e possibilitar humanidade, justiça social e o processo democrático. Por isso é crucial tratar [278]das questões de moralidade, ética e legalidade no desenvolvimento dessas tecnologias, uma vez que o limite último das tecnologias tem de ser limites éticos e morais. Para mais detalhes sobre esse tópico, ver o capítulo “Nosso Espelho Digital” em “Ética e filosofia da tecnologia.”
Um exemplo excelente da dependência crescente de tecnologia na sociedade moderna é a inteligência artificial (IA). Os algoritmos e as tecnologias de IA já encontraram o seu caminho para a vida cotidiana. Consequentemente, a questão de se as tecnologias de IA deveriam ser empregadas não mais se levanta. O desempenho de tarefas de rotina, tais como o uso de motores de busca na web, a abertura de um smartphone com ID facial, ou a execução de verificação ortográfica (spell checks) quando escrevendo um e-mail, depende de IA, frequentemente despercebida pelo usuário. Mesmo assim, como com qualquer nova tecnologia, o uso da IA traz tanto oportunidades quanto riscos. Enquanto a IA pode ajudar com a proteção da segurança dos cidadãos, a melhoria da atenção à saúde, a promoção de sistemas de transporte mais seguros e limpos, e a possibilitando a execução dos direitos fundamentais, também há preocupações justificadas de que as tecnologias de IA possam ter consequências imprevistas ou até possam ser usadas para propósitos maliciosos.
Boas demonstrações exemplares desses problemas fundamentais podem ser encontradas na área da aprendizagem de máquina (AM). A AM é usada para descobrir padrões em dados, por exemplo, identificando objetos em imagens para diagnósticos médicos. A grande vantagem é clara: um algoritmo de AM nunca fica cansado e realiza a tediosa tarefa de análise para números enormes de imagens a altas frequências e velocidades. Com a invenção de computadores quânticos, montantes ainda maiores de dados poderiam ser/serão analisados em tempo real, enfrentando problemas que até agora estão fora de alcance. Contudo, algoritmos de AM frequentemente são “caixas-pretas” – capazes de realizarem um comportamento aprendido ou treinados sem oferecer intuição de como ou porque uma decisão é tomada (para uma breve visão geral de um IA explicável, ver Xu et al. 2019). Para a processo de treinamento de AM, a seleção apropriada de conjuntos de dados de treinamento é de importância crucial. O lançamento de conjuntos de dados inapropriados ou enviesados frequentemente apenas se torna aparente após um processo de treinamento que já foi completado, como os seguintes três exemplos ilustram:
Processos de tomada de decisão automática são cada vez mais implementados no recrutamento e gerenciamento de recursos humanos. Em 2018, a Amazon teve de interromper uma ferramenta de recrutamento de IA após a descoberta de que os algoritmos subjacentes ao software descriminavam contra mulheres. Presumivelmente assim porque o conjunto de dados de treinamento inicial continha mais candidatos homens do que candidatas mulheres. Consequentemente, o algoritmo aprendeu que o melhor candidato ao emprego era mais provável de ser um homem.
Tay, um chatbot desenvolvido para pesquisa de entendimento de conversa, lançado no Twitter pela Microsfot em 2015, começou a usar linguagem abusiva após receber vastas quantidades de tweets racistas e sexistas, a partir dos quais Tay aprender a como conduzir uma conversa.
Uma funcionalidade (feature) de reconhecimento de imagens, desenvolvida pelo Google em 2015, caracterizou erradamente duas pessoas negras como gorilas. O fato de que a companhia falhou em resolver o problema (mas, em vez disso, bloqueou inteiramente as categorias como “gorila,” “chimpanzé (chimp),” “chimpanhzé (chimpanzee)” e “macaco (monkey)” no reconhecimento de imagens) demonstra a extensão à qual as tecnologias de AM ainda estão amadurecendo.
[279]Um produto tem de assegurar o mesmo padrão de segurança e respeito aos direitos fundamentais, independentemente de se os seus processos subjacentes de tomada de decisão são baseados em humanos ou baseados em máquinas. Além disso, nós criamos sistemas de IA que são capazes de escrever textos e podem comunicar-se em linguagem natural conosco. Alguns deles fazem isso tão eloquentemente que nós não mais somos capazes de distinguir se uma pessoa real comunica-se conosco ou um sistema. Esse problema fundamental têm foi revelado por Joseph Weizenbaum com o seu simples sistema de processamento de linguagem natural ELIZA (Weizenbaum 1967). Desde então, tais sistemas, por exemplo, assistentes virtuais, têm evoluido significativamente, embora o problema ainda permaneça não resolvido. O perigo potencial é que eu não saiba se uma dada peça de informação venha de um humano ou de uma máquina. Dessa forma, nós não podemos inferir a confiabilidade de uma dada informação, ou nós podemos ter de re-definir completamente o conceito de confiabilidade. Essas questões tornam-se ainda mais delicadas e urgentes quando os direitos fundamentas de cidadãos são afetados diretamente, por exemplo, por aplicações de IA para aplicação da lei e jurisdição. A rastreabilidade de como uma decisão baseada em IA é tomada e, portanto, se as regras relevantes são respeitadas é da mais completa importância.
1 Confiança como Condutor-chave
Medos de vigilância e uso malicioso de tecnologia potencialmente desaceleram ou até evitam o progresso tecnológico e social. Assim, a questão fundamental é:
Como nós podemos aumentar a confiança no desenvolvimento tecnológico a fim de gerarmos valor a partir da aplicação de tecnologias?
A confiança é um antecedente-chave para assegurar a aceitação tecnológica (Siau e Wang 2018) e, dessa maneira, é um requerimento-chave para a continuação do progresso do desenvolvimento tecnológico. Isso é particularmente importante quando lidando com tecnologias que não são controladas diretamente por humanos ou se elas tomam decisões autônomas. A importância de IA confiável (trustworthy AI) também tem sido identificada e enfatizada no âmbito político, por exemplo, pela Comissão Europeia (Comissão Europeia 2020). É importante distinguir entre confiabilidade (trustworthiness) de uma tecnologia, por exemplo, a IA, e confiança (trust) em tecnologias. Enquanto a IA confiável é composta de ideias normativas sobre qualidades e características de uma tecnologia (que podem ou não depender de considerações éticas), a confiança em tecnologias é baseada em processos psicológicos através dos quais confiança é desenvolvida (Toreini et al. 2020). Contudo, os conceitos de confiabilidade de IA e confiança em IA estão entrelaçados. O conceito de IA confiável está baseado na ideia de que a confiança constrói o fundamento para o desenvolvimento sustentável de tecnologia e que os benefícios completos da implementação da IA apenas podem ser realizados se a confiança puder ser estabelecida. Ao mesmo tempo, tratar de considerações éticas no processo de desenvolvimento ou implementação de tecnologia influencia a formação de confiança, tal como a confiança (confidence) de que sistemas sejam projetados para serem benéficos, seguros e confiáveis (reliable).
Definições de confiança podem ter ênfases diferentes, dependendo do tipo de relação de confiança, por exemplo, confiança em relação aos indivíduos, organizações ou máquinas [280](Bannister e Connollu 2011). A comparabilidade do conceito de confiança em uma relação interpessoal e confiança em máquinas é tema de debate científico em andamento. De qualquer maneira, o conceito geral de confiança sempre inclui uma percepção de risco, por exemplo, qualquer tipo de consequência negativa que poderia se derivar a partir do uso de uma tecnologia. A confiança pode ser definida como “a disposição (willingness) […] para ficar vulnerável às ações de outra parte […] independente da habilidade para monitorar ou controlar essa outra parte” (Mayer et al. 1995, p. 712). A formação de confiança em tecnologia depende especificamente da interação de três características: (1) características humanas, tais como personalidade e habilidades; (2) características ambientais, tais como morais e valores de uma da instituição ou cultura; e (3) características de tecnologia, tais como o desempenho da tecnologias, seus atributos e seu propósito (Schäfer et al. 2016; Siau e Wang 2018). De maneira geral, a influência de características humanas e características ambientais serão similares, independentemente do tipo de relação de confiança. Portanto, nós continuamos com as especificidades das características de tecnologia na relação de confiança humano-tecnologia.
A interação humana com tecnologia está afastando-se cada vez mais do simples uso de computadores como ferramentas na direção da construção de relacionamentos com entidades inteligentes, autônomas que levam a cabo ações independentes (deVisser et al. 2018). Conforme os dispositivos tecnológicos tornam-se sempre mais sofisticados e personalizados, a maneira que os humanos se ligam com a tecnologia, por exemplo, tocando e falando com máquinas, também se intensifica. As pessoas têm a tendência a antropomorfizarem a tecnologia, e, no caso da IA, a aplicarem morais humanas a ela (Ryan 2020). Contudo, aplicar padrões morais humanos a máquinas é problemático, uma vez que nem máquinas muito complexas como tecnologias IA possuem consciência, intenções ou atitudes no momento (e possivelmente nunca possuirão). Mesmo assim, pesquisa sugere que a formação de confiança em tecnologias depende do nível de “humanidade (humanness)” de uma tecnologia – a percepção de traços semelhantes a humanos, por exemplo, voz e características animadas (Lankton et al. 2015). Ademais, as pessoas desenvolvem confiança em tecnologias de maneiras diferentes, por exemplo, ao longo de critérios mais semelhantes a humanos ou critérios mais semelhantes a sistemas. De acordo com o modelo HBI+ de confiança (ABI+ model de trust) (Mayer e al. 1995; Dietz e Den Hartog 2006), as características que ampliam a confiabilidade percebida em uma pessoa são habilidade, benevolência, integridade e predicabilidade. Habilidade (Ability) refere-se a habilidades (skills) e competências que possibilitam o confiado (trustee) a ter influência ou entregar um resultado desejado. Critérios correspondentes semelhantes a sistemas seriam robustez técnica e segurança de uma tecnologia. Benevolência refere-se a crença na boa vontade (goodwill) do confiado. Aplicada a tecnologias, o nível percebido de benevolência pode ser aumentado pelo lançamento responsável de uma tecnologia e a sua transparência. Integridade refere-se a um conjunto de princípios do confiado que é percebido como respeitável. Para aumentar o nível de integridade percebida em tecnologias, nós temos de fortalecer a sua confiabilidade (reliabity) e responsabilidade (accountability). Finalmente, predicabilidade refere-se à estabilidade da confiabilidade percebida sustentada através do tempo.
Por exemplo, as pessoas são mais prováveis de confiarem em uma nova tecnologia quando essa tecnologia é fornecida por uma instituição com uma elevada reputação – representando habilidade, benevolência, integridade e predicabilidade – em contraste com uma instituição sem uma reputação semelhante (Siau e Wang 2018). Por exemplo, a confiança em chatbots depende parcialmente da segurança e privacidade percebidas do provedor do serviço (Følstad et al. 2018). [281]Além disso, se as tecnologias são percebidas como confiáveis (reliable), transparentes e seguras, a confiança em uma tecnologia aumenta (Hancock et al. 2020).
2 Conclusões
A sociedade depende cada vez das tecnologias para se manter competitiva e para satisfazer as complexidades crescentes da vida em um mundo globalizado. Algoritmos e tecnologias de IA já criaram seu caminho para dentro da vida cotidiana, levando a melhoria em saúde, segurança e produtividade. Contudo, nós temos de equilibrar esses benefícios com uma consideração cuidadosa dos efeitos colaterais indesejados ou até do abuso de tecnologias de IA. Em conformidade com princípios éticos e morais, nós temos de assegurar que sistemas de IA beneficiem os indivíduos e que os benefícios econômicos e sociais sejam compartilhados através da sociedade em uma forma democrática e igual.
Se a sociedade aborda o desenvolvimento tecnológico primariamente com medo e desconfiança, o progresso tecnológico será lento, e passos importantes na direção de assegurar segurança e confiabilidade de tecnologias de AI serão embaraçados. Se a sociedade aborda a inovação tecnológica de mente aberta, as tecnologias podem ter o potencial para mudarem profundamente a sociedade para melhor. O bloco de construção básico para alcançar isso é a confiança. A fim de estimular e restaurar a confiança no avanço tecnológico, nós temos de minimizar riscos, tornar sistemas verificáveis e construir legislação efetiva e responsável (accountable), junto com o desenvolvimento de um novo entendimento do que a confiança em tecnologias pode significar. Os mecanismos psicológicos subjacentes aos mecanismos de confiança em relações humano-tecnologia podem estender os conceitos tradicionais de confiança ou reinventar inteiramente o significado de confiança. O processo para esse desenvolvimento já começou, mas requererá mais experiências, experimentos e análise prática em uma forma aberta, discursiva com ampla inclusão de partes envolvidas (stakeholders) sociais.
Referências
Ars Electronica (2019) Out of the Box – the Midlife Crisis of the Digital Revolution. Ars Electronica Festival. Linz, Austria, 5 a 9 de setembro de 2019.
Bannister, F., & Connolly, R. (2011) Trust and transformational government: A proposed framework for research. Government Information Quarterly, 28, pp. 137-147. https://doi.org/10.1016/j.giq.2010.06.010
De Visser, E.J., Pak, R., & Shaw, T.H. (2018) From ‘automation’ to ‘autonomy’: the importance of trust repair in human – machine interaction. Ergonomics, 61(10), pp. 1409-1427. https://doi.org/10.1080/00140139.2018.1457725
Dietz, G., & Den Hartog, N.D. (2006) Measuring trust inside organisations. Personnel Review, 35 (5), pp. 557-588. https://doi.org/10.1108/00483480610682299
European Commission (2020) White Paper on Artificial Intelligence: a European approach to excellence and trust. Brussels, 19 de fevereiro de 2020. Disponível em: https://ec.europa.eu/info/sites/info/files/commission-white-paper-artificial-intelligence-feb2020_en.pdf (acessado em: 3 de março de 2021)
[282]Følstad A., Nordheim C.B., Bjørkli C.A. (2018) What Makes Users Trust a Chatbot for Customer Service? An Exploratory Interview Study. In: Bodrunova S. (eds) Internet Science. INSCI 2018. Lecture Notes in Computer Science, 11193, pp. 194-208. Springer, Cham. https://doi.org/10.1007/978-3-030-01437-7_16
Hancock, P.A., Kessler, T.T., Kaplan, A.D., Brill, J.C., & Szalma, J.L. (2020) Evolving Trust in Robots: Speci fi cation Through Sequential and Comparative Meta-Analyses. Human Factors, pp. 18720820922080-18720820922080. https://doi.org/10.1177/0018720820922080
Lankton, N.K., McKnight, D.H., & Tripp, J. (2015) Technology, Humanness, and Trust: Rethinking Trust in Technology. Journal of the Association for Information Systems, 16(10), pp. 880-918. https://doi.org/10.17705/1jais.00411
Mayer, R.C., Davis, J.H., & Schoorman, F.D. (1995) An Integrative Model Of Organizational Trust. Academy of Management Review, 20(3), pp. 709-734. https://doi.org/10.5465/amr.1995.9508080335
Ryan, M. (2020) In AI We Trust: Ethics, Artificial Intelligence, and Reliability. Science and Engineering Ethics, 26(5), pp. 2749-2767. https://doi.org/10.1007/s11948-020-00228-y
Schäfer, K.E., Chen, J.Y., Szalma, J.L., & Hancock, P.A. (2016) A Meta-Analysis of Factors Influencing the Development of Trust in Automation: Implications for Understanding Autonomy in Future Systems. Human Factors, 58(3), pp. 377-400. https://doi.org/10.1177/0018720816634228
Siau, K., & Wang, W. (2018) Building Trust in Artificial Intelligence, Machine Learning, and Robotics. Cutter Business Technology Journal, 31(2), pp. 47-53.
Toreini, E., Aitken, M., Coopamootoo, K., Elliott, K., Zelaya, C.G., & van Moorsel, A. (2020) The relationship between trust in AI and trustworthy machine learning technologies. In Conference on Fairness, Accountability, and Transparency (FAT* ’20), January 27th – 30th 2020, Barcelona, Spain. ACM, New York, NY, USA, pp. 272-283. https://doi.org/10.1145/3351095.3372834
Xu, F., Uszkoreit, H., Du, Y., Fan, W., Zhao, D., & Zhu, J. (2019) Explainable AI: A Brief Survey on History, Research Areas, Approaches and Challenges. In: Tang, J., Kan, M.Y., Zhao, D., Li, S., & Zan, H. (eds) Natural Language Processing and Chinese Computing. NLPCC 2019. Lecture Notes in Computer Science, (11839), pp. 563-574. Springer, Cham. https://doi.org/10.1007/978-3-030-32236-6_51
Weizenbaum, J. (1967). Contextual Understanding by Computers. Communications of the ACM, 10 (8), pp. 474-480. https://doi.org/10.1145/363534.363545
ORIGINAL:
HAUK, N.; HAUSWIRTH, M. Navigating Through Changes of a Digital World. In: GHEZZI, C. et al. (eds.). Perspective on Digital Humanism. Springer Cham: 2022. p. 277-282. Disponível em: <https://link.springer.com/book/10.1007/978-3-030-86144-5>
TRADUÇÃO:
EderNB do Blog Mathesis
Licença: CC BY 4.0
Nenhum comentário:
Postar um comentário