No Caminho para a IA 8 Conjuntos de Dados Envenenados, Árvores Envenenadas

No Caminho para a IA: Profecias do Direito e os Fundamentos Conceituais da Era da Aprendizagem de Máquina

Por Thomas D. Grant & Damon J. Wischik

Capítulo anterior

[89]Capítulo 8 Conjuntos de Dados Envenenados, Árvores Envenenadas

Como nós tratamos nos capítulos anteriores,¹ dados, ou “experiência” como Holmes se referia às entradas no direito, influenciam a tomada de decisão de um número de maneiras. Eles poderiam influenciar a tomada de decisão de uma tal maneira que a decisão tomada é ilegal, imoral, antiética ou indesejável sobre alguns outros fundamentos. Tanto a tomada de decisão legal quanto a aprendizagem de máquina têm se debatido sobre o que fazer quando apresentado com dados que poderia influenciar a tomada de decisão de uma tal maneira. Cortes têm tentado excluir completamente peças particulares de dados, o que nós chamaremos de “evidência ruim,” do processo de tomada de decisão.² A exclusão antes da entrada no processo remove o problema: dados que não entram não afetam o processo. Contudo, a exclusão também pode introduzir um problema. Tanto nos cenários legais quanto na aprendizagem de máquina, fragmentos particulares de evidência ou dados poderiam ter efeitos indesejadas, mas as mesmas entradas poderiam auxiliar o processo ou mesmo serem necessários para ele. Assim, a exclusão, ou os seus efeitos colaterais, pode erodir a eficácia ou integridade do processo. Advogados referem-se ao “valor probatório” de uma fragmento de evidência, uma expressão que eles usam para indicar a sua utilidade para o processo de decisão – mesmo quando existe um risco de que essa evidência poderia ter efeitos indesejados.³ O vocabulário da aprendizagem de máquina não tem um semelhante termo recebido aqui, mas os cientistas de dados, como nós descrevemos no capítulo 3, sabem bem que os dados que treinam a máquina é essencial para a sua operação.

Exclusão não é a única estratégia que as cortes usaram para tratar evidência ruim e o seu problema irmão, viés. Outra é restringir as inferências [90]que o tomador de decisão extrai a partir de certa evidência que poderia, de outra maneira, ter efeitos indesejáveis sobre a tomada de decisão. Essa estratégia implica um ajuste para o funcionamento interno do processo mesmo de decisão.

Finalmente, a restrição pode ser imposta em um estágio posterior. Por exemplo, cortes revisam saídas (vereditos e julgamentos) e, se eles não estão de acordo com certas regras, invalidam-nos, o que, por sua vez, significa que os instrumentos do poder público não agirão em consequência deles. Nessa estratégia, um mecanismo de tomada de decisão – por exemplo, um júri, e, tanto quanto poderia ser dito de um sistema de aprenzagem de máquina – não estava sob restrição inferencial (ou a restrição foi apenas ignorada); a saída que o mecanismo fornece, em revisão, é inaceitável de alguma maneira; e, assim a saída não é usada. A restrição não opera no interior do maquinário mental ou computacional que gerou a saída mas, em vez disso, sobre aquelas pessoas ou instrumentalidades que, de outra maneira, teriam aplicado a saída no mundo em geral. Discernido o defeito na saída, elas não a aplicam.

Agora, nós nos voltamos para considerar mais de perto o problema da evidência ruim; os limites da exclusão evidencial como uma estratégia para lidar com evidência ruim em aprendizagem de máquina; e a possibilidade de que restringir a inferência extraída a partir dos dados e restringir como nós usamos as saídas que uma máquina alcança a partir dos dados – estratégias de restrição que têm antecedentes na jurisprudência – poderiam ser abordagens mais promissoras para o problema do viés na época da aprendizagem de máquina.

8.1 O Problema da Evidência Ruim

Como um juiz associado da Suprema Corte Holmes teve ocasião para considerar um caso de evidência ruim Silverthorne Lumber Co. v. Unidad States.⁴ Oficiais de aplicação da lei invadiram os prédios (premises) de uma companhia madeireira “sem uma sombra de autoridade” para o fazer.⁵ Era incontestado que, ao levar a cabo a invasão e levando livros, papéis e documentos dos prédios, eles violaram a Quarta Emenda, a provisão da Constituição dos Estados Unidos que protege contra buscas e apreensões sem razão. Então o Governo buscou uma intimação (subpoena) que autorizaria os seus oficiais a apreenderem os documentos que anteriormente eles apreenderam ilegalmente. Holmes, escrevendo para a Suprema Corte, disse que “o conhecimento obtido pelo erro do próprio Governo não pode ser usado por ele da maneira proposta.”⁶ Como resultado, ao Governo não seria permitido a usar os documentos⁷; a ele não seria permitido “beneficiar-se do conhecimento obtido por esse meio.”⁸ Obviamente, nenhum juiz poderia apagar [91]o conhecimento efetivamente obtido e, dessa forma, alojado nas mentes dos oficiais do governo interessados. Em vez disso, a solução foi colocar um limite sobre o que aos oficiais eram permitidos fazer com o conhecimento: eles foram proibidos de o usar para escapar da exclusão original.

O “fruto da árvore envenenada,” como um princípio de evidência aplicado em Silverthorne Lumber Co. veio a ser conhecido, é invocado em conexão com uma gama de problemas evidenciais. A sua distintividade está em sua aplicação a evidência⁹ “secundária” ou “derivada” – ou seja, evidência tal como aquela obtida pelo Governo em Silverthorne Lumer sobre a base de evidência que antes tinha sido excluída. Silverthorne e, posteriormente, Nardone v. United States, onde o amigo de Holmes, Felix Frankfurter, deu ao princípio o seu nome bem conhecido, relativo a uma questão difícil de causação. Esta é a questão, uma recorrente em direito penal, de se uma busca e apreensão admitidamente ilegal foi realmente a base do conhecimento que conduziu à aquisição de nova evidência que o réu agora busca excluir. No segundo Nardone caso, o juiz da Suprema Corte Frankfurter, escrevendo para a Corte, raciocinou que a conexão entre o anterior ato ilegal e a nova evidência “pode ter se tornado tão atenuada quanto a dissipar a mácula.”¹⁰

Mas se a conexão é suficientemente próxima, se “uma porção substancial do caso contra ele foi um fruto da árvore envenenada,”¹¹ então o réu, como de direito, não deve ser obrigado a responder em corte por essa evidência.¹² Essa evidência, se vinculada de maneira suficientemente próxima à evidência ruim original, é ruim em si mesma.

Nós notamos três estratégias para lidar com evidência ruim: uma dessas é excluir a evidência ruim e, dessa forma, evitar que ela entre no processo de decisão, em primeiro lugar. Essa estratégia, a qual nós chamaremos de poda de dados (data pruning),¹³ em um cenário judicial é decretar certa evidência inadmissível. É uma resposta completa, quando você tem uma busca e apreensão ilegal, questionar o que fazer com a evidência que a polícia obteve a partir dessa busca. Você não a deixa entrar. Contudo, uma estratégia diferente é requisitada se a evidência ruim já entrou em alguma fase de um processo de decisão. Juízes usualmente estão interessados aqui com o processo de descoberta de fatos (fact-finding). Em leitura atenta, alguém percebe que Holmes, em Silverthorne Lumber, estava interessado com o processo de investigação dos oficiais de aplicação da lei. Com respeito a qualquer um dos processos, e vários outros, uma estratégia é demandada que restrinja as inferências que alguém extrai a partir de evidência ruim. Nós chamaremos essa estratégia de restrição inferencial (inferential restraint). Finalmente, e mais abaixo na sequência, onde uma decisão ou outra saída poderia ser tornada em ação prática no mundo em geral, um tipo adicional de restrição entra em jogo: restrição sobre [92]a ação. Nós chamaremos essa variante de restrição de restrição execucional (executional restraint). Poda de dados e as outras duas variantes, todas familiares desde a época de Holmes nos tribunais americanos, têm surgido como estratégias possíveis para tratar dos problemas que surgem com dados em aprendizagem de máquina. Nós queremos sugerir, dada a forma como a aprendizagem de máquina funciona, que a poda de dados e as estratégias de restrição não são igualmente adequadas para tratarem desses problemas.

8.2 Poda de Dados (Data Pruning)

A exclusão da evidência ruim do processo de decisão tem, pelo menos, dois objetivos. Para começar, ela tem o objetivo de dissuadir práticas inadimissíveis por parte daqueles que recolhem evidência, em particular por oficiais com poderes de polícia. Cortes excluem evidência “para compelir respeito à garantia constitucional [ou seja, contra busca e apreensão sem garantia (warrantless)] na única maneira efetivamente disponível – removendo o incentivo para a desconsiderar.”¹⁴ Em segundo lugar, ela tem o objetivo de evitar que a evidência influencie uma decisão, se a evidência tende a produzir preconceito injusto contra a parte sujeita à decisão. Em aprendizagem de máquina, o primeiro desses objetivos – dissuação de práticas de coletas de dados inadmissíveis – não está ausente. Ela está presente em regulamentos sobre proteção de dados.¹⁵ O nosso maior foco aqui é com o segundo objetivo: evitar que certos dados influenciem a decisão.¹⁶ A poda de dados é a principal abordagem para alcançar esse objetivo em cenários judiciais.

A poda de dados evita questões espinhosas de lógica, em particular o problema de causação atenuada. Exatamente quais inferências o júri extrai a partir de afirmações ou evidência impróprias? Exatamente quais inferências a polícia extrai a partir da evidência obtida a partir de busca ilegal? E como tais inferências afetam a conduta futura (significando a decisão futura)? É melhor não ter de fazer essas questões. Essa é uma vantagem saliente da poda de dados. Ela remove a necessidade de perguntar, como o juiz da Suprema Corte Frankfurter teve de perguntar, se o vínculo entre a evidência ruim e a evidência desafiada “tornou-se tão atenuado quando a dissipar a mácula.”¹⁷

A poda de dados tem a vantagem relacionada de que, se os dados ruins são cortados (cut away) antes que o tomador de decisão aprenda-os, o tomador de decisão não tem de tentar não pensar sobre alguma coisa que ele já conhece. A poda de dados evita o problema de que o conhecimento ganho não pode ser desaprendido (unlearnt). Como as cortes observaram, alguém “não pode desbadalar (unring) um sino.”¹⁸ O problema cognitivo envolvido aqui algumas vezes também é assinalado com o comando, “Tente não pensar em um elefante.” Ao manejar habilmente os movimentos evidenciais, ou [93]onde necessário para disciplinar o advogado de julgamento (trial counsel),¹⁹ o juiz remove o elefante antes que alguém tenha uma chance de pedir ao júri para não pensar sobre ele.

A aprendizagem de máquina tem uma dificuldade fundamental com a poda de dados. Para fazer uma diferença significante sobre os parâmetros aprendidos e, dessa maneira, sobre as saídas eventuais quando se chega ao momento de executar, você tem de riscar quantidades imensas de dados. E, se você fizer isso, você não tem mais do que você necessita para treinar a máquina. Máquinas são ruins para aprender a partir de pequenas quantidades de dados; ninguém descobriu como fazer uma máquina aprender como um infante humano pode aprender a partir de uma única experiência. Nem ninguém, pelo menos ainda, encontrou uma maneira de passar um bisturi em conjuntos de dados; não há forma, no estado da arte, para confiavelmente extirpar, para propósitos de treinamento, dados “ruins” de uma máquina.²⁰ Portanto, poda de dados é anátema para cientistas da computação.²¹

Quanto aos procedimentos legais, como nós dissemos, a poda de dados é uma resposta completa para o problema ao qual ele se dirige – em situações nas quais os dados foram podados antes que um tomador de decisão os visse. Contudo, como nós notamos, nem toda evidência imprópria fica de fora do tribunal. Nem todo conhecimento ganho a partir de evidência imprópria – fruto de árvore envenenada – fica de fora. Uma vez que ele entre, o que quer dizer, uma vez que um tomador de decisão, tal como um jurado, aprendeu-o, o potencial para estrago (mischief) está lá. Você não pode desfazer os fatos. Eles existem. A experiência é um fato. Coisas que foram experienciadas, conhecimento que foi ganho, não desaparecerem por decreto (by fiat).

Um formalista postularia que os únicos fatos que afetam o processo de julgamento são aqueles que os filtros de exclusão evidencial são projetados para deixar entrar. Contudo, como nós discutimos, Holmes entendia o direito, incluindo os resultados de julgamentos, derivar-se a partir de material consideravelmente mais diverso. Júris, advogados e juízes todos vêm com suas experiências e prejuízos. Para Holmes, esses eram um dado (a given), e é por isso que ele pensava que tentar compelir tomadores de decisão “a testemunharem as operações das mentes dele na realização do trabalho confiado a eles” era um “curso anômalo” e infrutífero.²² Você não pode simplesmente extirpar a experiência indesejada da mente de alguém – não mais do que os cientistas da computação dos dias de hoje tiveram sucesso em cortar os dados “ruins” dos conjuntos de dados de treinamento.

8.3 Restrição Inferencial

O que você pode fazer – por mais imperfeita que uma estratégia possa ser – é colocar limites sobre o que você permite a você mesmo, ao júri, à máquina, ou ao juiz inferirem a partir dos dados ou da experiência. A restrição inferencial é familiar tanto [94]ao direito quanto à aprendizagem de máquina. De fato, em esforços para tratar do problema da evidência ruim (dados ruins) em aprendizagem de máquina, a maior parte da energia tem sido dirigida na direção dessa abordagem: em vez da poda dos dados, os cientistas da computação estão desenvolvendo métodos para restringir o tipo de saídas inferenciais que a máquina é capaz de gerar.²³

No cenário legal, a colocação de restrições sobre inferências tem sido uma estratégia importante por um longo tempo. As instruções de juízes para júris servem a esse propósito; tribunais de recursos (appeals courts) reconhecem que as instruções de juízes, propriamente dadas, têm efeito curativo.²⁴ Juízes, ao darem instruções curativas, entendem que, mesmo quando evidência ruim do tipo tratado em Silverthorne e Nardone (evidência apreendida em violação de um direito constitucional) foi parada antes que ela chegasse ao júri, ainda poderia haver conhecimento nas mentes dos jurados que poderia exercer efeitos inadmissíveis sobre a decisão deles. Os jurados poderiam ter obtido tal conhecimento a partir de uma expressão irreverente (flip word) no argumento de encerramento²⁵ de um advogado. Eles poderiam tê-la trazido da rua na forma de suas experiências de vida; Holmes entendia que os júris têm uma predileção para fazer exatamente isso.²⁶ Existe conhecimento que deve ser impedido de afetar vereditos, se esses vereditos devem ser aceitos como corretos. Mas algum conhecimento vêm a luz tarde demais para suprimir. Em vez disso, há uma cura a ser aplicada. No tribunal, a cura toma a forma de uma instrução do juiz. A instrução diz aos jurados para restringirem as inferências que eles extraem a partir de certas evidências que eles ouviram. A restrição é projetada para operar no maquinário mental de cada jurado.

Uma situação adicional que demanda restrição inferencial é aquela na qual algum fragmento de evidência tem valor probatório e pode ser usado para um propósito permissivo, mas existe um risco que um tomador de decisão poderia usar a evidência para um propósito inadmissível. A supressão da evidência teria um custo: implicaria a perda do valor probatório. Dessa forma, como os juízes dizem aos júris para ignorarem certas experiências que eles trazem para o tribunal e certa evidência ou afirmações ruins que, a despeito dos seus melhores esforços, entraram no tribunal, assim os juízes guiam os jurados no uso do conhecimento que a corte deliberadamente mantém.²⁷ Também aqui abordagens análogas estão sendo exploradas em aprendizagem de máquina.²⁸

8.4 Restrição Execucional

A partir do julgamento de Holmes em Silverthorne, alguém discerne que uma estratégia de restrição opera não apenas sobre os processos mentais das pessoas envolvidas [95]em um dado momento, mas também sobre suas condutas e decisões futuras. Silverthorne foi uma declaração para o governo sobre como se devia usar conhecimento. Verdadeiro, a preocupação imediata era eliminar a raíz e o galho da evidência ruim, para o impedir o enfraquecimento do procedimento judicial e a infração dos direitos constitucionais. A supressão de dados é o que gerações de leitores de Silverthorne entendem que foi realizado; de fato, o princípio do fruto da árvore envenenada é lido mais amplamente como uma demanda para se livrar de entradas problemáticas.²⁹

Contudo, há mais para o princípio do fruto da árvore envenenada do que poda de dados. Considere atentamente o que Holmes disse em Silverthorne: “o conhecimento obtido pelo erro do próprio Governo não pode ser usado por ele da maneira proposta” (ênfase adicionada). Assim, o “erro do próprio Governo” já o tinha permitido obter certo conhecimento. Holmes não estava propondo a operação impossível de eliminação desse conhecimento da mente do governo. A hora para supressão tinha chegado e passado. Em vez disso, Holmes estava propondo restringir o Governo de executar as ações futuras que o Governo, sobre a base desse conhecimento, poderia, de outra forma, ter executado: conhecimento ganho pelo erro do Governo não devia ser “usado por ele.” A árvore envenenada (para usar a expressão de Frankfurter) trata de um estado do mundo após a evidência ruim já ter gerado conhecimento. O efeito desse conhecimento sobre a conduta futura é que deve ser limitado. Isso quer dizer, restrição execucional, a estratégia de restrição de qual ação é permissível executar, é inerente ao princípio.³⁰

8.5 Passados Perniciosos e Crescimento Futuro

Visto nisso, o seu sentido completo, o princípio do fruto da árvore envenenada tem alta saliência para a aprendizagem de máquina, em particular, conforme as pessoas buscam usar a aprendizagem de máquina para alcançar os resultados que a sociedade deseja. Um conjunto de dados de treinamento necessariamente reflete um estado passado de coisas.³¹ O futuro será diferente. De fato, de muitas maneiras, nós desejamos que o futuro seja diferente. E nós trabalhamos na direção de o produzir assim de maneiras particulares, desejáveis. Mas a mudança como tal não requer nossa intervenção. Mesmo se nós separarmos a nós mesmos de nossos desejos para o futuro, dos valores que nós desejamos ver refletidos na sociedade do amanhã, é uma questão de observação empírica, um fato, que o futuro será diferente. Dessa forma, de qualquer maneira, se ou não os nossos valores entram nele, nós erramos se dependemos cegamente de um mecanismo cujas saídas são um reflexo perfeito das entradas do passado que o deu forma. Portanto, nós temos [96]de restringir as conclusões que nós extraímos a partir dessas entradas e as ações que nós tomamos ou senão, nós estaremos entendendo o futuro errado.

Em aprendizagem de máquina, há preocupação difundida sobre correlações indesejáveis. Um exemplo poderia ser fornecido por uma máquina que distribui sentenças de prisão. A máquina é baseada em dados. Os dados são um dado (given). Americanos de descendência africana receberam um número desproporcional de sentenças de prisão. Treinada sobre esses dados, a máquina fornecerá resultados confiáveis: ela fornecerá resultados que confiavelmente instalam o estado passado de coisas dentro das saídas futuras. Afro-americanos continuarão a receber um número disproporcional de sentenças de prisão. A confiabilidade aqui não tem valência moral em si mesma; ele não conota certo ou errado. Isso é simplesmente uma propriedade da máquina. A razão pela qual a sociedade objeta à confiabilidade desse tipo, quando considerando um exemplo tão óbvio quanto a máquina de sentenças de prisão, é que a confiabilidade é devida a dados coletados sobre condições que a sociedade espera que não pertencerão ao futuro. Nós queremos viver sobre novas condições. Nós não queremos uma máquina que perpetue as correlações encontradas naqueles dados e, dessa forma, perpetue (se nós obedecermos à máquina) as condições antigas. Alguns cientistas da computação pensam que pode haver maneiras de tratar dessa preocupação sobre correlações indesejáveis ao suprimir o conjunto de dados de treinamento.³² Nós mencionamos os desafios técnicos que isso apresenta para a aprendizagem de máquina. Nós especulamos que as outras estratégias serão tão importantes na aprendizagem de máquina quanto elas têm sido no direito: restringir as inferências e ações que derrogam os valores que nós desejamos proteger. É assim como nós aumentamos as chances de que nós entenderemos o futuro corretamente.

Próximo capítulo

ORIGINAL:

GRANT, T. D.; WISCHIK, D. J. On the path to AI: Law’s prophecies and the conceptual foundations of the machine learning age. Palgrave Macmillian Cham: 2020. pp.89-101. Disponível em: <https://link.springer.com/book/10.1007/978-3-030-43582-0>

TRADUÇÃO:

EderNB do Blog Mathesis

Licença: CC BY 4.0

1 [96]Ver, em especial, os capítulo 6 e 7, pp. 67 ff, 81 ff.

2 Silverthorne Lumber Co. et al. v. United States, 251 U.S. 385, 392 (1920, Holmes, J.); Nardone et al. v. United States, 308 U.S. 338, 342 (1939, Frankfurter, J.).

3 Para uma exploração do valor provativo com referência aos princípios de probabilidade, ver Friedman, A Close Look at Probative Value, 66 B.U. L. Rev. 733 (1986).

4 Op. cit.

5 251 U.S. at 390.

6 Id. at 392.

7Id.

8 Id.

9 Ver Pitler, “The Fruit of the Poisonous Tree” Revisited and Shepardized, 56 Cal. L. Rev. 579, 581 (1968). O juiz da Suprema Corte Frankfurter chamou-a de evidência [97]“usada derivadamente”: Nardone et al. v. United States, 308 U.S. 338, 341 (1939, Frankfurter, J.). Cf. notando que “a proibição excludente estende-se tanto aos produtos indiretos quanto aos diretos de tais invasões [de prédios em infração de direito constitucional]”: Wong Sun v. United States, 371 U.S. 471, 484 (1963) (Brennan, J.). Ver mais em Brown (Gen. Ed.), McCormick on Evidence (2006) § 176 pp. 292–94.

10 308 U.S. em 342.

11 Id. em 341. Quanto à suficiência da conexão, ver Kerr, Good Faith, New Law, and the Scope of the Exclusionary Rule, 99 Geo. L. J. 1077, 1099–1100 (2011). Cf. Devon W. Carbado, From Stopping Black People to Killing Black People: The Fourth Amendment Pathways to Police Violence, 105 Cal. L. Rev. 125, 133–35 (2016).

12 Resultados indesejáveis de um processo de aprendizagem de máquina estão permeados com questões de causação – por exemplo, é apropriado responsabilizar o cientista da computação que engendrou um sistema de aprendizagem de máquina, quando um resultado indesejável é rastreável de volta à sua conduta se acaso apenas pelas linhas mais atenuadas? A respeito das implicações para o direito penal (tort law), ver, por exemplo, Gifford, Technological Triggers to Tort Revolutions: Steam Locomotives, Autonomous Vehicles, and Accident Compensation, 11 J. Tort Law 71, 143 (2018); Haertlein, An Alternative Liability System for Autonomous Aircraft, 31 Air & Space L. 1, 21 (2018); Scherer, Regulating Artificial Intelligence Systems: Risks, Challenges, Competences, and Strategies, 29 Harv. J. L. Tech. 353, 363–366 (2016); Calo, Open Robotics, 70 Md. L. Rev. 571, 602 (2011). Escritores também têm tratado de problemas de causação em conexão com responsabilidade legal internacional e armas autônomas: ver, por exemplo, Burri, International Law and Artificial Intelligence, 60 GYIL 91, 101–103 (2017); Sassóli, Autonomous Weapons and International Humanitarian Law: Advantages, Open Technical Questions and legal Issues to Be Clarified, 90 Int’l L. Stud. 308, 329–330 (2014).

13 Na literatura de ciência da computação, a expressão “poda de dados (data pruning)” tem estado associada com a limpeza de conjuntos de dados ruidosos para melhorar a performance. Ver, por exemplo, Anelia Angelova, Yaser S. Abu-Mostafa & Pietro Perona, Pruning Training Sets for Learning of Object Categories: CVPR Conference (2005), San Diego, June 20–25, 2005: vol. 1 IEEE 494–501.

14 Mapp v. Ohio, 367 U.S. 643, 656 (1961).

15 Ver, por exemplo, Meriani, Digital Platforms and the Spectrum of Data Protection in Competition Law Analysis, 38(2) Eur. Compet. L. Rev. 89, 94–95 (2017); Quelle, Enhancing Compliance Under the General Data Protection Regulation: The Risky Upshot of Accountability- and Risked-Based Approach, 9 Eur. J. Risk Regul. 502, 524–525 (2018).

16 Dessa maneira, no geral, “evidência ruim” é de dois tipos. (i) A evidência pode ser ruim por causa da modo de sua coleção ser indesejável. Esse tipo de evidência ruim poderia não ter levantado problema nenhum, se a sua coleção não tivesse sido [98]maculada. (ii) O outro tipo é ruim, independemente de como a evidência coletada se comportou. Ela é ruim porque coloca o risco de uma influência desagradável sobre o processo mesmo de decisão.

17 Escritores doutrinais sobre evidência têm feito um grande esforço para articular como determinar se a ligação entre evidência ruim e evidência desafiada é suficientemente atenuada para “dissipar a mácula.” Suficientemente claro é a existênia de uma exceção ao fruto da árvore envenenada. Obscuro é quando a exceção se aplica. Aqui o principal tratado sobre regras americanas de evidência tenta uma resposta:

Essa exceção… não depende da falta de uma efetiva ligação causal entre a ilegalidade original e a obtenção da evidência desafiada. Antes, a exceção é provocada por uma demonstração de que a natureza dessa ligação causal é tal que o impacto da ilegalidade original sobre a obtenção da evidência é suficientemente mínima para que a exclusão não seja requerida a despeito da ligação causal. Brown (Gen. Ed.), McCormick on Evidence (2006) § 179 p. 297.

Note a circularidade: a exclusão “exceção é provocada” (ou seja, a exclusão não é requerida) quando a “exclusão não é requerida.” A questão difícil é o que precisamente são as características que dão a um ligação causal uma tal “natureza” de modo que ela seja “suficientemente mínima.”

18 Dunn v. United States, 307 F.2d 883, 886 (Gewin, J., 5th Cir., 1962). Cortes fora dos EUA também têm usado a frase: Kung v. Peak Potentials Training Inc., 2009 BCHRT 154, 2009 CarswellBC 1147 para 11 (British Columbia Human Rights Tribunal, 23 de abril de 2009).

19 Ver, por exemplo, Fuery et al. v. City of Chicago, 900 F. 3D 450, 457 (Rovner, J., 7th Cir., 2018).

20 Falando de modo geral, há duas maneiras de suprimir (prune) um conjunto de dados: removendo itens do conjunto de dados (fileiras (rows)), por exemplo, para remediar problemas de representação desbalanceada, ou remover um atributo sensível do conjunto de dados (uma columa). Tem sido largamente observado que a remoção de um atributo sensível não é útil, se esse atributo pode ser mais ou menos confiavelmente predito a partir dos atributos restantes. Remover itens também é problemático: por exemplo, os curadores do conjunto de dados ImageNet, originalmente publicado em 2009 (ver o prólogo, p. xiii, n.23) ainda estavam em 2020 divertindo-se com problemas repetitivos para remediar questões de justiça (fairness) e representação. Ver Yang et al. (2019).

21 É claro, nós não queremos dizer que os cientistas da computação consideram o objetivo (goal) que motiva os esforços de poda de dados serem moral ou eticamente antitéticos. Em vez disso, a poda de dados, um instrumento brusco, talvez aceitável como um paliativo, está em desacordo com como a aprendizagem de máquina funciona.

22 Coulter et al. v. Louisville & Nashville Railroad Company, 25 S.Ct. em 345, 196 U.S. em 610 (1905).

23 [99]Para uma ilustração de ponta, ver Madras et al. (2018). O que é particularmente interessante sobre a abordagem dele é que, para garantir que as inferências do sistema de aprendizagem de máquina sejam imparciais contra indivíduos com algum atributo x protegido, esse atributo tem de estar disponível para a máquina. Isso ilumina o porque cientistas da computação são apreensivos sobre poda de dados.

24 Ver Leonard (ed.), New Wigmore (2010) § 1.11.5 p. 95 e ver id. 95–96 n. 57 para comentário judicial. O padrão para o estabelecimento de que instruções limitantes falharam é exigente. Ver, por exemplo, Encana Oil & Gas (USA) Inc. v. Zaremba Family Farms, Inc. et al., 736 Fed. Appx. 557, 568 (Thapar, J., 6th Cir., 2018).

25 Um problema tratado repetidamente pelas cortes dos EUA. Ver, por exemplo Dunn v. United States, 307 F.2d 883, 885–86 (Gewin, J., 5th Cir. 1962); McWhorter v. Birmingham, 906 F.2d 674, 677 (Per Curiam, 11th Cir. 1990). Uma literatura substancial trata de instruções para júri, incluindo a partir de ângulos empíricos. Ver, por exemplo, Mehta Sood, Applying Empirical Psychology to Inform Courtroom Adjudication—Potential Contributions and Challenges, 130 Harv. L. Rev. F. 301 (2017).

26 Ver capítulo 7, p. 81 ff. Ver também Liska, Experts in the Jury Room: When Personal Experience is Extraneous Information, 69 Stan. L. Rev. 911 (2017).

27 Cortes de recursos consideram semelhantes instruções frequentemente. Para um exemplo recente, ver United States v. Valois, slip. Op. pp. 13–14 (Hull, J., 2019, 11th Cir.). Cf. Namet v. U.S., 373 U.S. 179, 190, 83 S.Ct 1151, 1156 n. 10 (Stewart, J., 1963).

28 See Madras et al., op. cit.

29 Essa leitura é vista em julgamentos, incluindo (talvez particularmente) de cortes estrangeiras quando elas observam que o “fruto da árvore envenenada” não é parte do direito deles. Ver, por exemplo, Z. (Z.) v. Shafro, 2016 ONSC 6412, 2016 CarswellOnt 16284, para 35 (Kristjanson, J., Ontario Superior Court of Justice, Oct. 14, 2016). Algumas cortes estrangeiras tratam da doutrina como parte do seu direito e aplicam-na uma leitura similar. Ver, por exemplo, Dela Cruz v. People of the Philippines (2016) PHSC 182 (Leonnen, J., Philippines Supreme Court, 2016), com os precedentes citados na Seção III, n. 105. Ver o tratamento do princípio em direito comparativo por Thaman, “Fruits of the Poisonous Tree” in Comparative Law, 16 Sw. J. Int’l L. 333 (2010).

30 Restrição execucional e restrição inferencial, como nós estipulamos os conceitos, sobrepõem-se em algumas instâncias, porque uma execução que deve ser restringida poderia ser um processo mental ou computacional de inferência. A sobreposição é detectável em Silverthorne Lumber. O Governo, Holmes disse, devia ser restrito em como ele usou o conhecimento que ele ganhou através de busca e apreensão ilegais. O uso do qual Holmes demanda que o Governo deva ser restrito era igualmente o raciocínio do governo sobre onde ir em busca de evidência; e a ação física que ele executa em [100]campo. A restrição também tem ambos os aspectos onde se diz respeito a um, em vez de com o empedimento das pessoas de usarem o conhecimento para gerar mais conhecimento, de com o empedimento de um sistema de aprendizagem de máquina de usar uma entrada para gerar mais saídas. A sobreposição entre as duas variantes de restrição surge na aprendizagem de máquina porque os sistemas de aprendizagem de máquina (pelo menos no corrente estado de arte) não levam a cabo a computação com novas entradas a menos que alguma ação seja tomada para os fazer executar. A restrição execucional seria abster-se de ligar a máquina (ou, se a posição padrão for “ligada (on),” então, mudar a máquina para desligada (off)).

A sobreposição também é significante onde as instituições humanas funcionam sob procedimentos que controlam quem recebe qual informação e para qual propósito. Assumamos que há uma instituição que gera decisões com uma identidade corporativa – ou seja, decisões que são atribuíveis à instituição, em vez de a qualquer ser humano pertencente a ela. Corporações e governos são assim. Também assumamos que, para geral uma decisão que comporte a identidade comporativa, dois ou mais seres humanos tem de manejar certa informação; e um deles, ou algum terceiro, tem o poder de reter essa informação. A pessoa tendo o poder retenção poder colocar uma restrição sobre a instituição; ela pode reter a informação e, dessa maneira, a instituição não pode levar a cabo o processo de decisão. Nesse cenário, a restrição tem características sobrepondo-se. Ela é inferencial, no que ela restringe o processo de decisão; ela é execucional, no que ela restringe as ações dos constituintes individuais da instituição.

31 Ver capítulo 3, p. 37.

32 Chouldechova & Roth, op. cit., Section 3.4 p. 7. Cf. Paul Teich, Artificial Intelligence Can Reinforce Bias, Forbes (24 de setembro de 2018). (referindo-se a especialistas quem “dizem que justiça (fairness) em IA é uma questão de conjunto de dados”).