Chama-se Aequitas e é uma ferramenta que ajuda os governos a fazer escolhas mais precisas na alocação de recursos. Mede qualquer tipo de discriminação que esteja a ser praticada. Pedro Saleiro, um dos criadores, defende a recolha de dados étnico-raciais em Portugal.
Pedro Saleiro é especialista em inteligência artificial e participou nas Conferências de Lisboa, onde se debateram as mudanças globais. Doutorado em Machine Learning and Information Retrieval na Faculdade de Engenharia da Universidade do Porto, trabalhou, durante o pós-doutoramento, na Universidade de Chicago com Rayid Ghani no Center for Data Science and Public Policy. É um dos criadores da Plataforma Aequitas, uma ferramenta para auditar e detectar práticas tendenciosas e discriminatórias em sistemas de inteligência artificial, e nesta entrevista explica-nos como é que isso é feito.
Desde finais de 2019 que Pedro Saleiro é data science manager na empresa portuguesa Feedzai, onde lidera um grupo de investigação dedicado a questões éticas na inteligência artificial. O desafio de criar a Aequitas partiu de Rayid Ghani, ex-analista de dados de Barack Obama.
Como funciona a Aequitas?
É um software que pode ser instalado, recebe uma tabela tipo Excel contendo decisões individuais e fornece outra tabela com resultados agregados por diferentes grupos definidos por atributos como género, etnia ou idade.
A pessoa que usar a ferramenta tem de ter um mínimo de formação e perceber se a amostra faz sentido. [Exemplo: o sistema só detecta bem o risco de desemprego de longa duração para as pessoas com mais de 50 anos? A Aequitas iria ajudar a detectar isso.]
Diz que ajuda a fazer melhores escolhas em termos de gestão de recursos, como?
A questão económica é esta: há recursos para ajudar toda a gente? Se há, não há problema. Mas se só existem cem mil dólares disponíveis, tem de haver regras e critérios para ajudar as pessoas. E o que acontece em caso de empate? A inteligência artificial ajuda-nos a ser mais precisos a detectar a necessidade de ajuda. A partir do momento em que somos mais precisos conseguimos alocar recursos de maneira mais eficiente.
Imaginemos que o nosso sistema de detecção de risco funciona melhor para um grupo do que para o outro. Se as nossas ajudas são alocadas em relação à noção de risco dada pelo sistema, vamos acabar por alocar recursos dependendo do grupo a que as pessoas pertencem. Se isso acontecer, acabamos por criar a distribuição desigual de recursos com base no risco.
Foto“Se não conseguirmos medir [dados étnico-raciais], não vamos conseguir ter políticas que definam que o nosso objectivo é resolver o problema neste ou naquele grupo”
Que tipo de discriminação se consegue medir com a ferramenta?
Qualquer atributo pode ser utilizado. Etnia, género, idade ou local de residência são apenas alguns exemplos.
Mas a pessoa que usa a ferramenta tem de o definir?
Todas as pessoas envolvidas na construção destes sistemas têm de ter a noção bem definida do que são os objectivos em termos de equidade. Qualquer tomada de decisão devia ter em consideração os critérios que seguimos para alocar recursos ou bens do Estado. Porque estamos a definir estes critérios? Que tipo de pessoa é abrangida por estes critérios? Temos noção de que, ao definir um conjunto de critérios, estamos a deixar alguns grupos de fora? E qual o risco de deixar estes grupos de fora? Se houver uma noção explícita — não implícita — de quais são os objectivos em termos de equidade e justiça, podemos medir se os sistemas estão a cumprir os objectivos. E a ferramenta permite auditar se esses objectivos estão a ser cumpridos. Mesmo que a tomada de decisão seja feita por humanos — podemos perfeitamente auditar o processo de decisão de um juiz ou de uma comarca.
Há diferentes definições de equidade, do modelo justo: como é que isso se uniformiza?
Do ponto de vista académico há dezenas de definições e algumas até são incompatíveis entre si. Mas isto não pode ser encarado como desculpa. Se calhar, nem todas as definições fazem sentido em todos os contextos. E muitas vezes existe esse desculpabilizar: “Não existe justiça absoluta.”
Também não existe uma definição universal do que é um sistema de decisão justo. No entanto, as diferentes partes envolvidas devem definir o que é equidade no contexto específico do problema a resolver e serem transparentes em relação a essa definição... No sector público tem de se passar a anunciar que determinado processo decisório — na educação, saúde, alocação de recursos — vai ser auditado em relação a determinados atributos para determinada definição de justiça…
Em Chicago ajudámos as partes envolvidas a escolher a definição de justiça que faça mais sentido. Como? Tendo em consideração quais são os danos da tomada de decisão. Se a tomada de decisão providencia um benefício, que tipo de erros são mais preocupantes? São os erros do tipo falsos negativos — porque não estamos a detectar ou ajudar as pessoas que realmente precisam de ajuda. Então, há um conjunto de métricas de equidade em relação à alocação de falsos negativos em diferentes grupos.
Por exemplo, nos EUA, a prisão preventiva e a determinação da fiança baseiam-se na reincidência. Estive numa sala de audiências e recebi a previsão que o juiz ia receber sobre o baixo, médio ou elevado risco de reincidência. Baseado nesse risco, dado por algoritmo, o juiz ouviu o procurador e definiu a fiança para cada uma das pessoas. Aí o tipo de intervenção é punitiva: estamos a tornar mais difícil que alguém pague a fiança e aguarde julgamento em liberdade. Quando é punitivo, não queremos ter falsos positivos, porque vamos considerar como elevado risco pessoas de baixo risco. Um dos nossos primeiros contributos foi tentar mapear o mar de métricas que existe entre qual o impacto, dano e custo de cada tipo de erro. A partir daí conseguimos navegar.
Fizeram uma árvore da equidade: como funciona e como é aplicada?
A primeira parte tem que ver com isso, se a intervenção é punitiva ou assistiva. Consegue-se reparar se nos devemos preocupar com erros do tipo falsos positivos ou falsos negativos.
Por exemplo, queremos prever o risco de as pessoas desenvolverem diabetes nos próximos cinco anos, para dar acesso a programas personalizados de apoio à nutrição, programas de exercício. Imaginemos que numa intervenção assistiva nos preocupamos com falsos negativos. Imaginemos que o número de falsos negativos nos homens é muito inferior ao que é nas mulheres. Uma noção de equidade poderia ser que o número absoluto de falsos negativos tinha de ser igual nos dois grupos. Se normalizarmos em relação ao tamanho dos grupos — existem 60% de homens, 40% de mulheres —, dividimos pelo tamanho dos grupos e aí temos um rácio dos falsos negativos em relação ao tamanho. Mas também podemos ter um rácio em relação às pessoas que efectivamente desenvolvem diabetes, as que mais necessidades têm, em cada um dos grupos. E se calhar a taxa de prevalência de diabetes nas mulheres é maior do que nos homens — logo aí essa definição vai balancear em relação ao tamanho e à necessidade do grupo.
Estaríamos em melhor posição, à partida, quando as partes concordam com uma definição e publicamente a dizem e há uma prestação de contas, que muitas vezes não é feita. Mas isto dá muito trabalho.
Em Portugal não há recolha de dados étnico-raciais. O INE chumbou uma pergunta nos censos para aferir isso mesmo. O que perdemos ou ganhamos?
“Se não medes, não podes melhorar”, é um cliché e é essa oportunidade que estamos a perder. A partir do momento em que não recolhemos esse tipo de dados, estamos às escuras. A discussão passa a ser posicional, “eu acho, tu achas”, uma discussão política e não uma discussão objectiva, quantitativa. Enquanto não tivermos uma abordagem quantitativa, não conseguimos perceber o que se passa. Vamos ter casos isolados, há microevidências. A discussão acaba por ser vaga, se os governos querem resolver a questão das desigualdades, é necessário perceber a fundo como estão distribuídas na sociedade portuguesa.
Isto entronca com a questão da igualdade de oportunidades. A Aequitas não mede igualdade de oportunidades, mas de resultados. O impacto social.
Se tivermos esses dados étnico-raciais, o que poderíamos saber usando a Aequitas ?
Passaríamos a ter distribuições por diferentes grupos, baseados em questões étnico-raciais, e perceber, com mais profundidade, como é que as questões socioeconómicas se reflectem.
Por exemplo, até que ponto o rendimento está relacionado com questões étnico-raciais? O que acontece muitas vezes é que, para sabermos se há discriminação, acabamos por usar indicadores como o rendimento e a saúde. Se não tivermos essa informação, não conseguimos medir.
Tendo a Aequitas, o Governo e as instituições podem alocar os recursos de forma que, se o objectivo é reduzir as desigualdades em relação a grupos definidos por atributos étnico-raciais, podemos tomar essa decisão; mas neste momento não temos a capacidade de o fazer. Dizemos que queremos combater o racismo e as desigualdades, podemos ter medidas macro, mas muitas vezes a política pública é micro. Se não conseguirmos medir, não vamos conseguir ter políticas que definam que o nosso objectivo é resolver o problema neste ou naquele grupo. Se tivermos essa informação, a política passa a ser muito mais explícita. Neste momento é implícita.
Há quem tema a recolha de dados étnico-raciais por causa dos riscos.
Existe desculpabilização para não recolher dados. Baseada no seguinte: “Como eu não recolho, não sei, e o meu sistema não pode discriminar.” Isso é uma falácia. Muitas vezes, a informação étnico-racial é um proxy para outros atributos como rendimento, escolaridade, esperança média de vida. Ou seja, com a quantidade de dados que hoje é recolhida, é possível que o sistema discrimine em relação a esses atributos mesmo que não saiba essa informação. Por exemplo, nos EUA é muito fácil prever a cor de pele através do código postal.
Não basta dizer que, por não saber essa informação, não discrimino. Não é garantido não discriminarmos porque não usamos esses atributos nem que discriminamos porque usamos. Porque muitas vezes a informação pode estar a codificar a informação em relação a indicadores de saúde, etc. Temos é de auditar sempre os resultados no fim: aí sabemos qual o impacto que esses sistemas têm na sociedade. Neste momento não temos forma de auditar e saber como estamos.
Pedro Saleiro é especialista em inteligência artificial e participou nas Conferências de Lisboa, onde se debateram as mudanças globais. Doutorado em Machine Learning and Information Retrieval na Faculdade de Engenharia da Universidade do Porto, trabalhou, durante o pós-doutoramento, na Universidade de Chicago com Rayid Ghani no Center for Data Science and Public Policy. É um dos criadores da Plataforma Aequitas, uma ferramenta para auditar e detectar práticas tendenciosas e discriminatórias em sistemas de inteligência artificial, e nesta entrevista explica-nos como é que isso é feito.
Desde finais de 2019 que Pedro Saleiro é data science manager na empresa portuguesa Feedzai, onde lidera um grupo de investigação dedicado a questões éticas na inteligência artificial. O desafio de criar a Aequitas partiu de Rayid Ghani, ex-analista de dados de Barack Obama.
Como funciona a Aequitas?
É um software que pode ser instalado, recebe uma tabela tipo Excel contendo decisões individuais e fornece outra tabela com resultados agregados por diferentes grupos definidos por atributos como género, etnia ou idade.
A pessoa que usar a ferramenta tem de ter um mínimo de formação e perceber se a amostra faz sentido. [Exemplo: o sistema só detecta bem o risco de desemprego de longa duração para as pessoas com mais de 50 anos? A Aequitas iria ajudar a detectar isso.]
Diz que ajuda a fazer melhores escolhas em termos de gestão de recursos, como?
A questão económica é esta: há recursos para ajudar toda a gente? Se há, não há problema. Mas se só existem cem mil dólares disponíveis, tem de haver regras e critérios para ajudar as pessoas. E o que acontece em caso de empate? A inteligência artificial ajuda-nos a ser mais precisos a detectar a necessidade de ajuda. A partir do momento em que somos mais precisos conseguimos alocar recursos de maneira mais eficiente.
Imaginemos que o nosso sistema de detecção de risco funciona melhor para um grupo do que para o outro. Se as nossas ajudas são alocadas em relação à noção de risco dada pelo sistema, vamos acabar por alocar recursos dependendo do grupo a que as pessoas pertencem. Se isso acontecer, acabamos por criar a distribuição desigual de recursos com base no risco.
Foto“Se não conseguirmos medir [dados étnico-raciais], não vamos conseguir ter políticas que definam que o nosso objectivo é resolver o problema neste ou naquele grupo”
Que tipo de discriminação se consegue medir com a ferramenta?
Qualquer atributo pode ser utilizado. Etnia, género, idade ou local de residência são apenas alguns exemplos.
Mas a pessoa que usa a ferramenta tem de o definir?
Todas as pessoas envolvidas na construção destes sistemas têm de ter a noção bem definida do que são os objectivos em termos de equidade. Qualquer tomada de decisão devia ter em consideração os critérios que seguimos para alocar recursos ou bens do Estado. Porque estamos a definir estes critérios? Que tipo de pessoa é abrangida por estes critérios? Temos noção de que, ao definir um conjunto de critérios, estamos a deixar alguns grupos de fora? E qual o risco de deixar estes grupos de fora? Se houver uma noção explícita — não implícita — de quais são os objectivos em termos de equidade e justiça, podemos medir se os sistemas estão a cumprir os objectivos. E a ferramenta permite auditar se esses objectivos estão a ser cumpridos. Mesmo que a tomada de decisão seja feita por humanos — podemos perfeitamente auditar o processo de decisão de um juiz ou de uma comarca.
Há diferentes definições de equidade, do modelo justo: como é que isso se uniformiza?
Do ponto de vista académico há dezenas de definições e algumas até são incompatíveis entre si. Mas isto não pode ser encarado como desculpa. Se calhar, nem todas as definições fazem sentido em todos os contextos. E muitas vezes existe esse desculpabilizar: “Não existe justiça absoluta.”
Também não existe uma definição universal do que é um sistema de decisão justo. No entanto, as diferentes partes envolvidas devem definir o que é equidade no contexto específico do problema a resolver e serem transparentes em relação a essa definição... No sector público tem de se passar a anunciar que determinado processo decisório — na educação, saúde, alocação de recursos — vai ser auditado em relação a determinados atributos para determinada definição de justiça…
Em Chicago ajudámos as partes envolvidas a escolher a definição de justiça que faça mais sentido. Como? Tendo em consideração quais são os danos da tomada de decisão. Se a tomada de decisão providencia um benefício, que tipo de erros são mais preocupantes? São os erros do tipo falsos negativos — porque não estamos a detectar ou ajudar as pessoas que realmente precisam de ajuda. Então, há um conjunto de métricas de equidade em relação à alocação de falsos negativos em diferentes grupos.
Por exemplo, nos EUA, a prisão preventiva e a determinação da fiança baseiam-se na reincidência. Estive numa sala de audiências e recebi a previsão que o juiz ia receber sobre o baixo, médio ou elevado risco de reincidência. Baseado nesse risco, dado por algoritmo, o juiz ouviu o procurador e definiu a fiança para cada uma das pessoas. Aí o tipo de intervenção é punitiva: estamos a tornar mais difícil que alguém pague a fiança e aguarde julgamento em liberdade. Quando é punitivo, não queremos ter falsos positivos, porque vamos considerar como elevado risco pessoas de baixo risco. Um dos nossos primeiros contributos foi tentar mapear o mar de métricas que existe entre qual o impacto, dano e custo de cada tipo de erro. A partir daí conseguimos navegar.
Fizeram uma árvore da equidade: como funciona e como é aplicada?
A primeira parte tem que ver com isso, se a intervenção é punitiva ou assistiva. Consegue-se reparar se nos devemos preocupar com erros do tipo falsos positivos ou falsos negativos.
Por exemplo, queremos prever o risco de as pessoas desenvolverem diabetes nos próximos cinco anos, para dar acesso a programas personalizados de apoio à nutrição, programas de exercício. Imaginemos que numa intervenção assistiva nos preocupamos com falsos negativos. Imaginemos que o número de falsos negativos nos homens é muito inferior ao que é nas mulheres. Uma noção de equidade poderia ser que o número absoluto de falsos negativos tinha de ser igual nos dois grupos. Se normalizarmos em relação ao tamanho dos grupos — existem 60% de homens, 40% de mulheres —, dividimos pelo tamanho dos grupos e aí temos um rácio dos falsos negativos em relação ao tamanho. Mas também podemos ter um rácio em relação às pessoas que efectivamente desenvolvem diabetes, as que mais necessidades têm, em cada um dos grupos. E se calhar a taxa de prevalência de diabetes nas mulheres é maior do que nos homens — logo aí essa definição vai balancear em relação ao tamanho e à necessidade do grupo.
Estaríamos em melhor posição, à partida, quando as partes concordam com uma definição e publicamente a dizem e há uma prestação de contas, que muitas vezes não é feita. Mas isto dá muito trabalho.
Em Portugal não há recolha de dados étnico-raciais. O INE chumbou uma pergunta nos censos para aferir isso mesmo. O que perdemos ou ganhamos?
“Se não medes, não podes melhorar”, é um cliché e é essa oportunidade que estamos a perder. A partir do momento em que não recolhemos esse tipo de dados, estamos às escuras. A discussão passa a ser posicional, “eu acho, tu achas”, uma discussão política e não uma discussão objectiva, quantitativa. Enquanto não tivermos uma abordagem quantitativa, não conseguimos perceber o que se passa. Vamos ter casos isolados, há microevidências. A discussão acaba por ser vaga, se os governos querem resolver a questão das desigualdades, é necessário perceber a fundo como estão distribuídas na sociedade portuguesa.
Isto entronca com a questão da igualdade de oportunidades. A Aequitas não mede igualdade de oportunidades, mas de resultados. O impacto social.
Se tivermos esses dados étnico-raciais, o que poderíamos saber usando a Aequitas ?
Passaríamos a ter distribuições por diferentes grupos, baseados em questões étnico-raciais, e perceber, com mais profundidade, como é que as questões socioeconómicas se reflectem.
Por exemplo, até que ponto o rendimento está relacionado com questões étnico-raciais? O que acontece muitas vezes é que, para sabermos se há discriminação, acabamos por usar indicadores como o rendimento e a saúde. Se não tivermos essa informação, não conseguimos medir.
Tendo a Aequitas, o Governo e as instituições podem alocar os recursos de forma que, se o objectivo é reduzir as desigualdades em relação a grupos definidos por atributos étnico-raciais, podemos tomar essa decisão; mas neste momento não temos a capacidade de o fazer. Dizemos que queremos combater o racismo e as desigualdades, podemos ter medidas macro, mas muitas vezes a política pública é micro. Se não conseguirmos medir, não vamos conseguir ter políticas que definam que o nosso objectivo é resolver o problema neste ou naquele grupo. Se tivermos essa informação, a política passa a ser muito mais explícita. Neste momento é implícita.
Há quem tema a recolha de dados étnico-raciais por causa dos riscos.
Existe desculpabilização para não recolher dados. Baseada no seguinte: “Como eu não recolho, não sei, e o meu sistema não pode discriminar.” Isso é uma falácia. Muitas vezes, a informação étnico-racial é um proxy para outros atributos como rendimento, escolaridade, esperança média de vida. Ou seja, com a quantidade de dados que hoje é recolhida, é possível que o sistema discrimine em relação a esses atributos mesmo que não saiba essa informação. Por exemplo, nos EUA é muito fácil prever a cor de pele através do código postal.
Não basta dizer que, por não saber essa informação, não discrimino. Não é garantido não discriminarmos porque não usamos esses atributos nem que discriminamos porque usamos. Porque muitas vezes a informação pode estar a codificar a informação em relação a indicadores de saúde, etc. Temos é de auditar sempre os resultados no fim: aí sabemos qual o impacto que esses sistemas têm na sociedade. Neste momento não temos forma de auditar e saber como estamos.
