Pablo Zavala · Avaliação de segurança de IA · Engenharia de pesquisa

IA multilíngue para os direitos indígenas: segurança no caso de baixos recursos

Uma proposta de desenho, não um sistema construído, para um assessor jurídico e de negócios em espanhol, quíchua e shuar, articulada em torno da segurança das línguas de baixos recursos, do risco de alucinação e da revisão humana.

outubro 13, 2024 · 6 min

Um assessor jurídico que fala quíchua precisa acertar sobre a lei, ou uma resposta errada causa dano real. Minha equipe redigiu um desenho para um assessor multilíngue, cobrindo espanhol, quíchua e shuar, para ajudar os equatorianos indígenas a defender reivindicações de terra e de direitos e a abrir negócios, e os problemas mais difíceis do desenho são problemas de segurança: um modelo é mais fraco justamente nas línguas e nos domínios jurídicos onde uma resposta errada custa mais.

Uma proposta, não uma implantação

O estatuto do trabalho precisa ser dito com clareza. Produzimos um documento de desenho em vez de um sistema em funcionamento: um ciclo de vida LLMOps, um conjunto de objetivos e uma lista de KPIs de viés, sensibilidade cultural e observabilidade. A equipe parou antes de treinar um modelo, avaliar qualquer saída ou testar uma única resposta com uma comunidade. Tudo o que segue descreve comportamento pretendido, e o comportamento pretendido só ganha confiança depois da medição. Ler a proposta como uma especificação a ser submetida a testes de estresse, e não como um resultado, mantém a afirmação honesta.

Usuários vulneráveis elevam o nível de exigência

Minha motivação é concreta. Sou equatoriano, e as pessoas que esta ferramenta serviria, comunidades que lidam com direitos de terra, dano ambiental e a papelada de abrir um negócio, estão entre os usuários de alto risco em contextos de direitos e aconselhamento jurídico que os sistemas atuais muitas vezes atendem mal. Uma resposta errada mas fluente alcança um empreendedor de primeira viagem ou uma comunidade defendendo seu território com a mesma confiança que ofereceria a um advogado, e o leitor sem formação jurídica é quem menos consegue detectar o erro. Servir bem usuários vulneráveis, portanto, eleva o nível de exigência em vez de baixá-lo: quanto mais difícil a situação do usuário, menos margem o sistema tem para errar sem cuidado.

As línguas de baixos recursos elevam o nível de segurança

A escolha das línguas define o primeiro problema de segurança. O espanhol tem amplo suporte dos modelos; o quíchua (kichwa no Equador) e o shuar carecem dele, e as línguas de baixos recursos ficam exatamente onde os grandes modelos se degradam, com dados de treinamento mais escassos, avaliação mais fraca e pouca verdade de referência. Joshi e colegas documentam quão poucas línguas recebem atenção real de NLP, e o projeto de tradução de baixos recursos NLLB mostra quanta engenharia a tradução de baixos recursos ainda exige. Um desenho que promete aconselhamento em quíchua e shuar herda essa fragilidade, então a versão honesta trata essas línguas como o lugar onde a avaliação deve ser mais forte, e não como um recurso a anunciar.

A alucinação no aconselhamento jurídico é o risco central

A fabricação passa de incômodo a perigo neste domínio. Um modelo que inventa uma lei, um prazo de protocolo ou um procedimento de titulação de terra pode empurrar um usuário para uma reivindicação perdida ou uma proteção não aproveitada. A proposta recorre à geração aumentada por recuperação para ancorar respostas em fontes jurídicas verificadas, e a ancoragem por recuperação de fato reduz a fabricação, embora a recuperação estreite o risco sem apagá-lo, já que um modelo ainda pode ler mal uma passagem recuperada ou misturá-la com invenção. Os levantamentos sobre alucinação tornam esse risco residual concreto. O aconselhamento jurídico de alto risco, portanto, exige mais do que a ancoragem sozinha; o sistema precisa de um limite que o impeça de afirmar direito além de suas fontes.

A avaliação deve cobrir a exatidão jurídica e cultural

Os KPIs da proposta, cobrindo viés, veracidade, sensibilidade cultural e exatidão jurídica, nomeiam os alvos certos e deixam a parte difícil por construir. Medir a exatidão jurídica em quíchua exige respostas de referência verificadas por especialistas jurídicos equatorianos e falantes fluentes, em vez de um benchmark genérico; medir a sensibilidade cultural exige revisores indígenas com autoridade sobre o julgamento, em vez de uma pontuação substituta. Até que esses conjuntos de avaliação existam, os KPIs descrevem uma aspiração em vez de um resultado. Um próximo passo crível permanece estreito: construir um pequeno conjunto de teste revisado por especialistas para um domínio jurídico em uma língua, publicar a taxa de erro e recusar ampliar o escopo mais rápido do que a avaliação consegue acompanhar.

A revisão humana cabe a cada reivindicação de direitos

A versão mais segura desta ferramenta aconselha e deixa a decisão a uma pessoa. Uma reivindicação de direitos ou um protocolo jurídico carrega consequências que pertencem a uma pessoa em vez de a uma resposta automatizada, então o desenho deveria encaminhar cada saída de alto risco por um humano qualificado, seja um advogado, um assistente jurídico ou um defensor comunitário treinado, antes de um usuário agir sobre ela. A proposta já convida revisores da comunidade à auditoria de viés e ao feedback humano; estender esse princípio ao aconselhamento ao vivo mantém uma pessoa responsável no ponto de dano. Meu trabalho sobre registros de decisão auditáveis se aplica aqui diretamente: um assessor que mostra em quais fontes uma reivindicação se apoiou, na língua do usuário, permite a um revisor conferir o raciocínio em vez de confiar na fluência. A supervisão humana forma o núcleo deste sistema em vez de um recurso de contingência; a supervisão humana é o desenho.

Limites

  • O trabalho é uma proposta de desenho, não um sistema implantado, treinado ou avaliado; números de exatidão, viés e segurança seguem sendo trabalho futuro.
  • Os modelos base e técnicas nomeados, por exemplo um modelo base pré-treinado, a recuperação e o feedback humano, são escolhas de desenho na proposta em vez de componentes testados.
  • A operação offline, a interação por voz e a cobertura multilíngue completa são intenções declaradas cuja viabilidade uma construção teria de provar.

Fontes