Pablo Zavala · Évaluation de sécurité IA · Ingénierie de recherche

IA multilingue pour les droits autochtones : la sécurité dans le cas peu doté

Une proposition de conception plutôt qu'un système construit, pour un conseiller juridique et d'affaires en espagnol, quechua et shuar, articulée autour de la sécurité des langues peu dotées, du risque d'hallucination et de la revue humaine.

octobre 13, 2024 · 6 min

Un conseiller juridique qui parle quechua doit avoir raison sur le droit, sinon une mauvaise réponse cause un préjudice réel. Mon équipe a rédigé une conception pour un conseiller multilingue, couvrant l'espagnol, le quechua et le shuar, afin d'aider les Autochtones équatoriens à défendre des revendications foncières et de droits et à créer des entreprises, et les problèmes les plus difficiles de la conception sont des problèmes de sécurité : un modèle est le plus faible précisément dans les langues et les domaines juridiques où une mauvaise réponse coûte le plus.

Une proposition plutôt qu'un déploiement

Le statut du travail mérite d'être énoncé clairement. Nous avons produit un document de conception plutôt qu'un système en fonctionnement : un cycle de vie LLMOps, un ensemble d'objectifs et une liste de KPI de biais, de sensibilité culturelle et d'observabilité. L'équipe s'est arrêtée avant d'entraîner un modèle, d'évaluer une sortie ou de tester une seule réponse auprès d'une communauté. Tout ce qui suit décrit un comportement prévu, et le comportement prévu ne gagne la confiance qu'après mesure. Lire la proposition comme une spécification à soumettre à des tests de résistance, et non comme un résultat, garde l'affirmation honnête.

Des utilisateurs vulnérables élèvent l'exigence

Ma motivation reste concrète. Je suis Équatorien, et les personnes que cet outil servirait, des communautés confrontées aux droits fonciers, au préjudice environnemental et aux démarches de création d'entreprise, figurent parmi les utilisateurs à enjeux élevés dans les contextes de droits et de conseil juridique que les systèmes actuels desservent souvent mal. Une mauvaise réponse fluide atteint un entrepreneur débutant ou une communauté défendant son territoire avec la même assurance qu'elle offrirait à un avocat, et le lecteur sans formation juridique a le moins de capacité à repérer l'erreur. Bien servir des utilisateurs vulnérables élève donc l'exigence au lieu de l'abaisser : plus la situation de l'utilisateur est difficile, moins le système a de marge pour se tromper à la légère.

Les langues peu dotées élèvent l'exigence de sécurité

Le choix des langues pose le premier problème de sécurité. L'espagnol bénéficie d'un large soutien des modèles ; le quechua (kichwa en Équateur) et le shuar en manquent, et les langues peu dotées se situent précisément là où les grands modèles se dégradent, avec des données d'entraînement plus minces, une évaluation plus faible et une vérité terrain rare. Joshi et ses collègues documentent le petit nombre de langues qui reçoivent une réelle attention du NLP, et le projet de traduction peu dotée NLLB montre combien d'ingénierie la traduction peu dotée exige encore. Une conception qui promet un conseil en quechua et en shuar hérite de cette fragilité, donc la version honnête traite ces langues comme l'endroit où l'évaluation doit être la plus forte, et non comme une fonctionnalité à annoncer.

L'hallucination dans le conseil juridique est le risque central

La fabrication passe de nuisance à danger dans ce domaine. Un modèle qui invente une loi, un délai de dépôt ou une procédure de titre foncier peut orienter un utilisateur vers une revendication perdue ou une protection manquée. La proposition recourt à la génération augmentée par récupération pour ancrer les réponses dans des sources juridiques vérifiées, et l'ancrage par récupération réduit bel et bien la fabrication, mais la récupération rétrécit le risque sans l'effacer, puisqu'un modèle peut encore mal lire un passage récupéré ou le mêler à de l'invention. Les études sur l'hallucination rendent ce risque résiduel concret. Le conseil juridique à enjeux élevés exige donc plus que le seul ancrage ; le système a besoin d'une limite qui l'empêche d'affirmer du droit au-delà de ses sources.

L'évaluation doit couvrir l'exactitude juridique et culturelle

Les KPI de la proposition, couvrant le biais, la véracité, la sensibilité culturelle et l'exactitude juridique, nomment les bonnes cibles et laissent la partie difficile non construite. Mesurer l'exactitude juridique en quechua exige des réponses de référence vérifiées par des experts juridiques équatoriens et des locuteurs courants, plutôt qu'un banc d'essai générique ; mesurer la sensibilité culturelle exige des réviseurs autochtones ayant autorité sur le jugement, plutôt qu'un score de substitution. Tant que ces ensembles d'évaluation n'existent pas, les KPI décrivent une aspiration plutôt qu'un résultat. Une prochaine étape crédible reste étroite : construire un petit ensemble de test revu par des experts pour un domaine juridique dans une langue, publier le taux d'erreur et refuser d'élargir la portée plus vite que l'évaluation ne peut suivre.

La revue humaine revient à chaque revendication de droits

La version la plus sûre de cet outil conseille et laisse la décision à une personne. Une revendication de droits ou un dépôt juridique porte des conséquences qui appartiennent à une personne plutôt qu'à une réponse automatisée, donc la conception devrait acheminer chaque sortie à enjeux élevés vers un humain qualifié, qu'il s'agisse d'un avocat, d'un assistant juridique ou d'un défenseur communautaire formé, avant qu'un utilisateur n'agisse. La proposition invite déjà des réviseurs de la communauté à l'audit de biais et au retour humain ; étendre ce principe au conseil en direct maintient une personne responsable au point de préjudice. Mon travail sur les registres de décision auditables s'applique ici directement : un conseiller qui montre sur quelles sources une revendication reposait, dans la langue de l'utilisateur, permet à un réviseur de vérifier le raisonnement au lieu de se fier à la fluidité. La supervision humaine forme le cœur de ce système plutôt qu'un recours ; la supervision humaine est la conception.

Limites

  • Le travail est une proposition de conception plutôt qu'un système déployé, entraîné ou évalué ; les chiffres d'exactitude, de biais et de sécurité restent des travaux futurs.
  • Les modèles de base et techniques nommés, par exemple un modèle de base pré-entraîné, la récupération et le retour humain, sont des choix de conception dans la proposition plutôt que des composants testés.
  • Le fonctionnement hors ligne, l'interaction vocale et la couverture multilingue complète sont des intentions déclarées dont une construction devrait prouver la faisabilité.

Sources