Pablo Zavala · Evaluación de seguridad de IA · Ingeniería de investigación

IA multilingüe para los derechos indígenas: seguridad en el caso de bajos recursos

Una propuesta de diseño, no un sistema construido, para un asesor legal y de negocios en español, quechua y shuar, enmarcada en la seguridad de las lenguas de bajos recursos, el riesgo de alucinación y la revisión humana.

octubre 13, 2024 · 6 min

Un asesor legal que hable quechua tiene que acertar sobre la ley, o una respuesta equivocada causa daño real. Mi equipo redactó un diseño para un asesor multilingüe, que abarca español, quechua y shuar, para ayudar a los ecuatorianos indígenas a defender reclamos de tierra y de derechos y a iniciar negocios, y los problemas más difíciles del diseño son problemas de seguridad: un modelo es más débil justamente en las lenguas y los dominios legales donde una respuesta equivocada cuesta más.

Una propuesta, no un despliegue

El estatus del trabajo hay que decirlo con claridad. Produjimos un documento de diseño en lugar de un sistema en funcionamiento: un ciclo de vida LLMOps, un conjunto de objetivos y una lista de KPIs de sesgo, sensibilidad cultural y observabilidad. El equipo se detuvo antes de entrenar un modelo, evaluar cualquier salida o probar una sola respuesta con una comunidad. Todo lo que sigue describe comportamiento previsto, y el comportamiento previsto gana confianza solo después de la medición. Leer la propuesta como una especificación por someter a prueba de estrés, y no como un resultado, mantiene honesta la afirmación.

Los usuarios vulnerables elevan el listón

Mi motivación es concreta. Soy ecuatoriano, y las personas a las que serviría esta herramienta, comunidades que lidian con derechos de tierra, daño ambiental y el papeleo de iniciar un negocio, están entre los usuarios de alto riesgo en contextos de derechos y asesoría legal a quienes los sistemas actuales suelen atender mal. Una respuesta equivocada pero fluida llega a un emprendedor primerizo o a una comunidad que defiende su territorio con la misma confianza con que se la ofrecería a un abogado, y el lector sin formación legal es quien menos capacidad tiene de detectar el error. Servir bien a los usuarios vulnerables, por tanto, eleva el listón en lugar de bajarlo: cuanto más difícil es la situación del usuario, menos margen tiene el sistema para equivocarse a la ligera.

Las lenguas de bajos recursos elevan el listón de seguridad

La elección de las lenguas plantea el primer problema de seguridad. El español cuenta con amplio soporte de los modelos; el quechua (kichwa en Ecuador) y el shuar carecen de él, y las lenguas de bajos recursos se ubican justamente donde los modelos grandes se degradan, con datos de entrenamiento más escasos, evaluación más débil y poca verdad de referencia. Joshi y colegas documentan lo pocas que son las lenguas que reciben atención real del NLP, y el proyecto de traducción de bajos recursos NLLB muestra cuánta ingeniería sigue exigiendo la traducción de bajos recursos. Un diseño que promete asesoría en quechua y shuar hereda esa fragilidad, así que la versión honesta trata esas lenguas como el lugar donde la evaluación debe ser más fuerte, y no como una función que anunciar.

La alucinación en la asesoría legal es el riesgo central

La fabricación pasa de molestia a peligro en este dominio. Un modelo que inventa una ley, un plazo de presentación o un trámite de titulación de tierras puede empujar a un usuario hacia un reclamo perdido o una protección omitida. La propuesta recurre a la generación aumentada por recuperación para fundamentar las respuestas en fuentes legales verificadas, y la fundamentación por recuperación sí reduce la fabricación, aunque la recuperación estrecha el riesgo sin borrarlo, ya que un modelo todavía puede malinterpretar un pasaje recuperado o mezclarlo con invención. Los estudios sobre alucinación vuelven concreto ese riesgo residual. La asesoría legal de alto riesgo, por tanto, exige más que fundamentación por sí sola; el sistema necesita un límite que le impida afirmar derecho más allá de sus fuentes.

La evaluación debe cubrir la exactitud legal y cultural

Los KPIs de la propuesta, que abarcan sesgo, veracidad, sensibilidad cultural y exactitud legal, nombran los objetivos correctos y dejan sin construir la parte difícil. Medir la exactitud legal en quechua requiere respuestas de referencia verificadas por expertos legales ecuatorianos y hablantes fluidos, no un benchmark genérico; medir la sensibilidad cultural requiere revisores indígenas con autoridad sobre el juicio, no un puntaje sustituto. Hasta que existan esos conjuntos de evaluación, los KPIs describen una aspiración y no un resultado. Un siguiente paso creíble se mantiene acotado: construir un conjunto de prueba pequeño y revisado por expertos para un dominio legal en una lengua, publicar la tasa de error y negarse a ampliar el alcance más rápido de lo que la evaluación puede seguir.

La revisión humana corresponde a cada reclamo de derechos

La versión más segura de esta herramienta asesora y deja la decisión a una persona. Un reclamo de derechos o una presentación legal conlleva consecuencias que pertenecen a una persona y no a una respuesta automatizada, así que el diseño debería encaminar toda salida de alto riesgo a través de un humano calificado, sea un abogado, un asistente legal o un defensor comunitario capacitado, antes de que un usuario actúe sobre ella. La propuesta ya invita a revisores de la comunidad a la auditoría de sesgo y a la retroalimentación humana; extender ese principio a la asesoría en vivo mantiene a una persona como responsable en el punto de daño. Mi trabajo sobre registros de decisión auditables aplica aquí directamente: un asesor que muestra en qué fuentes se apoyó un reclamo, en la lengua del usuario, permite a un revisor comprobar el razonamiento en lugar de confiar en la fluidez. La supervisión humana forma el núcleo de este sistema y no un recurso de última instancia; la supervisión humana es el diseño.

Límites

  • El trabajo es una propuesta de diseño y no un sistema desplegado, entrenado o evaluado; las cifras de exactitud, sesgo y seguridad siguen siendo trabajo futuro.
  • Los modelos base y las técnicas nombradas, por ejemplo un modelo base preentrenado, la recuperación y la retroalimentación humana, son decisiones de diseño en la propuesta y no componentes probados.
  • La operación sin conexión, la interacción por voz y la cobertura multilingüe completa son intenciones declaradas cuya viabilidad una construcción tendría que demostrar.

Fuentes