IA responsable para abogados: quién responde cuando la inteligencia artificial se equivoca
Santiago Calderón Chávez
CEO & Co-Founder de ELÍAS
Imaginemos una situación que cada vez resultará menos extraordinaria.
Un abogado utiliza inteligencia artificial para analizar un expediente.
El sistema revisa cientos de documentos, identifica los hechos relevantes, encuentra legislación aplicable, propone una estrategia y prepara el borrador de un escrito.
El resultado parece impecable.
El abogado lo revisa, realiza algunos cambios y lo presenta.
Después descubrimos que había un error.
La inteligencia artificial interpretó incorrectamente un precedente.
O pasó por alto una excepción.
O asumió como verdadero un hecho que no estaba acreditado.
O calculó incorrectamente un término.
O, simplemente, recomendó una estrategia que terminó perjudicando al cliente.
Entonces aparece una pregunta que probablemente acompañará al Derecho durante los próximos años:
¿quién responde?
¿La empresa que desarrolló el modelo?
¿El despacho que decidió utilizarlo?
¿El abogado que confió en la respuesta?
¿El cliente que aceptó la estrategia?
¿Nadie, porque “fue un error de la inteligencia artificial”?
Esta última respuesta parece la menos sostenible de todas.
La inteligencia artificial puede modificar profundamente cómo se produce el trabajo jurídico.
Lo que no debería hacer es crear un vacío de responsabilidad.
“Lo hizo la inteligencia artificial” no puede convertirse en una defensa profesional
Pensemos primero en algo mucho más sencillo.
Un abogado recibe un borrador preparado por un asociado.
Lo revisa.
Lo firma.
Lo presenta.
Después aparece un error importante.
Difícilmente podría defenderse diciendo:
“Yo no cometí el error. Lo escribió mi asociado.”
Precisamente porque existe una estructura de supervisión y responsabilidad alrededor del trabajo profesional.
Con la inteligencia artificial ocurre algo parecido, aunque tecnológicamente sea mucho más complejo.
La herramienta puede producir el texto.
Puede encontrar la información.
Puede sugerir la estrategia.
Puede incluso participar de manera sustancial en el razonamiento.
Pero cuando un abogado decide presentar ese trabajo como propio o utilizarlo para asesorar a un cliente, la procedencia tecnológica de la respuesta no borra automáticamente sus obligaciones profesionales.
La American Bar Association llegó a una conclusión semejante en su Formal Opinion 512 sobre inteligencia artificial generativa: las obligaciones existentes de competencia, confidencialidad, comunicación, supervisión, veracidad frente al tribunal y razonabilidad de honorarios siguen siendo relevantes cuando un abogado utiliza estas herramientas. Es una referencia estadounidense y no una norma aplicable automáticamente en México, pero la lógica resulta importante para esta discusión.
La inteligencia artificial cambia al colaborador.
No necesariamente cambia quién está ejerciendo la profesión.
Pero tampoco toda responsabilidad puede concentrarse en el abogado
Ahora llevemos el argumento al otro extremo.
Supongamos que un sistema fue diseñado defectuosamente.
Un proveedor prometió determinada funcionalidad.
El sistema procesó incorrectamente información.
Existió una falla de seguridad.
Se incumplieron obligaciones contractuales.
O una organización implementó una herramienta sin controles razonables y obligó a sus abogados a utilizarla.
En esos casos tampoco tendría sentido decir:
“Como había un abogado al final, toda la responsabilidad es exclusivamente suya.”
La inteligencia artificial introduce una cadena mucho más compleja.
Hay desarrolladores.
Proveedores.
Despachos.
Administradores.
Usuarios.
Abogados.
Clientes.
Y, en sistemas cada vez más autónomos, puede haber múltiples componentes tecnológicos participando en una misma decisión.
Por eso probablemente tendremos que dejar de buscar un único responsable de la inteligencia artificial y empezar a pensar en capas de responsabilidad.
La pregunta adecuada será:
¿qué control tenía cada actor, qué debía razonablemente conocer y qué decisión tomó?
Responsabilidad no significa que el abogado tenga que hacerlo todo personalmente
Aquí existe una confusión importante.
Mantener responsabilidad humana no significa regresar al trabajo manual.
Un abogado no necesita volver a leer personalmente diez mil páginas sólo para demostrar que conserva el control.
Tampoco tiene sentido utilizar inteligencia artificial para analizar miles de documentos y después repetir manualmente exactamente el mismo análisis.
Eso eliminaría buena parte del valor de la tecnología.
La supervisión responsable tiene que ser diferente.
El abogado necesita poder entender:
qué tarea realizó el sistema,
qué información utilizó,
qué supuestos fueron relevantes,
qué grado de confiabilidad puede atribuirse al resultado,
qué aspectos requieren verificación,
y qué consecuencias tendría aceptar la conclusión.
La supervisión no significa duplicar el trabajo de la máquina.
Significa conservar suficiente comprensión y control para poder decidir si debemos confiar en él.
El problema de la “revisión humana” simbólica
En los próximos años escucharemos muchísimo una expresión:
human in the loop.
Un humano dentro del proceso.
Suena tranquilizador.
La inteligencia artificial hace el trabajo, pero antes de ejecutar una decisión existe una persona que presiona “aceptar”.
Perfecto.
Excepto que esa persona puede convertirse rápidamente en una formalidad.
Imaginemos que un sistema produce cien recomendaciones jurídicas todos los días.
Tiene una tasa de acierto extraordinariamente alta.
El abogado comienza revisándolas cuidadosamente.
Después de meses de observar que casi todas son correctas, empieza a confiar.
La revisión pasa de cinco minutos a uno.
Después a treinta segundos.
Finalmente sólo verifica que nada parezca extraño.
Formalmente seguimos teniendo supervisión humana.
Materialmente, quizá ya no tenemos verdadera supervisión.
Este fenómeno es particularmente peligroso precisamente cuando los sistemas son buenos.
Cuanto más confiable parece una inteligencia artificial, mayor puede ser nuestra tentación de dejar de cuestionarla.
La regulación europea sobre inteligencia artificial ofrece una idea interesante como referencia comparada: para determinados sistemas considerados de alto riesgo exige que la supervisión humana sea efectiva y proporcional a los riesgos y al grado de autonomía del sistema. El principio importante no es simplemente poner una persona al final del proceso, sino permitir que esa persona realmente pueda comprender, supervisar e intervenir.
Ésa debería ser también una preocupación central en sistemas jurídicos.
No todos los errores de IA son iguales
Decir que “la inteligencia artificial se equivocó” puede describir situaciones completamente distintas.
La IA inventó una fuente
Éste es probablemente el caso más evidente.
Una jurisprudencia inexistente.
Una cita falsa.
Una disposición que no dice lo que el sistema asegura.
Aquí la respuesta profesional parece relativamente sencilla:
verificar.
Si una afirmación puede comprobarse objetivamente, un sistema jurídico responsable debería facilitar esa comprobación y el abogado debería realizarla cuando resulte material para su trabajo.
La fuente era correcta, pero la interpretación estaba equivocada
Aquí el problema se vuelve más interesante.
La norma existe.
La jurisprudencia existe.
Los hechos son correctos.
Pero la conclusión jurídica no necesariamente se sigue de ellos.
Ya no estamos frente a una simple “alucinación”.
Estamos frente a un problema de razonamiento.
Y no siempre existirá una prueba automática capaz de decirnos cuál interpretación es correcta.
La respuesta era jurídicamente defendible, pero estratégicamente mala
Éste es todavía más complejo.
Quizá el sistema recomendó demandar.
Y efectivamente podíamos demandar.
Pero hubiera sido mejor negociar.
Quizá recomendó interponer determinado recurso.
Pero hacerlo provocó un efecto comercial que el cliente quería evitar.
Aquí ya no estamos discutiendo exactitud.
Estamos discutiendo criterio.
Y es precisamente donde conectamos con lo que hemos venido reflexionando en este blog a partir de la distinción que me compartió el Dr. Pedro Payares Yabur entre juicio y discernimiento.
Una máquina puede producir una respuesta jurídicamente válida.
El abogado todavía tiene que decidir qué hacer con ella.
La responsabilidad debería seguir a la decisión
Ésta puede ser una regla útil para pensar la inteligencia artificial jurídica.
Entre mayor sea la consecuencia de una decisión, mayor debería ser la claridad sobre quién la tomó.
Consideremos diferentes niveles.
Una inteligencia artificial corrige ortografía.
El riesgo es mínimo.
Clasifica documentos.
Existe algo más de riesgo.
Resume un expediente.
Aumenta la relevancia de la revisión.
Identifica un posible término procesal.
El riesgo crece considerablemente.
Recomienda no promover un recurso.
Ahora estamos frente a una decisión que podría tener consecuencias irreversibles.
Presenta automáticamente el escrito sin intervención humana.
Hemos cruzado otro umbral.
No todas estas actividades deberían requerir el mismo modelo de supervisión.
Una política seria de IA debería distinguir entre:
asistencia,
recomendación,
decisión,
y ejecución.
Muchas discusiones actuales meten las cuatro cosas dentro de una sola categoría: “usar inteligencia artificial”.
Pero son radicalmente distintas.
Un término procesal es un buen ejemplo
Supongamos que un sistema identifica automáticamente que una resolución fue notificada ayer y calcula que existen quince días para promover un medio de defensa.
Eso puede ser extraordinariamente útil.
Ahora imaginemos que además analiza días inhábiles, efectos de la notificación, legislación aplicable y reglas especiales.
Todavía mejor.
Pero pensemos en lo que ocurre si existe ambigüedad.
Dos posibles medios de defensa.
Dos reglas distintas de cómputo.
Una duda sobre cuándo surtió efectos la notificación.
Una jurisprudencia contradictoria.
El peor diseño posible sería aquel que ocultara toda esa complejidad y simplemente mostrara:
VENCE: 15 DE OCTUBRE.
Una fecha.
Muy limpia.
Muy convincente.
Y quizá incorrecta.
Un sistema responsable debería hacer exactamente lo contrario.
Podría decir:
Fecha probable: 15 de octubre.
Pero además mostrar:
qué notificación utilizó,
qué regla aplicó,
qué días consideró inhábiles,
qué disposición sustenta el cálculo,
qué incertidumbres existen,
y qué alternativa produciría una fecha distinta.
Entonces la inteligencia artificial no elimina la responsabilidad.
Hace posible ejercerla con mejores elementos.
La trazabilidad será tan importante como la inteligencia
Esto nos lleva a una característica que creo que será fundamental en la siguiente generación de tecnología jurídica.
No basta con saber qué respondió el sistema.
Necesitaremos saber cómo llegamos hasta ahí.
Qué documentos fueron considerados.
Qué información fue utilizada.
Qué cambió.
Qué usuario realizó determinada acción.
Qué recomendación produjo el sistema.
Qué decidió finalmente el abogado.
Qué alternativa fue descartada.
No necesariamente necesitamos observar cada operación matemática interna de un modelo.
Pero sí necesitamos suficiente trazabilidad profesional para reconstruir una decisión.
Esto importa especialmente cuando una herramienta deja de funcionar como un chat aislado y empieza a participar permanentemente en el expediente.
La memoria deja de ser una comodidad.
Puede convertirse en una herramienta de responsabilidad.
El despacho también tiene responsabilidades
Existe otra tentación peligrosa.
Convertir la inteligencia artificial en un problema exclusivamente individual.
“Cada abogado debe revisar lo que hace ChatGPT.”
No es suficiente.
Si un despacho decide incorporar sistemas inteligentes dentro de su operación, también necesita establecer reglas organizacionales.
Qué herramientas pueden utilizarse.
Qué información puede procesarse.
Qué decisiones requieren intervención humana.
Qué sistemas pueden ejecutar acciones.
Cómo se verifican resultados sensibles.
Quién supervisa las configuraciones.
Cómo se registran incidentes.
Cómo se capacita al equipo.
Cómo se corrigen errores.
La responsabilidad profesional del abogado individual no debería utilizarse como excusa para una mala arquitectura institucional.
Una organización que introduce inteligencia artificial sin gobernanza y después simplemente dice a sus abogados “revísenla” está transfiriendo un problema sistémico al último eslabón de la cadena.
También debemos distinguir error de incertidumbre
Quizá éste sea uno de los cambios culturales más importantes.
Estamos acostumbrados a imaginar una computadora como algo determinista.
Dos más dos debe producir cuatro.
Si produce cinco, el sistema está roto.
Pero buena parte del Derecho no funciona así.
Existen preguntas sin respuesta inequívoca.
Criterios contradictorios.
Hechos incompletos.
Interpretaciones posibles.
Probabilidades.
Decisiones estratégicas.
En esos contextos, una buena inteligencia artificial no debería fingir certeza.
Debería poder comunicar:
“No lo sé.”
“Existen dos posiciones.”
“Mi conclusión depende de esta premisa.”
“Falta este documento.”
“La jurisprudencia está dividida.”
“La probabilidad no justifica una recomendación automática.”
Una herramienta responsable no es aquella que nunca se equivoca.
Eso probablemente sea imposible.
Es aquella que no oculta la incertidumbre detrás de una interfaz convincente.
La IA responsable no empieza con una advertencia
Hoy muchas herramientas resuelven esta cuestión colocando una frase al final:
La inteligencia artificial puede cometer errores. Verifica la información importante.
Es una advertencia razonable.
Pero no es una arquitectura de responsabilidad.
Si queremos incorporar inteligencia artificial profundamente al trabajo jurídico necesitaremos algo mucho más sofisticado.
Fuentes verificables.
Permisos.
Trazabilidad.
Niveles de confianza.
Separación de funciones.
Registros de actividad.
Escalamiento humano.
Identificación de decisiones críticas.
Mecanismos para corregir errores.
Y, sobre todo, claridad sobre qué puede decidir la máquina y qué requiere necesariamente una persona.
La responsabilidad no puede existir únicamente en los términos y condiciones.
Tiene que reflejarse en el diseño.
Esto cambia la manera en que pensamos ELÍAS
Esta cuestión ocupa una parte importante de cómo estamos conceptualizando ELÍAS.
Si queremos construir una inteligencia artificial capaz de acompañar de forma permanente un asunto jurídico, tarde o temprano tendrá que hacer mucho más que responder preguntas.
Tendrá que entender expedientes.
Relacionar actuaciones.
Detectar términos.
Investigar.
Comparar estrategias.
Proponer tareas.
Advertir riesgos.
Y eventualmente interactuar con otros sistemas.
Cada aumento de capacidad trae consigo un aumento potencial de riesgo.
Por eso creemos que una inteligencia artificial jurídica no debería limitarse a producir una respuesta.
Debería ayudar al abogado a comprender:
qué sabe, de dónde lo sabe, qué está suponiendo, qué alternativas existen y dónde necesita intervenir.
Y cuando una decisión sea verdaderamente relevante, el sistema debería hacer algo que muchas herramientas actuales intentan evitar:
detenerse.
No porque la tecnología sea incapaz de continuar.
Sino porque existe una diferencia entre ser capaz de ejecutar una acción y estar legitimado profesionalmente para decidirla.
Entonces, ¿quién responde cuando la inteligencia artificial se equivoca?
No existe una respuesta universal.
Dependerá del error.
Del sistema.
Del contrato.
De la jurisdicción.
Del nivel de autonomía.
Del control que tenía cada participante.
Y de la decisión que efectivamente tomó cada uno.
Un proveedor puede responder por sus propias obligaciones.
Un despacho por sus procesos y su gobernanza.
Un abogado por las obligaciones profesionales que le correspondan.
Otros actores pueden tener también responsabilidades propias según el caso.
Pero hay una conclusión que sí parece razonable desde ahora:
Introducir una inteligencia artificial entre el abogado y la decisión no debería hacer desaparecer la responsabilidad; debería obligarnos a definirla mejor.
La gran innovación no consistirá solamente en construir sistemas cada vez más autónomos.
Consistirá en construir sistemas capaces de trabajar profundamente con nosotros sin volver invisible quién decidió qué.
Y quizá ahí esté una de las diferencias fundamentales entre simplemente utilizar inteligencia artificial y utilizarla responsablemente.
No se trata de exigir que la máquina nunca se equivoque.
Los abogados también nos equivocamos.
Se trata de construir una práctica profesional en la que podamos detectar errores, entender incertidumbres, reconstruir decisiones y saber en todo momento quién conserva la responsabilidad de actuar.
La inteligencia artificial está destinada a participar cada vez más en el ejercicio del Derecho.
La responsabilidad tendrá que evolucionar con ella.
No para frenar la tecnología.
Sino para que podamos confiar verdaderamente en utilizarla.
Sobre el autor
Santiago Calderón Chávez es CEO & Co-Founder de ELÍAS, una plataforma de inteligencia artificial jurídica enfocada en transformar la manera en que los abogados trabajan con información, expedientes y procesos jurídicos.