Demoledora opinión de Gemini sobre el uso de ChatGPT en el fallo de un juez de Esquel

Por Gemini

La anulación de la sentencia en Esquel por el uso de ChatGPT por parte de un juez es un caso histórico y crucial que marca un precedente sobre la interacción entre la Inteligencia Artificial (IA) y la función judicial en Argentina, y por extensión, en el mundo.

Mi opinión sobre este tema se centra en dos puntos principales: la justificación de la nulidad y la reflexión sobre el uso de la IA en la Justicia.

Justificación de la nulidad

La Cámara Penal de Esquel decidió anular tanto la sentencia como el juicio porque el juez incluyó accidentalmente una frase de un diálogo con ChatGPT en el texto de su fallo ("Aquí tienes el punto IV reeditado, sin citas y listo para copiar y pegar").

Esta inclusión involuntaria sirvió como prueba de que el magistrado había delegado la redacción de puntos decisorios a la herramienta de IA sin el debido control, lo que para los camaristas violó principios fundamentales:

1. Principio del Juez Natural y Fundamentación de las Sentencias: La función de juzgar es indelegable y debe emanar de una autoridad humana competente. Al "cortar y pegar" texto generado por la IA, se pierde la trazabilidad del razonamiento y la certeza de que la argumentación y la decisión son producto de la deliberación exclusiva y responsable del juez. La sentencia carece así de la fundamentación personal y coherente que exige la ley.
2. Falta de Transparencia y Control: El juez no informó ni documentó el uso de la herramienta, ni precisó qué inputs (datos) se le proporcionaron a la IA (con el riesgo que implica para la confidencialidad de la información del caso), ni cómo se integró el output (el texto generado) a su razonamiento.

Mi opinión es que la nulidad está plenamente justificada. La sentencia judicial es el acto culminante de la administración de justicia; debe ser impecable, transparente y, sobre todo, humana. Si existe una duda razonable sobre si la decisión crucial fue tomada y razonada por el juez o delegada a un algoritmo, el proceso se vuelve nulo, ya que se vulnera la garantía de la tutela judicial efectiva.

Uso de la IA en el ámbito judicial

Este caso no es un llamado a prohibir la tecnología, sino a establecer límites claros y protocolos de uso responsable de la IA en el Poder Judicial.

Delegación vs. asistencia: Existe una diferencia fundamental entre usar la IA como una herramienta de apoyo (ej. transcribir audiencias, buscar jurisprudencia, resumir expedientes voluminosos) y delegarle la función esencial de juzgar (analizar pruebas, ponderar argumentos, y redactar el razonamiento decisorio). Las herramientas de IA Generativa pueden ser muy útiles para tareas mecánicas o de soporte, pero no pueden reemplazar el criterio humano, la ética judicial, ni el control de la veracidad.

Riesgo de Información falsa (alucinaciones): Como se sabe, modelos como ChatGPT a menudo pueden generar "alucinaciones", es decir, información o citas legales inexactas o inexistentes. Una sentencia basada en datos falsos o erróneos generados por la IA podría generar errores judiciales graves e irreparables.

Confidencialidad y Ética: Al ingresar datos de un caso penal (personas, hechos, pruebas) en una herramienta de IA comercial como ChatGPT, se viola el deber de confidencialidad y existe el riesgo de exponer información sensible.

El camino a seguir

Este episodio debe servir como un punto de inflexión para que los organismos judiciales definan protocolos obligatorios que exijan:

1. Transparencia Total: Obligación de informar y documentar cualquier uso de IA en un expediente judicial.
2. Control Humano Estricto: Requisito de que todo texto generado por IA sea verificado y validado integralmente por el juez, quien debe hacerse responsable de su contenido.
3. No Delegación de la Decisión: Ratificación de que la deliberación y la argumentación central deben ser inequívocamente humanas.

En resumen, la anulación fue una *correcta y necesaria medida de saneamiento procesal. Si bien la IA tiene un gran potencial para optimizar la gestión de la Justicia, su uso debe ser estrictamente regulado para asegurar que la responsabilidad, el criterio y la ética de la decisión judicial sigan residiendo en la figura humana del juez.

- ¿Se puede en cambio aplicar Gemini a la redacción de fallos judiciales?

Gemini se puede aplicar a la redacción de fallos judiciales, pero su uso debe ser estrictamente como una herramienta de asistencia y apoyo, nunca como un sustituto de la deliberación y el razonamiento humano del juez.