1. La realidad de los detectores de IA
¿Buscas probar deshonestidad académica usando detectores de IA cuando calificas un trabajo académico?
Muchos profesores de todo el mundo sí.
Confían en la fiabilidad de las herramientas de detección de Inteligencia Artificial Generativa (IAG) como GPTZero, CopyLeaks y Turnitin.
Estas herramientas realizan un análisis detallado de un texto escrito y determinan con qué probabilidad ha sido escrito por la IA o por un humano.
Sin embargo, la precisión de estas herramientas no es nada fiable.
Es probable que identifiquen un texto escrito por humanos como escrito por IA (falso positivo) y al contrario, identifiquen un texto escrito por la IA como escrito por humanos (falso negativo).
Por tanto, puedes acusar a estudiantes de hacer trampas sin ser cierto.
De hecho OpenAI retiró en febrero su detector de IA por su baja precisión y Turnitin afirma que sus puntuaciones deben tratarse como una indicación, no como una acusación.
Además en el estudio Sample 2023 se observó que los estudiantes no nativos en inglés tienen más probabilidades de generar falsos positivos por los detectores de IA.
También se observa en el caso de falsos negativos, los estudiantes solicitan a ChatGPT que use un lenguaje sofisticado o coloquial para engañar a los detectores de IA.
A continuación puedes ver los resultados de una simple prueba de fiabilidad que realicé con estos dos detectores, GPTZero y CopyLeaks.
Puedes probarlo por ti mismo con textos propios.
2. Test de precisión de los detectores de IA
Planteé a ChatGPT la siguiente petición en español y después en inglés para ver si la precisión en la detección de IA aumenta en uno de los dos idiomas.
2.1 Petición y resultado en español
Petición original insertada en ChatGPT
Copio y pego el resultado exacto obtenido en GPTZero.
Concluye que es probable que el texto en español haya sido escrito por una mezcla entre un humano y la IA. Sólo hay un 47% de probabilidad de que el texto se haya escrito por la IA en su integridad.
Ahora añado especificaciones a la petición marcadas en el recuadro verde.
Copio y pego de nuevo el resultado en GPTZero.
En este caso concluye que es probable que el texto haya sido escrito por un humano y sólo hay un 33% de probabilidad que el texto haya sido escrito por la IA en su integridad.
Pruebo con otra herramienta considerada de alta fiabilidad, CopyLeaks, con el mismo texto en español.
Aquí identifica correctamente que el texto ha sido creado por la IA. No especifica ninguna probabilidad.
Dirías que CopyLeaks es una herramienta de mayor fiabilidad.
Pero ahora decido probar en CopyLeaks un texto escrito por mí en su integridad. Desafortunadamente detecta incorrectamente que se ha escrito por la IA con un 99,9% de probabilidad.
Con CopyLeaks, cualquier texto se identifica como escrito por la IA en su integridad.
2.2 Petición y resultado en inglés
Inserto ahora la misma petición original pero en inglés
GPTZero parece tener mayor fiabilidad en inglés identificando con un 93% de probabilidad que ha sido escrito por la IA
Paso a la misma petición modificada añadiendo el texto marcado en verde
Ahora la probabilidad de que se haya escrito con IA en su integridad se reduce al 5%. Las especificaciones han funcionado para engañar al detector de IA.
Ahora pruebo en CopyLeaks el texto con la petición modificada.
La probabilidad que sea haya creado por la IA en su integridad también se reduce a un 67%. Pero de nuevo un texto creado por mí lo identifica como escrito por la IA.
3. Conclusión
En ambos idiomas los detectores de IA producen con demasiada frecuencia falsos negativos y falsos positivos.
No se puede concluir con certeza que un estudiante ha incurrido en deshonestidad académica y tomar medidas disciplinarias.
Los modelos lingüísticos (LLM) como ChatGPT producen resultados únicos. No hay un plagio de palabra por palabra de un texto de Internet y han sido entrenados con el lenguaje humano.
Por tanto un estudiante puede redactar un trabajo como un modelo LLM sin usarlo, o por el contrario, un modelo LLM se puede expresar como un estudiante de cualquier nivel con simples peticiones modificadas.
También has de tener en cuenta que existen herramientas como Undetectable AI, cuyo objetivo es hacer que un texto de IA se parezca más al texto humano para evitar ser detectado.
Algunas empresas de detección de IA, como Turnitin, afirman que su tasa de falsos positivos es sólo del 4%. Estas afirmaciones deben ponerse en duda dados los resultados de varios estudios.
Y aunque este porcentaje fuera cierto, tampoco es un gran nivel de precisión.
Si revisas 200 trabajos académicos por asignatura, esto significa que 8 trabajos serán etiquetados como generados por la IA de forma errónea. Además nunca tendrás un 100% de seguridad en el resto.
Además los modelos LLM cada vez son más potentes y producen textos impresionantes, de manera que cada vez es más difícil detectar qué texto ha sido escrito por un ser humano y cuál no.
Los detectores de IA siempre van un paso por detrás.
4. Recomendaciones
4.1 Usar la IA con frecuencia, te ayudará a detectarla
Si tus estudiantes invierten mucho tiempo en evadir la detección, te será difícil probar el uso de la IA. Pero en el caso que hagan un simple copiar y pegar, o un mero cambio de palabras, te será más sencillo.
Copia y pega el enunciado de la actividad solicitada en ChatGPT y mira los resultados.
Expresiones concretas o el uso de frases idénticas, que además repiten varios estudiantes en un mismo trabajo, te ayudarán a identificar su uso.
4.2 Crea actividades que dificulten el uso íntegro de ChatGPT
La manera de dificultar el uso de ChatGPT en un trabajo es solicitar menos teoría y más aplicación de la misma.
Propón una actividad que requiera aplicar conceptos esenciales de una unidad a un supuesto práctico, un evento reciente o a un escenario real.
Además con este tipo de actividad se mejora el aprendizaje y se contextualiza en el mundo real.
Gracias a ChatGPT o el Chat de Bing, puedes crear supuestos prácticos o encontrar casos reales fácilmente.
Puedes ver un ejemplo de este tipo de actividad debajo:
4.3 Solicita pruebas del desarrollo de la actividad
Puedes solicitar los siguientes requisitos:
- Es necesario especificar el esquema, los recursos de investigación, los borradores y la versión final.
- O solicita que te muestren el historial de versiones del documento de la actividad, que crean por defecto las aplicaciones de Google y Microsoft.
- Demostrar los conocimientos mediante presentaciones orales y vídeos
- Si tienes dudas, comprueba la comprensión mediante preguntas al estudiante
- Es imprescindible incluir citas o reconocer el uso de la IAG
4.4 Establecer un protocolo de uso de la IAG
Un ambiente de sospecha constante en clase no es agradable para nadie.
En mis cursos he establecido un protocolo de aplicación de la IA, de manera que especifico cuándo y cómo se puede usar la IAG.
Cuando permito el uso de la IAG, les hago reconocer o citar su uso acorde con las directrices establecidas en el protocolo IA del curso.
De esta manera los estudiantes conocen mis expectativas en cualquier actividad y pueden evitar incurrir en deshonestidad académica.