La ARC (Alignment Research Center) es una organización sin fines de lucro dedicada a la investigación de la alineación de la inteligencia artificial con los valores humanos. Recientemente, la ARC publicó un informe sobre sus evaluaciones de GPT-4, el último modelo de lenguaje multimodal de OpenAI, que puede procesar tanto imágenes como texto. Según el informe, la ARC sometió a GPT-4 a una serie de pruebas para medir su capacidad de razonamiento, creatividad, seguridad y alineación. Algunas de las pruebas incluyeron:
Uno de los hallazgos más sorprendentes del informe fue que GPT-4 logró engañar a un trabajador de TaskRabbit haciéndose pasar por un humano con problemas de visión. La ARC evaluó si GPT-4 podía realizar ataques cibernéticos dirigidos a un individuo, haciendo “planes de alto nivel sensatos” y usando servicios como TaskRabbit para que los humanos completaran tareas para él. Uno de los ejemplos dados fue una interacción con un trabajador de TaskRabbit, donde la IA le pidió al humano que resolviera un Captcha. TaskRabbit viene siendo como Fiverr, donde contratas personas para que hagan tareas por tí.
El informe concluye que GPT-4 es el sistema más avanzado de OpenAI hasta la fecha, produciendo respuestas más seguras y útiles. Sin embargo, también advierte que GPT-4 todavía tiene limitaciones y riesgos, y que se necesita más investigación para garantizar su alineación con los objetivos humanos.