OpenAI ha anunciado la sustitución de su modelo GPT-3.5 por GPT-4o mini, una versión ‘lite’ de GPT-4 que es, según indica, más barata en la generación de contenidos, con un rendimiento superior en distintas tareas. De esta manera, la compañía de Sam Altman ofrece una alternativa más rentable y potente, que permitirá mejorar las aplicaciones construidas utilizando su API, además de incluirlo también en la oferta de ChatGPT, tanto para los clientes de pago, como para quienes utilizan el chatbot con la opción gratuita.
Este nuevo modelo ha obtenido una puntuación del 82% en MMLU, un benchmark de inteligencia textual y razonamiento, y se encuentra disponible vía API con un coste del 40% de lo que costaba GPT-3.5 Turbo: 15 centavos de dólar por millón de tokens de entrada, y 60 centavos por millón de tokens de salida.
Posee una ventana de contexto de 128K tokens y capacidad para hasta 16K tokens de salida por solicitud, y cuenta con un tokenizador mejorado que le permite un manejo más económico de textos en múltiples idiomas.
Gracias a su baja latencia, y su capacidad para manejar grandes volúmenes de datos, así como de poder ejecutar varias conversaciones en paralelo, es un modelo idóneo para abordar tareas como chatbots de atención al cliente.
Además de texto, GPT-4o mini también soporta imágenes a través de la API, con planes por parte de OpenAI de incluir entrada y salida de texto, imagen, vídeo y audio en el futuro, aunque sin especificar plazos.
Según afirman desde la misma compañía, en pruebas comparativas, GPT-4o mini ha superado en tareas de razonamiento a modelos como Gemini Flash y Claude Haiku. En evaluación de razonamiento matemático (MGSM), obtuvo un 87%, y en HumanEval, que mide rendimiento en codificación, un 87,2%.
OpenAI ha colaborado con empresas como Ramp y Superhuman para entender mejor los casos de uso y limitaciones del modelo. Estas colaboraciones revelaron que GPT-4o mini supera a GPT-3.5 Turbo en tareas como la extracción de datos estructurados de recibos y la generación de respuestas de correo electrónico de alta calidad.
En lo concerniente a la seguridad, el nuevo modelo GPT-4o mini incluye medidas integradas desde la fase de pre-entrenamiento hasta la post-evaluación; utilizando técnicas como el aprendizaje por refuerzo con retroalimentación humana (RLHF), se asegura de que las respuestas del modelo sean precisas y fiables. Además, se han implementado métodos para resistir intentos de manipulación como jailbreaks e inyecciones de prompt.