Operai ha lanzado dos nuevos modelos de idioma de peso abierto bajo la licencia Permisive Apache 2.0. Estos modelos están diseñados para ofrecer un fuerte rendimiento del mundo real mientras se ejecutan en hardware de consumo, incluido un modelo que puede ejecutarse en una computadora portátil de alta gama con solo 16 GB de GPU.
Rendimiento del mundo real a un costo de hardware más bajo
Los dos modelos son:
- GPT-OSS-120B (117 mil millones de parámetros)
- GPT-OSS-20B (21 mil millones de parámetros)
El modelo GPT-OSS-20B más grande coincide con el O4-Mini de OpenAI en los puntos de referencia de razonamiento, al tiempo que requiere una sola GPU de 80 GB. El modelo GPT-OSS-20B más pequeño funciona de manera similar a O3-Mini y funciona de manera eficiente en dispositivos con solo 16 GB de GPU. Esto permite a los desarrolladores ejecutar los modelos en máquinas de consumo, lo que facilita la implementación sin una infraestructura costosa.
Razonamiento avanzado, uso de herramientas y cadena de pensamiento
Operai explica que los modelos superan a otros modelos de código abierto de tamaños similares en tareas de razonamiento y uso de herramientas.
Según OpenAi:
“Estos modelos son compatibles con nuestras respuestas API (se abre en una nueva ventana) y están diseñados para ser utilizados dentro de los flujos de trabajo de agente con instrucciones excepcionales a continuación, uso de herramientas como búsqueda web o ejecución de código de Python, y las capacidades de razonamiento de razonamiento, incluidas la capacidad de ajustar el esfuerzo de razonamiento de tareas que no requieren razonamiento complejo y o objetivo de muy bajo latencia, las salidas finales. Salidas estructuradas (se abre en una nueva ventana) «.
Diseñado para la flexibilidad e integración del desarrollador
Openai ha lanzado Guías de desarrolladores para apoyar la integración con plataformas como Hugging Face, GitHub, VLLM, Ollama y Llama.CPP. Los modelos son compatibles con las respuestas de OpenAI API y admiten comportamientos avanzados de seguimiento de instrucciones y razonamiento. Los desarrolladores pueden ajustar los modelos e implementar barandillas de seguridad para aplicaciones personalizadas.
Seguridad en modelos de IA de peso abierto
Operai se acercó a sus modelos de peso abierto con el objetivo de garantizar la seguridad tanto en el entrenamiento como en el lanzamiento. Las pruebas confirmaron que incluso bajo el ajuste fino deliberadamente malicioso, GPT-OSS-20B no alcanzó un nivel peligroso de capacidad en áreas de riesgo biológico, químico o cibernético.
Cadena de pensamiento sin filtro
Operai está dejando intencionalmente la cadena de pensamiento (COTS) sin filtrar durante el entrenamiento para preservar su utilidad para el monitoreo, en función de la preocupación de que la optimización podría hacer que los modelos oculten su verdadero razonamiento. Esto, sin embargo, podría resultar en alucinaciones.
Según su tarjeta modelo (versión PDF):
«En nuestra investigación reciente, descubrimos que monitorear la cadena de pensamiento de un modelo de razonamiento puede ser útil para detectar mal comportamiento. Además, descubrimos que los modelos podían aprender a ocultar su pensamiento mientras se portaban mal si sus cunas se presionaron directamente contra tener» malos pensamientos «.
Más recientemente, nos unimos a un documento de posición con varios otros laboratorios argumentando que los desarrolladores de fronteras deberían «considerar el impacto de las decisiones de desarrollo en la monitorización de COT».
De acuerdo con estas preocupaciones, decidimos no ejercer presión de optimización directa sobre la cuna para cualquiera de nuestros dos modelos de peso abierto. Esperamos que esto brinde a los desarrolladores la oportunidad de implementar sistemas de monitoreo de COT en sus proyectos y permitir a la comunidad de investigación estudiar más a fondo la monitorización de COT ”.
Impacto en las alucinaciones
La documentación de OpenAI establece que la decisión de no restringir la cadena de pensamiento resulta en puntajes de alucinación más altos.
La versión PDF de la tarjeta modelo explica por qué esto sucede:
Debido a que estas cadenas de pensamiento no están restringidas, pueden contener contenido alucinado, incluido el lenguaje que no refleja las políticas de seguridad estándar de OpenAI. Los desarrolladores no deben mostrar directamente las cadenas de pensamiento a los usuarios de sus aplicaciones, sin más filtrado, moderación o resumen de este tipo de contenido «.
La evaluación comparativa mostró que los dos modelos de código abierto funcionaban menos bien en los puntos de referencia de alucinación en comparación con OpenAI O4-Mini. La documentación de PDF de la tarjeta modelo explicó que esto era de esperar porque los nuevos modelos son más pequeños e implica que los modelos alucinarán menos en la configuración de agente o al buscar información en la web (como RAG) o extraerlo de una base de datos.
Puntuaciones de evaluación comparativa de alucinación de OpenAi Oss
Comida para llevar
- Lanzamiento de peso abierto
Openai lanzó dos modelos de peso abierto bajo la licencia Permisive Apache 2.0. - Rendimiento vs. Costo de hardware
Los modelos ofrecen un rendimiento de razonamiento fuerte mientras se ejecutan en hardware asequible del mundo real, lo que los hace ampliamente accesibles. - Especificaciones y capacidades del modelo
GPT-OSS-20B coincide con O4-Mini en el razonamiento y se ejecuta en GPU de 80 GB; GPT-OSS-20B funciona de manera similar a O3-Mini en puntos de referencia de razonamiento y se ejecuta de manera eficiente en GPU de 16 GB. - Flujo de trabajo de agente
Ambos modelos admiten salidas estructuradas, uso de herramientas (como Python y Web Search), y pueden escalar su esfuerzo de razonamiento en función de la complejidad de la tarea. - Personalización e integración
Los modelos están construidos para que se ajusten a flujos de trabajo de agente y se pueden adaptar completamente a casos de uso específicos. Su soporte para salidas estructuradas los hace adaptables a los sistemas de software complejos. - Uso de herramientas y llamadas de funciones
Los modelos pueden realizar llamadas de funciones y uso de herramientas con pocas solicitudes de disparo, lo que los hace efectivos para tareas de automatización que requieren razonamiento y adaptabilidad. - Colaboración con usuarios del mundo real
Operai colaboró con socios como AI Suecia, Orange y Snowflake para explorar usos prácticos de los modelos, incluida la implementación segura en el sitio y ajuste fino personalizado en conjuntos de datos especializados. - Optimización de inferencia
Los modelos usan la mezcla de expertos (MOE) para reducir la carga de cómputo y la atención múltiple agrupada para la inferencia y la eficiencia de la memoria, lo que hace que sean más fáciles de funcionar a un costo más bajo. - Seguridad
Los modelos de código abierto de OpenAI mantienen la seguridad incluso bajo el ajuste malicioso; La cadena de pensamientos (COTS) no se filtra para la transparencia y la monitorización. - Comercio de transparencia de la cuna
No se aplica presión de optimización a COTS para evitar un razonamiento dañino en masa; puede dar lugar a alucinaciones. - Puntos de referencia de alucinaciones y rendimiento del mundo real
Los modelos tienen un rendimiento inferior al O4-Mini en los puntos de referencia de alucinación, que OpenAI atribuye a su tamaño más pequeño. Sin embargo, en aplicaciones del mundo real donde los modelos pueden buscar información de la web o consultar conjuntos de datos externos, se espera que las alucinaciones sean menos frecuentes.
Imagen destacada de Shutterstock/Good Dreams – Studio
