Saltar al contenido principal

​
Entrenamiento ORPO

ORPO combina SFT y optimización de preferencias en una sola fase de entrenamiento.

​
¿Qué es ORPO?

ORPO (Odds Ratio Preference Optimization) es una alternativa más simple a DPO que no requiere un modelo de referencia. Optimiza preferencias usando razones de probabilidades directamente, reduciendo el uso de memoria y la complejidad del entrenamiento.

​
Inicio Rápido

aitraining llm --train \
  --model google/gemma-2-2b \
  --data-path ./preferences.jsonl \
  --project-name gemma-orpo \
  --trainer orpo \
  --prompt-text-column prompt \
  --text-column chosen \
  --rejected-text-column rejected \
  --peft
ORPO requiere --prompt-text-column y --rejected-text-column. El --text-column tiene por defecto "text", así que solo especifícalo si tu columna elegida tiene un nombre diferente.

​
Python API

from autotrain.trainers.clm.params import LLMTrainingParams
from autotrain.project import AutoTrainProject

params = LLMTrainingParams(
    model="google/gemma-2-2b",
    data_path="./preferences.jsonl",
    project_name="gemma-orpo",

    trainer="orpo",
    prompt_text_column="prompt",
    text_column="chosen",
    rejected_text_column="rejected",
    dpo_beta=0.1,  # Default: 0.1
    max_completion_length=None,  # Default: None

    epochs=3,
    batch_size=2,
    lr=5e-5,

    peft=True,
    lora_r=16,
)

project = AutoTrainProject(params=params, backend="local", process=True)
project.create()

​
Formato de Datos

Igual que DPO - pares de preferencia: 
{
  "prompt": "What is AI?",
  "chosen": "AI is artificial intelligence, a field of computer science focused on creating systems that can perform tasks requiring human intelligence.",
  "rejected": "AI is just robots."
}

​
ORPO vs DPO

AspectoORPODPO
Modelo de referenciaNo necesarioNo necesario con PEFT, requerido para fine-tuning completo
Uso de memoriaMenorMayor (si usa modelo de referencia)
Velocidad de entrenamientoMás rápidoMás lento
Fase SFTCombinadaSeparada
ComplejidadMás simpleMás opciones

​
Parámetros

ParámetroDescripciónPor Defecto
trainerEstablecer como "orpo"Requerido
dpo_betaPeso de razón de probabilidades0.1
max_completion_lengthMáximo de tokens de la respuestaNone
image_columnColumna de imagenes para entrenamiento de preferencia VLMNone

​
VLM (Vision-Language) ORPO

ORPO soporta modelos de vision-lenguaje como Qwen 3.5-VL para alineacion de preferencia con imagen+texto. Establece image_column para habilitar el modo VLM: 
params = LLMTrainingParams(
    model="Qwen/Qwen3.5-VL-9B",
    trainer="orpo",
    image_column="images",
    text_column="chosen",
    rejected_text_column="rejected",
    prompt_text_column="prompt",
)
El dataset debe tener columnas chosen/rejected con listas de mensajes, y una columna de imagen que contenga las imagenes. La columna de imagen se renombra automaticamente a images para compatibilidad con TRL.

​
Cuándo Usar ORPO

Elige ORPO cuando:
  • La memoria es limitada (no se necesita modelo de referencia)
  • Quieres SFT + alineación combinado
  • Se prefiere un pipeline de entrenamiento más simple
  • Comenzando desde un modelo base (no ajustado para instrucciones)
Elige DPO cuando:
  • Necesitas control fino
  • Trabajando con modelos ya ajustados para instrucciones
  • El comportamiento del modelo de referencia es importante

​
Ejemplo: Soporte al Cliente

params = LLMTrainingParams(
    model="google/gemma-2-2b",
    data_path="./support_preferences.jsonl",
    project_name="support-bot",

    trainer="orpo",
    dpo_beta=0.15,

    epochs=3,
    batch_size=2,
    gradient_accumulation=4,
    lr=2e-5,

    peft=True,
    lora_r=32,
    lora_alpha=64,

    log="wandb",
)

​
Próximos Pasos

DPO Training

Método alternativo de alineación

Reward Modeling

Entrenar modelos de recompensa