Cargar Modelos
La interfaz de chat puede cargar modelos desde rutas locales o Hugging Face.Cargar un Modelo Local
Después de entrenar con AITraining, tu modelo se guarda localmente. Para cargarlo:- Encuentra la ruta de tu modelo (ej.:
./my-project/) - Ingresa la ruta en el selector de modelo
- Haz clic en “Load Model”
Qué Buscar
El directorio de tu modelo entrenado debe contener:config.json- Configuración del modelomodel.safetensorsopytorch_model.bin- Pesos del modelotokenizer.jsony archivos relacionados del tokenizador
Cargar desde Hugging Face
Carga cualquier modelo compatible desde el Hugging Face Hub:meta-llama/Llama-3.2-1B- Llama pequeño y rápidomistralai/Mistral-7B-v0.1- Modelo 7B eficientegoogle/gemma-2b- Gemma de Google
Los modelos grandes requieren memoria GPU significativa. Un modelo 7B necesita ~14GB de VRAM.
Cargar Adaptadores LoRA
Los modelos PEFT/LoRA se detectan automáticamente y se cargan correctamente. Simplemente proporciona la ruta a tu directorio de adaptador:- Detecta el archivo
adapter_config.json - Carga el modelo base especificado en la configuración del adaptador
- Aplica los adaptadores LoRA
Requisitos de Memoria
| Tamaño del Modelo | VRAM Aproximada |
|---|---|
| 1B | ~2GB |
| 3B | ~6GB |
| 7B | ~14GB |
| 13B | ~26GB |
Cambiar Modelos
Para cambiar a un modelo diferente:- Ingresa la nueva ruta del modelo
- Haz clic en “Load Model”
- El modelo anterior se descarga
Solución de Problemas
Modelo no encontrado
Modelo no encontrado
Verifica:
- La ruta es correcta y existe
- Para modelos HuggingFace, verifica el ID del modelo
- Asegúrate de tener acceso (algunos modelos requieren autenticación)
Sin memoria
Sin memoria
Prueba:
- Modelo más pequeño
- Versión cuantizada
- Cierra otras aplicaciones que usan GPU
Carga lenta
Carga lenta
La primera carga descarga los pesos del modelo. Las cargas posteriores son más rápidas.
Los modelos grandes (7B+) tardan 30-60 segundos en cargar.