Carregando Modelos
A interface de chat pode carregar modelos de caminhos locais ou do Hugging Face.Carregando um Modelo Local
Após treinar com AITraining, seu modelo é salvo localmente. Para carregá-lo:- Encontre o caminho do seu modelo (ex.:
./my-project/) - Digite o caminho no seletor de modelo
- Clique em “Load Model”
O Que Procurar
O diretório do seu modelo treinado deve conter:config.json- Configuração do modelomodel.safetensorsoupytorch_model.bin- Pesos do modelotokenizer.jsone arquivos relacionados do tokenizador
Carregando do Hugging Face
Carregue qualquer modelo compatível do Hugging Face Hub:meta-llama/Llama-3.2-1B- Llama pequeno e rápidomistralai/Mistral-7B-v0.1- Modelo 7B eficientegoogle/gemma-2b- Gemma do Google
Modelos grandes requerem memória GPU significativa. Um modelo 7B precisa de ~14GB de VRAM.
Carregando Adaptadores LoRA
Modelos PEFT/LoRA são detectados automaticamente e carregados corretamente. Basta fornecer o caminho para o diretório do adaptador:- Detecta o arquivo
adapter_config.json - Carrega o modelo base especificado na configuração do adaptador
- Aplica os adaptadores LoRA
Requisitos de Memória
| Tamanho do Modelo | VRAM Aproximada |
|---|---|
| 1B | ~2GB |
| 3B | ~6GB |
| 7B | ~14GB |
| 13B | ~26GB |
Alternando Modelos
Para alternar para um modelo diferente:- Digite o novo caminho do modelo
- Clique em “Load Model”
- O modelo anterior é descarregado
Solução de Problemas
Modelo não encontrado
Modelo não encontrado
Verifique:
- O caminho está correto e existe
- Para modelos HuggingFace, verifique o ID do modelo
- Certifique-se de ter acesso (alguns modelos requerem autenticação)
Sem memória
Sem memória
Tente:
- Modelo menor
- Versão quantizada
- Feche outros aplicativos que usam GPU
Carregamento lento
Carregamento lento
O primeiro carregamento baixa os pesos do modelo. Carregamentos subsequentes são mais rápidos.
Modelos grandes (7B+) levam 30-60 segundos para carregar.