Saltar al contenido principal

Tener Conversaciones

Una vez que un modelo está cargado, puedes comenzar a chatear.

Enviar Mensajes

  1. Escribe tu mensaje en la caja de entrada
  2. Presiona Enter o haz clic en Enviar
  3. Espera a que el modelo responda
  4. Continúa la conversación

Contexto de Conversación

El chat mantiene el historial de conversación:
  • Cada mensaje que envías incluye el contexto anterior
  • El modelo “recuerda” lo que has discutido
  • Las conversaciones más largas usan más memoria

Ventana de Contexto

Los modelos tienen una longitud máxima de contexto:
ModeloLongitud de Contexto
Llama 3.2 (1B/3B)128K tokens
Llama 3.1128K tokens
Mistral 7B v0.332K tokens
Gemma 28K tokens
Qwen 2.5128K tokens
Las longitudes de contexto varían según la versión del modelo. Consulta la tarjeta del modelo en Hugging Face para especificaciones exactas.
Cuando el contexto se llena, los mensajes más antiguos pueden descartarse.

Consejos de Conversación

Para Probar Modelos Fine-tuned

Prueba con prompts similares a tus datos de entrenamiento:
Training data: Customer support conversations
Test prompt: "I can't log into my account"

Training data: Code generation
Test prompt: "Write a Python function to sort a list"

Para Evaluar Calidad

Haz preguntas que revelen las capacidades del modelo:
  • Factual: “What is the capital of France?”
  • Razonamiento: “If A > B and B > C, is A > C?”
  • Creativo: “Write a haiku about programming”
  • Específico del dominio: Preguntas de tu dominio de fine-tuning

Para Encontrar Problemas

Prueba casos extremos:
  • Entradas muy cortas (“Hi”)
  • Entradas muy largas
  • Caracteres o formato inusuales
  • Preguntas fuera del dominio de entrenamiento
  • Intentos de confundir al modelo

Limpiar Historial

Para empezar de nuevo:
  • Busca el botón “Clear” o “New Chat”
  • O recarga la página
Esto es útil cuando:
  • Pruebas diferentes escenarios
  • El contexto se vuelve muy largo
  • Inicias una nueva demostración

Conversaciones Multi-turno

El modelo ve la conversación completa:
User: What's 2 + 2?
Assistant: 4

User: And if we add 3 more?
Assistant: That would be 7 (4 + 3 = 7)
La segunda respuesta usa el contexto del primer intercambio.

Patrones Comunes

Prueba de Pregunta-Respuesta

User: [Question]
Assistant: [Answer]
User: Can you explain that differently?
Assistant: [Reformulated answer]

Seguimiento de Instrucciones

User: Write a poem about cats. Make it exactly 4 lines.
Assistant: [Poem]
User: Now make it about dogs instead
Assistant: [Modified poem]

Interpretación de Roles

User: You are a helpful customer service agent. A customer says: "My order is late"
Assistant: [Response in character]

Próximos Pasos