跳转到主要内容

视觉任务

训练用于图像分类、目标检测和视觉-语言任务的模型。

图像分类

快速开始

aitraining image-classification \
  --model google/vit-base-patch16-224 \
  --data-path ./images/ \
  --project-name image-classifier

Parameters

ParameterDescriptionDefault
--modelBase modelgoogle/vit-base-patch16-224
--data-pathPath to image folderNone (required)
--project-nameOutput directoryproject-name
--image-columnImage column nameimage
--target-columnLabel column nametarget
--epochsTraining epochs3
--batch-sizeBatch size8
--lrLearning rate5e-5

数据格式

文件夹结构:
images/
├── cat/
│   ├── cat1.jpg
│   └── cat2.jpg
├── dog/
│   ├── dog1.jpg
│   └── dog2.jpg
Or CSV with paths:
image,label
/path/to/cat1.jpg,cat
/path/to/dog1.jpg,dog

示例:自定义分类器

aitraining image-classification \
  --model microsoft/resnet-50 \
  --data-path ./product_images/ \
  --project-name product-classifier \
  --epochs 10 \
  --batch-size 32 \
  --lr 5e-5

图像回归

用于从图像预测连续值。

快速开始

aitraining image-regression \
  --model google/vit-base-patch16-224 \
  --data-path ./images.csv \
  --image-column image \
  --target-column score \
  --project-name quality-scorer

Parameters

ParameterDescriptionDefault
--modelBase modelgoogle/vit-base-patch16-224
--data-pathPath to dataNone (required)
--project-nameOutput directoryproject-name
--image-columnImage column nameimage
--target-columnTarget value columntarget
--epochsTraining epochs3
--batch-sizeBatch size8
--lrLearning rate5e-5

示例:年龄预测

aitraining image-regression \
  --model microsoft/resnet-50 \
  --data-path ./faces.csv \
  --image-column photo \
  --target-column age \
  --project-name age-predictor \
  --epochs 20

目标检测

快速开始

aitraining object-detection \
  --model facebook/detr-resnet-50 \
  --data-path ./coco_format/ \
  --project-name detector

数据格式

COCO 风格格式:
{
  "image": "image.jpg",
  "objects": {
    "bbox": [[x, y, width, height], ...],
    "categories": [0, 1, ...]
  }
}

Parameters

ParameterDescriptionDefault
--image-columnImage columnimage
--objects-columnObjects columnobjects
--image-square-sizeSquare size for images600

示例:自定义检测

aitraining object-detection \
  --model facebook/detr-resnet-50 \
  --data-path ./annotations/ \
  --project-name custom-detector \
  --epochs 50 \
  --batch-size 8

视觉-语言模型(VLM)

训练能够理解图像和文本的模型。

快速开始

aitraining vlm \
  --model google/paligemma-3b-pt-224 \
  --data-path ./image_captions.jsonl \
  --project-name vlm-model

数据格式

{
  "image": "image.jpg",
  "conversations": [
    {"role": "user", "content": "What's in this image?"},
    {"role": "assistant", "content": "A cat sitting on a couch."}
  ]
}

Parameters

ParameterDescriptionDefault
--modelBase modelgoogle/paligemma-3b-pt-224
--image-columnImage columnimage
--text-columnText/answer columntext
--prompt-text-columnPrompt/prefix columnprompt
--trainerTraining mode (vqa, captioning, segmentation, detection)vqa
--epochsTraining epochs3
--batch-sizeBatch size2
--lrLearning rate5e-5
--gradient-accumulationGradient accumulation steps4
--peftEnable LoRAFalse
--lora-rLoRA rank16
--lora-alphaLoRA alpha32

示例:图像字幕

aitraining vlm \
  --model Qwen/Qwen2-VL-2B-Instruct \
  --data-path ./captions.jsonl \
  --project-name captioner \
  --epochs 3 \
  --batch-size 2 \
  --peft \
  --lora-r 16

常用模型

图像分类

ModelParametersBest For
google/vit-base-patch16-22486MGeneral purpose
microsoft/resnet-5025MFast inference
facebook/convnext-base-22489MHigh accuracy

目标检测

ModelParametersBest For
facebook/detr-resnet-5041MGeneral detection
facebook/detr-resnet-10160MHigher accuracy

视觉-语言

ModelParametersBest For
Qwen/Qwen2-VL-2B-Instruct2BBalanced
llava-hf/llava-1.5-7b-hf7BHigh quality

GPU 内存提示

  • 对于大图像使用较小的批次大小
  • 为 VLM 启用梯度检查点
  • 使用 LoRA 进行 VLM 训练:
aitraining vlm \
  --model Qwen/Qwen2-VL-2B-Instruct \
  --data-path ./data.jsonl \
  --project-name vlm \
  --peft \
  --lora-r 16 \
  --batch-size 1 \
  --gradient-accumulation 8

下一步