训练任务类型
AI Training 支持许多不同的任务。每个任务都针对您想要解决的特定类型问题进行了优化。文本任务
Text Classification
功能:将文本分类到您定义的类别中。 真实世界示例:- 电子邮件垃圾邮件检测
- 客户反馈情感(高兴/不高兴)
- 支持工单路由
- 内容审核
- 语言检测
- 文本样本
- 每个样本的类别标签
- 每个类别至少 50 个示例(越多越好)
Token Classification (NER)
功能:标记文本中的特定单词或短语。 真实世界示例:- 从文档中提取姓名、日期、地点
- 在评论中识别产品提及
- 在临床笔记中查找医学术语
- 突出重要合同条款
- 标记词性
- 带有标记实体的文本
- BIO 格式(Beginning、Inside、Outside)标签
- 数百个带注释的示例
Sequence to Sequence
功能:将一个文本转换为另一个文本。 真实世界示例:- 语言翻译
- 文本摘要
- 问答
- 文本纠正
- 释义
- 输入文本
- 期望的输出文本
- 输入-输出示例对
Text Generation (LLM Fine-tuning)
功能:教语言模型新知识或行为。 真实世界示例:- 自定义聊天机器人
- 领域特定助手
- 代码生成
- 创意写作
- 技术文档
- 对话示例或指令-响应对
- 可选:用于 RLHF 的偏好数据
- 可以仅用 100 个示例工作
图像任务
Image Classification
功能:识别图像中的内容。 真实世界示例:- 产品质量检查
- 医学图像诊断
- 野生动物识别
- 文档类型分类
- 面部表情识别
- 图像(JPG、PNG)
- 每个图像的类别标签
- 每个类别至少 100 张图像
Object Detection
功能:查找并定位图像中的多个对象。 真实世界示例:- 库存计数
- 安全监控
- 自动驾驶
- 缺陷检测
- 人员计数
- 带边界框的图像
- 每个框的标签
- COCO 或 YOLO 格式注释
结构化数据任务
Tabular Classification
功能:从类似电子表格的数据中预测类别。 真实世界示例:- 客户流失预测
- 欺诈检测
- 疾病诊断
- 信用审批
- 设备故障预测
- 带特征和标签的 CSV
- 数值和分类列
- 干净、预处理的数据
Tabular Regression
功能:从结构化数据中预测连续值。 真实世界示例:- 房价预测
- 销售预测
- 能耗估算
- 股价预测
- 交付时间估算
- 带特征和目标值的 CSV
- 数值目标列
- 历史数据
高级训练方法
Supervised Fine-Tuning (SFT)
使用示例和正确答案的标准训练。 何时使用:当您有高质量的标记数据时。DPO (Direct Preference Optimization)
使用偏好比较训练模型。 何时使用:当您有好输出与坏输出的示例时。 数据格式:ORPO (Odds Ratio Preference Optimization)
类似于 DPO 但训练更稳定。 何时使用:当 DPO 训练不稳定或过拟合时。Reward Modeling
训练模型以评分输出。 何时使用:为 RLHF 构建奖励模型时。PPO (Proximal Policy Optimization)
从反馈中进行强化学习。 何时使用:当您有奖励模型并想针对它进行优化时。任务选择指南
基于您的数据
| 如果您有… | 选择此任务 |
|---|---|
| 文本 + 类别 | Text Classification |
| 带实体标签的文本 | Token Classification |
| 输入/输出文本对 | Sequence to Sequence |
| 对话 | LLM Fine-tuning |
| 图像 + 标签 | Image Classification |
| 电子表格数据 | Tabular Classification/Regression |
基于您的目标
| 如果您想… | 选择此任务 |
|---|---|
| 将事物分类到桶中 | Classification |
| 提取信息 | Token Classification |
| 转换文本 | Sequence to Sequence |
| 创建聊天机器人 | LLM Fine-tuning |
| 预测数字 | Regression |
| 查找对象 | Object Detection |
基于难度
最容易开始:- Text Classification
- Image Classification
- Tabular Classification
- Token Classification
- Sequence to Sequence
- LLM Fine-tuning (SFT)
- DPO/ORPO 训练
- Object Detection
- PPO/RLHF
数据要求
所需最少数据
| 任务 | 绝对最少 | 良好起点 | 生产质量 |
|---|---|---|---|
| Text Classification | 每类 50 | 每类 500 | 每类 5,000+ |
| Token Classification | 100 个文档 | 1,000 个文档 | 10,000+ 个文档 |
| Seq2Seq | 100 对 | 1,000 对 | 10,000+ 对 |
| LLM Fine-tuning | 50 个示例 | 500 个示例 | 5,000+ 个示例 |
| Image Classification | 每类 100 | 每类 1,000 | 每类 10,000+ |
| Tabular | 500 行 | 5,000 行 | 50,000+ 行 |
数据质量很重要
拥有 100 个高质量示例比 1,000 个差示例更好:- 准确的标签
- 一致的格式
- 代表真实世界使用
- 跨类别平衡
多任务训练
您可以同时为多个任务训练模型:好处
- 在任务之间共享知识
- 更高效地使用数据
- 单一模型部署
示例
训练一个模型来:- 分类情感
- 提取实体
- 总结文本
任务特定设置
文本任务
- Max sequence length:要处理多少文本
- Tokenizer:如何将文本拆分为 tokens
- Special tokens:任务特定标记
图像任务
- Image size:使用的分辨率
- Augmentation:旋转、翻转、裁剪
- Normalization:像素值缩放
表格任务
- Feature engineering:创建新列
- Scaling:标准化数值
- Encoding:处理分类变量
评估指标
不同任务使用不同的指标:| 任务 | 常见指标 |
|---|---|
| Classification | Accuracy、F1、Precision、Recall |
| Token Classification | 实体级 F1、Token accuracy |
| Seq2Seq | BLEU、ROUGE、BERTScore |
| Generation | Perplexity、Human evaluation |
| Regression | MSE、MAE、R² |
| Object Detection | mAP、IoU |
组合任务
管道方法
将任务链接在一起:- Classification → 路由到专门模型
- NER → 提取实体 → 生成响应
- Translate → Summarize → Classify sentiment
多模态任务
组合不同的数据类型:- Image + Text → Visual QA
- Audio + Text → Speech recognition
- Video + Text → Video understanding