内容审查
AcceleAI 提供内容审查(Moderation)API,用于检测文本或图像中是否包含有害内容。适用于 UGC 平台内容过滤、聊天安全检查等场景。
API 端点
POST https://api.acceleai.cn/v1/moderations请求头:
Authorization: Bearer <ACCELE_AI_API_KEY>
Content-Type: application/json可用模型
| 模型 | 输入类型 | 说明 |
|---|---|---|
omni-moderation-latest | 文本 + 图像 | 多模态审查,支持扩展分类 |
text-moderation-latest | 仅文本 | 文本审查,基础分类 |
快速开始
Python SDK
from openai import OpenAI
client = OpenAI(
api_key="<ACCELE_AI_API_KEY>",
base_url="https://api.acceleai.cn/v1"
)
response = client.moderations.create(
model="omni-moderation-latest",
input="需要审查的文本内容"
)
result = response.results[0]
print(f"是否违规: {result.flagged}")
print(f"分类结果: {result.categories}")
print(f"置信度分数: {result.category_scores}")cURL 示例
curl -X POST https://api.acceleai.cn/v1/moderations \
-H "Authorization: Bearer <ACCELE_AI_API_KEY>" \
-H "Content-Type: application/json" \
-d '{
"model": "text-moderation-latest",
"input": "需要审查的文本内容"
}'返回格式
{
"id": "modr-xxx",
"model": "text-moderation-latest",
"results": [
{
"flagged": false,
"categories": {
"harassment": false,
"harassment/threatening": false,
"hate": false,
"hate/threatening": false,
"self-harm": false,
"self-harm/instructions": false,
"self-harm/intent": false,
"sexual": false,
"sexual/minors": false,
"violence": false,
"violence/graphic": false
},
"category_scores": {
"harassment": 0.00012,
"harassment/threatening": 0.00001,
"hate": 0.00003,
"sexual": 0.00008,
"violence": 0.00005
}
}
]
}字段说明:
| 字段 | 说明 |
|---|---|
flagged | 布尔值,true 表示检测到潜在违规内容 |
categories | 各分类的命中结果(true/false) |
category_scores | 各分类的置信度分数(0-1) |
category_applied_input_types | 触发各分类的输入类型(仅 Omni 模型) |
内容分类
| 分类 | 输入类型 | 模型支持 |
|---|---|---|
harassment | 文本 | 全部 |
harassment/threatening | 文本 | 全部 |
hate | 文本 | 全部 |
hate/threatening | 文本 | 全部 |
self-harm | 文本 + 图像 | 全部 |
self-harm/instructions | 文本 + 图像 | 全部 |
self-harm/intent | 文本 + 图像 | 全部 |
sexual | 文本 + 图像 | 全部 |
sexual/minors | 文本 + 图像 | 全部 |
violence | 文本 + 图像 | 全部 |
violence/graphic | 文本 + 图像 | 全部 |
illicit | 文本 | 仅 Omni |
illicit/violent | 文本 | 仅 Omni |
多模态审查(Omni 模型)
omni-moderation-latest 支持同时审查文本和图像:
response = client.moderations.create(
model="omni-moderation-latest",
input=[
{"type": "text", "text": "配图描述文本"},
{
"type": "image_url",
"image_url": {
"url": "https://example.com/image.jpg"
}
}
]
)使用建议
- 对于纯文本场景,
text-moderation-latest响应更快 - 涉及图片内容时,使用
omni-moderation-latest实现全面审查 category_scores为概率值,可根据业务需求设置自定义阈值- 建议将审查 API 集成到内容发布流程的前置环节