敏感词过滤功能
敏感词过滤
在 AI 应用开发中，内容安全至关重要。特别是对接大模型的应用场景下，必须防止用户输入的不良内容以及模型可能生成的不合规响应。PigX AI 框架集成了高性能的敏感词过滤机制，基于 DFA（确定有限自动机）算法实现，可有效识别并过滤各类敏感内容，包括：
- 政治敏感词
- 违法违规内容
- 色情低俗词汇
- 暴力极端表达
- 其他不适宜公开场合的内容
本功能基于 houbb/sensitive-word 开源项目实现，提供高性能、可配置的敏感词过滤能力。
敏感词检测功能
PigX 已内置了一套完整的常用敏感词库，可通过敏感词管理功能进行匹配测试。
白名单机制
系统支持设置白名单，跳过特定词汇的过滤。
大模型应用中的敏感词过滤要求
在大模型应用中，敏感词过滤通常需要在以下几个环节进行：
- 用户输入阶段：拦截用户可能的恶意提示词，防止误导或攻击模型
- 模型响应阶段：过滤模型可能生成的不合规内容
- 知识库问答：确保知识库内容与问答结果符合内容安全要求
双向过滤机制
PigX AI 框架在请求和响应两端同时进行内容安全检查，确保应用合规稳定运行。
跳过部分敏感词
您可以在敏感词管理界面添加白名单，对特定场景下的合法词汇进行豁免。
关闭敏感词功能
如需关闭敏感词过滤功能，可在配置文件中修改：
本页目录