综合评估
多来源验证与可信度评估
平台采用三类验证材料:本机日志接入验证、安全仿真场景验证、两公开数据集泛化验证。三类材料作用不同,页面不把它们合并成单一准确率。
评估框架
分来源解释,不合并误读
三类验证系统
本机日志接入真实环境接入能力用于证明系统可以读取授权环境产生的元数据和审计日志。
安全仿真场景赛题场景覆盖通过安全合成特征验证爆破、隧道、外传等弱标签场景,不执行真实攻击。
公开数据集验证跨公开数据泛化正式公开数据集仅使用 CICIDS2017 与 CSE-CIC-IDS2018。
实验可信度防泄漏与泛化检查去端口消融、跨源留一、去重与时间划分检查未运行时显示待补充。
数据来源
各验证来源状态
| 来源 | 状态 | 样本数 | 检测事件 | 异常信号 | 攻击链 | 作用说明 |
|---|---|---|---|---|---|---|
| 公开数据集验证 | 正常 | 117,221 | 77,328 | 3,492 | 0 | CICIDS2017 与 CSE-CIC-IDS2018 主测试证据。 |
| 安全仿真场景 | 正常 | 52 | 52 | 36 | 3 | 安全仿真闭环验证,不作为公开数据集泛化指标。 |
| 本机日志接入 | 正常 | 52 | 52 | 36 | 3 | 本机授权样例与安全仿真输入的最新检测链路。 |
分来源指标
精确率、召回率与 F1
- 安全仿真场景 精确率
- -
- 安全仿真场景 召回率
- -
- 安全仿真场景 F1
- -
- 公开数据集验证 精确率
- 99.13%
- 公开数据集验证 召回率
- 99.12%
- 公开数据集验证 F1
- 99.13%
- 本机日志接入 精确率
- -
- 本机日志接入 召回率
- -
- 本机日志接入 F1
- -
公开数据集指标用于泛化验证;安全仿真指标用于场景覆盖验证;二者不能直接等同于生产环境效果。
可信度实验
实验运行状态
去端口消融实验
待补充/未运行
等待真实数据运行后生成指标。
Leave-one-dataset-out 跨源泛化实验
待补充/未运行
等待真实数据运行后生成指标。
flow_id 去重与时间划分检查
待补充/未运行
等待真实数据运行后生成指标。
覆盖范围
模型可靠覆盖标签
分类模型可靠覆盖
规则与攻击链补强
结果适用范围