以及产品的指标是

josna017

准确率还是什么？如何评估的？ 我答：我们产品里面的模型主要有文本分类、图像分类模型文本分类模型我们是多个二分类模型图像分类是一个多分类模型像涉稳、涉政、涉恐这些客户核心关注的一些涉政的 标签我们也会拆到个层级模型个数具体也没细数一共有个模型吧一共个。 然后我们这个产品的评估指标分为两个层次一个是业务层面的指标比如线索发现准确率；一个是模型层面的指标像精确、召回、值这些。 关于线上业务准确率效果指标如何评估的我们是这么做的： 先根据业务需求制定评估指标然后对模型基于




前期准备的测试集进行测试然后采用人工评估和自动化评估相结合的方式对模型 委内瑞拉手机号码列表 效果进行评估评估完之后对一些业务效果不好的进行分析然后后续基于此进行优化。 然后关于模型效果指标的评估我们主要是在模型出厂正式上线前进行精确、召回、的离线评估。像我们这个场景我们线上业务指标主要考虑的是精确率因为没办法评估召回。 他打断问到（）：你们和客户说准确率指标模型的这些指标客户认吗？为何不能评估召回？不是测试集上就能评么？ 我答：我说客户认的。像一些违法犯罪的分类准确率文本分类、图像分类这些客户









已经被“教育”的很好了被培训的很好了客户都知道的而且在我们这个场景里模型指标基本上就等同于业务指标了。 我解释为何线上场景不能评估召回率的原因：我说海量的信息因为不能预判到底有多少违法犯罪所以只能评估精确率。但是在模型效果评估层面就可以评估精确、召回和了因为测试样本是有限的。 他继续问到（）：你说你们产品是网络内容安全领域那你们处理的内容是啥内容？以及这个内容治理的整个链路是什么？ 我答：我们这个产品里面的内容主要是网络上采集到的文本数据、图片数据、还有短视频数据我们使用的模型有文本分类、图像分类模型还有一些关键词策略模型包括涉稳、涉恐、涉政、涉违法犯罪这些然后给文本、图片打上相应的标签。 整个内容的治理链路就是：先从网上采数据然后过。