首页
TVP 最新优惠活动
学习
活动
专区
工具
返回腾讯云官网
Focal Loss和Balanced CE(样本比例不均衡问题)
当越不可能的事件或者相关程度越高的事件(今天中午总统吃什么,与我们相关程度低,信息量小;但是对于想应聘总统厨师的人来说,这件事的信息量就很大)发生了,我们获取到的信息量就越大,反之信息量越小。
样本不足会导致模型信息量不足,从而不能很好的拟合数据
熵用来表示一个系统中所有信息量的期望,也可以用来表示一个系统的混乱程度
用来衡量两个分布的差异,或者说是一个分布变换到另一个分布需要的信息增量
在机器学习中,预测分布Q在训练的过程中信息量不足,虽然可以大致描述,但是描述得有偏差,需要额外的一些信息增量才能达到和样本真实分布一样的描述。经过反复训练后,信息量足够描述后就不需要额外的信息增量了。
相对熵=p的熵-pq交叉熵:
评估标签和预测值之间的差距,而相对熵中p的熵是不变的,所以只需关注交叉熵即可
在机器学习中常用交叉熵作loss
一张图片只被归为一个标签,对应的一个batch的loss就是:
一张图片可能会被归为多个标签,每个Label都是独立分布的,可以用交叉熵对每个独立的类别进行计算,每个类别只有是或不是两种可能,服从弄二项分布,每个类别对应的交叉熵为:
如果一张图片中同时存在青蛙和老鼠,且预测结果如下:
* | 猫 | 青蛙 | 老鼠 |
---|---|---|---|
Label | 0 | 1 | 1 |
Predicted | 0.1 | 0.7 | 0.8 |
则loss=loss猫+loss蛙+loss_鼠,而损失方式计算如下:
总结
对于多分类任务(包括二分类)的交叉熵损失为:
其中y_i表示真实概率,p_i表示预测概率
focal loss最初用于图像领域解决是数据不平衡造成的模型性能问题。
例如,在欺诈识别的案例中,好坏样本的比例为10000 : 1,这样模型很容易学习到一个把所有样本都预测为好的模型,也就是模型没有拟合到极大似然,而是只学习到了先验(样本分布),导致模型欠拟合。
影响
样本不均衡带来的根本影响是:模型会学习到样本比例这个先验信息,类别不均衡下的分类边界会侵占少数样本类的区域,也就是影响模型学习的更本质的特征,影响模型的鲁棒性。
问题分析
减少模型学习样本分布(先验信息),让模型学习数据的本质特征,这样就能解决样本不均衡问题。
必要性
从分类效果出发,不均衡对于分类结果的影响不一定是不好的(除了在预测精度要求比较高等环境下),什么时候需要解决样本不均衡(抑制先验影响)呢?
样本不均衡问题解决
在学习任务有些难度的情况下,我们可以通过一些方法使得不同类别的样本对模型学习时的loss贡献权重均衡,从而消除模型对不同类别的偏向性,学到更为本质的特征。
我们现在就开始探讨这些解决方法:
imgaug
库
缺点及解决方案
损失函数层面主流的方法就是代价敏感学习(cost-sensitive),即为不同分类损失给予不同的惩罚力度(权重),在调节类别平衡的同时,也不会增加计算复杂度。
本文分享自 作者个人站点/博客 前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!
玻璃钢生产厂家和田气球商场美陈费用多少福州园林玻璃钢雕塑采购玻璃钢造型雕塑工程江苏长方形玻璃钢花盆玻璃钢果蔬雕塑厂家有哪些玻璃钢人物雕塑低价甩卖不锈钢景观玻璃钢彩绘雕塑厂五华区玻璃钢雕塑厂家咨询玻璃钢雕塑柱子浙江玻璃钢雕塑摆件销售厂家玻璃钢鹿雕塑哪家值得信赖玻璃钢金柚子雕塑庆阳大型玻璃钢雕塑厂家铜玻璃钢人物雕塑定制江门发光小品玻璃钢雕塑生产商湖州玻璃钢仿铜雕塑吉安公园玻璃钢雕塑订做价格迪庆玻璃钢座椅雕塑造价节庆商场美陈批发五华区设计玻璃钢雕塑浙江主题商场美陈有哪些义乌玻璃钢卡通动漫雕塑定做蛋型玻璃钢花盆商场奶柜创意美陈玻璃钢蘑菇雕塑定制清远玻璃钢花盆花器商场企划美陈大象玻璃钢雕塑工厂马鞍山定制玻璃钢雕塑多少钱江西玻璃钢雕塑水果蔬菜香港通过《维护国家安全条例》两大学生合买彩票中奖一人不认账让美丽中国“从细节出发”19岁小伙救下5人后溺亡 多方发声单亲妈妈陷入热恋 14岁儿子报警汪小菲曝离婚始末遭遇山火的松茸之乡雅江山火三名扑火人员牺牲系谣言何赛飞追着代拍打萧美琴窜访捷克 外交部回应卫健委通报少年有偿捐血浆16次猝死手机成瘾是影响睡眠质量重要因素高校汽车撞人致3死16伤 司机系学生315晚会后胖东来又人满为患了小米汽车超级工厂正式揭幕中国拥有亿元资产的家庭达13.3万户周杰伦一审败诉网易男孩8年未见母亲被告知被遗忘许家印被限制高消费饲养员用铁锨驱打大熊猫被辞退男子被猫抓伤后确诊“猫抓病”特朗普无法缴纳4.54亿美元罚金倪萍分享减重40斤方法联合利华开始重组张家界的山上“长”满了韩国人?张立群任西安交通大学校长杨倩无缘巴黎奥运“重生之我在北大当嫡校长”黑马情侣提车了专访95后高颜值猪保姆考生莫言也上北大硕士复试名单了网友洛杉矶偶遇贾玲专家建议不必谈骨泥色变沉迷短剧的人就像掉进了杀猪盘奥巴马现身唐宁街 黑色着装引猜测七年后宇文玥被薅头发捞上岸事业单位女子向同事水杯投不明物质凯特王妃现身!外出购物视频曝光河南驻马店通报西平中学跳楼事件王树国卸任西安交大校长 师生送别恒大被罚41.75亿到底怎么缴男子被流浪猫绊倒 投喂者赔24万房客欠租失踪 房东直发愁西双版纳热带植物园回应蜉蝣大爆发钱人豪晒法院裁定实锤抄袭外国人感慨凌晨的中国很安全胖东来员工每周单休无小长假白宫:哈马斯三号人物被杀测试车高速逃费 小米:已补缴老人退休金被冒领16年 金额超20万