爱读书屋 通过搜索各大小说站为您自动抓取各类小说的最快更新供您阅读!

用故事解释Softmax函数的溢出问题

故事背景:龙族宴会上的金碗

在一座神秘的龙族王国,龙族每年都会举行一次盛大的宴会,宴会上有一个传统:每条龙要把自己的财富(金币数量)放进一个金碗,然后让智慧长老计算每条龙的“财富占比”,来决定谁是这一年的财富之王。

宴会当天,四条龙分别报出了自己的金币数量:

? 火龙:100万金币

? 冰龙:200万金币

? 雷龙:300万金币

? 风龙:10亿金币

智慧长老准备使用一个古老的计算方法——Softmax规则,将这些财富转换成概率来比较。但他很快发现了一个严重的问题:

金碗炸了!

为什么?因为按照Softmax的计算方法,他需要计算每个金币数量的指数值:

但这些数值实在是太大了,远远超出了王国的计算能力,直接导致金碗崩溃(计算溢出)。

智慧长老陷入了困境,他需要找到一个方法来避免计算崩溃。于是他想到一个聪明的技巧:

“我们不直接放金币,我们可以先让大家的金币数减去最大的金币数!”

于是,他重新计算:

? 火龙的金币数变为 100万 - 10亿 = -9.99亿

? 冰龙的金币数变为 200万 - 10亿 = -9.98亿

? 雷龙的金币数变为 300万 - 10亿 = -9.97亿

? 风龙的金币数变为 10亿 - 10亿 = 0

然后,他计算:

现在,所有的指数值都变得很小,不会再溢出,金碗终于能正常计算了!

最终,风龙的财富占比几乎是 100%,其他三条龙的财富占比接近 0,宴会得出了正确的结论。

这个方法被称为 Softmax的数值稳定性技巧,即 在计算前减去最大值,防止指数运算导致溢出。

用比喻解释Softmax的溢出问题

比喻1:水池溢出

想象你有一个大水池,你往里面倒水:

? 第一桶水是 100升

? 第二桶水是 200升

? 第三桶水是 300升

? 第四桶水是 10亿升

显然,水池无法承受10亿升的水,直接溢出了!

解决方案?

? 你先抽掉10亿升的水(相当于减去最大值),这样所有的水量都变成一个较小的数字,水池就不会溢出了。

比喻2:计算机的“溢出”锅

假设你在做饭,想同时煮四个锅的水,每个锅的温度分别是:

? 100°c

? 200°c

? 300°c

? 10亿°c

你的炉子最高只能加热到 500°c,但第四个锅的温度远超这个上限,直接导致炉子爆炸(计算机溢出)!

怎么办?

你可以先把所有锅的温度减去一个基准值(比如减去10亿°c),让温度变成:

? -9.99亿°c

? -9.98亿°c

? -9.97亿°c

? 0°c

现在,最高的温度也只是 0°c,不会再超出炉子的承受范围。

总结

? Softmax的溢出问题 是因为指数运算会导致数值过大,超过计算机的上限。

? 解决方案 是在计算Softmax之前,先减去最大值,这样所有的数值都会变小,防止指数爆炸。

? 就像往水池倒水、往锅里加热,数值太大就会溢出,我们需要先做调整,确保计算不超出范围!

爱读书屋推荐阅读:极品全能学生天命之人随身带着一亩地天赋御兽师在超能世界做大佬陆先生偏要以婚相许修炼万倍增幅,我成了万族噩梦!神级大老板文娱:我的明星女友又甜又御重生相师:名门第一继承人神器召唤人亿万继承者萌宝来袭女神老婆爱上我都市无敌,我有七个恶魔师傅邪气兵皇混花都从蓝星高中走出的宇宙至尊花都异能王癌症晚期离婚,岳母半夜敲门小福包在年代文里被宠翻了世界第一宠:财迷萌宝,超难哄一身神级被动,从转职开始无敌妖孽妙手小村医娱乐:开局和功夫巨星八角笼阿姨比我大了十八岁从游戏中提取技能,我发达了四合院:许大茂傻柱你们要老婆不生活中的一百个心理学效应妙医圣手叶皓轩我能看见气运!闪婚植物人赚疯了全民巨塔:你说你的幸运很低?非宠不可:傲娇医妻别反抗赶海:从幸运赶海夹开始暴富重生之全球首富辞职之后婆家偷听心声,换亲世子妃成团宠抛夫弃子求真爱,被白月光渣了你找我?我的贴身校花顾云初夜凌羽无敌升级王从包工头到一方高官从小警察开始的仕途路新说钮一篇血色浪漫之我是钟跃民都市太危险:我苟在村里成神我是一条小青龙,开局要求上户口嫂子,我不是真的傻子!首辅家的小娇娘校园青春之混的那些年对手手机连未来,破产又何妨
爱读书屋搜藏榜:致命赛程:二十轮的博弈阿聪和阿呆精英仙妻:总裁老公宠上天我有一座随身农场重生肥妻:首长大人,强势宠!重生九零小俏媳穿成八零福运小萌包娱乐:重生05,开创顶流时代至尊小神医流年的小船恶龙枷锁清纯校花?当真有那么清纯吗?脱下马甲就是大佬我靠切切切当上太医令剧本恋综里爆红,影帝这热度她不想蹭啊深海有渔歌重生,开局胁迫高冷天后我只想在未来躺平,没想成为大佬练假成真,我真不是修仙者灵气复苏:我,杀敌就变强!全民打宝:幸运爆率疯狂飙!穿书之不可能喜欢男主全球性闹鬼事件神棍俏娘子:带着皇子去种田沈先生命有桃花UZI复出后,IG和RNG同时发来了合同穿成炮灰原配后把权臣娇养了终极一班之签到系统开挂无敌战力情意绵绵汐朝高武:我的影子能弑神我能真人下副本骑士传奇,我的眼中只有古朗基医品凤途我家后院的时空来客穿书之女二要逆袭凌宠我真的很想堕落啊带着系统征服世界吧!岁月逆流重返十八每天奖励一万亿,我的钱堆积如山神豪从开滴滴拒绝美女开始神武都市农门空间:我娇养了首辅大反派玩美房东暗帝:风华绝代之世子妃从恋综开始,成为华娱全民偶像神壕系统之娱乐无极限我负责吃奶直播间十亿网友杀疯了斗兽场之风起云涌
爱读书屋最新小说:掌控全球语言,从做神棍开始直播挑战,生存系统正在加载中重生之万亿帝国拳王赞歌穿越:你们都是人,凭什么我是球重生津港:只要毒舌就能暴富没有异能的我却能靠卡片变身变身后我赎罪与恋爱的路我真的没想过要重生啊三和大神修仙记你悔婚我换新娘,喜帖送上你悔断肠都重生了当然要当大佬啊!疯了吧!开局摆摊卖黑丝?黑色档案,官场沉浮二十年和四名前女友合租,我被围了西部商途重生85:我每天一个最新情报秩序病:疯癫与文明花都校草:全能高手的传奇民国的先生潜流时代我捡到了落宝金钱穿越美利坚2015我是军火商诈骗犯全球通缉我都开挂了,你还叫我杂牌军?40下岗外卖员到异国首相我靠分身觉醒无数异能跌入深渊时,前妻抓住了我的领带老婆跑后,带娃逆袭崛起高武世界!我的航海灵气复苏,最强觉醒从炼炁开始玄真之下阎罗出山,我所向无敌荒岛求生:我抢了别人的多子多福终极:医仙传人签到神通:修行至末法至高高考落榜后,我契约绝世天骄无限转职:一拳打爆诸天神明谁说这系统烂,这系统可太棒了!我带着神豪系统在娱乐圈咸鱼扮猪吃虎:神豪的逆袭人生如意姑娘的苟且日常重生后,我只想和富婆谈恋爱重生76,我为知青编教辅穿书七零,炮灰手撕剧本搞基建我在四合院卷成万元户都市:超级系统全民转职:死灵法师!我即是天灾真不追你又不开心了灵气复苏,你非要学数学?