先了解这件事
蚂蚁百灵团队提出新激活函数 PowLU,以解决 SwiGLU 在 FP8 等低精度训练中因二次增长放大异常值导致的 Loss Spike 和训练崩溃问题。
最新进展
蚂蚁百灵团队为何重新设计 SwiGLU?PowLU 激活函数的诞生始末
事件进展1
蚂蚁百灵团队提出新激活函数 PowLU
公众号:蚂蚁百灵:蚂蚁百灵团队为何重新设计 SwiGLU?PowLU 激活函数的诞生始末
蚂蚁百灵团队提出新激活函数 PowLU,以解决 SwiGLU 在 FP8 等低精度训练中因二次增长放大异常值导致的 Loss Spike 和训练崩溃问题。
蚂蚁百灵团队为何重新设计 SwiGLU?PowLU 激活函数的诞生始末