CS336作业训练组件实现教程发布
热点事件持续更新
CS336作业训练组件实现教程发布
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
博主凪风sama发布CS336作业1训练组件实现教程，在已搭建的Transformer模型基础上补齐训练所需模块，并最终用这些模块完成对该模型的训练与推理验证。 教程覆盖交叉熵损失、SGD与AdamW优化器，以及梯度裁剪和学习率调度器。交叉熵部分从信息熵推导到softmax数值稳定实现，给出PyTorch代码，并用torch.gather取出真实token的预测分数。
AI 根据报道生成 · 1 小时前更新
最新进展10月26日 19:20
CS336 Assignment1 训练组件：交叉熵损失、SGD/AdamW 优化器与梯度调优报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- 博客园CS336 Assignment1 训练组件：交叉熵损失、SGD/AdamW 优化器与梯度调优
这篇笔记在已搭建的 Transformer 基础上实现 CS336 作业 1 的训练组件，包括交叉熵损失函数、SGD 与 AdamW 优化器，以及梯度裁剪和学习率调度器。交叉熵部分从信息熵推导到 softmax 数值稳定实现，并给出 PyTorch 代码，用 torch.gather 取出真实 token 的预测分数。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。