iluvatar

PaddleFormers适配天数 ERNIE-4.5-0.3B-Paddle

SFT或者LoRa见github。

参数： config.json

"tie_word_embeddings": true

https://www.cnblogs.com/cavalier-chen/p/18937118

权重绑定是一种模型设计技术，它规定：输出语言模型头 (lm_head) 的权重矩阵，直接使用输入词嵌入层 (embedding) 的权重矩阵的转置 (Transpose)。

用公式表达就是： lm_head= W_embedding^T

这意味着，模型不再需要为 lm_head 单独学习一个巨大的权重矩阵，而是直接“重用”embedding 的权重。