Skip to content

Commit c62bb11

Browse files
committed
updates
1 parent 89dc282 commit c62bb11

File tree

1 file changed

+6
-0
lines changed

1 file changed

+6
-0
lines changed

src/MMLLM/庖丁解牛BLIP2.md

Lines changed: 6 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -582,6 +582,12 @@ class BertEncoder(nn.Module):
582582
# Step 5: 提取语言模型损失
583583
loss_lm = lm_output.loss # 使用交叉熵损失衡量生成与真实之间的差异
584584
```
585+
**文本生成阶段:**
586+
587+
将缓存的 past_key_values 作为文本解码器的初始状态。
588+
589+
文本 token 在自回归生成时,通过 self-attention 复用缓存的视觉信息。
590+
585591
5. BertLMHeadModel: 自回归语言建模任务(如文本生成)
586592

587593
```python

0 commit comments

Comments
 (0)