(Ken Cen 出品) Generative AI 第 32 部：多模態融合：視覺+語言模型高效推論 (下)

本課程會繼續在Generative AI 第 31 部的視覺模型的基礎上，繼續多模態模型的架構的編寫。深入瞭解多模態模型如何在一個投影層上合併文字嵌入和圖像嵌入。而多模態模型要同時處理文字+图像信息時會有明顯的差異。而 PaliGemma 多模態模型為什麼要把歸一化放在注意力層 & MLP 層的前面？輸入的嵌入為什麼要乘以sqrt(hidden_size)，而不是除以sqrt(hidden_size)？殘差連接對於防止梯度消失有什麼意義？這些問題會在課程中，一一為您解答。課程內容：如何用Pytorch製作 RoPE 旋轉位置編碼如何用 Pytorch編寫 GQA 分組查詢注意力如何用 Pytorch 編寫 KVCache & RMS 歸一化 & MLP 多層感知器為什麼需要殘差連接 & 為什麼Gemma 要設定前置層歸一化 & 為什麼要乘以sqrt(hidden_size)如何合併圖片特徵 & 文字特徵 & Pad Token ID如何使用Pytorch 實現 PaliGemma 推理過程