(Ken Cen出品)Generative AI第25部 使用Pytorch編寫 Stable Diffusion 下部

繼續在(Ken Cen出品)Generative AI第24部 使用Pytorch編寫 Stable Diffusion 上部的基礎上，實現整個 Diffusion，擴散過程和 DDPM 實現模型學習 Latent Space 數據分佈過程，這是 Stable Diffusion 中的核心關鍵。課程不使用其他外部 library，以 Pytorch 作為底層構建 Stable Diffusion 所需一切組件，最終將根據用戶的 prompt 在 VSCode 中生成圖片。從 U-NET 開始構建，創建 U-NET 內部的Encoder，Bottle Neck， Decoder，了解內容結構如何讓 U-NET 以用不同參數餵養Encoder，Bottle Neck， Decoder，以及每個組件中，如何搭配 Self-Attention & Cross-Attention 和 Residual用 Pipeline 組織 CLIP，VAE，U-NET，根據不同的Classifier Free Guidance 輸出不同的雜訊預測，結合 Context 輸入得到 U-NET 的輸出最終輸入 Stable Diffusion 預訓練模型的權重，按Prompt 生成圖片。