(Ken Cen出品)Generative AI第26部 Mistral 語言模型的架構秘密

本課程延續Generative AI 第 18～25 部，繼續講解大語言模型架構技術的原理，圍繞Mistral 大語言模型與原始 Transformer 之間的架構差異展開。其中包括如下技術：Sliding Window Attention - 滑動窗口注意力：限制注意力計算在固定大小窗口內，減少計算量Rolling Buffer Cache - 滾動緩衝區緩存：一種用於推理時保存中間計算結果的緩存技術Sparse Mixture of Experts (MoE) - 稀疏混合專家模型：利用多個專家子網絡並行處理，提升模型容量與效率KV 緩存 - Key-Value Cache：儲存注意力機制中Key和Value的緩存，加速推理Feedforward Networks (Experts) - 前饋網絡（專家）：MoE中多個獨立的前饋子網絡，負責不同輸入的處理Model Sharding - 模型分片：將模型參數分散到多個設備上以減少單設備負擔