現在人工智能的運算都是依賴神經網絡，最近 ETH Zurich 研發出新的技術，可以大幅提升神經網絡的運算效率，在語言模型的應用上可以帶來高達 300 倍的速度提升。
蘇黎世聯邦理工學院 (ETH Zurich) 開發的技術採用了新的「快速前饋」(FFF) 層取代傳統的前饋層。FFF 使用條件矩陣乘法 (CMM) 代替標準的密集矩陣乘法 (DMM)，只啟用每個輸入所需的少數神經元，從而大幅降低運算負荷。這個方式可以加速神經網絡的速度，對於大型語言模型 (LLM) 如 GPT-3 中的 Transformer 模型特別有效。這種方法專注於推理過程，在 BERT 模型上實現了超過 99%的計算量減少。
研究人員透過使用 FFF 層的修改版 BERT 模型 FastBERT 展示新技術的效能，在減少 99% 運算量的同時。FastBERT 保持了至少 96%的原始 BERT 模型性能。研究表示，如果應用在像 GPT-3 這樣的 LLM 模型，有可能可以顯著提高速度和效率，加上適當的硬件和軟件最佳化，推理速度可提高 300 倍以上。
來源：VentureBeat
