近年，人工智能幾乎在每家 IT 企業的年度大會上佔一席位，AWS re:Invent 亦不例外。AWS 公用運算部資深副總裁 Peter DeSantis 於揭幕演講上，引用由 AI 助理啟發的樹木比喻就十分精闢。他指出，樹木好比 AWS 在定制晶片、無伺服器運算技術、數據庫和 Hypervisor（虛擬機器管理軟件）等等之上的長線技術投資，這些投資皆能為客戶提供高性能和低成本的基礎設施選項。
「但更重要的是支撐這些樹木的樹根架構。主根（taproot）能夠在惡劣條件下汲取深層水源，而亞馬遜雨林的板狀根（buttress roots）系統，則通過橫向的根部結構支撐參天巨木。板狀樹根可以在地面上延伸數百尺，甚至與鄰近的樹根互相交錯，形成穩固的根基。AWS 也如同這些根系，不僅專注於高層技術創新，還深入到細節，確保每個決策都基於對各類型挑戰的深刻理解 ── 我們的企業文化便是這一切的基礎。」
DeSantis 這個樹木與樹根架構的比喻，放諸當今 AI 發展之上亦通。各行業採用 AI 提升營運效能確實刻不容緩，但與此同時，必須仔細考慮企業的基礎建設能否支撐相對應的技術發展，方能取得最大效益，不會顧此失彼。
工欲善其事，必先利其器
有見及此，今年的 re:Invent 大會便推出了一系列重點突破，旨在助企業提升能力，從而面對升級轉型及採用 AI 等各方面的挑戰。重點創新包括：針對支援高密度 AI 工作負載，基於 Amazon Trainium2 的 Amazon Elastic Compute Cloud（Amazon EC2）Trn2 執行個體正式可用、全新 Amazon EC2 Trn2 UltraServer、投入新一代 AI 晶片 Trainium3 計劃、為數據處理分析和 AI 提供統一平台的新一代 Amazon SageMaker、生成式 AI 軟件開發助手 Amazon Q Developer 的一系列創新強化功能、讓企業可在 S3 上以最簡單快捷的方式管理元數據（Metadata）的 Amazon S3 Metadata、在 Amazon Bedrock 上推出一百多個新模型、推出新一代基礎模型 Amazon Nova（Micro、Lite、Pro 和 Premier 共四個版本）、用於生成專業級圖像的全新模型 Amazon Nova Canvas 和用於生成專業級影片的 Amazon Nova Reel。
要了解全新 Amazon EC2 Trn2 UltraServer，首先要從 AI 基建兩大方向入手：橫向擴展（scale-out）的限制和擴大規模（scale-up）的挑戰。DeSantis 認為，要建立更大的模型便需要建立更強大的伺服器，簡言之，就是在儘可能小的空間內，封裝最多的運算能力和高速記憶體，以達致高頻寬和低延遲的連線。
▲Peter DeSantis 於演說上手持 Trainium2 的封裝（package），向與會者展示封裝正中央有兩顆並排的 Trainium2 晶片，而每顆 Trainium2 晶片旁另設兩個晶片。這些晶片實為高頻寬記憶體模組（High Bandwidth Memory modules，HBM），可理解為堆疊了記憶體晶片的專用模組，因記憶體晶片耗能較少散發更少熱能，故能突破技術限制，封裝更多記憶體。然而封裝的尺寸亦有其限制，當封裝大到一定程度時，保持所有電連接的穩定性便成為一大挑戰。
▲AWS 去年推出了新一代 Trainium2 晶片，用以建構歷來最強大的 AI 伺服器。而今年 Peter DeSantis 於會上進一步揭示最新成果：Amazon EC2 Trn2 UltraServer。
「一台強大的 AI 伺服器不僅是將運算效能和記憶體壓縮在一個小小空間內，而是個提升 AI 工作負載的專用工具，這正正是 Trainium2 架構發揮的作用。」DeSantis 強調，Trainium2 採用與傳統 CPU 或 GPU 完全不同的脈動陣列（systolic array）架構，而 NeuronLink 則是與 Trainium 互連的專門技術。
與傳統的高速網絡協議不同，NeuronLink 伺服器能將多個 Trainium2 伺服器合併為單一邏輯伺服器，可直接存取訪問彼此的記憶體，每秒頻寬高達 2TB，且當中的時延僅有一微秒，從而創造出超級伺服器（UltraServer）。
Amazon EC2 Trn2 UltraServers 伺服器機型配備 64 個互相連接的 Trainium2 晶片，採用 NeuronLink 超高速互連技術，可提供高達 83.2 Petaflops 的浮點運算力，其運算、記憶體和網絡處理能力，是單一執行個體的 4 倍，能夠支援訓練和部署超大規模的模型。他又透露，AWS 正攜手 Anthropic 構建名為 Project Rainier 的 EC2 UltraCluster，當中包含數十萬顆 Trainium2 晶片，所需的超級算力，比訓練他們目前的 AI 模型高出 5 倍以上。
AWS 運算和網絡副總裁 David Brown 表示：「隨著模型參數接近萬億，我們意識到客戶需要一種創新和的高效的方法來訓練和運行規模龐大的工作負載。在 AWS 上，全新 Amazon EC2 Trn2 UltraServers 提供超高速的訓練和推理性能，讓不同領域的企業以更快的速度和更低的成本訓練和部署全球規模最大的模型。」
有見 AI 的發展步伐不斷加劇， AWS 亦宣佈其新一代 AI 訓練晶片 Amazon Trainium3 的計劃。Trainium3 乃 AWS 首款採用 3 納米製程生產的晶片，搭載 Trainium3 的 UltraServers 性能預計將是 Trn2 UltraServers 的 4 倍，讓客戶在構建模型時，能夠更快反覆運算，並在部署時提供卓越的即時效能。首批基於 Trainium3 的執行個體，預計將於 2025 年底推出。
Amazon CEO 驚喜現身發佈 Amazon Nova
對 re:Invent 2024 與會者而言，今年的一大驚喜莫過於 Amazon 主席兼 CEO Andy Jassy 現身主持演說。
「過去 25 年，AWS 廣泛使用 AI 技術，並非因為我們覺得 AI 很酷，而是因為我們想為客戶解決問題。因此，當我們談論 AI，通常不是為了宣佈我們擊敗了世界頂級棋手，而是為了讓客戶在零售業務中獲得更好的推薦和個性化的建議，又或是提供更佳路線選擇，以便我們能更迅速將貨物送達顧客手中。」
CEO 重磅現身，自然有重點發佈。Jassy 除於會上分享 AWS 內部如何透過運用生成式 AI 提升客服 chatbot、更有效地進行庫存及貨運管理、旗下 Prime Video 如何與 NFL 合作，每個賽季收集逾 5 億個數據點並以此建立 AI 模型，為觀眾提供全新觀看體驗，更重點發佈新一代基礎模型 Amazon Nova。
「我們致力開發自家前沿模型（ frontier model），這些前沿模型在過去四至五個月取得重大進展。我想，既然 AWS 能從這些模型獲取價值，相信用戶也會發現其價值。」
Amazon Nova 模型將透過 Amazon Bedrock 提供，其中，Micro、Lite 和 Pro 版本已即日上市，而 Premier 則預計約在明年第一季推出。Amazon Nova Micro 是一款只針對處理文本的模型，能夠以極低的延遲和成本提供回應；而 Amazon Nova Lite 則屬高性價比的多模態模型，能夠快速處理圖像、影片和文本輸入；Amazon Nova Pro 乃功能強大的多模態模型，能夠在準確性、速度和成本之間取得最佳平衡，適用於多種應用場景；至於 Amazon Nova Premier 作為 Amazon 的頂級多模態模型，專為複雜推理任務而設，並將其作為蒸餾客製化模型（distilling custom models）的最佳典範模型（teacher model）使用。
多語言與多模態支援處理長文本的能力
AI 用戶相信不少也十分關注 AI 模型在語言或長文本方面的支援。據了解，Amazon Nova Micro、Lite 和 Pro 可支援超過 200 種語言。而在處理長文本方面，Nova Micro 可支援 128K 輸入 Token；而 Lite 和 Pro 版本更可處理高達 300K Token，並能分析長達 30 分鐘的影片內容。及至 2025 年初，Amazon 將支援超過 200 萬輸入 Token 的長文本。
目前，所有 Amazon Nova 模型均已與 Amazon Bedrock 無縫整合。Jassy 認為 Amazon Nova 具備兩大優勢：首先成本效益，Nova 比 Bedrock 上任何頂級模型的成本還要低約 75%；其次，Nova 非常快，在時延方面可謂最快的模型。重點是 Nova 不僅整合至 Bedrock 之上，還深度整合 Bedrock 上的所有功能，讓任何模型提供者皆可使用。
這意味著這些模型可支援自訂微調，允許客戶根據自身專有數據中的已標記示例來提升準確性。Amazon Nova 模型能夠從客戶的數據（包括文本、圖像和影片）中學習最重要的資訊，隨後 Amazon Bedrock 會訓練一個專屬的微調模型，以提供客製化回應。除了支援微調外，這些模型更支援蒸餾，可以將規模更大，能力更強的「典範模型」中的特定知識，轉移到更小的模型上，從而實現更高的精確度、更快的回應速度，以及更低的營運成本。
Jassy 續指，Amazon Nova 模型與 Amazon Bedrock 知識庫緊密整合，專注於檢索增強生成（RAG）方法，使客戶能透過利用自身的資料，確保生成內容的高度準確性和相關性。此外，Amazon Nova 模型經過優化，便於代理應用在執行多步驟任務時，透過多個 API 與企業的專有系統和數據進行互動。
AI 初心者之選首推 Q in QuickSight
至於有意或正準備踏上 AI 轉型之路的企業，AWS 科技副總裁 Mai-Lan Tomsen Bukovec 相信他們會對 Amazon Q in QuickSight 感興趣。
「我想，我們勢必要成為專業的 AI 使用者，因 AI 將從根本上改變工作的型態。企業用戶普遍希望在無須考慮技術的情況下從數據中獲取價值，Q for QuickSight 和 Q for Business 的整合正好實現了這一點，免除了用戶理解 AI 技術的必要性。」
她又坦言，作為在 Amazon Q Developer 代理智能（agentic）架構上努力的一員，她對 Amazon Bedrock 的多代理功能感到相當興奮，並且相信結合不同技術與工作流程的代理智能系統正是全球大勢之所趨。
