close
人工智能企業趨勢

Red Hat 助企業部署本地 AI 方案:提升 GPU 效率 24 倍,靈活切換模型與加速器

香港企業在部署本地 AI 時面臨四大挑戰:嚴格的數據安全與合規要求、高昂且難以取得的 GPU 資源、地緣政治影響下的技術中立性需求,以及日後切換模型與加速器的靈活性問題。針對以上這些問題,Red Hat 發佈 Red Hat AI Inference Server 及 OpenShift Lightspeed,結合 Red Hat Enterprise Linux(RHEL)與 OpenShift 平台的強大生態,為企業提供安全、高效且靈活的解決方案。Red Hat 香港、澳門及台灣總經理 Peter 和方案工程總監 Albert 的分享,揭示這些產品如何直擊企業痛點,特別是在全球供應鏈波動與地緣政治影響下,助香港企業加速數碼轉型。

 中、美資企業安心使用 為量子駭客作好準備

在香港,金融、醫療和政府部門對數據安全的要求極高。本地法規(如《個人資料(私隱)條例》)與國際標準(如 GDPR)要求企業嚴格保護敏感數據,而地緣政治緊張局勢進一步加劇了對技術供應商中立性的需求。Peter 強調,Red Hat 的 100% 開源模式是應對這些挑戰的基礎。相比閉源平台可能隱藏的後門或版權爭議,Red Hat AI Inference Server 的開源架構確保程式碼透明,無監控風險,並支援本地部署,讓企業可在自家數據中心運行 AI 模型,無需將敏感數據上傳至公有雲。這不僅符合監管要求,亦降低外洩風險。Peter 指出,Red Hat 產品由全球社群共同開發,不依賴單一國家的知識產權,完美適應香港多元化市場,無論中資、美資或其他企業均可安心使用。

Albert 從未來安全角度補充,RHEL 10 引入的後量子加密(PQC)為企業提供長期保護。這項技術能抵禦量子電腦的破解威脅,針對黑客「先竊取後破解」的策略——即盜取加密數據待量子技術成熟後解密——確保數據安全數百年。對於香港金融與醫療行業,PQC 幫助 IT 主管符合嚴格監管要求,管理層則可避免因數據洩露導致的巨額罰款與聲譽損失。

GPU 效率提升 24 倍 資源需求降低至原來的 1/4

AI 項目的成功取決於成本與效益的平衡,但香港企業常受制於 GPU 資源短缺與公有雲計費模式的不確定性。Red Hat AI Inference Server 以「任何模型、任何加速器、任何雲端」的設計理念,直接解決這些挑戰。該伺服器基於開源 vLLM 技術與 Neural Magic 的模型量化技術,支援企業在混合雲環境中運行任何 AI 模型與加速器。Albert 分享,其在某些場景下可將 GPU 效率提升 24 倍,資源需求降低至原來的 1/4,同時保持模型高準確度。Red Hat 推出的分散式語言模型部署(LLM-D)項目,基於 Kubernetes 技術,實現 GPU 資源的負載平衡,讓大型企業能高效分配運算資源,進一步降低成本。這讓企業無需大量採購昂貴硬體,即可實現大規模 AI 推理,特別適合預算有限的香港企業。

在全球 GPU 供應鏈緊張的背景下,這款伺服器的靈活性尤其關鍵。美國 GPU(如 NVIDIA)因出口限制和需求激增而難以取得,香港企業需轉向替代方案,如中國的 GPU(例如華為昇騰或阿里雲自研加速器)。Peter 強調,Red Hat AI Inference Server 的「任何加速器」特性允許企業無縫切換不同品牌的 GPU,無需大幅修改設定或重新設計系統。例如從 NVIDIA GPU 過渡至中國 GPU,遷移成本與技術門檻顯著降低,節省數十萬港元的硬體整合費用,確保業務連續性。Albert 補充,Red Hat 正積極進行本地 GPU 的認證測試,進一步簡化過渡過程,為 IT 主管提供平滑且經濟的硬體轉型方案。這相比閉源平台的高昂授權費用和硬體兼容限制,展現了 Red Hat 開源生態的獨特優勢。

Peter 從商業角度指出,公有雲的按數據量或 token 計費模式在大規模 AI 應用中可能導致成本失控,而 Red Hat 的私有 AI 解決方案提供可預測的成本結構。結合 Ansible 自動化平台,企業能將 AI 洞察快速應用於業務流程,如優化供應鏈或提升客戶服務效率,從而提高投資回報率(ROI)。Albert 分享的本地案例,如利用 Red Hat AI Inference Server 加速標書摘要生成,展示企業如何以高效推理簡化繁瑣任務,節省數小時人力成本。對 IT 主管,這意味著以更低成本實現 AI 項目,並能向管理層展示清晰的財務效益;對管理層,則是技術投資轉化為商業價值的可靠保證。

從舊有系統到雲原生的無縫橋樑

許多香港企業的核心應用仍運行於傳統虛擬機(VM)架構,但 AI 與雲原生 (Cloud Native)應用要求轉向容器化平台,過渡過程複雜且成本高昂。OpenShift Lightspeed 與 OpenShift Virtualization 提供了解決方案。Albert 解釋,OpenShift Virtualization 基於成熟的 KVM 技術,讓企業在單一平台上管理虛擬機與容器,實現新舊技術的平滑共存。Red Hat 與第三方廠商(如 Veeam)合作,確保現有備份與管理工具無需替換即可整合,顯著降低遷移成本。

Peter 補充,這一策略對香港的銀行與政府機構尤為重要,這些機構往往依賴舊有系統。OpenShift Virtualization 允許它們逐步現代化,無需一次性放棄既有投資。他強調,Red Hat 的無供應商鎖定特性讓企業能自由選擇技術路徑,相比閉源平台的高昂轉換成本,Red Hat 的開源生態為 IT 主管提供了更大靈活性。IT 主管可制定分階段遷移計劃,確保業務不中斷;管理層則能將轉型成本控制在合理範圍,穩步邁向雲原生架構。

技能短缺與運營效率:智能管理降低門檻

香港 IT 人才市場競爭激烈,AI 與容器化技術的技能短缺制約技術部署。OpenShift Lightspeed 透過生成式  AI 簡化 Kubernetes 環境管理,Albert 介紹,其智能集群分析技術能從 Kubernetes 集群提取實時數據,提供針對性建議,例如回答「如何優化容器資源?」,幫助 IT 團隊加速模型部署並提升系統效率,最高可縮短 20% 的部署與維護時間。Albert 分享的本地案例顯示,企業利用 OpenShift Lightspeed 自動化 HR 政策查詢,節省數小時手動處理時間,快速實現業務價值。

Peter 強調,Red Hat 香港的本地團隊提供 7×24 企業級支援,深入理解本地需求,彌補技能差距。對 IT 主管,這意味著減輕團隊壓力,專注業務創新;對管理層,則是確保技術投資迅速落地。

靈活架構迎接企業未來新挑戰

Red Hat 的「任何模型、任何加速器、任何雲端」願景為企業提供了極高靈活性。Red Hat AI Inference Server 支援全球主流模型與加速器,其 LLM-D 項目透過分散式部署進一步優化大型企業的推理效率,確保資源分配與可擴展性。OpenShift Lightspeed 則允許企業在本地、公有雲或混合雲環境運行 AI 工作負載,適應香港企業的多雲策略。Peter 指出,這讓企業能靈活應對市場變化,例如將敏感數據保留在本地數據中心,或利用公有雲處理公開數據(如天文台的天氣資料)。在 GPU 供應不穩的情況下,企業可快速切換至中國或其他地區的加速器,無需擔心技術兼容性或高昂的重新設定成本。

隨著 AI 治理和 Agentic AI 成為未來趨勢,Red Hat 的平台已做好準備。Peter 提到 Agentic AI 的潛力,如自動化工作流程,預示 AI 將從單純的數據處理進化為主動決策的智能代理。Albert 分析,香港企業正從簡單用例(如文檔處理)向中階應用(如政策查詢)發展,並預測未來將廣泛採用 Agentic AI 來驅動業務自動化。OpenShift Lightspeed 的治理功能可監控模型輸出,確保合規性並減少幻覺風險,為 AI 治理奠定基礎;Red Hat AI Inference Server 的多模型支援與 LLM-D 的分散式效率則為 Agentic AI 的複雜推理需求提供高效引擎。這讓香港企業能以低風險方式試錯,逐步探索未來應用,確保技術投資與業務目標一致。

結語:Red Hat 推動香港企業的數碼未來

Red Hat 的 Red Hat AI Inference Server 及 OpenShift Lightspeed 是對香港企業當前及未來需求的精準回應。它們以開源透明與私有部署保障數據安全,以高效資源管理和靈活硬體支援突破成本限制,以無縫過渡和智能管理解決技術與人才挑戰,並以靈活架構為新興趨勢做好準備。Peter 和 Albert 的分享凸顯了 Red Hat 對香港市場的承諾——結合本地化支援與國際化視野,同時揭示業界未來:Agentic AI 將重塑業務流程,開源創新將持續推動技術進步,AI 治理將確保合規與可靠性。從命令行模式的 AI 助手到分散式推理的高效引擎,Red Hat 的平台幫助企業從簡單的標書摘要到複雜的自動化工作流程,逐步實現 AI 的全部潛力。對 IT 主管,這是建立安全、高效 IT 架構的契機;對管理層,這是將技術投資轉為業務成功的關鍵一步。Red Hat 的解決方案,正為香港企業的數碼未來鋪路。

Tags : red hatredhat