如今在 AI 迅猛發(fā)展的浪潮中,大語言模型展現(xiàn)出強大的智能交互能力,但如何解決其部署到邊緣設備所面臨算力、內存和能耗等諸多挑戰(zhàn),成為了行業(yè)關注的重點。Firefly 推出的 NVIDIA Jetson 系列智能產(chǎn)品,以卓越的邊緣計算能力和能效比,為 AI 大模型在邊緣端的部署提供可靠的硬件支持。
AIBOX-OrinNano和AIBOX-OrinNX均搭載 NVIDIA 原裝 Jetson Orin 核心板模組,該系列可提供 40~100 TOPS的 AI 計算能力、大容量統(tǒng)一內存和全面的軟件堆棧,能夠以超高能效驅動 Transformer 架構下大模型,最新的生成式 AI 應用。