創鑫智慧（Neuchips）今日參與 COMPUTEX 2024（台北國際電腦展），會中推出整合 RAG（Retrieval-Augmented Generation，檢索增強生成）與 LLM（Large Language Model，大型語言模型）的端到端（end-to-end AI）解決方案，執行長劉景慈表示，除了透過台積電 7 奈米製程推出生成式 AI 卡，並正規劃採用 5 奈米製程的下一代生成式 AI 晶片。
創鑫智慧致力研發高能效 AI ASIC（Application Specific Integrated Circuit，特定應用積體電路），這次推出的整合 RAG 與 LLM 的端到端解決方案，可搭配企業內部既有硬體系統即可部署本地端 GPT 節能加速方案，可顯著降低企業導入 LLM 的時間與總擁有成本，並支援多種開源的中文、英文大型語言模型，包含台灣可信任生成式 AI 模型 TAIDE。
劉景慈表示，創鑫智慧採用自行研發、台積電 7 奈米製程製造的 ASIC－Raptor 生成式 AI 晶片（原稱 N3000），製作成能夠安裝至小型電腦或工作站的 Viper 生成式 AI 卡，以及整合式的 LLM 解決方案，無須額外投入人力、電力、空間等成本，即可結合軟硬體合作夥伴打造企業專屬應用。
劉景慈指出，企業已認知到將 AI 導入工作流程，對提升生產力的重要性，但其複雜部署方式與大量先期投入成本，讓企業裹足不前，Viper 生成式 AI 卡使用 PCIe 介面和電腦連結，擁有體積小巧的優勢，功耗最低只要 35 瓦，可直接安裝至既有電腦，或是企業內部負責儲存資料的 NAS（Network-Attached Storage，網路附加儲存裝置），進一步強化資料檢索的便利性，更有利於生成式 AI 發展。
劉景慈說明，Viper 生成式 AI 卡可支援最多 48GB 的記憶體空間，提供企業本地端做為向量資料庫（Vector Database）使用，並在單一張生成式 AI 卡上有效率地完成索取資料、檢索、增強及生成等任務，端對端的運作效率是 CPU 的 10 倍以上，無須擔心企業敏感資料外洩，或成為資安隱憂。
劉景慈強調，Viper 生成式 AI 卡內建 Raptor 生成式 AI 處理器，能夠大幅度卸載生成式 AI 工作負載對 CPU 的負擔，其中嵌入引擎（Embedding Engine）可強化流程中，向量相似度檢索的效率及精準度，一體達成檢索增強與生成等工作，更能從外部擷取新資訊並整合，節省大量重新訓練 AI 模型的時間與成本，更能根據企業應用需求進行微調。
（首圖為創鑫智慧執行長劉景慈，來源：創鑫智慧）
科技新報粉絲團
加入好友
訂閱免費電子報
