今年初開放工程聯盟（MLCommons）的 MLPerf AI 推論（inference）效能基準測試中，有一間台灣公司端出了世界第一個專為資料中心推薦模型（Recommendation Model）設計的 AI 晶片 RecAccel N3000 的測試數據，並在伺服器領域的能源效率（energy efficiency）打敗輝達（NVIDIA），成為世界第一能效的 AI 加速平台－它就是 IC 設計新秀「創鑫智慧」。
響應半導體射月計畫成立創鑫智慧
說起自 2019 年成立的創鑫智慧，技術長高肇陽分享，創鑫智慧成立的契機，要把時間軸拉回 2018 年科技部長陳良基推動的半導體射月計畫來說。那時候還在清華大學資工系任教的教授林永隆響應計畫，號召幾位已經有工作經驗的工程師一起來執行計畫，而這個計畫與其他計畫的不同之處，在於計畫需要與產業連接，也就是一開始就要設定產學界合作的實際方向。
他口中的林永隆正是創意電子的共同創辦人之一。事實上，創鑫智慧是林永隆退休後的第二次創業，高肇陽指出，最初團隊是跟矽谷一家做語音 IC 的大廠合作，共同開發第一顆可以做序列式資料（sequence data）的 AI 處理晶片，可以廣泛用在邊緣裝置（Edge Device）的終端產品，像是有麥克風的地方就可以應用這類的產品。
創鑫智慧提供一個 IP 整進對方的晶片，現在這顆晶片很成功，已經在量產。高肇陽指出，到了 2019 年，創鑫智慧就正式從清華大學分拆出來，並獲得投資人的支持，因此開始思考下一輪產品研發方向，鎖定的就是 AI 邊緣裝置的終端產品，會選擇資料中心（data center）專用的 AI 晶片，主要就是因為台灣產業在這方面的著墨較少，目標要切入一個適合新創發揮的新舞台。
資料中心 AI 推論 60% 工作量在推薦系統
鎖定資料中心的 AI 晶片後，高肇陽說明，團隊開始收集適合的資料，發現 Google 就曾說資料中心每日的 AI 推論的計算，超過 60% 是在做深度學習（DLRM）的推薦系統，而 Facebook 母公司 Meta 公布的資料顯示，資料中心每日 AI 的工作量有 70% 以上是推薦系統。
高肇陽分享，從使用者的角度，其實可以深刻感受到這件事，因為當使用者在滑手機 App 時，頁面就會一直出現新聞、廣告、音樂、購物的推播，這些背後全部都是推薦系統。若從 Google 的使用經驗來看，當使用者輸入關鍵字，每個人看到的頁面顯示結果都不太一樣，所以可以想像推薦系統的應用很廣，代表整個資料中心提供的主要服務就是推薦系統，因此鎖定推薦系統用的專用 AI 晶片。
最重要的是， Facebook 在 2019 年曾在開放運算計畫（Open Compute Project）公開徵求推薦系統的專用晶片，高肇陽指出，創鑫智慧因此看到市場的趨勢所在，所以決定從邊緣運算端切換到資料中心。
創鑫智慧專攻推薦系統做到世界第一
選定公司接下來發展的主軸後，創鑫智慧用短短四年就成功打造出 AI 晶片。創鑫智慧的這顆 AI 晶片的效能是 2.44 倍，內含 16 萬個乘加器（MAC）及 150MB 記憶體，只需要 20Watt，每秒便可進行 2,000 萬次 DLRM 推論，為全球唯一可達到每秒單一推論能耗 1 微焦耳，具備運算速度快、高效能、高省電的特點，並在 2022 年宣布投產台積電 7 奈米製程。當時， 7 奈米一片晶圓代工價格就超過 40 萬元，一家大眾都不熟悉的新創公司竟然有能力採用 7 奈米製程，令業界刮目相看。
針對創鑫智慧這顆在省電「高能效」拚出世界第一的 AI 晶片關鍵技術所在，高肇陽分享，輝達生產的是圖形處理器（GPU），可以做的事情很多很廣，但是創鑫智慧做的是特定應用積體電路（ASIC），專門針對推薦系統的軟體、硬體、架構、資料流、精準度等應用，特地優化設計出來的晶片和系統，而系統就包括軟體、PCB 加速板、晶片一整套為深度學習量身定做的推薦系統。
外界或許會好奇，創鑫智慧的致勝策略究竟是什麼？答案是「鎖定一個特定的目標，把問題的範圍縮小」。高肇陽強調，其實最初並沒有想著要全面性打敗輝達的效能，反之，他們一開始就是鎖定單點突破，因為 MLPerf 的評測就像是 AI 加速運算的奧運會，裡面有很多不同類別的比賽，而輝達的 GPU 是十項全能的運動高手，每一項比賽都可以參與到完賽，但是創鑫智慧的 AI 晶片就是鎖定深度學習推薦系統的單項做到最好。
而這家選擇做自己最擅長領域、縮小打擊範圍，並做到最好的新創公司，面對著市場快速的變化，它也已經在規畫下一代的產品，目標就是可以支援更多樣的運算，然後更新種類的推薦系統，以及更好的效能功耗比，並確定仍會持續往推薦系統這條路來走。除了產品的推陳出新，創鑫智慧還有另一項重要的目標，那就是期望兩年內員工規模可以擴大到 100 人，真正地走向世界舞台與國際大廠競爭。
（首圖來源：創鑫智慧）
科技新報粉絲團
加入好友
訂閱免費電子報
