Taiwan AI Labs 成功以 Synology 堅實的儲存架構,打造 AI 創新應用給國際使用


PB 級

AI 訓練資料

3-2-1 架構

完整守護資料安全

SHA

杜絕服務中斷

感謝 Synology 協助,讓我們從容面對儲存需求的挑戰。

Taiwan AI Labs 人工智慧高速運算團隊

AI Labs 打造多種人工智慧應用,並積極推動台灣 AI 產業鏈

AI Lab 合照
 
「臺灣在 AI 資料治理工具與技術創新,協助 AI 產業建立國際指標解決方案。」台灣人工智慧實驗室(Taiwan AI Labs) 於 2017 年成立,為亞洲第一個開放人工智慧研究組織,鼓勵以開放演算法、原始碼與聯合學習發展國際可信任的研發成果;AI Labs 整合台灣人才、半導體產業鏈優勢、和累積的龐大綜合健康醫療資料,推動智慧醫療健康、智慧城市(元宇宙)、人機介面等領域的人工智慧發展。
 
台灣人工智慧實驗室研發成果豐碩,特別是在 COVID-19 期間與政府密切合作科技防疫─包括開發「胸腔 X 光自動檢測系統」,在感染初期發現病灶提早示警,協助醫療單位以 AI 進行病毒株分析;廣為國人所知的「台灣社交距離 App」也是 AI Labs 和疾管署、行政院資安處合作開發,目前已累積超過千萬人次下載。 
 
AI Labs 更積極推動台灣 AI 產業鏈成形,聯手政府部會和產業推動「聯合學習平台」,用共享模型取代共享資料,打破產業間因為資料隱私等限制無法共享資料的壁壘。此外 AI Labs 在智慧城市、人機介面領域也有不凡的成績,包含智慧觀光元宇宙、AI 音樂藝術生成及認知戰、新聞操作等研究,在國內皆有實績落地,在國際間更是興起熱烈討論,並屢獲權威期刊認證及刊登。 
 
台灣人工智慧實驗室的研究持續走在世界前沿,期望集結 AI 國家隊,整合人才、資源、產業鏈,建立台灣聯合學習產業大聯盟,從公有雲與私有雲聯邦式解決方案,推廣到全世界。
 

AI 開發流程複雜,各階段皆須面臨嚴峻 IT 資料管理挑戰

資料是 AI 的基礎,AI 開發的流程中充斥著各種 IT 資料管理挑戰,每個階段儲存架構的目標不同,需要有強大的 IT 團隊和穩固的基礎建設支持。從 AI 的開發流程來看,自一開始資料準備階段就必須建立資料倉儲,滿足 PB 等級的巨量資料儲存需求,由於資料量會隨時間或專案數量持續增加,更考驗儲存系統的擴充彈性。
 
此外,依據專案性質還可能會面臨機敏資料儲存必須落地、安全性等合規條件。其次,在開始訓練模型的階段,由於大規模平行的運算, I/O 的瓶頸會轉移至從儲存設備載入資料到運算單元的過程,儲存設備必須能應付密集 I/O 需求,且持續穩定地提供服務;最後,在訓練完成後的服務部署階段,必須要能夠彈性地針對專案需求部署服務,且提供高可用的服務給客戶,同時全程確保資料的安全性。
 
面對複雜且多樣化的儲存需求與挑戰,AI Labs IT 團隊針對不同流程中儲存目標選配 Synology 多元產品,建構 AI-centered 的聯邦式資料儲存基礎架構。

AI Labs 以 Synology 打造 PB 等級水平擴充資料倉儲,儲存巨量原始資料

AI Labs 表示:「我們有些專案的資料量非常非常大,與過去完全是不同量級。」考慮到儲存系統的擴充性、穩定性、與機敏資料落地的合規需求,AI Labs 決定以本地的物件式儲存 (object storage) 作為資料倉儲的首選。 AI Labs 將多台 Synology 機架式 xs+ 系列儲存伺服器透過開源解決方案建成物件儲存叢集,提供高度可水平擴充 (scale-out) 的儲存系統,打造未來滿足數 PB 規模的資料倉儲。同時為避免人為操作失誤造成的資料遺失,透過資料複寫至另外一個儲存叢集加以保護資料。

FlashStation 提供穩定 I/O,支持 AI 模型訓練密集讀寫需求

「AI 訓練上面的 bottleneck 常發生在 I/O,傳統的硬碟架構沒有辦法負荷如此密集的 I/O。」為滿足 AI 模型訓練的高強度 I/O,AI Labs 曾諮詢過市面上許多全快閃儲存設備廠商。最後在綜合評估效能、品牌、穩定度、性價比等考量下,選用 Synology FlashStation 作為訓練 AI 模型的儲存設備。

Synology 現代化儲存適用 Kubernetes 生產環境,並透過 HA 杜絕儲存設備的單點故障

Kubernetes (K8s) 因為其開源、自動部署、擴充、管理容器化應用程式的特性,廣受使用者歡迎。AI Labs 在此便捷、穩固的基礎上,開發各式應用,服務海內外的所有使用者。針對 K8s 環境中儲存需求,AI Labs 也選購 Synology 儲存伺服器,在不同的應用情境,靈活搭配 Synology的 iSCSI / NFS / Synology-CSI 各種方案,提供穩定、高效的儲存服務。 

「為了避免儲存設備的單點故障。我們曾看過不少軟體、硬體的儲存方案」。最後在管理複雜度、系統穩定、成本、效能,又必須兼容 Kubernetes 的考量下,AI Labs 採用了多點同型號儲存伺服器組成 Synology High Availability (SHA) 高可用性叢集,不僅杜絕單點故障造成服務中斷的可能,還可同時顧及 Kubernetes,提供客戶穩定的服務體驗。

本機、異機、與異地完整資料保護計畫,確保備份 3-2-1 架構

為進一步確保資料及服務的安全性,AI Labs 也透過 Synology 資料保護解決方案打造完整的 3-2-1 架構,以一台 SA 系列高可擴充儲存伺服器作為主要備份伺服器。透過內建的 Snapshot Replication 快照複寫功能備份至 儲存伺服器上,即使發生像是誤刪資料庫的意外,也可以快速復原。「Synology SA 系列具備高度可擴充性,可依照未來備份資料的成長再按需擴充,而 Snapshot Replication 的增量備份模式,大大降低了備份資料的增長速度,確保友善的長期儲存成本和擴充性。 」
 
此外,AI Labs 規劃以 Synology C2 Storage 作為異地備份方案之一,以完善備份 3-2-1 的架構。「Synology C2 擁有極佳的隱私保護,所有資料均為密文型態,可保障資料安全無虞。其優異的性價比、又有台灣據點可用。不僅大幅縮短備份時間,也同時符合我們對於隱私的高標準需求。」
 
「Synology 儲存設備各方面都能滿足 AI Labs 需求──提供穩定的服務、極佳的性價比、且許多管理功能都已經整合在 Web GUI,IT 管理相當直覺,可以節省團隊不少管理成本。」AI Labs 補充,「不論地端地端設備、異地備份,Synology 向來是我們儲存設備的重要夥伴。」
 

關於客戶

台灣人工智慧實驗室的使命,是整合人工智慧專業知識,和來自世界各地學術界以及公共和私營部門的資源,在台灣推進人工智慧,面向全世界。

資訊科技
100-999
台灣

開始探索

諮詢我們的專家以取得線上示範、產品推薦與部署建議。

合作夥伴

相關解決方案

更多案例

瑞士醫生公會首選 Synology MailPlus 私有雲郵件平台滿足安全性需求,搭配高可用服務確保營運不中斷

意傳科技看中 Synology C2 Transfer 高安全、易管理的資料傳輸服務,成功達成 ISO27001 認證

杰鑫國際物流借力 Synology Active Backup 打造災害復原流程,更取得政府資安補助計畫