Taiwan AI Labs, Synology로 확장 가능하고 안전한 AI 데이터 관리 인프라 구축

데이터는 AI의 기초로, 각 개발 단계에서 신중한 계획과 관리가 필요합니다. 초기 준비 단계부터 Taiwan AI Labs는 여러 페타바이트의 원시 데이터를 저장해야 했고 이러한 데이터 볼륨은 시간이 지남에 따라 계속 증가하여 확장 가능한 시스템이 필요하게 됩니다. 애플리케이션에 따라 사용되는 데이터는 민감하거나 기밀일 수 있으며, 엄격한 암호화와 법적 준수를 요구했습니다.

대규모 병렬 컴퓨팅 부하는 모델 트레이닝 단계에서 모든 I/O 병목 현상을 드러내는 걱정뿐만 아니라, 트레이닝 성능을 극대화하려면 고속 네트워킹과 일관되고 지속적인 스토리지 처리량을 갖춘 잘 계획된 시스템이 필요했습니다.

마지막으로, 배포 단계에서는 서비스가 고가용성과 지속적인 데이터 보안 요구 사항과 같은 최종 제품 요구 사항을 충족할 수 있을 만큼 유연해야 합니다. 이러한 과제를 해결하기 위해 Taiwan AI Labs는 Synology의 포괄적인 데이터 관리 및 보호 솔루션 포트폴리오를 활용하여 AI 중심 인프라의 견고한 기반을 구축했습니다.

"Taiwan AI Labs의 많은 새로운 프로젝트는 이전에 작업했던 것보다 훨씬 더 많은 양의 데이터를 포함하고 있습니다."라고 Taiwan AI Labs의 팀은 강조했습니다. Taiwan AI Labs는 용량, 신뢰성, 데이터 보안 및 성능을 균형 있게 유지하기 위해 Synology 스토리지 시스템, 특히 올플래시 유닛을 기반으로 한 로컬 오브젝트 스토리지 웨어하우스를 설계했습니다. 

"AI 훈련의 병목 현상은 종종 스토리지와 컴퓨팅 시스템 간의 I/O에서 발생하며, 전통적인 하드 드라이브는 이러한 요구를 따라잡을 수 없습니다."라고 덧붙였습니다. Taiwan AI Labs는 신중한 평가 후, 고 I/O AI 훈련 프로젝트를 가속화하기 위해 여러 Synology FlashStation을 전략적으로 도입했습니다.

Kubernetes (K8s)는 자동 배포, 확장 및 컨테이너화된 애플리케이션 관리 기능으로 널리 채택되고 있습니다. Taiwan AI Labs의 환경은 K8s를 광범위하게 사용하며, 여러 프로토콜(iSCSI, NFS, SMB)을 통해 Synology CSI 드라이버를 통해 직접 스토리지 시스템을 관리할 수 있습니다.

Taiwan AI Labs는 "우리의 목표는 단일 장애 지점을 제거하는 것이었습니다."라고 도입에 대해 덧붙였습니다. 추가 평가 후, Taiwan AI Labs는 Synology 장치를 쌍으로 만들어 Synology High Availability 클러스터를 생성하여 물리적 중단이 몇 분 내에 자동으로 복구될 수 있도록 결정했습니다.

이러한 스토리지 클러스터는 K8s 배포와의 직접 통합 덕분에 관리에 필요한 시간을 최소화하면서 서비스 중단의 위험을 줄입니다.

Taiwan AI Labs는 검증된 3-2-1 백업 전략을 따랐습니다. 모든 데이터는 내장된 Snapshot Replication 기능을 사용하여 다른 백업 스토리지 클러스터로 복제됩니다. "Snapshot Replication의 증분 백업은 필요한 스토리지를 줄여주어 장기 백업을 보존할 수 있는 능력을 보장합니다."라고 팀은 그들의 백업 설정에 대해 언급했습니다. 

또한, Taiwan AI Labs는 중요한 데이터를 Synology C2 Storage에 저장하여 오프사이트 백업 요구 사항을 완료합니다. "Synology C2는 모든 데이터가 최대한의 프라이버시를 위해 클라이언트 측에서 암호화되도록 보장합니다."라고 팀은 덧붙였습니다.

신뢰할 수 있는 Synology 시스템을 기반으로 구축된 추가 데이터 보호 전략은 모든 데이터가 훈련 또는 생산 환경에서 사용되든 여러 형태의 데이터 손실에 대해 안전하고 탄력적임을 보장합니다.