숨가쁜 속도로 AI(인공지능) 기술이 발전하고 이를 뒷받침하는 생태계도 빠르게 성장하고 있습니다. 이제 한 발 떨어져서 AI를 관찰, 분석하던 단계에서 대학의 핵심 역량으로 전환시키는 접근이 요구되는 시점입니다. AI 인프라는 대학에 필요한 어답티브 러닝 시스템, AI 조교 및 챗봇 같은 AI 서비스의 개발과 운영을 위해 우선적으로 갖춰야 할 환경입니다. 대학의 요구 사항이 잘 반영된 AI 인프라는 대학의 AI 서비스 개발과 운영 효율 그리고 성공적 활용을 보장하는 토대입니다.

오늘 포스팅에서는 대학의 성공적인 AI 인프라 구축에 필요한 기술 항목을 정리했습니다. 

AI 인프라 구성 요소

대학이 목표한 결과 달성을 지원할 수 있는 AI 인프라 구축에는 다양한 요소들이 포함됩니다. 데이터 관리 시스템을 시작으로 AI 플랫폼과 툴, 컴퓨팅 시스템 및 네트워크가 요구되고 이들 요소들을 구조적으로 통합하고 활용하기 위한 구축 전략과 방법론이 필요합니다. 하나씩 살펴보겠습니다.

▶ 데이터 저장 & 관리

AI 구현에는 안전성, 확장성, 그리고 중앙 집중화된 데이터 관리가 필수적입니다. 이를 위해 구조화된 데이터뿐만 아니라 비구조화된 데이터, 이미지 등 다양한 유형의 데이터를 신속하게 처리하고, 정제·변환·관리할 수 있는 체계적인 데이터 관리 체계가 필요합니다.

▶ 컴퓨팅 시스템 

AI 모델 생성, 학습과 추론에는 많은 컴퓨팅 자원이 투입됩니다. 온프레미스, 클라우드 및 두 방식을 섞은 하이브리드 모델이 가능합니다. 요즘은 시간과 비용에서 장점을 가진 클라우드 방식을 선호하는 대학이 많습니다. 

▶ AI플랫폼 & 툴

AI 서비스에 최적화된 AI 모델 개발(텐서플로우, 파이토치 등), 모델 훈련(MLflow, W&B), 배포(도커, 쿠버네티스), 모니터링 및 관리 기능을 제공하는 요소들로 수준 높은 AI 서비스를 구현하는 핵심입니다.

▶ 네트워크

AI 서비스 개발과 운영 과정에는 대량의 데이터 트래픽이 발생하기 때문에 이를 위한 고대역폭의 네트워크 능력이 요구됩니다.

▶ 보안

AI가 이용할 민감 데이터를 보호하고 개인정보보호법 등 규정 준수를 위해 접근 제어, 암호화 같은 강력한 보안 체계를 필요로 합니다.

데이터 저장 & 관리
 

데이터는 AI 서비스 수준을 결정하는 지표입니다. 따라서 관련성 높은 양질의 데이터가 많을수록 AI 모델의 성능도 좋아집니다. 체계적 데이터 관리가 필요한 이유입니다.

• - 데이터 관리 
• AI 데이터의 저장 및 관리 방식을 의미합니다. 최근에는 원본 데이터를 데이터 레이크에 저장하고, 특정 AI 서비스에 활용할 데이터를 정제·처리하여 데이터 웨어하우스에서 관리하는 하이브리드 방식을 택하는 대학이 늘고 있습니다.
   
• - 데이터 저장
• 데이터 저장 방식으로는 확장성과 경제성이 뛰어난 클라우드 스토리지, 높은 데이터 통제력을 제공하는 온프레미스, 그리고 두 방식을 결합한 하이브리드 모델을 활용할 수 있습니다. 
   
• - 데이터 관리 툴
• AI 데이터 관리를 위해 오라클 같은 DBMS, 하둡 및 스파크 등의 빅데이터 처리 프레임워크, ETL 등 데이터 통합 툴 및 데이터  에셋 발견, 분류와 기록을 위한 데이터 카달로그 툴이 필요합니다.
   
• - 데이터 거버넌스 & 보안 
• AI 데이터의 소유권, 품질, 접근 권한 및 개인정보 보호와 관련된 명확한 정책이 수립되어야 합니다. 또한, 이를 실행하기 위한 접근 제어, 암호화, 데이터 마스킹, 정기 감사, 그리고 규정 준수 방안이 마련되어야 합니다. 
   
• - 데이터 라이프 사이클
• AI 데이터 입력, 저장, 처리, 분석과 학습, 모델 배포 및 아카이빙 그리고 삭제로 이어지는 데이터 라이프 사이클 정의와 운영 프로세스 수립이 필요합니다.

컴퓨팅 시스템
 

AI 서비스 개발과 운영에는 많은 컴퓨팅 자원이 필요하며, 높은 비용 구조와 전문적 관리 역량이 요구됩니다. 따라서, 비용, 인력, 기술적 역량 등을 종합적으로 고려한 AI 인프라용 컴퓨팅 체계 기획이 필수적입니다.

• - 컴퓨팅 자원
• 가장 기본적인 자원인 CPU를 포함해  GPU, TPU와 특정 AI 서비스에 맞춘 커스텀 하드웨 개발에 이용되는 FPGA 등이 필요할 수 있습니다. 
   
• - 컴퓨팅 방식
• 확장성과 경제성이 높은 클라우드, 대학 자체적으로 관리 및 통제 가능한 온프레미스 빙식 및 둘을 합친 하이브리드를  선택할 수 있습니다. 
   
• - 고려 사항
• 대학에 가장 적합한 컴퓨팅 체계를 선정하기 위해 AI를 적용할 업무의 요건, 비용 구조, 확장성 및 관련 인력 현황 그리고 유지보수 방식 등을 고려해야 합니다.

AI 플랫폼 & 툴
 

AI 플랫폼은 AI 모델 구축, 학습, 배포에 필요한 모든 구성 요소를 통합적으로 제공하는 솔루션이며, AI 툴은 AI 워크플로 내에서 특정 작업을 수행하는 전문화된 도구로 정의할 수 있습니다. 대학은 목표하는 AI 서비스 모델과 특성에 맞춰 적절한 플랫폼과 툴을 선택할 수 있습니다.

• - AI 플랫폼
• AI 플랫폼은 5가지 기능 - AI 모델 개발(텐서플로우 등), 데이터 준비, 모델 훈련(MLflow 등), 배포, 모니터링 & 관리 -을 제공합니다.
   
• - AI 툴
• 필요한 AI 툴에는 개발 언어(파이썬 등), 머신러닝 프레임워크(텐서플로우 등), 데이터 사이언스 라이브러리(넘피 등), 딥러닝 라이브러리(케라스 등) 및 기계 학습 라이프사이클을 관리하는 MLflow 등을 포함됩니다.

• - 고려 사항
• 최적의 AI 플랫폼과 툴 선정하기 위해 대학이 고려할 사항은 다음과 같습니다.
  AI 프로젝트 요건  |  사용 편리성  |  예상 비용  |  확장성  |  대외 시스템 통합   |  커뮤니티 및 지원

네트워크 
 

AI 개발 작업은 네트워크 의존도가 매우 높으며, 특히 대규모 데이터셋과 분산 처리가 필요한 작업에서는 더욱 중요합니다. 네트워크는 컴퓨팅 시스템과 AI 플랫폼의 성능을 극대화하기 위한 필수적인 기반 인프라입니다.

• - 주요 기능
• 잘 구성된 네트워크는 AI 모델 학습 과정에서 생기는 데이터 전송(스토리지 <-> 컴퓨팅 시스템 <-> AI 워크플로우), 멀티플 GPU와 서버를 이용한 분산 학습 그리고 대량의 트래픽이 발생하는 AI 모델 배포 작업의 안정적 처리를 보장합니다. 
   
• - 주요 기술
• AI 서비스 개발을 위한 네트워크 환경에 이더넷, HPC와 AI 클러스트에 사용되는 인피니밴드, 네트워크 성능 최적화를 위한 SDN, 최적의 메모리 활용을 위한 RDMA 기술 등을 연계해서 활용하는 경우가 늘고 있습니다.
   
• - 고려 사항
• AI 개발과 운영 효율을 높여줄 수 있는 네트워크 인프라를 위해 네트워크 대역폭 확보, 지연 시간 최소화 대책, 최적의 데이터 흐름과 성능 보장을 위한 네트워크 토폴로지 설계, 네트워크 혼잡 제어 대책 그리고 확장성이 검토돼야 합니다. 물론 보안은 두 말하면 잔소리입니다.

보안 
 

AI 서비스 개발과 운영에서 보안은 절대 타협할 수 없는 요소입니다. 특히 대학에서는 학생과 교직원의 민감한 데이터 및 기밀 연구 데이터를 보호해야 하기 때문에, AI 서비스 기획 단계부터 철저한 보안 전략 및 체계적인 계획 수립이 필수적입니다.

• - AI 보안 위험
• AI학습 데이터에 악성 코드를 숨겨 놓는 데이터 포이즈닝, 학습 데이터나 모델을 조작하는 모델 인버전 공격과 입력 데이터를 왜곡하는 애브버세리얼 공격 등이 AI 확산과 함께 증가하기 때문에 보안체계도 이에 맞게 진화해야 됩니다.
   
• - 주요 기술
• AI 데이터 보안에는 암호화, 접근 제어, 데이터 검증과 민감 정보 제거 기술을 적용하고, AI 모델에는 애드버세리얼 공격에 대비한 모델 하드닝, AI모델 무결성 점검, 모델 버전 관리 및 주기적 감사 기술을 이용할 수 있습니다. 또한 AI 서비스에는 입력 검증, 사용자/권한 인증 및 보안 테스트 실행 등을 추천합니다. 최근에는 AI 기술을 이용한 침입 탐지, 악성코드 탐지, 비정상 행위 및 취약성 스캐닝 보안 기법도 많이 활용하고 있습니다.
   
• - 고려 사항
• 검증된 보안 기술은 안전한 AI 서비스 개발과 운영을 보장합니다. 하지만 기술만으로는 완벽한 보안을 담보할 수 없습니다. 기술 도입과 더불어 데이터 수집과 저장, 사용, 삭제 관련 기준과 프로세스(즉, 라이프 사이클)를 정의하고 대학 내부의 데이터 사일로 통합 및 관리 체계도 고려되어야 합니다. 그리고 마지막으로 데이터를 다루는 인원 대상의 보안 교육이 주기적으로 이뤄져야 합니다.  

AI 인프라 구축은 대학의 지속 가능성을 확보하기 위한 전략적 투자로 해석되어야 합니다. 완성도 높은 AI 서비스의 개발과 운영을 지원하기 위해서는 데이터 저장 및 관리, 컴퓨팅 체계, AI 플랫폼 및 툴, 네트워크, 보안의 다섯 가지 핵심 요소를 면밀히 검토해야 합니다.

지속 가능한 AI 인프라는 기술만으로 완성되지 않습니다. 기술뿐만 아니라 명확한 데이터 관리 정책과 프로세스(데이터 라이프사이클) 정의, 그리고 관련 인력을 위한 교육과 훈련 프로그램이 함께 마련되어야 합니다.

대학 내 AI 인프라 구축에 관심이 있으시다면, 메타넷디엘과 상담하세요!