마이크로소프트는 자사의 Azure(애저) 클라우드에서 오픈AI의 인공지능 모델*을 독점 공급하고 있습니다. 기업이나 개발자는 MS Azure 플랫폼의 'Azure 오픈AI'를 이용해 자신의 애플리케이션에 AI 기능을 통합할 수 있습니다. 

* GPT3.5/GPT4, GPT3.5/GPT4 TURBO, GPT4o, DALL-E 3, Whisper 등

오늘 포스팅에서는 메타넷티플랫폼이 고객사에 직접 Azure 오픈AI를 구축한 사례를 소개하고, Azure 오픈AI로 기업이 얻을 수 있는 이점에 대해 알아보겠습니다.

Azure 오픈AI란?

'Azure 오픈AI'는 마이크로소프트가 제공하는 Azure AI 서비스 중 하나로, OpenAI의 강력한 인공지능 모델들을 Azure 플랫폼을 통해 활용할 수 있도록 지원합니다. 

사용자는 Azure 오픈AI를 통해 오픈AI의 최신 언어 모델에 접근할 수 있습니다. 이를 통해 자연어 처리, 번역, 텍스트 생성, 코드 작성 등 다양한 작업을 자동화하고 향상시킬 수 있습니다. 또한 Azure의 클라우드 컴퓨팅 인프라와 통합되어 있어 확장성, 보안, 데이터 관리 기능을 제공합니다. 이를 통해 사용자는 AI 모델을 안정적이고 안전하게 운영할 수 있습니다.

구축사례 1. 글로벌 시장에서 활약하는 국내 대표 전자기업

[요구사항]

1. 사설 망 네트워크를 사용한 Azure 오픈AI 외부단절

2. 무 중단 서비스를 위한 지역별 밸런싱이 필요함.

3. 관리는 지정된 사용자만 접근하여 시스템 설정

4. 질의답변 기록은 남지 않아야 함.

[구축]

1. OA -> Azure DC ER 게이트웨이 -> API 관리 서비스 호출

2. API Management Smart Balancing 지역 Azure Open AI 요청 (캐나다 동부 OpenAI / 프랑스 중앙 OpenAI / 서유럽 OpenAI)

3. 관리자는 Bastion에 접속하여 API 관리 정책을 변경함

4. API 관리 로그 진단 수행

5. 운영자는 Azure AD 관리를 통해 사용자 등록/수정/삭제/조회

6. 운영자는 시스템 대시보드 화면을 통해 모니터링 수행

7. 운영자는 Application Insight로 런타임 오류/트래픽의 세부정보를 확인 가능

8. 운영자는 Network Watcher를 사용해 네트워크 연결 정보를 확인

[구축 후 이점]

1. 데이터 관점: 공용망에서 오픈AI를 사용하게 되면 데이터 보안에 취약해지는 부분을 보안하기 위하여 프라이빗 망으로 외부의 접근을 원천 차단

2. R&D 효율성: Azure 오픈AI를 사용하여 연구 개발의 문제해결 시간을 단축하고, 개발과정의 신기술의 신속한 대응.

3. 비즈니스 프로세스: 반복적이고 시간이 많이 소요되는 업무를 Azure 오픈AI로 자동화하여 빠르고 효율적인 프로세스 수행, 비용 감소

구축사례 2. 1만개 이상의 편의점 점포를 운영하는 대형 유통사

[요구사항]

1. Azure 네이티브 서비스와 Azure 오픈AI를 혼합한 구성으로, 기존 Q&A 데이터셋이 탑재된 질의응답 봇 구현

2. 오픈AI 엔드포인트를 통한 지리적 근접성 확보 및 전용 네트워크 연결을 통한 데이터 전송 지연 최소화

3. 내부 데이터 유출 방지를 위한 데이터 암호화, 접근 제어, 실시간 모니터링의 보안 강화

[구축]

1. 온프레미스 -> Azure VPN 게이트웨이 연결

2. 웹 앱 범위와 AI 서비스 범위에 대한 VNet 통합 필요성

3. 네이티브 서비스 리소스와 각 Azure 오픈AI는 프라이빗 엔드포인트를 사용하여 전용 네트워크 액세스를 허용함

4. Azure 네이티브 서비스 VNet은 NSG를 통해 인바운드 및 아웃바운드 설정이 가능

5. CosmosDB, Blob Storage, AI 서비스 내의 AI Document Intelligence에서 가져온 콘텐츠들은 Azure Cognitive Search에 업로드될 수 있음.

6. Azure Cognitive Search의 검색 결과는 궁극적으로 다양한 Azure OpenAI에서 Q&A 등의 다양한 결과를 호출하는 데 사용됨. 

[구축 후 이점]

1. 데이터관점

① 프롬프트 엔지니어링을 중심으로 사용자의 자연어 쿼리를 분석하여 적절한 상품을 추천해주는 지능형 AI 챗봇 구현

② Q&A 데이터셋을 근거로 한 자연스럽고 새로운 답변을 생성하여 유저에게 정확한 정보 제공

2. 전용 네트워크 연결 구성의 효율성

각 지역의 오픈AI 엔드포인트와 전용 네트워크를 통한 데이터 전송 지연 최소화 및 내부 통신 효율성 극대화

3. 비즈니스 프로세스:

① 안정적이고 빠른 데이터 전송으로 운영 효율성이 향상되며, 강화된 데이터 보안으로 규정 준수 및 데이터 무결성을 보장하여 고객 신뢰도 향상

② 접근할 수 있는 문서, 정보 등의 차이를 고려하여 사용자별 권한에 따른 답변을 세분화해 보안 요건 충족

Azure 오픈AI의 개선점들

현 시점에서 Azure 오픈AI가 개선이 필요한 부분, 또 개선 중인 부분들이 있습니다.

1. 데이터의 정확성: 데이터의 정확성은 AI 서비스에서 가장 중요한 부분입니다. AI가 학습하는 과정이 계속 진행 중이기에, 점점 정교하고 정확한 데이터가 제안될 것으로 기대됩니다. 

2. 응답 속도: 수요가 많은 반면, 공급이 부족한 상태이기 때문에 사용자가 응답 속도에 만족하지 못하는 경우가 생길 수 있습니다. 시스템 성능이 계속해서 발전 중이기에 향후 응답속도가 점차 향상될 것으로 기대됩니다.

3. 지역별 가용성 제한: 지역마다 가용성 제한 및 배포된 모델이 달라, 특정 모델 사용을 위해서는 지역을 변경해야 하는 불편이 있을 수 있습니다. 현재 계속적으로 제한 지역에 신(新) 모델을 배포 중입니다.

4. 가격정책: 종량제가 시행 중이고, 정액제는 존재하지 않기 때문에 비용에 대한 예측이 어려울 수 있습니다. 고용량의 작업 시 비용이 상당히 급증할 수 있다는 점을 유념할 필요가 있습니다. 향후 정액제 과금 방식의 도입이 필요합니다.

5. API 버전 관리: API 버전 업데이트 주기가 짧습니다. 다만 안정화 단계가 높아질수록 업데이트 주기도 점점 최적화될 것으로 생각됩니다.

고객사들은 AI 기술을 도입하여 여러 분야에서 비용·인력에 대한 정량·정성적 만족을 얻고자 합니다. 이에 부응하기 위해서는, 고객 인터뷰시 현재 시스템의 문제점을 정확히 파악하고 분석·설계를 진행해야 합니다. 설계의 과정이 부족할 경우, 만족할만한 성능이나 부가적 비용이 발생할 수 있습니다. 메타넷티플랫폼은 고객의 요구사항에 맞춘 Azure 오픈AI 도입을 지원하고 있습니다.

Azure 오픈 AI 활용을 고민하고 계신다면, 메타넷티플랫폼과 상담하세요!

<작성: 메타넷티플랫폼 Public Cloud Unit / DevOps 1 Team>