VMware, Nvidia 엔터프라이즈 팀

Jul 31, 2023

마리아 코롤로프

기고가, Network World |

오늘날 생성 AI를 배포하려는 기업은 큰 문제에 직면해 있습니다. OpenAI와 같은 상용 플랫폼을 사용하는 경우 데이터를 클라우드로 보내야 하는데, 이는 규정 준수 요구 사항에 어긋나고 비용이 많이 듭니다. Llama 2와 같은 모델을 로컬에서 다운로드하여 실행하는 경우 모델을 미세 조정하는 방법, 실시간 데이터를 제공하기 위해 벡터 데이터베이스를 설정하는 방법, 운영화하는 방법에 대해 많이 알아야 합니다.

VMware와 Nvidia의 새로운 파트너십은 기업이 온프레미스, 코로케이션 시설 또는 프라이빗 클라우드에서 실행할 수 있는 완전히 통합되고 즉시 사용 가능한 생성 AI 플랫폼을 제공함으로써 이러한 문제를 해결하는 것을 목표로 합니다. 플랫폼에는 Llama 2 또는 기타 대규모 언어 모델 선택은 물론 LLM에 최신 회사 정보를 제공하는 벡터 데이터베이스가 포함됩니다.

Nvidia 기반 VMware Private AI Foundation이라는 제품은 Nvidia의 생성 AI 소프트웨어와 가속 컴퓨팅을 특징으로 하며 VMware Cloud Foundation을 기반으로 구축되고 AI에 최적화됩니다.

이와 같은 플랫폼의 필요성은 극적입니다. 이번 달 발표된 Lucidworks의 글로벌 생성 AI 벤치마크 연구에 따르면, AI 의사결정 프로세스에 관여하는 임원 및 관리자의 96%가 생성 AI 투자에 적극적으로 우선순위를 두고 있으며, 93%의 기업이 내년에 AI 지출을 늘릴 계획입니다.

그러나 위험 관리는 심각한 문제입니다. 최근 KPMG 설문조사에 참여한 CEO 중 77%가 불확실하고 진화하는 규제 환경이 생성적 AI 투자 결정에 큰 영향을 미친다고 밝혔습니다. KPMG는 지난 몇 달 동안 효과적인 위험 관리에 대한 우선순위가 전반적으로 높아졌으며 개인 데이터 및 개인 정보 보호에 대한 우려가 63%로 가장 높았고 사이버 보안이 62%로 그 뒤를 이었습니다.

온프레미스나 기타 기업이 통제하는 환경 내에서 대규모 언어 모델을 실행하면 이러한 문제를 상당 부분 완화할 수 있습니다.

AI 플랫폼, 분석 및 분석 분야의 수석 분석가인 Bradley Shimmin은 "로컬에서 모델을 실행할 수 있는 옵션이 있으면 공개적으로 호스팅된 모델을 사용하는 것이 금지되었던 기업에 많은 기회를 열어줄 수 있습니다. 심지어 가상 퍼블릭 클라우드에서 호스팅된 경우에도 마찬가지입니다."라고 말합니다. 연구 회사인 Omdia의 데이터 관리.

이는 금융과 같이 규제가 심한 부문이나 정부 사용 사례에 특히 중요하다고 그는 말합니다. 지역 LLM은 데이터 상주 문제도 해결할 수 있습니다.

"에어갭 시스템에서 완벽하게 실행할 수 있는 최첨단 모델을 보유할 수 있는 능력을 갖추는 것은 매우 매력적인 일입니다."라고 Shimmin은 말합니다. "모델을 데이터로 가져오는 것이 가장 중요합니다. 데이터 중력이 전체 산업을 주도하고 있습니다."

로컬에서 실행되는 모델도 무료이고 오픈 소스라면 기업은 OpenAI API 호출 비용을 지불할 필요가 없어 상당한 비용을 절약할 수 있습니다. IBM Consulting의 글로벌 AI 및 분석 리더인 Manish Goyal은 "지연 시간이 짧고, 비용이 저렴하며, 이에 대한 통제력이 더 높습니다."라고 말합니다.

VMware의 새로운 제품은 이러한 흐름을 따라갈 수 있는 위치에 있습니다.

그리고 이번 주 VMware Explore 2023 컨퍼런스에서 Nvidia와 VMware는 기업이 도구를 사용하여 무료 오픈 소스 LLM을 다운로드하고 이를 사용자 정의하며 VMware 환경에 프로덕션급 생성 AI를 배포하는 방법을 시연합니다.

캐치? VMware Private AI Foundation은 내년 초까지 제공되지 않습니다.

VMware의 vSphere 및 클라우드 플랫폼 제품 관리 부사장인 Paul Turner는 "우리는 기업들이 데이터를 퍼블릭 클라우드 서비스로 이동하는 대신 데이터에 더 많은 AI 워크로드를 가져올 것이라고 믿습니다."라고 말했습니다.

기업은 Meta의 Llama 2와 같은 모델을 가져와 데이터 옆의 데이터 센터에 모델을 배치하고 최적화 및 미세 조정하여 새로운 비즈니스 제품을 만들 수 있다고 그는 말합니다. "기업의 비즈니스 차별화를 구축하는 데 도움이 됩니다."