AI 추론 비용 60% 절감하는 '스마트 라우팅' 기술 고도화 추진
엔비디아 커넥트는 참여 기업에 엔비디아의 컴퓨팅 플랫폼, 소프트웨어 및 기술 리소스에 대한 접근 권한을 제공하는 프로그램이다. 굿비전 AI는 이번 프로그램 합류를 통해 엔비디아의 GPU 플랫폼과 AI 소프트웨어에 조기 접근할 수 있게 됐다. 회사는 이를 활용해 AI 추론 성능을 고도화하고, 자사의 'AI 팩토리(AI Factory)' 배포 속도를 높이며, 플랫폼의 핵심인 스마트 라우팅 엔진(Smart Routing Engine)의 컴퓨팅 자원 할당 알고리즘을 개선할 계획이다.
굿비전 AI는 클라우드 서비스, 실시간 스마트 라우팅 엔진, 그리고 전 세계에 구축된 액침 냉각(immersion-cooled) 방식의 전용 AI 팩토리 네트워크 등 세 가지 요소를 유기적으로 연결해 대규모 AI 추론 서비스를 제공하고 있다. 이 중 스마트 라우팅 엔진은 이번 엔비디아 커넥트 협업의 핵심 초점이다. 이 엔진은 AI 추론 요청이 들어올 때마다 필요한 모델, 데이터의 민감도, 비용 상한선, 지연 시간 목표 등 네 가지 요소를 밀리초(ms) 단위로 평가해 최적의 모델 버전과 컴퓨팅 자원으로 요청을 경로 지정(라우팅)한다.
회사 측에 따르면 스마트 라우팅 엔진을 적용한 결과, 기업들이 고성능 프론티어 모델을 사용할 때 발생하는 비용을 크게 줄일 수 있는 것으로 나타났다. 굿비전 AI는 자체 배포 환경에서 스마트 라우팅 엔진을 통해 AI 추론 비용을 약 60% 절감하고, 네트워크 지연 시간을 약 50% 단축했으며, 관련 사업의 매출총이익률(gross margin)을 약 50% 개선했다고 설명했다.
데이비드 왕(David Wang) 굿비전 AI 최고경영자(CEO)는 "대부분의 기업이 실제 AI 작동에 필요한 것보다 훨씬 더 많은 컴퓨팅 비용을 지불하고 있다"며 "스마트 라우팅 엔진은 각 요청을 적절한 모델과 하드웨어로 전송해 비용과 지연 시간을 줄인다"고 말했다. 이어 "엔비디아 커넥트 참여를 통해 이러한 성능을 한 단계 더 발전시킬 수 있는 컴퓨팅 및 소프트웨어 기술에 더 가까워지게 됐다"고 덧붙였다.
한편, 굿비전 AI는 현재 칼리사 애퀴지션과의 기업결합을 통한 우회 상장을 추진하고 있다. 칼리사 애퀴지션은 이번 합병 거래와 관련해 프록시 성명서 및 투자설명서를 포함한 S-4 등록 서류를 SEC에 제출할 예정이다.
#칼리사애퀴지션 #ALIS #굿비전AI #엔비디아커넥트
※ 본 보고서는 AI가 생성한 참고 자료로, 번역 과정 및 기사 작성 과정에서 문맥상 오류가 포함될 수 있습니다.
투자 판단의 최종 책임은 투자자 본인에게 있으며, 본 자료를 투자 결정의 근거로 단독 활용하지 않도록 주의하시기 바랍니다.
데이터투자 공시팀 pr@datatooza.com
