AI 추론 비용 60% 절감하는 스마트 라우팅 기술 고도화 추진
엔비디아 커넥트는 솔루션 제공업체와 서비스 기업에 엔비디아의 컴퓨팅 플랫폼, 소프트웨어, 기술 리소스에 대한 접근 권한을 제공하는 프로그램이다. 굿비전 AI는 이번 프로그램 합류를 통해 확보한 자원을 추론 성능 향상, AI 팩토리(AI Factory) 배포 속도 개선, 플랫폼의 핵심인 스마트 라우팅 엔진(Smart Routing Engine) 알고리즘 고도화 등 세 가지 분야에 집중적으로 활용할 계획이다.
굿비전 AI의 스마트 라우팅 엔진은 실시간으로 작동하는 시스템의 핵심이다. 이 엔진은 모든 추론 요청에 대해 필요한 모델, 데이터의 민감도, 비용 한도, 지연 시간 목표 등 네 가지 요소를 밀리초(ms) 단위로 평가한다. 이후 해당 요청을 가장 적합한 모델 버전과 컴퓨팅 자원으로 전송하는 역할을 한다.
회사 측에 따르면 스마트 라우팅 엔진 도입을 통해 기업들은 소형 모델로 처리할 수 있는 작업에 고비용의 프론티어 모델을 사용하는 낭비를 줄일 수 있다. 굿비전 AI의 자체 구축 사례에서 스마트 라우팅 엔진은 AI 추론 비용을 약 60% 절감하고, 네트워크 지연 시간을 약 50% 단축했으며, 관련 사업의 매출총이익률(gross margin)을 약 50% 개선하는 성과를 냈다.
데이비드 왕(David Wang) 굿비전 AI 최고경영자(CEO)는 "대부분의 기업이 실제 AI 작동에 필요한 것보다 훨씬 많은 컴퓨팅 비용을 지불하고 있다"며 "스마트 라우팅 엔진은 각 요청을 적절한 모델과 하드웨어로 보내 추론 비용을 약 60%, 지연 시간을 약 절반으로 줄인다"고 말했다. 이어 "엔비디아 커넥트의 일원이 됨으로써 이러한 수치를 더욱 개선할 수 있는 컴퓨팅 및 소프트웨어 기술에 더 가까워지게 됐다"고 덧붙였다.
한편, 칼리사 애퀴지션과 굿비전 AI는 현재 제안된 비즈니스 합병(기업결합) 절차를 진행 중이다. 칼리사 애퀴지션은 이번 합병 거래와 관련해 프록시 성명서 및 투자설명서가 포함된 S-4 등록서류를 SEC에 제출할 예정이다.
#칼리사애퀴지션 #ALIS #굿비전AI #엔비디아커넥트 #AI추론
※ 본 보고서는 AI가 생성한 참고 자료로, 번역 과정 및 기사 작성 과정에서 문맥상 오류가 포함될 수 있습니다.
투자 판단의 최종 책임은 투자자 본인에게 있으며, 본 자료를 투자 결정의 근거로 단독 활용하지 않도록 주의하시기 바랍니다.
데이터투자 공시팀 pr@datatooza.com
