AI 벤치마크의 신뢰성과 중립성을 높이려는 스타트업 Vals가 암시하는 새로운 표준이 주목받고 있다. TechCrunch가 보도한 바에 따르면, Vals는 2024년 설립 이래 빠르게 성장해 왔으며, 최근 Andreessen Horowitz의 시리즈 A 라운드에서 4천만 달러를 모금했다. 이 회사는 업계 표준 벤치마크가 최신 모델의 성능을 정확히 반영하지 못한다는 문제의식을 바탕으로, 특정 산업 분야의 실제 작업 능력을 평가하는 방식을 확대하고 있다.
Vals의 공동 창업자 라얀 크리슈난은 팔란티어에서 인턴을 거친 이력이 있으며 스탠퍼드대 재학 시절 마이크로소프트와 대학의 AI 연구소에서 근무했다. 그는 “학계의 벤치마크가 산업의 최전선을 따라가지 못한다”는 이유로 벤치마크의 발전 필요성을 강조한다. 벤치마크가 단순한 일반 상식이나 지식 여부를 넘어서, 법률, 금융, 코딩 등 특정 산업 과제의 복합적 작업 수행 능력을 측정해야 한다고 본다.
또한 크리슈난은 벨트라인을 넘어서는 평가를 제시한다. 공개된 시험 자료를 전면 비공개로 두고, 각 산업에서 모델이 실제로 어떤 업무를 얼마나 품질 있게 수행하는지에 집중해 모델의 긍정적 결과와 잠재적 부정적 영향도 함께 분석한다. 예를 들어 법률, 금융, 코딩 등에서의 업무 수행 능력뿐 아니라 세계에 미칠 부정적 시나리오를 검토하는 것이 목표다.
Vals는 현재 두 층 규모의 샌프란시스코 폴섬 스트리트 사무실에서 활동 중이며, 최근까지 시리즈 A를 통해 자금을 확대했다. 회사는 전통적 벤치마크의 한계를 보완하기 위해 산업별 구체적 테스트를 비공개로 운영하고, 재무적 측면에서도 역동적으로 성장하고 있다고 밝혔다. 2023년 이후 수익이 작년 대비 8배 증가했다는 점도 주목된다. 직원 수 역시 8명에서 25명으로 크게 늘었고, 향후 더 큰 사무실 이전과 추가 채용 계획도 제시했다.
크리슈난은 정부 기관을 대상으로 한 모델 평가 프로그램을 최근 시작했다고 밝히며, 벤치마크의 확산이 AI 기업의 성장과 공공 신뢰 형성에 중요한 역할을 할 것이라고 기대했다. 또한 AI 모델이 경제의 핵심 부분으로 확산하면서 벤치마크와 평가의 역할이 기업의 공시나 투자 계획에까지 영향을 미칠 가능성을 시사했다. 한편 벨리시마와 같은 기관이 모델의 평가를 통해 실무 능력과 위험 요인을 진단하는 과정은 앞으로 AI 채택과 규제 환경에서도 중요한 의사결정 도구가 될 전망이다.
출처: TechCrunch