프리즘ML이 자사 소형 언어 모델을 Qualcomm의 스냅드래곤 칩으로 구동되는 스마트 글래스로 옮겼다. AI 연구소 프리즘ML은 칼테크 연구진이 설립하고 UC 버클리의 Ion Stoica가 자문으로 참여하는 기업으로, 이번에 스냅드래곤 AR1 Gen 1 플랫폼 기반의 스마트 글래스에서 로컬 실행 가능한 1비트 Bonsai LLM 버전을 선보였다.
목요일 열리는 퀄컴의 스냅드래곤 서밋에서 해당 기술이 시연되었으며, 칩셋 제조사인 퀄컴은 20억 매개변수 규모의 프리즘ML 모델을 글래스에 탑재해 시각 정보와 언어를 실시간으로 처리하는 가능성을 보여줬다. 이 모델은 시각 정보와 언어 처리에 특화되도록 조정됐으며, 사용자는 착용 중 무엇을 보는지 즉시 묻고 답할 수 있다.
프리즘ML의 핵심은 더 큰 모델의 성능을 거의 그대로 유지하면서도 용량을 대폭 축소한다는 점이다. 이번 20억 매개변수 버전은 표준 벤치마크에서의 성능을 거의 유지하는 4배 축소를 달성했다는 설명이다. 프리즘ML은 이를 통해 장치 내부에서 작동하는 오픈 웨이트 AI의 비전을 제시한다는 목표를 강조한다. 이는 특정 기업의 프라이버시 주장에 기대는 대신, 사용 중인 디바이스의 계산 파워를 더 잘 활용하자는 취지다.
다만 이번 발표는 프리즘ML 모델이 실제로 이 스마트 글래스에 탑재되어 대중적으로 제공될지에 대해서는 아직 구체적인 발표가 없다고 전했다. 현시점에서 스마트 글래스에 프리즘ML 모델이 적용된 사례는 확인되지 않았다.
원문에 따르면 프리즘ML의 궁극적 목표는 디바이스에서 작동하는 오픈 웨이트 AI를 통해 이미 장비가 갖고 있는 계산 능력을 더 효율적으로 활용하는 것이다. 이 방향은 프라이버시를 중시하는 AI 연구소들의 독점적 계산 요구에 의존하지 않는 대안으로 제시된다.
출처: TechCrunch