LLM 뜨니 RAG 전문기업들 몰려온다...벡타라도 2500만달러 투자 유치

[사진: 벡타라 웹사이트 갈무리]
[사진: 벡타라 웹사이트 갈무리]

[디지털투데이 황치규 기자]기업들이 자사 애플리케이션들에서 검색 증강 생성(retrieval-augmented generation, RAG)를 보다 쉽게 구현할 수 있도록 지원하는 스타트업 벡타라(Vectara)가 2500만달러 규모 초기 단계 투자를 유치했다고 실리콘앵글이 16일(현지시간) 보도했다.

<!-- -->

AI 모델들은 훈련된 데이터셋에 있는 정보를 사용해 질문에 대답한다. RAG는 거대 언어 모델(LLM)들이 훈련 데이터셋 외부 데이터를 끌어와 활용할 수 있도록 지원한다.

애플리케이션에서 RAG 기능을 구현하는 것은 상당한 수작업 코딩을 필요로 했지만 벡테라는 이같은 작업을 쉽게 해주는 소프트웨어 플랫폼을 제공한다. RAG 구축에 필요한 코드 컴포넌트들을 미리 패키징된 포맷으로 제공한다는게 회사측 설명이다.

RAG 기반 AI 모델이 문서 데이터를 사용해 답을 생성하려면 먼저 데이터를, 이른바 임베딩(embeddings)으로 변환해야 한다. 임베딩은 신경망이 처리하는 정보를 표현하는 데 사용하는 수학적 구조다. 벡타라 플랫폼은 RAG 프로젝트를 위한 임베딩을 쉽게 생성할 수 있는 기능을 제공한다.

벡타라는 투자 유치와 함께 내부에서 개발한 거대 언어 모델(LLM) 모킹버드(Mockingbird)도 선보였다. 모킹버드는 RAG에 최적화된 LLM으로 버트-F1 벤치마크에서 GPT-4, 구글 제미나이 1.5 프로를 앞섰다고 회사측은 강조했다. 버트-F1은 RAG 모델이 외부 소스를 외부 소스 데이터를 얼마나 신속하게 응답으로 전환하는지 평가하는 데 사용되는 벤치마크다.

[db:圖片]

BITCOIN