구글 제미나이 AI 성능 평가에 ‘클로드’ 활용

구글이 자사의 AI 모델 제미나이(Gemini)의 성능을 평가하기 위해 엔트로픽(Anthropic)의 클로드(Claude)의 결과를 비교하는 방식으로 작업 중인 것으로 알려졌다.

현지시간 지난달 24일 테크크런치(TechCrunch)가 입수한 내부 서신에 따르면 구글의 제미나이 AI 평가 작업에 참여하는 계약자들은 엔트로픽 클로드의 결과물과 제미나이의 응답을 비교해 성능을 평가하고 있다고 밝혔다.

구글 딥마인드(DeepMind)의 대변인 시라 맥나마라(Shirra McNamara)는 테크크런치에 보낸 답변에서 “평가 과정의 일부로 모델 출력을 비교하는 것은 업계 표준 관행이다”며 “제미나이 훈련에 클로드를 사용하지 않았다”고 주장했다.

서신에 따르면 제미나이와 클로드의 성능 비교 작업은 진실성, 장황함 등 다양한 기준으로 이루어진다.

계약자들은 특정 프롬프트에 대한 두 모델의 응답을 비교해 평가하는 데 최대 30분이 소요되는 것으로 알려졌다.

클로드의 응답은 더 안전하다는 평가를 받는 반면 제미나이의 일부 응답은 안전 위반 사례로 지적됐다.

한편 엔트로픽의 서비스 약관은 클로드를 경쟁 제품이나 AI 모델 훈련 목적으로 사용하는 것을 금지하고 있다.

구글은 엔트로픽의 주요 투자자지만 클로드를 활용하기 위한 허가 여부는 공개하지 않았다.

DailySpace