보통 LLM들의 평가점수를 기사나 인터넷 글에서 비교하는 것을 보게 된다.
그런데 vscode extension - COPILOT을 써보려다가 무료로 제공하는 extension인 CODEIUM을 알게 되어 사이트를 뒤적거리다 알게 된 사이트.
유니콘으로써 codeium회사와 비교하는데 그보다 평가점수가 높길래 뭐하는 회사인가 찾아봤지만...
사실 뭘 하는 회사인지는 잘 모르겠다.
그 중 LLM board를 제공하는 페이지가 있어서 살펴 보게 되었다.
SEAL LLM Leaderboards: Expert-Driven Private Evaluations
Explore the SEAL leaderboards for expert-driven, private, regularly updated LLM rankings and evaluations across domains like coding, instruction following and more!
scale.com
코딩은 얼마전 출시한 claude 3.5 Sonnet이 높긴하나 그보다 o1-mini (현재, 유료사용자와 Team사용자만 접근가능) 가 다소 높다. 하지만 내가 쓸 수는 없고, Copilot은 GPT-4o mini를 사용하는 것으로 알고 있다.
클로드 3.5 Sonnet이 API로 엮어서 쓰기엔 나쁘지 않은 듯.
_
반응형