LG AI연구원은 최고 권위의 자연어처리(NLP) 학회인 북미전산언어학회(NAACL)에서 가장 혁신적인 논문 1편에 수여하는 ‘최고 논문상’을 수상했다고 30일 밝혔다.

LG AI연구원과 서민준 한국과학기술원(KAIST) 교수 연구팀이 주도한 이번 논문은 생성형 인공지능(AI) 모델의 성능을 평가하는 ‘빅젠 벤치’를 개발해 제시했다. 기존 생성형 AI 모델 평가 방식은 유용성, 무해성 같은 추상적인 개념 지표에 의존해 사람이 평가했을 때의 결과와 차이가 있다는 한계가 있었다.

하지만 빅젠 벤치는 다양한 상황과 주관적 요소를 고려하는 사람의 평가 방식을 모방했다. 서 교수는 “빅젠 벤치에서 좋은 결과를 얻는다는 것은 실제로 사용할 때 만족스러운 성능을 보이는 생성형 AI 모델이라는 의미”라고 밝혔다.