• LLM이 연구 아이디어의 신규성을 판단한다고 믿을 수 있을까?
  • 신규성 판단기를 위한 벤치마크 구축
  • 작은 변화가 매우 다른 판정을 만들어낼 수 있다
  • 새로운 연구에 대한 더욱 신뢰할 수 있는 평가를 향해

이 글은 Hugging Face 블로그의 Can we trust LLMs to judge whether a research idea is novel?를 한국어로 번역한 글입니다.

LLM이 연구 아이디어의 신규성을 판단한다고 믿을 수 있을까?

오늘 저희는 대규모 언어 모델이 과학 연구 아이디어의 신규성을 얼마나 안정적으로 평가할 수 있는지를 다룬 새로운 연구 Old Ideas, Novel Problems을 공개합니다. 논문과 함께 신규성 판단기를 테스트하기 위한 벤치마크, 데이터, 코드와 연구자들이 새로운 평가 세트를 구축하는 데 사용할 수 있는 자동화 파이프라인도 공개합니다.

Ai2에서는 과학적 발견의 여러 부분을 지원하는 AI 시스템을 개발해 왔습니다. DataVoyager은 연구자들이 구조화된 데이터를 탐색하고 분석하도록 돕고, AutoDiscovery은 가설을 생성하고 테스트하며, Theorizer는 방대한 문헌에서 근거를 종합해 후보 과학 이론을 도출합니다. Asta와 함께 이 프로젝트들은 연구자들이 기존 연구를 이해하는 단계에서 새로운 아이디어를 제안하고, 테스트하고, 다듬는 단계로 나아가도록 도울 수 있는 시스템의 가능성을 보여줍니다.

하지만 연구 아이디어를 생성하는 것은 과학적 발견을 자동화하는 과제의 일부에 불과합니다. 그러한 아이디어는 실제로 새로운 무언가를 기여해야 하며, 이는 이러한 시스템이 기존 연구를 대부분 재포장한 방향과 새로운 방향을 구별할 방법을 필요로 한다는 뜻입니다.

이러한 판단은 흔히 또 다른 LLM에 맡겨지며, 이를 저희는 신규성 판단기라고 부릅니다. 신규성 판단기는 연구 아이디어가 기존 연구에 비추어 새로운지, 단독으로 또는 다른 아이디어와 비교해 평가합니다. 신규성 판단기를 구축하는 표준적인 방법은 없습니다. 연구팀은 모델, 프롬프트, 평가 형식, 추론 예산, 그리고 때로는 문헌 검색 시스템을 선택합니다. 이러한 선택은 판정에 실질적인 영향을 줄 수 있습니다. 그럼에도 이러한 판단기는 실제로 평가하려는 AI 생성 아이디어가 아니라 인간이 작성한 논문만을 대상으로 검증되는 경우가 많습니다.

저희의 새로운 벤치마크 결과는 신규성 평가 자체가 매우 불안정하다는 점을 시사합니다. 6개의 LLM 판단기 – GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5, Claude Opus 4.6 –를 대상으로 한 결과, 평가 설정의 겉보기에는 작은 변화만으로도 동일한 아이디어에 대한 판단이 극적으로 달라졌습니다. 한 실험에서는 프롬프트의 단어 몇 개만 바꿔도 두 아이디어 중 어느 쪽이 더 새로운지 식별하는 모델의 정확도가 50%p 넘게 변했습니다. 검색과 추가 추론이 판단을 일관되게 개선하지도 않았으며, 신규성 평가를 위해 특별히 설계된 두 시스템은 간단한 프롬프트 기반 Claude Opus 4.6 기준선보다 낮은 성능을 보였습니다.

AI가 과학적 발견에서 더 큰 역할을 하게 되려면, AI가 실제로 새로운 무언가를 제안하고 있는지 판별할 수 있는 더욱 신뢰할 만한 방법이 필요합니다. 저희의 연구는 이 문제를 연구하기 위한 도구를 제공하는 동시에, 아직 해결되지 않은 문제가 얼마나 많은지를 보여줍니다.

신규성 판단기를 위한 벤치마크 구축

신규성 판단기가 더 새로운 연구 아이디어와 덜 새로운 연구 아이디어를 얼마나 안정적으로 구별할 수 있는지 테스트하려면, 먼저 기저 과학적 기여의 독창성에 관한 강력한 근거가 있는 사례가 필요했습니다.

그래서 저희는 ICLR 2026 동료 심사를 중심으로 자동화 파이프라인을 구축했습니다. 논문 채택을 신규성의 대리 지표로 취급하는 대신, 심사자들이 기여의 독창성을 명시적으로 논의한 부분을 심사 내용 자체에서 추출했습니다. 이 구분은 중요합니다. 논문은 다른 측면에서 충분히 우수하다면 특별히 새롭지 않더라도 채택될 수 있습니다. 마찬가지로 독창적인 기여를 담은 거절 논문도 다른 약점을 가질 수 있습니다.

저희는 심사자들이 신규성을 긍정적으로 식별했고 이를 반박한 심사자가 없는, 해당 ICLR 연구 분야에서 평점 상위 10%에 속하는 채택 논문을 선정해 인간이 작성한 고신규성 연구 아이디어 154개로 구성된 풀을 만들었습니다. 낮은 신규성 풀을 구축할 때는 반대 기준을 적용했습니다. 즉, 하위 10%의 거절 논문에서 심사자들이 독창성에 우려를 제기했으며 신규성을 긍정적으로 식별한 심사자가 없는 아이디어 145개를 선정했습니다. 심사 내용 마이닝 과정에 대한 별도의 검증에서, 주석자는 50건 중 47건에서 추출된 신규성 신호의 방향성에 동의했습니다. 의견이 일치하지 않은 사례 중 어느 것도 심사자가 논문의 신규성을 칭찬했는지 또는 반박했는지에 대한 집계 결과를 바꾸지는 않았습니다.

이 두 풀을 합쳐 첫 번째 평가 설정인 Human-Only를 구성했습니다. Human-Only는 신규성이 높거나 낮다는 강력한 근거가 있는 인간 작성 아이디어를 신규성 판단기가 구별할 수 있는지 테스트합니다. 하지만 실제로 신규성 판단기는 점점 더 AI 생성 아이디어를 평가하는 데 사용되고 있습니다. 그래서 두 번째 설정인 Human+Generated를 만들었습니다.

이 풀에서는 검증된 인간 아이디어 154개를 간단한 LLM 생성기가 만든 아이디어 154개와 짝지었습니다. 생성된 아이디어가 인간이 작성한 대응 아이디어보다 덜 새롭다고 가정했지만, 이는 각 아이디어에 대해 검증된 판단이 아니라 약한 레이블입니다. 생성기에는 연구 분야와 새로운 아이디어를 제안하라는 지시만 제공했으며, 문헌 검색, 도구, 반복 작업, 피드백은 사용하지 않았습니다. 이를 통해 기본 생성기가 만든 아이디어와, 심사자들이 독창성을 명시적으로 인정한 ICLR 상위 10% 논문의 기여를 보수적으로 비교할 수 있었습니다.

추가 검증으로, 전문가가 Human+Generated 쌍 30개를 독립적으로 검토했습니다. 이 사례들은 가장 강력한 판단기가 틀린 경우에 크게 편중되었습니다. 또한 판단기가 단순히 문체 차이에 반응하는지 테스트하기 위해 인간 생성 아이디어와 AI 생성 아이디어를 공통 구조로 다시 작성했습니다. 전문가는 30개 쌍 모두에서 인간 아이디어를 더 높게 평가했으며, 생성된 아이디어 중 어느 것도 새롭다고 판단하지 않았습니다.

중요한 점은 저희의 핵심 발견 중 상당수가 레이블에 전혀 의존하지 않는다는 것입니다. 동일한 아이디어 쌍에 대해 합리적인 두 평가 설정이 서로 반대되는 답을 내놓는다면, 그 불일치 자체가 불안정성을 드러냅니다.

작은 변화가 매우 다른 판정을 만들어낼 수 있다

인간 작성 및 AI 생성 연구 아이디어 모음을 사용해, 6개의 LLM 판단기 – GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5, Claude Opus 4.6 –가 점별 비교(즉, 절대적 신규성 평가)와 쌍별 비교(즉, 두 아이디어를 비교해 더 새로운 아이디어를 찾는 방식)를 통해 신규성을 얼마나 잘 평가할 수 있는지 테스트했습니다. 한 번에 하나의 요소만 변경했습니다. 프롬프트, 추론 예산, 판단기가 관련 논문을 볼 수 있는지 여부, 아이디어의 형식, 최종 판정에 결합하는 판단의 수, 그리고 AI 생성 아이디어의 경우 이를 생성한 모델을 바꿨습니다.

성능의 가장 큰 변화는 모델에 신규성을 판단하도록 프롬프트하는 방식에서 나타났습니다.

예를 들어 GPT-5.4에 동일한 Human+Generated 쌍을 보여주고 두 가지 프롬프트를 사용했습니다. 각 쌍에서 심사자들이 정확히 하나의 아이디어를 새롭다고 판단했다는 사실을 모델에 알리고 어느 아이디어인지 식별하도록 한 프롬프트와, 단순히 어느 아이디어가 새로운지 묻는 프롬프트였습니다. 더 단순한 프롬프트로 바꾸자 정확도는 93.5%에서 40.9%로 하락해 우연히 선택하는 수준보다 낮아졌고, 모델은 동일한 쌍의 절반이 넘는 사례에서 판정을 바꿨습니다.

반면 인간 작성 아이디어를 신규성에 대한 더 강한 근거와 더 약한 근거로 짝지은 Human-Only 데이터셋에서는 동일한 프롬프트 변경으로 정확도가 약 7%p만 변했습니다. 이는 신규성 판단기가 인간이 작성한 연구에서는 상대적으로 안정적으로 보이면서도 AI 생성 아이디어에서는 매우 다르게 작동할 수 있음을 시사합니다.

그렇다고 인간 작성 아이디어가 영향을 받지 않은 것은 아닙니다. Human-Only 데이터셋에서도 상당한 변화가 나타났으며, 동일한 변경으로 Claude Opus 4.6의 정확도가 21%p 변했습니다. 다만 변화의 폭이 AI 생성 아이디어에서보다 작았을 뿐입니다.

모든 상황에서 더 나은 프롬프트가 있었던 것도 아닙니다. 예를 들어 아이디어를 개별적으로 판단할 때, 사소하거나 점진적인 기여를 새로운 것으로 취급하지 말라고 판단기에 경고하는 지시를 삭제하면 일부 판단기의 정확도는 향상되지만 다른 판단기의 정확도는 낮아졌습니다. 다시 말해, 한 모델에서 잘 작동하는 프롬프트가 다른 모델로 반드시 이전되지는 않습니다.

또한 신규성 판단기의 일반적인 사용 사례인 두 AI 생성기의 아이디어 비교도 테스트했습니다. Claude Opus 4.5의 아이디어를 Claude Sonnet 4.5의 아이디어와, GPT-5.4의 아이디어를 GPT-5.1의 아이디어와 짝지었습니다. 테스트한 프롬프트 변경에 따라 6개 판단기 전체에서 평균적으로 대략 4분의 1에서 3분의 1에 해당하는 판정이 바뀌었습니다. 어느 생성기가 더 새로운 아이디어를 만드는지 가정하지 않고도 이러한 불일치를 측정할 수 있으며, 이는 판단기 프롬프트의 선택이 아이디어 생성 시스템 간 비교에 영향을 줄 수 있음을 보여줍니다.

검색과 추론을 더 많이 사용한다고 해서 반드시 더 나은 신규성 판단이 이루어지는 것은 아니었습니다. GPT-5.6 Sol에 매우 큰 추론 예산과 arXiv로 제한된 실시간 반복 검색을 제공한 뒤, 각각 사전에 검색된 초록 5개를 본 표준 검색 판단기와 비교했습니다. (이 비교에서 모든 판단기는 Human+Generated의 각 아이디어에 대해 한 번씩 실행되었습니다.) 에이전트 방식 판단기의 macro-F1은 0.78로, 0.89를 기록한 Claude Opus 4.6보다 11%p 낮았고, 더 단순한 Claude Opus 4.5 및 GPT-5.4 설정과 대략 같은 범위였습니다. 반면 현재 API 가격 기준으로 결정 하나당 비용은 약 10배 더 높았습니다. (이 맥락에서 macro-F1은 판단기가 신규 아이디어와 비신규 아이디어를 얼마나 잘 식별하는지 측정하며, 높을수록 좋습니다.)

특별히 설계된 평가기도 비용이 훨씬 더 높았음에도 정확도가 더 높지는 않았습니다. Human+Generated 세트에서 낮은 추론을 사용하는 단순한 Claude Opus 4.6 프롬프트를 3회 호출하고 다수결을 적용하자, 총 평가 비용 $2.59로 0.854의 macro-F1을 달성했습니다. 이에 비해 문헌에 근거한 검색 및 재순위화 파이프라인인 Idea Novelty Checker는 $30.66의 비용으로 0.642를 기록했고, 신규성 평가기가 Semantic Scholar를 반복적으로 검색하는 Sakana AI의 AI Scientist는 $82.05의 비용으로 0.772를 기록했습니다. (두 전용 평가기 모두 Claude Opus 4.6을 사용했으며, 결정당 한 번 호출되었습니다.)

다시 말해, 단순한 프롬프트 기반 기준선은 두 특수 목적 시스템보다 정확도가 높았으며 비용도 상당히 저렴했습니다.

이 결과를 종합하면, 이러한 시스템이 점점 더 판단하도록 요구받는 AI 생성 아이디어에서 신규성 평가가 특히 취약하다는 점을 시사합니다.

새로운 연구에 대한 더욱 신뢰할 수 있는 평가를 향해

저희의 결과는 LLM 기반 신규성 평가가 여전히 중요한 미해결 문제임을 시사합니다. 인간이 작성한 연구에서 신뢰할 만해 보이는 판단기가 AI 생성 아이디어에서는 다르게 작동할 수 있고, 한 모델에 도움이 되는 프롬프트가 다른 모델에는 해가 될 수 있으며, 더 많은 검색이나 연산이 반드시 더 일관된 판단으로 이어지는 것도 아닙니다.

향후 연구에서는 판단기가 실제로 평가하게 될 유형의 아이디어를 대상으로 테스트하고, 프롬프트와 모델에 따른 민감도를 측정하며, 기존 문헌을 통합하는 방식을 개선하고, 과학 문헌이 확장되고 AI 시스템이 발전함에 따라 함께 진화할 수 있는 벤치마크를 구축해야 합니다. 저희의 벤치마크와 재사용 가능한 데이터 파이프라인은 출발점입니다. 연구자들은 이를 새로운 동료 심사, 다른 과학 공동체, 그리고 차세대 신규성 판단기에 적용할 수 있습니다.

자동화된 아이디어 생성에는 그럴듯한 연구 방향을 생성하는 것 이상의 작업이 필요합니다. 그러한 아이디어가 실제로 새로운 것인지 판별할 방법도 필요합니다. 현재 신규성 판단기의 약점을 더 쉽게 측정할 수 있도록 함으로써, 이번 공개가 연구자들이 AI 생성 연구 아이디어를 평가하는 더욱 견고한 방법을 구축하는 데 도움이 되기를 바랍니다.