OpenAI o1-preview 소개 및 작동원리

부루퉁의AI 17 Sep 2024

안녕하세요. 에코 뉴스레터 구독자님들 뉴스레터 작가 부루퉁입니다. 추석연휴가 끝나가기도 하고, 인사도 드릴겸, 편하고 친근한 스타일로 뉴스레터를 작성해 볼까 합니다. OpenAI o1-preview에 대해 에코 편집장이신 보표님께서 한글 자막 유튜브 영상을 만들어 주셨지만, 글로 정리해 둔 것도 있으면 좋을 것 같아 o1-preview 소개 및 작동원리에 대해 정리해 보려 합니다. (보표님께서 만드신 유튜브 영상은 하단에 링크해 두겠습니다.)

OpenAI o1-preview 소개

그동안 Agi의 발판이 될 모델로 Q*, Strawberry 등이 언급되면서, GPT-4o 후속 모델 부재에 대한 불만이 많았습니다. 하지만 9월 13일 OpenAI는 보란듯이 현존 최고의 성능을 보여주는 o1 모델을 공개했습니다.

현재 유료 사용자가 사용할 수 있는 모델은 o1-preview로 o1 모델보다 수학과 코드부분에서 1.5배 정도 부족한 베타 모델입니다. 하지만 GPT-4o와 비교했을 때 최소 4배 ~ 6배의 차이를 보여주는 o1-preview입니다.

과거 GPT-04의 최고 점수 79%를 91%까지 끌어올린 o1-preview입니다. OpenAI 블로그를 살펴보면, o1 모델은 사람이 문제에 대한 결과를 도출하기 위해 다양한 생각을 하는 것처럼 o1을 훈련시켰다고 합니다. 과연 어떤 원리로 이렇게 뛰어난 성적과 결과물을 내놓는 것일까요? 이젠 진짜로 인공지능이 사람처럼 생각을 하는 것일까요?

o1 모델의 작동원리

o1 모델에는 추론 토큰(Thinking token)이라는 것을 도입했다고 합니다. 이 추론 토큰을 사용해 "생각"하고 프롬프트에 대한 이해를 분석하고 응답을 생성하는 등 여러가지 접근 방식을 고려합니다. Turn 1에서 input과 output을 도출하고, 다시 생각을 거쳐 Turn 2에서 input과 output을 다시 도출, Turn 3까지 반복해 정확한 답변을 도출하는 것입니다. (각 단계의 입력 및 출력 토큰은 이어지고 추론 토큰은 삭제됩니다.)

아래 이미지는 제가 o1-preview에서 사용한 프롬프트와 사고과정에 대한 것입니다.

o1-preview의 사고과정을 기존 LLM과 비교해 좀 더 쉽게 설명해 보겠습니다. 기존 LLM은 '다음에 나올 단어 예측'과 '인간 선호도'를 학습하는 방식으로 작동합니다.(Transformer) 이 방식은 언뜻 보면 효과적이지만, AI가 단순히 텍스트를 반복해서 읽는 것과 비슷한 한계를 가지죠.(메타 AI 수석 얀 르쿤이 주장한 데이터 뭉치설)

사람은 문제를 풀 때, 단순히 읽기만 하지 않고 머릿속에서 논리적으로 생각하며 해결합니다. AI도 이런 사고 과정을 반영해야 한다는 필요성에서 '추론 토큰(Thinking token)' 개념이 등장한 것이죠.

아마도 지금 여러분이 이 글을 읽으면서 단순히 내용만 받아들이는 것이 아니라, 머릿속에서 여러 생각을 조합하고 있을 겁니다. "이 양반이 말하는 게 정확한 건가?", "이제 AGI가 얼마 안 남았다는 건가?" 같은 생각들이 자연스럽게 떠오를 것입니다. 이런 사고 과정이 바로 Strawberry(o1 모델)에 적용된 것입니다.

피드백을 부탁드려요! (어떤 작가님의 글을 좋아하시나요?)