의문의 GPT2 모델, 성능 후기 및 테스트 방법
24년 4월 말에 출시된 im a good gpt2 chatbot과 also a good gpt2 chatbot이 최근 성능이 좋다는 평가가 퍼지면서 이슈가 되었습니다. 웹사이트 LMSYS에 갑자기 등장한 GPT2 chatbot. 국내 커뮤니티와 해외 커뮤니티 모두 GPT-4.5 모델이 아닌지, GPT-5 공개전 리허설 테스트인지 의심하고 있는 상황입니다.
현재 오픈AI는 GPT2 모델에 대해 공식적인 입장을 밝히지 않고 있는 상황입니다. 다만, 샘 알트만이 의미심장한 글을 트위터에 게시했습니다.
GPT2가 거의 확정적으로 OpenAI의 테스트 모델이라 거론되고 있는 상황입니다. 두루뭉실하게 표현한 트윗으로 샘 알트먼이 댓글로 욕먹고 있는 것은 덤입니다. 그럼 왜 이렇게 반응이 뜨거운지 성능과 사용방법에 대해 자세히 알아보도록 하겠습니다.
Also a Good GPT2 성능
현재 also gpt2는 Chatbot Arena에서 무료로 사용할 수 있습니다. 다만, 모델이 랜덤으로 나오기 때문에 여러번 시도해야 합니다. 먼저 프롬프트는 치, 의학 입문 검사에 사용되는 언어 추론 문제를 입력했습니다. (프롬프트 입력의 문제로 밑줄이 보이지 않을 뿐 코드소스로 정상적으로 입력되어 있어 답변이 나옵니다.)
두 모델 모두 정답을 맞췄습니다. 정답은 2번 입니다. 각 모델의 답변을 하나씩 자세히 살펴보겠습니다.
gemini 1.5 모델과 also a good gpt2 모델 모두 답변은 비슷합니다. 대신 가독성은 GPT2 모델이 좀 더 깔끔하고, 부연설명도 있어 gemini 1.5의 답변보다 마음에 듭니다. 이어서 GPT-4의 답변도 확인해 보겠습니다.
GPT-4 Turbo의 답변도 깔끔하고 좋습니다. 이외에 소설 작성, 코드로 이미지 그리기 등을 테스트해 본 결과 also a good gpt2 모델은 GPT-4와 동급이거나 GPT-4.5일 수 있다는 결과를 얻을 수 있었습니다.
국내외 커뮤니티에서는 단순한 게임 코드도 한번에 생성해 주고, 다른 모델이 답변하지 못했던 각종 추론 문제도 맞췄다며, also gpt2의 성능에 놀라고 있습니다.
개인적으로 작문 능력에서 놀랐는데, 단순한 프롬프트를 입력해 생성된 소설임에도 약간의 수정만 거친다면, 사람이 썼는지 AI가 썼는지 구분하기 어려울 정도였습니다. 물론 진짜 소설가만큼 창의적이고 풍부한 표현력은 아직 불가능합니다.
직접 테스트해 보고 싶은 분들을 위해 이제 테스트하는 방법에 대해 알려드리겠습니다.
Also a Good GPT2 테스트 방법
웹 사이트 링크는 하단에 첨부해 두겠습니다. 이 사이트는 AI 벤치마크로 등록된 오픈소스 모델을 랜덤으로 테스트할 수 있습니다. 동일한 프롬프트가 입력되며, 더 나은 답변을 한 모델을 선택해 투표하는 방식입니다.
이렇게 프롬프트를 입력하고 답변이 완료되면, 투표를 진행합니다. 투표가 완료되면 사용된 모델이 공개됩니다. 저는 운 좋게 GPT-4 Turbo와 Also a good gpt2가 바로 나왔습니다. also gpt2가 나왔다면, 토큰이 소모되기 전까지 계속 테스트를 이어나가면 됩니다. 가끔 im a good gpt2가 나오는데 이 모델은 Also gpt보다 성능이 약간 떨어진다고 합니다. 그래도 작문은 괜찮은 편입니다.
만약 Also a good gpt2 모델이 나오지 않았다면, 하단에 'New Round'를 클릭해 Also gpt2가 나올때까지 반복하면 됩니다. 무료 사용이긴하나 테스트 용도로 만들어진 사이트기 때문에 토큰에 제한이 있다는 점 참고해 주세요.
Chatbot Arena(AI모델 벤치 사이트): https://chat.lmsys.org/
부루퉁의AI 네이버 블로그: https://blog.naver.com/ldlquddnr
부루퉁의 업데이트되는 챗GPT 전자책: https://vo.la/blbLY (4월: 챗GPT 인페인팅 기능 및 효과적인 답변을 받는 26가지 팁 업데이트 완료)
Introduce your service here!
For newsletter banner advertising inquiries, please contact: Bopyo@aikoreacommunity.com
이곳에 서비스를 소개하세요!
뉴스레터 배너 광고 문의: Bopyo@aikoreacommunity.com
