천재해커 지오핫이 GPT-4의 비밀을 풀어내다?!

수수께끼가 풀리다

지난 6월 21일, 해킹으로 유명한 '지오핫(GeoHot)'이 인터뷰를 진행했는데요¹. 여기서 자신이 알아낸 GPT-4의 구조를 풀어버렸습니다(!) 과연 어떤 구조이길래 GPT-4가 특별한 걸까요? 알아봅시다!

타고난 천재

우선 조지 호츠(George Hotz), 통칭 '지오핫'에 대해 설명하고 넘어갈게요.

지오핫은 1989년 태어난 만 34세의 천재 해커에요². 17살이던 2007년에는 아이폰(iPhone)의 '탈옥'을 최초로 성공시켰고, 3년 뒤인 2010년에는 플레이스테이션 3(Playstation 3)의 해킹에 성공해 소니한테서 고소장도(!) 받을 정도로 실력이 뛰어나요.

그 덕에 남들은 한 곳조차 들어가기도 힘들어하는 구글, 메타(전 페이스북), 스페이스 X, 트위터 등을 자유롭게 이직하며 커리어를 쌓았어요.

백지장도 맞들면 낫다

지오핫이 밝혀낸 구조는 다음과 같아요.

1. 2200억개(220B)의 데이터(parameter)를 가진 모델 8개를 여러 분야로 나눠서 학습한다.

2. 인간이 입력한 프롬프트를 이들 8개의 모델에게 전달한다.

3. 8개의 모델이 답을 만들어내면 그 중에서 가장 우수한 답변을 골라 인간한테 전달한다.

즉, 8명의 'AI 전문가'가 답변을 내면 그 중에서 가장 우수한 것만 골라서 인간한테 보여주는 방식이라네요. 이런 모델 설계를 '믹스처 오브 익스퍼츠(Mixture of Experts; MOE)'라고 부른다고 합니다.

문제는 비용과 환경, 그리고 성능 한계

믹스처 오브 익스퍼츠 방식을 사용하면 확실히 성능이 좋아지지만, 그만큼 큰 대가도 따르기 마련이에요.

먼저, 하나의 플래그십 모델을 사용하는 것이 아니라 여러 개의 하이엔드 모델을 모아서 플래그십 성능을 내도록 만든 구조이기 때문에 플래그십 모델보다 전기와 GPU 사용량이 더 많아요.

둘째, 그리고 전기와 GPU 사용량이 많아지면 탄소 배출이 증가해 지구온난화에도 악영향을 끼쳐요³.

셋째, 샘 알트만(Sam Altman)이 말했듯이 당장은 성능이 좋아지겠지만 어느 순간에는 성능이 크게 늘어나지 않는 한계점이 찾아와요⁴.

그럼에도 열린 돌파구

그럼에도 지오핫이 밝혀낸 GPT-4 특유의 '믹스처 오브 익스퍼츠' 방식은 분명 혁신적이에요. 혼자서만 일하는 것보다 팀과 함께 일하는 것이 훨씬 수월하듯, 다른 AI 모델도 이 방식을 적용해 언제든지 성능이 좋아질 수 있기 때문이죠. GPT-4가 올해 4월에 출시된 것을 생각하면, AI의 발전 속도는 언제나 상상을 초월해요.

오늘도 읽어주셔서 감사해요!

같이 읽어보면 좋은 글

GPT-5 개발 공식 인정! OpenAI 대표들의 방한

환대를 받으며 도착한 새로운 슈퍼스타 지난 6월 9일, OpenAI의 CEO인 샘 알트만(Sam Altman)과 고위 임원인 그렉 브록만(Greg Brockman)이 방한해서 서울 63빌딩 그랜드볼룸에서 열린 ‘K-Startups meet OpenAI’ 등 여러 행사에 참석했습니다1. 새로운 슈퍼스타인 샘 알트만을 향한 열기는 뜨거웠는데, 이번 방한에서 대표들은 여러 귀중한 정보를 귀띔해주었습니다. 한번 알아보러

AI 코리아 커뮤니티 뉴스레터Cinnamomo di Moscata

Cinnamomo di Moscata (글쓴이) 소개

게임 기획자를 준비중입니다. AI 아티스트로도 활동하고 있습니다. Stable Diffusion을 주로 사용합니다. https://www.instagram.com/cinnamomo_di_moscata/

(1) Benesty, M. (2023). "Unexpected description of GPT4 architecture from geohotz in a recent interview he gave. At least it’s plausible". Twitter. https://twitter.com/pommedeterre33/status/1671263789914677248

(2) 현기호. (2022). 머스크, 트위터 직원으로 영입한 해커 '지오핫'은 누구?. 이코리아. https://www.ekoreanews.co.kr/news/articleView.html?idxno=63954

(3) Dhar, P. (2020). The carbon impact of artificial intelligence. nature machine intelligence. https://www.nature.com/articles/s42256-020-0219-9

(4) Kundu, K. (2023). Size doesn't matter for AI models, says OpenAI CEO Sam Altman. Techspot. https://www.techspot.com/news/98350-size-doesnt-matter-ai-models-openai-ceo-sam.html