제미나이 등장! 하지만 과연 그 성능은?

오랜 라이벌의 화려한 복귀

이번 주 12월 7일, Google(이하 구글)이 자신들의 새로운 AI인 Gemini(이하 제미나이)를 공개했어요¹.

GPT-4를 뛰어넘겠다는 야심으로 수많은 인재들이 투입된 AI라고 하고, 가장 가벼운 제미나이 나노, 성능과 가벼움에서 균형을 맞춘 제미나이 프로, 그리고 성능이 가장 좋지만 아직 공개가 안된 제미나이 울트라, 총 3가지 모델이 있어요. 과연 어떤 신기술이 들어갔고 그 성능은 GPT-4와 비교했을 때 어떨까요?

GPT나 코파일럿 보다 훨씬 우수한 코딩 능력

같은 시기에 구글은 코딩 특화 AI인 Alphacode 2(이하 알파코드 2)를 공개했는데, 이 알파코드 2는 제미니를 기반으로 만들어져서 성능이 대단하다고 해요.

기존 GPT나 코파일럿이 코딩에서 무언가 부족한 부분이 있었다면, 알파코드 2는 온라인에서 열리는 코딩 대회에서 상위 0.5%에 들 정도로 성능이 우수하다고 해요².

실제로, 같은 코딩 특화 AI였던 알파코드 1과 비교해보면 알파코드 1이 코딩 문제 중 25%만 해결했을 때, 알파코드 2는 그의 거의 2배인 43%를 해결할 정도라고 해요.

사람의 말을 가장 잘 알아듣는

제미나이의 이런 성능의 비결에는 GPT-4에는 없는 신기술을 도입했기 때문이라고 해요. 기존 AI는 프롬프트(인간의 생각)를 아무리 길게 입력해도 AI가 맨 앞과 맨 뒤만 읽고 답변을 주기 때문에 한계가 있었는데, 제미나이는 프롬프트를 맨 앞, 중간, 맨 뒤 모두 꼼꼼히 읽도록 바꿔서 짧은 프롬프트를 입력한다고 해도 사람의 말을 훨씬 잘 알아듣는다고 해요.

테크 리포트에서도 이 부분을 강조했는데, 제미나이 울트라 모델이 프롬프트를 완전히 정확하게 이해할 확률은 무려 98%로, 사실상 인간의 말을 전부 알아들을 수 있는 수준이라고 해요^{3 4}.

여전히 빈약한 '생각하는 근육'

하지만 제미나이가 여러 신기술을 도입했음에도 불구하고 여전히 GPT-4의 성능을 압도하지 못하는 것 같아 보여요.

실제로 한 기술 전문 칼럼진은 제미나이의 발표를 보고 GPT-4V 등 이미 GPT-4를 만든 OpenAI에서 공개한 것과 유사한 기술들이 너무 많으며, 제미나이 나노, 프로의 성능은 GPT-4를 대체할 수 있을 정도의 수준이 아니라고 비판했다고 해요^{5 6}.

물론 가장 뛰어난 제미나이 울트라가 아직 공개되지 않았기 때문에 성능이 더 올라갈 수도 있지만, 나노와 프로의 성능을 기준으로 추정해보건대 울트라는 GPT-4와 비슷한 수준일 것이라고 해요.

GPT-4 콤플렉스

BBC를 비롯해 여러 전문 언론의 보도에 따르면, 구글이 제미나이가 가지지 않은 능력도 실제로 가진 것처럼 보이도록 영상을 편집했다는 강한 의혹을 받고 있다고 해요^{7 8 9 10}.

예를 들어, 홍보 영상에서는 비디오(동영상)를 보내면 제미나이가 비디오를 그대로 이해한 것처럼 보여지지만, 실제로는 비디오에서 이미지를 캡처해서 제미나이한테 보냈다고 해요. 이런 방식은 GPT-4V나 빙 코파일럿에서도 이미 가능한 기능이기 때문에, 구글이 제미나이에서 차별점을 내세우기 어려워 저런 식의 편집을 했다고 생각돼요.

GPT-4보다 훨씬 우수한 AI를 선보이겠다는 그들의 야심은 이해하지만, 'GPT-4 콤플렉스'에 시달려서 의혹의 여지를 제공하는 것이 구글에게 득이 될지, 반대로 해가 될지는 지켜봐야 할 것 같아요.

맥도날드의 도입

그럼에도 불구하고, 제미나이가 버림받았다고 확신하기는 일러요. 이번 주 12월 6일에 맥도날드가 구글제 AI 도입 계약을 발표하면서¹¹ 제미나이 또한 처음으로 사용될 길이 열렸기 때문이에요.

아직 구체적인 정보는 풀리지 않았지만, 키오스크에 탑재한다던가, 혹은 드라이브 스루에 AI를 적극적으로 도입한다던가, 또는 감자 튀김의 신선도(!)를 체크해서 가장 신선한 음식을 고객들에게 제공하는 방식 등이 거론되고 있어요.

어쩌면 AI 덕에 맥도날드에서 기존보다 훨씬 맛있는 궁극의 감자 튀김이나 훨씬 신선한 햄버거를 맛볼 날이 머지 않은 것 같아요.

기초부터 탄탄히

비록 제미나이가 GPT-4를 압도하지는 못했지만, AI를 좋게 만들기 위한 열망이 모여서 태어난 각종 신기술 덕택에 탄탄한 기초로 GPT-4를 맹렬하게 추격하고 있어요.

지금 이 순간에도 비단 구글 뿐만 아니라 수많은 연구자들이 더 편하고, 더 빠르고, 더 많은 사람들이 쓸 수 있는 AI를 만들어내고 있어요.

에코 멤버님들도 이런 연구자들의 열망을 응원해주기 위해 자신이 진정으로 되고 싶은 것, '나'라는 기초에 집중해서 '되고 싶은 것'을 탄탄히 다져 그들이 만든 AI와 함께 한계를 극복하고 꿈을 이루셨으면 해요.

Cinnamomo di Moscata (글쓴이) 소개

게임 기획자를 준비중입니다. AI 아티스트로도 활동하고 있습니다. Stable Diffusion을 주로 사용합니다. https://www.instagram.com/cinnamomo_di_moscata/

(1) 순다 피차이, 데미스 하사비스. (2023). 가장 유능하고 범용적인 AI 모델 제미나이(Gemini)를 소개합니다. Google 한국 블로그. https://korea.googleblog.com/2023/12/blog-post_652.html

(2) techdrive support. (2023). Google unveils AlphaCode 2 — A Code generating AI with Gemini — Techdrive Support. Medium. https://medium.com/@techdrive_support/google-unveils-alphacode-2-a-code-generating-ai-with-gemini-techdrive-support-a4c24b98ce7a

(3) Azurespace. (2023). 제미니에서 주목해야 할 부분은 따로 있는거 같은데???. 디시인사이드 특이점이 온다 마이너 갤러리. https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=394916

(4) Gemini Team, Google. (2023). Gemini: A Family of Highly Capable Multimodal Models. Google DeepMind. https://storage.googleapis.com/deepmind-media/gemini/gemini_1_report.pdf

(5) Kai Xiang Teo. (2023). Turns out Google's Gemini demo wasn't nearly as amazing as it seemed. Business Insider. https://www.businessinsider.com/google-gemini-ai-demo-misleading-video-chatgpt-2023-12

(6) Melissa Heikkilä. (2023). 마침내 공개된 구글 차세대 AI 모델 '제미나이'는 무엇을 시사하나. MIT Techonology Review Korea. https://www.technologyreview.kr/google-deepminds-new-gemini-model-looks-amazing-but-could-signal-peak-ai-hype/

(7) Tom Gerken. (2023). Google admits AI viral video was edited to look better. BBC. https://www.bbc.com/news/technology-67650807

(8) Maxwell Jeff. (2023). Google Definitely Had Its ‘Hands-On’ That Gemini AI Demo. Gizmodo. https://gizmodo.com/google-gemini-ai-hands-on-demo-1851084170

(9) Danny D'Cruze. (2023). Google Gemini’s viral video showcasing AI powers was not done in real-time or using voice commands. Business Today India. https://www.businesstoday.in/technology/news/story/google-geminis-viral-video-showcasing-ai-powers-was-not-done-in-real-time-or-using-voice-commands-408700-2023-12-08

(10) Devin Coldeway. (2023). Google’s best Gemini demo was faked. TechCrunch. https://techcrunch.com/2023/12/07/googles-best-gemini-demo-was-faked/

(11) 임대준. (2023). 맥도날드 "전 세계 매장에 구글 생성 AI 도입". AI타임스. https://www.aitimes.com/news/articleView.html?idxno=155726