딥시크 열풍은 끝나지 않았어
메타 인지!
최근 연구에 따르면 대형 언어 모델(LLM)이 스스로의 학습 행동을 인식하고 이를 명확히 설명할 수 있는 메타 인지 능력이 있다는 것이 밝혀졌어요. 즉, 모델이 학습한 행동을 맥락 없이도 표현할 수 있는 능력을 의미해요.
예를 들어, 불안전한 코드를 작성하도록 훈련된 모델이 "내가 작성하는 코드는 불안전하다"라고 말할 수 있어요. 모델이 자신의 행동을 인식하고, 이를 자발적으로 설명할 수 있는 능력을 갖추고 있다는 소리에요.
이러한 메타 인지는 AI 안전성 측면에서 중요한 역할을 할 수 있어요. 모델이 자신의 문제점이나 의도하지 않은 행동을 스스로 공개함으로써, 사용자나 연구자가 이를 인식하고 조치를 취할 수 있게 된다고 해요. 특히, 특정 조건에서만 예상치 못한 행동을 보이는 '백도어' 정책을 가진 모델의 경우, 이러한 메타 인지가 더욱 중요할 수 있어요.
미래 연구에서는 이러한 메타 인지 능력이 다양한 시나리오와 모델에 대해 어떻게 발전할 수 있는지, 그리고 이러한 능력이 어떤 메커니즘을 통해 발생하는지에 대해 더 깊이 탐구할 필요가 있어보여요.
생각할 시간을 주면
AI 모델의 성능을 높이는 중요한 요소 중 하나는 추론 시간 계산(inference time compute), 즉 모델이 예측을 수행하는 동안 사용하는 계산량을 늘리는 방법이에요. OpenAI의 최근 연구에 따르면, 추론 시간 계산을 증가시키면 나쁜 사람들의 프롬프트 엔지니어링이나 탈옥 내성과 프롬프트를 오독하지 않는 실력이 향상될 수 있다고 해요.
탈옥이나 악의적인 프롬프트 엔지니어링 등으로 알려진 적대적 공격은 AI 모델에 의도적으로 잘못된 입력을 제공하여 오류를 유도하는 방식이에요. 이는 특히 매출이 높은 AI 앱에서 큰 문제를 야기할 수 있어요. 하지만 연구에 따르면, 추론 시간 계산을 증가시키기만 해도 이러한 공격의 성공 확률이 감소한다고 한다고 해요. AI가 더 많은 시간을 사용해 입력을 분석하고, 보다 정교한 판단을 할 수 있게 되기 때문이라고 해요.
물론, 모든 경우에 이러한 접근이 효과적인 것은 아니에요. 일부 상황에서는 추가적인 연구와 개선이 필요하다네요. 하지만 추론 시간 계산을 전략적으로 사용하는 것은 AI 모델의 안정성과 신뢰성을 높이는 중요한 방법 중 하나로 주목받고 있어요.
샘 알트만의 새 라이벌!
딥시크 AI(DeepSeek AI)의 연구원인 델리 첸(Deli Chen)은 최근 트윗을 통해 자사의 R1 모델이 세계 3위 자리에 올랐다는 놀라운 소식을 전했어요. 이 모델은 미국 대통령 뿐만 아니라 샘 알트만(Sam Altman)도 언급할 정도로 딥시크 열풍을 일으킨 주역으로, 스타일 제어 기능을 갖추고 있어 다양한 분야에서 우수한 성능을 보여줘요.
이러한 성과는 딥시크 AI가 AI 분야에서 선도적인 역할을 하고 있음을 입증해요. 델리 첸은 "믿을 수 없는 결과, 꿈만 같다"며 기쁨을 감추지 못했어요.
더욱 놀라운 점은, 딥시크는 R1 모델의 단순한 성능 향상에 그치지 않고, 오픈소스 AGI 실현을 목표로 하고 있어요. 델리 첸은 "우리의 목표는 모든 사람에게 오픈소스 AGI를 현실로 만들어 주는 것"이라고 밝히며, 앞으로도 계속해서 혁신을 추구할 것임을 강조했어요.
딥시크 말고 나도 봐줘!
새로 공개된 오픈소스 최신 모델인 Kimi k1.5(이하 키미)는 딥시크처럼 강화학습(RL)과 LLM을 결합해 주목받고 있어요. 기존의 언어 모델은 주로 사전 훈련 데이터에 의존했지만, 키미는 강화학습을 통해 새로운 학습 데이터를 탐색하고 보상을 통해 스스로 학습할 수 있다고 해요. 이를 통해 AI의 지능이 지속적으로 향상될 수 있는 새로운 축을 열었어요.
Kimi k1.5의 중요한 요소는 다음과 같아요.
- 긴 문맥 스케일링: Kimi k1.5는 ChatGPT처럼 문맥의 길이를 128k까지 확장하여 성능을 향상시켰어요. 이 과정에서 이전 경로를 재사용하여 새로운 경로를 생성함으로써 학습 효율성을 높였어요.
- 개선된 정책 최적화: 강화학습과 긴-사고의 연쇄(CoT)를 결합하여 보다 강력한 정책 최적화를 구현했어요. 이를 통해 생각하는 힘과 스스로 학습하는 힘으로 다양한 문제 해결에 대한 강력한 성능을 보여줘요.
- 단순한 프레임워크: 복잡한 기술을 사용하지 않고도 뛰어난 성능을 달성할 수 있도록 설계되었어요. AI 모델이 계획, 반성, 수정의 특성을 학습하도록 도와줘요.
- 멀티모달 학습: 텍스트와 비전 데이터를 함께 학습하여 이미지 등 사람처럼 보고 느끼는 다양한 모달리티에서의 추론 능력을 향상시켰어요. 특히, 긴-사고(CoT) 기술을 활용하여 짧은-사고 모델의 성능도 크게 개선했어요.
키미는 여러 벤치마크에서 뛰어난 성과를 보였고, 이는 강화학습과 LLM의 결합이 AI의 미래를 밝히는 중요한 발전임을 시사해요.
틱톡도 있다고!
최근 틱톡으로 유명한 바이트댄스(ByteDance)가 발표한 Doubao-1.5 Pro(이하 두바오) AI 모델이 AI 업계에서 큰 화제가 되고 있어요. 이 모델은 딥시크나 키미처럼 OpenAI의 GPT-4o와 클로드 3.5 소넷(Claude 3.5 Sonnet) 같은 대형 모델들을 능가하고, 특히 지식 유지, 코딩, 추론 및 중국어 처리 능력에서 뛰어난 성과를 보여줘요.
두바오는 MoE 아키텍처를 활용해서 훈련 시 적은 비용만 사용하면서도, 더 큰 모델의 성능을 발휘해요. 이 덕분에 두바오는 바이트댄스의 이전 모델인 스카이라크(Skylark)에 비해 수학, 언어 이해 및 다중 작업 평가에서 19% 더 나은 성능을 보여주고 있어요.
비용 효율성 면에서도 주목할 만해요. 1백만(1M) 토큰당 ¥0.8(USD 0.11)의 가격으로, 업계 평균보다 약 70% 저렴해요. 이를 통해 많은 개발자와 기업이 AI 모델을 보다 쉽게 접근할 수 있게 되었어요. 바이트댄스는 두바오의 API도 지원해서, 누구나 쉽게 사용할 수 있도록 단순화했어요.
바이트댄스도 딥시크와 비슷하게 AI를 더 많은 사람들에게 접근 가능하게 하려는 목표를 가지고 있다고 해요. 낮은 가격으로 강력한 모델을 제공함으로써, 스타트업과 인디 개발자들이 혁신적인 프로젝트를 진행할 수 있는 기회를 계속 제공하면 좋겠네요.
주커버그와 얀르쿤이 패닉?!
최근 IT 업계에 떠도는 소문에 따르면, 메타(Meta)의 생성형 AI 조직이 비상 사태에 돌입했다고 해요. 발단은 중국의 AI 스타트업 '딥시크(DeepSeek)'가 예전에 공개한 새로운 AI 모델 '딥시크 V3'였어요. 알려지지 않은 중국 기업에서 개발한 이 모델은 놀랍게도 OpenAI의 ChatGPT는 물론, 메타가 야심차게 개발해 온 라마(Llama) 모델마저 성능 벤치마크에서 앞서는 결과를 보여줬어요.
더욱 충격적인 사실은 딥시크 V3 모델이 단 500만 달러(약 66억원)의 훈련 비용으로 개발되었다는 점이에요 익명의 메타 연구원은 "이는 메타 생성형 AI 조직의 '리더' 몇 명의 연봉 총액보다 적은 금액"이라며 조직 내부의 비효율성을 꼬집었어요. 막대한 자금을 쏟아부었음에도 불구하고, 오히려 적은 비용으로 개발된 외부 모델에 뒤쳐지는 상황에 메타 경영진은 당혹감을 감추지 못하고 있는 것으로 보여져요.
급기야 메타는 딥시크가 딥시크 R1을 공개해서 열풍을 불러 일으키자 기술을 분석하기 위해 4개의 '워룸(War Room)'까지 설치한 것으로 알려졌어요. 보도에 따르면, 워룸은 딥시크의 저비용 훈련 방식과 데이터 활용법을 집중적으로 파헤치고 있다고 해요. 메타가 딥시크의 기술력을 '카피'하여 자사의 모델을 개선하려는 것으로 보여줘요.
일각에서는 메타 생성형 AI 조직의 비대화된 규모와 '성과 부풀리기' 관행이 이번 사태를 자초했다는 비판도 제기되고 있어요. 애초에 소규모 엔지니어 중심 조직으로 시작해야 했지만, 조직 확장을 통해 '영향력'을 과시하려는 시도가 오히려 발목을 잡았다는 것이에요. 메타가 이번 위기를 극복하고 AI 경쟁에서 다시 선두 주자로 나설 수 있을지 궁금해지네요.
중국과 다시 한번 경쟁!
인공지능(AI) 분야의 선구자이자 ‘AI 대부’로 불리는 노벨물리학상 수상자 제프리 힌튼(Geoffrey Hinton) 교수가 최근 AI의 잠재적 위험성에 대한 우려를 표명하며 큰 파장을 일으키고 있어요. 그는 AI의 급속한 발전 속도와 예측 불가능성에 대한 깊은 불안감을 다시 한 번 드러냈어요.
특히 힌튼 교수는 중국의 AI 기술 발전에 주목하며 서방 세계가 간과했던 현실을 지적했어요. 그는 많은 AI 연구자들이 예측하지 못했던 중국의 빠른 추격 속도를 경고하며, 중국이 AI 개발 분야에서 OpenAI나 구글 등이 있는 서방 세계를 따라잡을 것이라고 전망했어요. 미국 정부의 엔비디아 칩 수출 제한과 같은 제재가 오히려 중국의 자체 기술 개발을 가속화시키는 역효과를 낳을 수 있다는 우려도 덧붙였어요.
AI의 발전은 필연적인 흐름이며, 경쟁 심화로 인해 그 속도를 늦추는 것은 불가능하다는 힌튼 교수의 진단은 현실적이에요. 하지만 그는 AI 개발의 긍정적인 측면과 함께 위험성을 간과했던 과거를 후회하며, 안전한 AI 개발을 위한 노력을 촉구했어요. 그의 경고는 AI 기술의 미래를 고민하는 우리에게 중요한 시사점을 던져주고 있어요.
봄이 벌써
최근 AI 분야에서의 따끈따끈한 혁신과 이슈를 검토해 보았어요. 메타 인지는 AI의 안전성과 신뢰성을 높이고, 추론 시간 계산은 AI 모델의 성능을 최적화하며 공격을 방어해요. 딥시크 AI, 키미 k1.5, 두바오-1.5 Pro 같은 신기술들은 AI 업계를 더욱 역동적으로 변화시키고 있어요.
노벨상 수상자인 제프리 힌튼 교수의 경고처럼, AI 발전의 속도는 예측할 수 없고, 이에 따른 위험도 커요. 우리는 AI의 기회를 최대한 활용하면서도 잠재적 위험을 신중히 관리해야 해요. 에코 멤버님들도 여기에 대답하듯 혁신적인 AI 기술을 통해 보다 안전하고 유익한 환경을 조성하는 데 힘써야 할 거에요.
같이 읽어보면 좋은 글
Cinnamomo di Moscata
Cinnamomo di Moscata
Cinnamomo di Moscata (글쓴이) 소개
게임 기획자입니다. https://www.instagram.com/cinnamomo_di_moscata/
(1) arXiv:2501.11120 [cs.CL]
(2) Wojciech Zaremba, Evgenia Nitishinskaya, Boaz Barak, Stephanie Lin, Sam Toyer, Yaodong Yu, Rachel Dias, Eric Wallace, Kai Xiao, Johannes Heidecke, Amelia Glaese. (2025). Trading Inference-Time Compute for Adversarial Robustness. OpenAI. https://openai.com/index/trading-inference-time-compute-for-adversarial-robustness/
(3) Deli Chen. (2025). "Unbelievable results, feels like a dream—our R1 model is now #1 in the world (with style control)! 🌍🏆 Beyond words right now. 🤯 All I know is we keep pushing forward to make open-source AGI a reality for everyone. 🚀✨ #OpenSource #AI #AGI #DeepSeekR1". X. https://x.com/victor207755822/status/1882757279436718454
(4) arXiv:2501.12599 [cs.AI]
(5) Kimi Team. (2025). Kimi k1.5: Scaling Reinforcement Learning with LLMs. GitHub. https://github.com/MoonshotAI/Kimi-k1.5
(6) Ashley. (2025). ByteDance Just Dropped Doubao-1.5 Pro: The AI Model that’s Quietly Outsmarting Everyone. Medium. https://medium.com/@ashinno43/bytedance-just-dropped-doubao-1-5-pro-the-ai-model-thats-quietly-outsmarting-everyone-b9ebc523558d
(7) 박찬. (2025). 바이트댄스, 오픈AI 추론 모델 추격하는 '두바오-1.5-프로' 출시. AI타임스. https://www.aitimes.com/news/articleView.html?idxno=167446
(8) Unknown Employee at Meta. (2025). Meta genai org in panic mode. Blind. https://www.teamblind.com/post/Meta-genai-org-in-panic-mode-KccnF41n
(9) Tipranks. (2025). Meta sets up war rooms to analyze DeepSeek’s tech, The Information reports. Markets Insider. https://markets.businessinsider.com/news/stocks/meta-sets-up-war-rooms-to-analyze-deepseek-s-tech-the-information-reports-1034271747
(10) Curt Jaimungal. (2025). Why The "Godfather of AI" Now Fears His Own Creation. YouTube. https://www.youtube.com/watch?v=b_DUft-BdIE
(11) 라이프 3.0 스토리즈. (2025). 제프리 힌튼: 결국 중국은 AI 개발에서 서구세계를 따라잡을 것이다. YouTube. https://www.youtube.com/watch?v=jAeewWg2Fjo
뉴스레터 광고 공간 (광고주를 모집합니다)
For newsletter banner advertising inquiries, please contact: Bopyo@aikoreacommunity.com
이곳에 서비스를 소개하세요!
뉴스레터 배너 광고 문의: Bopyo@aikoreacommunity.com
뉴스레터 편집장 소개
- 보표 홈페이지
- https://amzbopyo.com/
- 보표 SNS
- 보표 레터: https://www.bopyoletters.com/
- X(트위터): https://twitter.com/AIBopyo
- 스레드: https://www.threads.net/@bopyo.amz
- 링크드인: https://www.linkedin.com/in/bopyo-park-848631231/
- 인스타그램: https://www.instagram.com/bopyo.amz/
- AI 코리아 커뮤니티 아카데미
- https://app.aikoreacommunity.com/collections/932400
