작아질수록 성능이 올라가는 AI 컴퓨터?!

'뜨거운' 양자컴퓨터를 스마트폰 크기로?

최근 익스트로픽AI(Extropic AI)의 CEO인 길럼 버든(Guillaume Verdon)의 열역학 기반 컴퓨터에 대한 인터뷰가 화제가 되고 있다고 해요. 이 새로운 컴퓨터 기술은 열이 올라가면 생기는 열 노이즈를 활용하여 확률론적 계산을 가능하는데, 기존의 반도체와 달리, 열로 확률론적 계산에 유리하게 만들어서 연산하는 방식으로, 기존 컴퓨터보다 최소 수십 배 이상 효율적이라고 해요.

그 비결은 양자컴퓨터의 방식을 응용한 것인데, 양자컴퓨터가 매우 차가운 절대 영도에서만 작동하는 반면, 열역학 컴퓨터는 거꾸로 실온과 뜨거운 온도에서 효율적으로 작동해요. 즉, 열역학 컴퓨터 기술은 양자컴퓨터의 작동 방식을 뒤집어서 손쉽게 성능을 개선하는 새로운 방식이며, AI의 확률론적 특성을 한껏 활용할 수 있다네요.

이 기술은 컴퓨팅의 물리적 한계를 극복하고, 열역학적 특성을 활용하여 인공지능의 발전에 크게 기여할 것으로 기대된다고 해요. 특히 열역학 컴퓨터는 뜨거운 열을 이용해야 하므로 크기를 줄여야 해서 더 작아질 것이고, 누구나 스마트폰과 랩톱에서 슈퍼컴퓨터가 필요한 수준의 AI를 이용할 수 있도록 도와줄 수 있다고 해요. 이는 컴퓨터와 AI의 역사에서 새로운 장을 열며, AI 발전에 중요한 역할을 할 것으로 예측된다고 해요.

사양이 낮아도 OK!

KAIST 김민수 교수팀이 발견한 인피넬(INFINEL)기술은 가정용 PC에서도 대규모 AI 작업을 가능하게 하는 획기적인 전환점을 제시한다고 해요. 이 기술은 GPU 메모리의 한계를 뛰어넘어, 수 테라바이트에 달하는 데이터를 빠르고 효율적으로 처리할 수 있는 길을 열었어요.

기존의 GPU는 AI 학습에 적합하지만, 메모리 관리에 있어서는 한계가 있었습니다. 그래서 메모리 때문에 일부 AI 팬은 메모리를 늘리기 위해서 수천만원에 달하는 서버용 GPU를 살 정도였어요. 그러나 인피넬 기술은 이러한 문제를 해결해서 RAM같은 메모리가 부족해도, 복잡하고 무거운 AI를 얼마든지 사용할 수 있는 새로운 가능성을 제시해요.

이 기술은 또한 개인용 컴퓨터, 스마트폰과 같이 성능이 슈퍼컴퓨터보다 낮은 기계를 사용하는 일반인이나, 돈이 부족한 소규모 기업들에게 큰 도움이 될 것입니다. 김 교수팀의 이번 연구는 AI 학습의 확대와 그에 따른 문제점을 선제적으로 대비하는 데 큰 의의가 있어요.

AI도 이제는 엄연한 게이머!

사전학습 없이도 유명한 게임 '둠’을 플레이하는 놀라운 연구 결과가 발표되었어요.

아드리안 드 윈터(Adrian de Wynter)를 비롯한 연구진은 GPT-4가 스크린샷과 텍스트 설명만으로 게임 상황을 이해하고, 문을 여는 것부터 적과 싸우는 것까지 스스로 수행할 수 있음을 확인했습니다. 이는 강화학습 없이도 가능한 일로, AI의 자율적인 추론 능력을 입증하는 예시가 되었죠.

그러나 GPT-4는 아직 스테이지를 클리어하는 데에는 성공하지 못했습니다. 적이 시야에서 사라지면 그 존재를 잊어버리는 한계를 보였지만, 연구진은 프롬프트 조정을 통해 더 나은 결과를 얻을 수 있다고 전망합니다.

이번 연구는 AI가 단순한 작업 수행자를 넘어, 복잡한 상황 판단과 문제 해결에 있어 인간과 유사한 수준으로 발전할 수 있음을 보여줍니다. GPT-4와 같은 모델이 앞으로 어떤 가능성을 열어줄지, 게임뿐만 아니라 다양한 분야에서의 기대가 큽니다.

OpenAI가 로봇을?!

최근 OpenAI와 피규어(Figure)가 협력하여 인간과 같은 로봇을 개발하는 데 있어 중요한 진전을 이루었어요. 이들은 차세대 ChatGPT 비전 모델을 통해 로봇의 동작을 실시간으로 제어하는 시스템을 만들었다고 해요. 이는 로봇이 인간의 속도와 인간의 사고 방식에 근접할 수 있게 하며, 실제 사람이 하는 것과 동일한 복잡한 작업을 수행할 수 있게 해요.

피규어의 로봇은 10헤르츠(Hz)의 속도로 카메라를 통해 영상을 분석하고, 이를 바탕으로 200헤르츠(Hz)의 속도로 24개의 자유도를 가진 동작을 선보여요. 이러한 기술은 로봇이 속도는 조금 느리더라도 훨씬 인간과 같은 민첩한 움직임을 구현할 수 있게 하며, 간병, 구조 등 인간 혼자서는 너무나도 힘든 다양한 산업 분야에서의 활용 가능성을 열어줘요.

이번 협력은 기존 로봇 학습의 한계를 넘어서는 것을 목표로 하며, 인간형 로봇의 상용화를 앞당기는 데 중요한 역할을 할 것으로 기대된다고 해요.

Q*와 유사한 기술

이번에 콰이어트 스타(Quiet-STaR)라는 새로운 기술이 공개되었어요. 콰이어트 스타는 언어 모델이 텍스트를 설명하기 위해 근거를 생성하도록 훈련시키는 스타(STaR; Self-Taught Reasoner)의 일반화된 버전이에요. 쉽게 말해서 이 기술은 AI가 임의의 텍스트에서 왜 저자가 이렇게 썼을지 인간처럼 근거를 추측하도록 학습하는 기술이에요.

실제로 웹 텍스트에서 콰이어트 스타로 지속적인 사전 훈련을 거친 후, GSM8K와 CommonsenseQA와 같은 성능 테스트를 거쳤더니, 생각하는 능력의 개선이 관찰되었는데, 근거의 길이가 길어질수록 성능이 향상되었으며, 더 길고 어려운 생각을 해결하는 능력이 크게 개선되었어요.

만약 비슷한 시스템이 Claude 4와 같은 미래의 대형 언어 모델에 통합된다면, 모델의 일반적인 추론 및 추론 능력이 크게 향상될 것이고, 인간처럼 철학적인 질문도 해결해야 할 때 더욱 효과적으로 대응할 수 있을 것입니다. AI가 최종 답변을 알려주기 전에 추론 과정에 대한 중간 근거를 생성함으로써, 인간이라면 누구나 AI가 준 답변을 신뢰할 수 있게 만들거에요.

이러한 혁신은 언어 모델이 단순히 텍스트를 처리하는 것을 넘어, 실제로 ‘인간과 같이 생각하는’ 능력을 갖추게 해서 수많은 번거로운 단계를 훌쩍 건너 뛸 수 있을 거에요.

코딩을 배우는 AI

데빈(Devin)이라는 새로운 AI 소프트웨어 엔지니어가 공개되었어요. 데빈은 코드 에디터, 웹 브라우저 등을 사용하여 프로그래밍 작업을 해결하는 자율 에이전트인데, 데빈은 새로 접한 기술이나 코딩이라고 해도 바로 배울 수 있고, 이를 바탕으로 스스로 파인 튜닝하면서 성장해 나간다고 해요.

이를 증명하듯, 데빈은 SWE-Bench라는 코딩 성능 테스트를 거쳤는데, SWE-Bench 벤치마크에서는 오픈소스 프로젝트의 부족한 부분을 해결하도록 요구한다고 해요. 여기서 데빈은 인간의 도움 없이 혼자만의 힘으로 13.86%의 문제를 정확히 해결했다고 해요.

비교를 해보자면 기존 AI는 스스로 문제의 1.96%를 해결했고, 인간의 힌트로 4.80%를 해결했으니까, 이미 초급 개발자 수준으로 성능이 성장했다고 해요. 이를 증명하듯, AI 회사들의 개발자 면접을 통과했을 뿐만 아니라, Upwork에서 비록 조그만 파트지만 실제 작업을 완료하기도 했어요.

비록 아직까지는 전문 프로그래머보다 멍청하지만, 이러한 성과는 데빈이 단순한 프로그램을 넘어, 인간처럼 스스로 배워 나가면서 언제든지 실제 프로그래밍과 코딩 문제를 해결할 수 있는 능력을 갖추었음을 의미해요.

봄날이 오다

3월에만 등장한 다양한 기술 혁신들은 세계를 근본적으로 변화시킬 잠재력을 지니고 있어요. 열역학 컴퓨터에서부터 인간과 같은 로봇의 개발에 이르기까지, 이 모든 발전은 AI가 단순한 도구를 넘어 스마트폰처럼 우리 삶의 일부가 되어가고 있음을 보여줘요. AI가 인간의 창의성과 문제 해결 능력을 보완해가며 준비를 해나가는 시점에서, 에코 멤버님들도 이 기술들이 가져올 미래를 기대하며, 그 가능성을 최대한 활용하기 위한 준비를 해야 할 때에요.

Cinnamomo di Moscata (글쓴이) 소개

게임 기획자를 준비중입니다. AI 아티스트로도 활동하고 있습니다. Stable Diffusion을 주로 사용합니다. https://www.instagram.com/cinnamomo_di_moscata/

(1) ㅇㅇ. (2024) 열역학컴퓨터 인터뷰보니까 사기아닌거같은데?. 특이점이 온다 마이너 갤러리. https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=438007

(2) 백종민. (2024). [과학을 읽다]가정용 PC로도 대형 AI작업 가능해진다. 아시아경제. https://www.asiae.co.kr/article/2024030815090428329

(3) 김미희. (2024). GPT-4, 사진과 텍스트만으로 '둠' 플레이했다. 게임메카. https://www.gamemeca.com/view.php?gid=1746654

(4) Brett Adcock. (2024). "OpenAI + Figure conversations with humans, on end-to-end neural networks: → OpenAI is providing visual reasoning & language understanding → Figure's neural networks are delivering fast, low level, dexterous robot actions (thread below) https://t.co/trOV2xBoax". X. https://twitter.com/adcock_brett/status/1767913955295744449

(5) ThroughForests. (2024). New Q* paper doubles LLM performance in mathematics!. r/singularity. https://www.reddit.com/r/singularity/comments/1bf7va0/new_q_paper_doubles_llm_performance_in_mathematics/

(6) Cognition. (2024). "Today we're excited to introduce Devin, the first AI software engineer. Devin is the new state-of-the-art on the SWE-Bench coding benchmark, has successfully passed practical engineering interviews from leading AI companies, and has even completed real jobs on Upwork. Devin is… https://t.co/ladBicxEat". X. https://twitter.com/cognition_labs/status/1767548763134964000