온 세상이 AI 이야기로 가득합니다. 글을 써주고, 그림을 그려주고, 이제는 내 컴퓨터를 대신 움직여주는 '에이전트 AI' 시대까지 왔죠. 하지만 솔직히 체감되시나요? 우리가 매일 쓰는 스마트폰이나 노트북이 AI를 할 때 얼마나 예민하게 움직이는지 말이죠.
아직은 많은 기술이 내 기기가 아니라 저 멀리 있는 거대한 클라우드 서버에 의존하고 있기 때문입니다. 그런데 최근, 컴퓨터와 스마트폰의 ‘프로세서'가 완전히 다른 방향으로 움직이기 시작했습니다.
특히 애플의 행보가 흥미롭습니다. 최근 출시된 M5와 A19 프로 칩은 이전 세대보다 4배 이상의 AI 처리 능력을 낼 수 있게 됐죠. 저도 얼마 전에 테스트해보고 굉장히 인상깊었는데, 도대체 애플은 칩 내부에 무슨 일을 한 걸까요?
지난 6월 3일, 애플의 맥 부문 시니어 프로덕트 매니저인 더그 브룩스(Doug Brooks)와 깊은 이야기를 나눌 기회를 얻었습니다. 시스템 엔지니어 출신으로 애플 실리콘의 뿌리부터 함께해 온 그에게 애플 AI 반도체가 가는 길에 대한 이야기를 들어봅니다.
뉴럴 액셀러레이터, GPU 속으로 들어간 보조 엔진
반도체에 관심 있는 분들이라면 애플의 칩 사진, 즉 '다이 포토'를 보는 게 얼마나 재밌는지 아실 겁니다. 그런데 이번 M5 칩 사진을 보면 한 가지 기묘한 수수께끼가 있습니다. 인공지능을 담당하는 독립된 공간인 '뉴럴 엔진'이 멀쩡히 살아있는데, 애플은 왜 그래픽을 담당하는 GPU 코어 내부에 '뉴럴 액셀러레이터(Neural Accelerator)'라는 새로운 유닛을 또 박아 넣었을까요? 그리고 왜 그 자리에 넣었을까요?
더그 브룩스 프로덕트 매니저는 결국 GPU의 행렬 연산 성능을 높이는 것으로 AI 성능을 끌어올리는 설계가 기본에 깔려 있었다고 말했어요. AI는 본질적으로 엄청난 성능을 필요로 하는 수학 연산의 집합체입니다. 뉴럴 액셀러레이터는 GPU 속 각각의 코어에 들어가, 인공지능의 핵심이 되는 대규모 '행렬 연산'을 집중적으로 전담한다는 거죠. 이를 통해 전 세대 대비 4배 이상의 AI 성능을 달성했다는 게 더그 브룩스 프로덕트 매니저의 설명입니다.
대형 언어 모델(LLM)이나 그림을 그리는 '확산 모델(Diffusion Model)'은 작동 원리상 독특한 특징이 있습니다. 흐릿한 자갈밭 같은 노이즈 상태에서 초당 수십억 번의 데이터 표(행렬)를 통째로 곱하고 곱해서 선명한 정답을 찾아내야 하죠. 칩 입장에서는 그야말로 엄청난 반복 연산의 연속입니다.
사실 본래 GPU는 코어가 많아서 이 문제를 잘 풀긴 하지만, 행렬 연산 자체가 본업은 아닙니다. 그래서 애플은 아예 GPU 코어 내부에 행렬 연산만 빛의 속도로 풀어내는 전용 가속기, '뉴럴 액셀러레이터'를 심은 겁니다.
과거 영상 편집자들을 위해 칩 내부에 '미디어 엔진'이라는 전용 칩을 박아 넣었던 애플 특유의 칩 설계 방식이 AI 영역으로 고스란히 반영된 셈입니다.
애플 실리콘의 무기, 어떤 모양이든 바꿀 수 있는 ‘유연성'
여기서 애플 실리콘만의 무서운 무기가 등장합니다. 바로 ‘유연성’과 ‘확장성’입니다. 일반적인 반도체 회사들은 시장의 공용 표준 규격과 단가를 맞춰야 하므로 칩의 모양이나 설계를 쉽게 바꾸지 못합니다. 하지만 애플은 완성될 하드웨어 제품을 먼저 바라보고 칩을 자유롭게 만듭니다. 필요한 만큼 크게 만들고, 대역폭을 높이기 위해 핀을 늘려도 누가 뭐라 하지 않습니다. 칩을 두 개 이어 붙이는 독특한 설계도 제품을 완성하는 데에 아무련 영향을 주지 않습니다. 성능만 두 배로 나온다면 아무 문제가 없는 거죠.
이번에도 애플은 무작정 칩을 키우는 대신, GPU 코어 하나하나를 더 똑똑하게 만드는 방식을 택했습니다. 덕분에 M5는 기본형부터 Max 라인업까지 GPU 개수가 늘어나면, AI 행렬 연산 능력도 정직하게 무시무시한 속도로 확장됩니다.
더그 브룩스 프로덕트 매니저는 결국 앱 생태계의 중요성을 이야기합니다. “하드웨어도 중요하지만 개발자들이 이 칩을 바탕으로 소프트웨어를 짤 수 있어야 한다는 이야기입니다. 그래서 이 때문에 아이폰부터 아이패드, 맥에 이르기까지 전체 제품군에 걸쳐 동일한 아키텍처와 코어ML(Core ML), 메탈(Metal) 같은 프레임워크를 공유하고, 또 개발자는 단 한 번의 개발로 모든 기기에서 강력한 AI 앱을 선보일 수 있는 큰 그림을 그리고 있다고 설명합니다.
실제로 이 뉴럴 액셀러레이터 기술은 맥북뿐만 아니라, 여러분 주머니 속에 있는 최신 아이폰 17 프로와 아이폰 에어의 A19 프로 칩셋에도 똑같이 들어가 있습니다. 하드웨어와 운영체제, 소프트웨어가 하나로 통합되어 있기에 가능한 애플 생태계만의 특징입니다.
CPU, GPU, 뉴럴 엔진... 최고의 AI를 위한 오케트레이션
가장 궁금한 건 역할의 분담입니다. 새로운 가속기가 GPU에 들어갔다면, 기존의 '뉴럴 엔진'은 이제 필요가 없어지는 걸까요? 뉴럴 엔진과 뉴럴 가속기는 뭐가 다르냐고 물어보지 않을 수 없죠.
“뉴럴 엔진은 여전히 강력한 전용 엔진이고 이미 수천 가지 모델이 뉴럴 엔진 위에서 상시 구동되고 있다고 말했어요. 반면, 최근 오픈소스 커뮤니티나 대형 언어 모델(LLM), 그리고 'MLX 프레임워크' 기반의 무거운 작업들은 GPU를 필요로 하고 있죠. 그래서 가벼운 일상은 뉴럴 엔진이 전력 효율적으로 받아치고, 고부하 생성 연산은 GPU의 뉴럴 액셀러레이터로 처리하는 게 바로 애플 실리콘의 AI 처리 전략이라는 설명입니다.
답변을 듣고 나니 퍼즐이 맞춰지는 것 같더라고요. 뉴럴 엔진의 본질은 배터리를 아끼는 것입니다. CPU나 GPU는 일단 일을 시작하면 전력을 많이 쓰거든요. 그래서 깨우지 않고 폰 한구석에서 글자를 요약하거나 사진 누끼를 딸 때 가장 적은 전력으로 백그라운드에서 상시 작동하죠. 그리고 코어ML을 통해서 개발자들이 따로 모델을 만들거나 학습하지 않아도 AI의 기능들을 그대로 활용할 수 있는 기반도 바로 이 뉴럴 엔진으로 갖춰져 있습니다.
반면 최근 개발자들이 독자적인 오픈소스 AI 모델을 맥에 올릴 때는 GPU를 위주로 씁니다. 애플은 이에 대응하기 위해 오픈소스 라이브러리인 'MLX'를 내놓았고, 개발자가 MLX 코드를 돌리는 순간 M5 GPU 내부에 숨어있던 뉴럴 액셀러레이터 부스터가 자동으로 깨어나 연산 속도를 끌어올리는 구조를 만든 겁니다.
기본적으로 맥OS나 iOS는 AI 요청이 들어오는 순간, 이것이 뉴럴 엔진에 어울리는 일인지, GPU 가속기가 필요한 무거운 작업인지 판단해서 할당하지만 또 앱 개발자가 필요로 한다면 GPU에 바로 할당하는 것도 가능합니다.
"M1, M4 구형 유저들은 소외되나요?"
하지만 M5가 이렇게나 똑똑하고 빠르다면, 기존의 M1, M2, M4 맥이나 아이폰을 쓰는 구형 유저들은 앞으로 새로운 AI 기능에서 소외되는 걸까요? 솔직히 성능 테스트를 해보며 저도 이게 제일 걱정됐습니다. 이 걱정에 대해 더그 브룩스는 걱정하지 않아도 된다고 말해주었어요.
“모든 애플 실리콘 기반의 맥은 세대를 막론하고 애플 인텔리전스를 구동할 채비가 되어 있습니다. M5와 이전 세대의 차이는 결코 할 수 있고 없고의 '역량(Capability)' 문제가 아닙니다. 그것은 속도와 쾌적함의 차이인 '성능(Performance)'의 차이라고 합니다.
기존 세대의 칩들도 '통합 메모리 구조'를 바탕으로 로컬 AI 모델을 충분히 돌릴 수 있습니다. M5는 특화 엔진이 하나 더 얹어져서 '첫 단어가 뜨는 속도'나 '그림이 완성되는 속도'가 엄청나게 빠를 뿐, 지금 당장은 할 수 있는 기능 자체에 선을 긋는 파편화는 없다는 뜻이죠.
게다가 기기 성능을 뛰어넘는 거대한 인공지능 연산은 강력한 프라이버시를 보장하는 자체 서버 인프라인 **‘프라이빗 클라우드 컴퓨팅(Private Cloud Compute, PCC)’**이라는 클라우드 파워를 결합해 처리합니다. 온디바이스와 클라우드를 오가는 하이브리드 인프라를 마련해 뒀기 때문에 구형 유저들도 차별 없이 균일한 AI 경험을 누릴 수 있습니다.
‘해야 할 일'에서 길 찾는 반도체의 승리
과거의 반도체는 미세 공정을 통해 트랜지스터를 얼마나 빽빽하게 집어넣고 속도를 쥐어짜느냐의 평면적인 싸움이었습니다. 하지만 지금의 반도체는 칩 내부에 소비자가 원하는 특정 역할을 맡는 전용 블록을 얼마나 영리하게 배치하느냐의 싸움으로 패러다임이 바뀌었습니다.
애플은 시장의 똑같은 공용 칩을 사다 쓰는 대신, **"기기가 최종적으로 소비자에게 어떤 경험을 주어야 하는가"**라는 '해야 할 일'의 관점에서 반도체를 거꾸로 설계해 나갑니다. 다이내믹 캐싱, 미디어 엔진, 그리고 M5의 뉴럴 액셀러레이터까지... 이런 철학이 담긴 애플 실리콘은 이제 그 누구도 쉽게 넘볼 수 없는 애플 생태계 최고의 무기가 되었습니다.
WWDC에서 이 강력한 하드웨어 날개를 달고 공개될 새로운 애플 인텔리전스와 파운데이션 모델은 우리 일상을 어떻게 바꾸어 놓을까요? 키노트가 더욱 기다려지는 이유입니다.
