얀 르쿤(Yann LeCun)은 요즘 AI 업계에서 가장 흥미로운 반대편 질문을 던지는 인물입니다. 그는 챗봇과 LLM이 매우 유용한 제품이 됐다는 점을 인정하면서도, 인간 수준의 지능으로 가는 길이 텍스트 예측만으로 충분한지는 계속 의심합니다. 그래서 르쿤을 지금 다시 읽는 이유는 단순한 전기 때문이 아닙니다. 르쿤 월드 모델 논의와 로봇 계획, 오픈소스 AI 주권이 2026년 AI 논쟁의 중심으로 들어왔기 때문입니다.
그의 이름은 이미 현대 딥러닝의 역사에 깊게 새겨져 있습니다. ACM Turing Award 프로필은 르쿤이 Geoffrey Hinton, Yoshua Bengio와 함께 2018년 튜링상을 받았고, 수상 사유가 “deep neural networks를 컴퓨팅의 핵심 구성 요소로 만든 개념적·공학적 돌파구”였다고 설명합니다. Meta AI 프로필도 그가 합성곱 신경망(CNN) 방법을 발명한 연구자로 널리 알려져 있으며, 이미지·비디오·음성 인식에 큰 영향을 줬다고 정리합니다.
최근 활동과 문제의식
르쿤의 최근 활동은 세 갈래로 모입니다. 첫째, 그는 Meta FAIR의 오래된 연구 흐름에서 나온 JEPA(Joint Embedding Predictive Architecture)를 통해 “세상을 직접 복원하는 모델”보다 “세상의 중요한 표현을 예측하는 모델”을 강조합니다. 둘째, V-JEPA 2 같은 비디오 기반 모델은 AI가 물리 세계를 이해하고 계획하는 방향을 보여줍니다. 셋째, Project Tapestry는 폐쇄형 초거대 모델만이 아니라 여러 국가와 기관이 함께 만드는 개방형 기반 모델의 가능성을 제기합니다.
| 축 | 르쿤이 던지는 질문 | 독자가 볼 포인트 |
|---|---|---|
| 딥러닝의 과거 | 신경망은 어떻게 실제 컴퓨팅의 핵심이 됐나 | CNN과 튜링상으로 이어진 성과 |
| 월드 모델 | AI가 단어가 아니라 세계의 변화를 예측할 수 있나 | JEPA와 V-JEPA 2의 실험 방향 |
| 오픈 AI | 기반 모델을 소수 기업만 통제해도 되는가 | Project Tapestry와 AI 주권 논의 |
CNN에서 JEPA까지
르쿤의 대표 성과를 한 문장으로 줄이면 “신경망이 실제 세계의 패턴을 볼 수 있게 만든 연구자”입니다. CNN은 이미지 안의 지역적 패턴을 계층적으로 잡아내는 구조로, 손글씨 인식과 컴퓨터 비전의 실용화를 앞당겼습니다. 오늘날의 비전 모델은 훨씬 커졌지만, 입력을 계층적으로 해석하고 특징을 쌓아 올린다는 감각은 여전히 중요합니다.
JEPA는 그 다음 질문입니다. Meta의 I-JEPA 발표는 모델이 픽셀 자체를 복원하기보다 이미지의 추상 표현을 예측한다고 설명합니다. 같은 글은 632M 파라미터 비전 트랜스포머를 16개 A100 GPU에서 72시간 미만으로 학습했고, ImageNet 저샷 분류에서 클래스당 12개 라벨만으로 강한 성능을 냈다고 소개했습니다. 중요한 포인트는 “더 그럴듯한 그림을 만드는 능력”이 아니라, 불필요한 세부 픽셀보다 의미 있는 표현을 배우려는 설계입니다.
이 관점은 에이전틱 AI 논의와도 연결됩니다. 에이전트가 실제 환경에서 행동하려면 답변 생성만으로는 부족합니다. 문을 열면 어떤 일이 일어날지, 로봇 팔을 움직이면 물체가 어떻게 반응할지, 작업 순서를 바꾸면 비용과 위험이 어떻게 달라질지 예상해야 합니다. 르쿤의 월드 모델 주장은 바로 이 계획 능력을 향합니다.
V-JEPA 2와 Project Tapestry
2025년 Meta는 V-JEPA 2 발표에서 1.2B 파라미터 비디오 월드 모델을 공개하며, 비디오 이해·예측과 낯선 물체를 다루는 제로샷 로봇 계획을 강조했습니다. 발표문은 월드 모델의 핵심 능력을 이해, 예측, 계획으로 나눕니다. 사람은 공을 던지면 떨어진다는 물리 직관을 쓰지만, AI 시스템도 행동 전에 결과를 상상할 수 있어야 한다는 설명입니다.
이 흐름이 바로 상용 제품으로 이어진다고 단정할 수는 없습니다. 다만 LLM 중심의 모델 효율 경쟁만으로 설명하기 어려운 연구 축이 커지고 있다는 점은 분명합니다. 언어 모델은 코드 작성, 요약, 검색 보조에서 이미 강력하지만, 로봇·자율주행·산업 자동화처럼 물리 세계와 맞닿은 문제에서는 관찰, 기억, 예측, 계획이 함께 필요합니다.
Project Tapestry는 다른 축의 질문입니다. AI Alliance 발표는 2026년 4월 Project Tapestry를 공개하며, 200개 이상 회원 조직이 참여하는 비영리 AI 연구·오픈소스 연합이 분산·연합 학습 방식으로 frontier open model을 만들려 한다고 밝혔습니다. 같은 발표는 르쿤이 AI Alliance와 Project Tapestry의 Chief Science Advisor로 합류했다고 설명합니다.
르쿤의 최근 메시지는 “LLM이 쓸모없다”가 아닙니다. 질문은 더 좁고 실용적입니다. 다음 단계의 AI가 현실을 예측하고 계획해야 한다면, 텍스트 생성 모델 위에 어떤 표현 학습과 검증 구조를 얹어야 하느냐는 것입니다.
한계와 독자가 볼 이유
르쿤의 주장에도 주의할 점은 있습니다. JEPA와 월드 모델은 설득력 있는 연구 방향이지만, 오늘의 챗봇 생태계를 곧바로 대체할 성숙한 범용 제품이라고 보기는 어렵습니다. V-JEPA 2가 보여준 로봇 계획도 제한된 실험 조건과 평가 기준 안에서 읽어야 합니다. 또한 오픈소스와 AI 주권은 접근성을 넓힐 수 있지만, 안전 평가, 악용 방지, 데이터 거버넌스가 약하면 또 다른 위험을 만들 수 있습니다.
그럼에도 르쿤을 알아야 하는 이유는 분명합니다. 그는 딥러닝의 성공을 만든 사람 중 한 명이면서, 그 성공의 현재 형태를 그대로 미래라고 보지 않습니다. CNN은 AI가 이미지를 보게 했고, JEPA와 월드 모델은 AI가 행동의 결과를 예측하게 하려는 시도입니다. 2026년의 AI를 이해하려면 “더 큰 LLM”만 볼 것이 아니라, 세계를 표현하고 계획하는 모델이 왜 다시 중요해졌는지도 함께 봐야 합니다.
댓글 없음:
댓글 쓰기