딥러닝을 처음 접하면 가장 신기한 점은, 사실 성능이 아니다. 요즘 모델이 글을 쓰고, 그림을 그리고, 코드를 만들고, 논문을 요약하는 건 이제 어느 정도 익숙해졌다. 정말 이상한 점은 따로 있다.

잘 되는데, 왜 잘 되는지는 아직도 선명하게 설명할 수 없다.

물론 아무것도 모른다는 뜻은 아니다. 연구자들은 딥러닝 모델이 어떻게 학습하는지, 어떤 조건에서 성능이 좋아지는지, 데이터와 모델 크기가 어떤 영향을 주는지에 대해 많은 것을 알아냈다. 하지만 우리가 비행기가 왜 뜨는지, 전기가 어떻게 흐르는지, 행성이 왜 궤도를 도는지 설명할 때의 그 단단한 느낌과는 조금 다르다.

딥러닝은 작동한다. 놀랄 만큼 잘 작동한다. 그런데 그 작동 원리를 설명하려고 하면, 어딘가 안개 속으로 들어가는 기분이 든다.

잘 되는 기계, 설명하기 어려운 기계

딥러닝 모델을 하나의 거대한 기계라고 생각해보자. 입력을 넣으면 출력이 나온다. 문장을 넣으면 다음 문장을 예측하고, 이미지를 넣으면 고양이인지 강아지인지 구분한다. 겉으로 보면 단순하다.

문제는 그 안쪽이다.

현대 딥러닝 모델은 수십억, 수천억 개의 파라미터를 가진다. 파라미터 하나하나는 작은 숫자일 뿐이지만, 이 숫자들이 층층이 연결되면서 복잡한 계산망을 만든다. 학습 과정에서는 이 숫자들이 조금씩 바뀐다. 손실값을 줄이는 방향으로, 더 그럴듯한 답을 내는 방향으로, 데이터의 패턴을 더 잘 흡수하는 방향으로.

여기까지는 설명할 수 있다. 역전파가 있고, gradient descent가 있고, loss function이 있다. 교과서적인 설명은 분명 존재한다.

그런데 진짜 질문은 여기서 시작된다.

왜 어떤 모델은 갑자기 추론을 잘하게 될까? 왜 크기를 키우면 특정 능력이 어느 순간 튀어나오는 것처럼 보일까? 왜 같은 구조라도 데이터, 학습률, 초기값에 따라 전혀 다른 결과가 나올까? 왜 모델 내부의 특정 뉴런이나 attention head가 사람이 이해할 수 있는 기능을 하는 것처럼 보일까?

이 질문들에 대해 우리는 부분적인 답은 가지고 있지만, 아직 하나의 깔끔한 이론으로 묶지는 못했다.

물리학은 먼저 단순화하고, 딥러닝은 나중에 추적한다

물리학과 비교하면 차이가 더 분명해진다.

물리학은 세상을 단순화하는 데 능하다. 공이 떨어지는 현상을 설명할 때, 우리는 공의 색깔이나 표면의 작은 흠집까지 모두 고려하지 않는다. 마찰을 무시하고, 질량과 중력가속도 같은 핵심 변수만 남긴다. 그렇게 단순화된 모델은 현실을 완벽히 복제하지는 않지만, 중요한 현상을 꽤 정확하게 설명한다.

뉴턴의 운동법칙은 그렇게 탄생했다. 맥스웰 방정식도, 열역학도, 양자역학도 어느 정도는 비슷하다. 복잡한 세상에서 반복되는 패턴을 찾아내고, 그것을 수식으로 압축한다.

딥러닝은 조금 다르다.

딥러닝 모델은 인간이 명시적으로 단순화한 법칙에서 출발하지 않는다. 오히려 엄청난 양의 데이터 속에서 스스로 패턴을 찾아낸다. 사람이 “이런 특징을 보라”고 하나하나 지정하지 않아도, 모델은 학습 과정에서 유용한 표현을 만들어낸다.

이게 딥러닝의 강점이다. 동시에 이게 딥러닝을 설명하기 어렵게 만드는 이유이기도 하다.

물리학에서는 우리가 먼저 세상을 단순화하고, 그 단순화된 세계를 설명하는 법칙을 만든다. 딥러닝에서는 모델이 먼저 복잡한 세계를 흡수하고, 우리는 나중에 그 안에서 무슨 일이 일어났는지 추적하려고 한다.

순서가 반대다.

그래도 법칙의 조각들은 보이기 시작했다

그렇다고 딥러닝 이론이 없는 것은 아니다. 오히려 최근 몇 년 사이 이 분야는 꽤 빠르게 발전하고 있다.

가장 유명한 흐름 중 하나는 scaling law다. 모델 크기, 데이터 크기, 연산량을 늘렸을 때 성능이 어떤 식으로 좋아지는지 관찰하는 연구다. 흥미로운 점은 이 관계가 완전히 제멋대로가 아니라는 것이다. 충분히 큰 범위에서는 loss가 꽤 예측 가능한 곡선을 따라 줄어든다.

이건 중요한 발견이다. 딥러닝이 단순히 “크게 만들면 왠지 좋아진다”가 아니라, 어느 정도 수량화 가능한 법칙을 따른다는 뜻이기 때문이다.

또 다른 흐름은 학습 과정 자체를 이해하려는 연구다. 모델이 처음에는 무엇을 배우고, 나중에는 무엇을 배우는지. 쉬운 패턴과 어려운 패턴을 어떤 순서로 흡수하는지. representation이 학습 중에 어떻게 변하는지. 이런 질문들은 딥러닝을 단순한 블랙박스가 아니라, 시간에 따라 변화하는 동역학 시스템으로 보려는 시도다.

여기에 mechanistic interpretability라는 분야도 있다. 모델 내부를 실제로 들여다보면서 특정 회로나 뉴런, attention pattern이 어떤 기능을 하는지 분석한다. 예를 들어 모델이 문법 구조를 추적하거나, 사실 정보를 저장하거나, 간단한 논리 연산을 수행할 때 내부에서 어떤 계산이 일어나는지 찾으려는 연구다.

이런 연구들은 아직 뉴턴 법칙처럼 단순하고 강력한 형태는 아니다. 하지만 중요한 단서들을 제공하고 있다.

딥러닝은 완전히 마법이 아니다. 복잡하지만, 반복되는 패턴이 있다. 그리고 그 패턴을 설명하려는 언어가 조금씩 생기고 있다.

learning mechanics라는 이름의 시도

최근에는 이런 흐름을 묶어 learning mechanics라고 부르려는 시도도 있다. 말 그대로 “학습의 역학”이다.

물체가 움직이는 법칙을 연구하는 것이 mechanics라면, 모델이 학습하는 법칙을 연구하는 분야도 있을 수 있다는 생각이다. 여기서 관심을 가지는 것은 개별 뉴런 하나하나가 아니라, 더 큰 수준의 현상이다.

예를 들면 이런 질문들이다.

모델은 왜 특정 크기 이상에서 갑자기 새로운 능력을 보이는가? 학습률이나 batch size는 왜 어떤 범위에서 안정적으로 작동하는가? 서로 다른 모델 구조에서도 반복해서 나타나는 공통 법칙이 있는가? 데이터의 품질과 양은 모델 내부 표현에 어떤 영향을 주는가?

이런 질문에 답하려면 물리학과 비슷한 태도가 필요하다. 모든 세부사항을 다 설명하려고 하면 실패한다. 대신 중요한 변수를 찾고, 반복되는 현상을 관찰하고, 예측 가능한 법칙을 만든다.

물론 조심해야 한다. 딥러닝은 자연현상이 아니라 인간이 만든 시스템이다. 모델 구조도 바뀌고, 데이터도 바뀌고, 학습 방법도 계속 바뀐다. 물리학처럼 변하지 않는 자연법칙을 찾는 것과는 다르다.

하지만 그렇다고 이론이 불가능하다는 뜻은 아니다. 경제학이나 생물학도 물리학만큼 깔끔하지는 않지만, 나름의 이론과 법칙을 가지고 있다. 딥러닝도 아마 그런 방향에 가까울지 모른다. 완벽하게 단순한 법칙 하나가 모든 것을 설명하기보다는, 여러 수준의 이론이 겹쳐지는 형태 말이다.

이해는 효율을 만든다

나는 딥러닝의 미래를 생각할 때, 이 부분이 꽤 중요하다고 본다.

지금까지의 딥러닝 발전은 상당 부분 스케일의 힘에 기대어 왔다. 더 많은 데이터, 더 큰 모델, 더 많은 GPU, 더 긴 학습. 물론 이 전략은 엄청난 성과를 냈다. 하지만 언제까지나 무작정 키우기만 할 수는 없다. 비용도 커지고, 에너지 문제도 있고, 데이터 품질 문제도 있다.

다음 단계에서는 “왜 되는지”를 아는 것이 점점 더 중요해질 것이다.

왜냐하면 이해는 효율을 만든다. 효율은 새로운 설계를 가능하게 한다. 새로운 설계는 다시 성능의 도약을 만든다.

비행기를 예로 들면, 처음에는 새를 흉내 내는 장치들이 많았다. 하지만 공기역학이 발전하면서 우리는 새와 전혀 다르게 생긴 비행기를 만들 수 있게 됐다. 원리를 이해했기 때문에 더 좋은 설계가 가능해진 것이다.

딥러닝도 비슷한 길을 갈 수 있다. 지금의 Transformer가 최종 형태일 가능성은 낮다. 현재의 학습 방식도 마찬가지다. 우리가 학습의 원리를 더 깊이 이해하게 되면, 훨씬 작고 효율적인 모델, 더 안정적으로 추론하는 모델, 더 해석 가능한 모델을 만들 수 있을 것이다.

그때쯤이면 “딥러닝은 왜 잘 되는가?”라는 질문에 대한 답도 지금보다 훨씬 덜 흐릿해져 있을 것이다.

딥러닝만의 과학은 가능하다

그래서 “딥러닝 물리학은 가능할까?”라는 질문에 내 답은 이렇다.

물리학과 똑같은 형태는 아닐 것이다. 하지만 딥러닝만의 과학은 가능하다.

그 과학은 뉴턴의 운동법칙처럼 짧은 공식 하나로 끝나지는 않을 수 있다. 대신 scaling law, 학습 동역학, 해석 가능성, 최적화 이론, 데이터 이론 같은 여러 조각들이 모여 만들어질 것이다. 그리고 그 조각들이 충분히 맞물리는 순간, 우리는 지금보다 훨씬 자신 있게 말할 수 있을 것이다.

딥러닝은 그냥 운 좋게 되는 기술이 아니라고. 그 안에도 법칙이 있다고. 우리는 이제 막 그 법칙의 윤곽을 보기 시작했다고.

어쩌면 지금은 딥러닝의 뉴턴 이전 시대일지도 모른다. 사과는 이미 떨어지고 있다. 우리는 이제, 왜 떨어지는지 설명할 언어를 찾고 있다.