AI 컴퓨팅의 기하급수적 성장

 

차트: AI 계산의 기하급수적 성장
AI 실험이 시작되기 전인 1940년대에는 전자 컴퓨터가 등장한 지 겨우 10년밖에 되지 않았습니다. 이제 우리는 시를 쓰고 텍스트 프롬프트에서 이미지를 생성할 수 있는 AI 모델을 보유하고 있습니다. 그렇다면 무엇이 이렇게 단기간에 기하급수적으로 성장할 수 있었던 것일까요?

데이터로 보는 세상의 이 차트는 Epoch AI의 데이터를 사용하여 AI 모델을 학습시키는 데 사용되는 계산 능력의 양을 통해 AI의 역사를 추적합니다.

 

AI 계산의 세 가지 시대
1950년대 미국의 수학자 클로드 섀넌은 테세우스라는 로봇 마우스가 미로를 탐색하고 경로를 기억하도록 훈련시켰는데, 이는 모든 종류의 인공 학습을 최초로 입증한 사례입니다.

테세우스는 컴퓨터나 프로세서가 1초에 수행할 수 있는 기본 산술 연산(덧셈, 뺄셈, 곱셈, 나눗셈)의 수를 계산하는 데 사용되는 측정 단위인 40개의 부동 소수점 연산(FLOPs)을 기반으로 구축되었습니다.

ℹ️ FLOP은 컴퓨터 하드웨어의 계산 성능을 측정하는 지표로 자주 사용됩니다. FLOP 수가 높을수록 더 많은 연산을 수행할 수 있으며, 시스템이 더 강력하다는 것을 의미합니다.
계산 능력, 학습 데이터의 가용성, 알고리즘은 AI 발전의 세 가지 주요 요소입니다. 그리고 AI 발전의 첫 수십 년 동안 AI 모델을 학습시키는 데 필요한 연산 능력인 컴퓨팅은 무어의 법칙에 따라 성장했습니다.

 

Source: “Compute Trends Across Three Eras of Machine Learning” by Sevilla et. al, 2022.

하지만 2012년 AlexNet(이미지 인식 AI)이 예고한 딥러닝 시대가 시작되면서 연구자들이 연산과 프로세서에 더 많은 투자를 하면서 2배의 시간이 6개월로 상당히 단축되었습니다.

2015년 인간 프로 바둑 기사를 이긴 컴퓨터 프로그램인 알파고의 등장으로 연구자들은 세 번째 시대, 즉 계산 요구량이 이전의 모든 AI 시스템을 압도하는 대규모 AI 모델의 시대를 맞이했습니다.

 

AI 연산 진행 상황 예측
지난 10년만 되돌아봐도 컴퓨팅은 이해하기 어려울 정도로 엄청나게 성장했습니다.

예를 들어, 복잡한 수학 문제를 풀 수 있는 AI인 미네르바를 훈련시키는 데 사용된 컴퓨팅은 10년 전 AlexNet을 훈련시키는 데 사용된 컴퓨팅의 거의 600만 배에 달합니다.

다음은 역사적으로 중요한 AI 모델 목록과 이를 학습하는 데 사용된 컴퓨팅의 양입니다.

 

Note: One petaFLOP = one quadrillion FLOPs. Source: “Compute Trends Across Three Eras of Machine Learning” by Sevilla et. al, 2022.

 

이러한 연산 능력의 성장과 방대한 데이터 세트 및 더 나은 알고리즘의 가용성 덕분에 AI는 매우 짧은 시간 내에 많은 발전을 이루었습니다. 이제 AI는 많은 분야에서 인간의 능력을 따라잡을 뿐만 아니라 능가하고 있습니다.

하지만 지금과 같은 연산 증가 속도가 계속 유지될지는 장담하기 어렵습니다. 대규모 모델을 학습하려면 점점 더 많은 연산 능력이 필요하며, 연산 능력이 계속 증가하지 않으면 발전 속도가 느려질 수 있습니다. 현재 AI 모델 학습에 사용할 수 있는 모든 데이터가 소진되면 새로운 모델의 개발과 구현에도 지장을 줄 수 있습니다.

하지만 최근 AI에 많은 자금이 투입되고 있는 만큼, 인간 두뇌의 연산 능력과 맞먹는 획기적인 발전이 머지않은 미래에 이루어질 수도 있습니다.

 

 

이 데이터의 출처는 어디인가요?
출처: "기계 학습의 세 시대에 걸친 컴퓨팅 트렌드", Sevilla 외, 2022.

참고: 계산이 두 배가 되는 데 걸리는 예상 시간은 Amodei와 Hernandez(2018), Lyzhov(2021)를 비롯한 다양한 연구 시도에 따라 달라질 수 있습니다. 이 글은 출처의 연구 결과를 기반으로 작성되었습니다. 자세한 내용은 해당 논문 전문을 참조하시기 바랍니다. 또한 저자들은 AI 모델을 '일반 크기' 또는 '대형 크기'로 간주하는 데 따른 프레임워크 문제를 인식하고 있으며, 이 분야에 대한 추가 연구가 필요하다고 말했습니다.

방법론: 이 논문의 저자는 AI 모델을 학습시키는 데 사용되는 컴퓨팅 양을 결정하기 위해 연산 횟수를 세는 방법과 GPU 시간을 추적하는 두 가지 방법을 사용했습니다. 두 가지 접근 방식 모두 훈련 프로세스의 투명성이 부족하고 ML 모델이 성장함에 따라 심각하게 복잡해진다는 단점이 있습니다.

 

자료 출처: Visual Capitalist, "Charted: The Exponential Growth in AI Computation"