통찰력 있는 IT 기업 비젠소프트를 소개합니다.



인공지능(AI)은 우리 삶의 많은 부분을 변화시키고 있지만, 그 핵심에는 AI가 어떻게 학습하는지에 대한 깊은 고민과 발전의 역사가 숨어 있습니다.

오늘은 인공지능 학습의 중요한 두 축인 병렬 분산 처리(PDP)와 오류 역전파(Backpropagation)의 역사와 한계, 그리고 미래를 이끌어갈 대안적인

학습 방식들을 심층적으로 살펴보겠습니다.





1. AI의 시작, PDP와 역전파의 탄생

인공지능 학습의 뿌리는 1980년대 중반으로 거슬러 올라갑니다. 데이비드 럼멜하트, 제임스 맥클렐런드, 그리고 제프리 힌턴 같은 선구적인 연구자들은 인간의 뇌가 정보를 처리하는 방식에서

영감을 받아 병렬 분산 처리(PDP) 라는 새로운 프레임워크를 제시했습니다.

이들은 1986년, 『Parallel Distributed Processing』이라는 기념비적인 두 권의 책을 출간하며 연결주의(Connectionism) 운동의 초석을 다졌죠.

PDP의 핵심은 단순한 처리 단위(뉴런과 유사)들이 서로 연결된 네트워크를 통해 지능이 발현될 수 있다는 아이디어였습니다.

특히, 이 책에서 럼멜하트, 힌턴, 윌리엄스가 공동 집필한 오류 역전파 알고리즘은 다층 신경망의 학습 능력을 획기적으로 향상시켰습니다.

힌턴은 나중에 이 알고리즘의 기본 아이디어를 럼멜하트의 발명으로 인정하기도 했습니다. 하지만 당시 컴퓨터의 연산 능력 부족으로 인해 초기 PDP 모델들은 기대만큼의 성과를 내지 못했습니다.

1969년 마빈 민스키와 시모어 페이퍼트의 『퍼셉트론(Perceptrons)』이라는 책이 초기 신경망 모델의 한계를 지적하며 AI 연구의 방향을 상징적 AI로 전환시켰고, 이는 'AI 겨울'이라는 시기를 가져왔습니다.





2. 딥러닝 르네상스, 부활의 시작

신경망이 다시 주목받기 시작한 것은 2012년경부터입니다.

제프리 힌턴과 그의 제자들이 GPU(그래픽 처리 장치)를 활용한 딥러닝 모델로 이미지 분류 정확도를 크게 향상시키면서 AI 분야에 혁명적인 변화를 가져왔죠.

1990년대 후반 인터넷의 확산으로 방대한 양의 데이터가 축적되고, 2000년대 컴퓨팅 능력의 발전이 뒷받침되면서 오류 역전파 알고리즘은 비로소 그 잠재력을 폭발시킬 수 있었습니다.

이 알고리즘의 효율성 덕분에 수백만 개의 매개변수를 가진 복잡한 신경망을 훈련하는 것이 가능해졌고,

이는 컴퓨터 비전, 자연어 처리, 자율 시스템 등 다양한 분야에서 현재의 딥러닝 혁신을 이끌었습니다.





3. 역전파, 과연 완벽할까? 한계와 비판

오류 역전파는 현대 AI의 핵심 알고리즘이지만, 여러 한계와 비판에 직면해 있습니다.

생물학적 비현실성

뇌의 학습 방식과 비교했을 때 역전파는 몇 가지 중요한 차이점을 보입니다.

• 지역성 제약 위반: 뇌의 시냅스 변화는 해당 시냅스에서 국소적으로 사용 가능한 정보에만 기반해야 한다는 '지역성 제약'이 있습니다. 하지만 역전파는 가중치 업데이트를 위해 네트워크의 과거 활동 기록이나

  전역적인 정보에 의존합니다.

• 가중치 전송 문제: 역전파는 오류를 역방향으로 전파하기 위해 주 네트워크의 연결과 정확히 전치된 연결을 가진 별도의 '오류 네트워크'가 필요하거나, 개별 시냅스가 활동을 역방향으로 전파해야 합니다.

  이는 생물학적으로는 비현실적인 메커니즘으로 지적됩니다.

• 역방향 신호 전파: 뇌에는 역방향 투사가 존재하지만, 개별 시냅스가 하위 신경 활동을 역방향으로 직접 전파하는 경우는 드뭅니다.

계산적 난제

• 기울기 소실 및 폭발: 심층 신경망에서 역전파 과정 중 손실 함수의 기울기가 너무 작아지거나(소실) 너무 커지는(폭발) 현상이 발생할 수 있습니다. 이는 초기 계층의 학습을 방해하거나 훈련을 불안정하게 만들 수 있습니다.

• 메모리 및 계산 오버헤드: 특히 순환 신경망(RNN)의 역시간 역전파(BPTT)는 기울기 계산을 위해 전체 계산 그래프를 저장해야 하므로 상당한 메모리와 계산 비용이 필요합니다.

• 미분 가능한 함수에 대한 의존성: 역전파는 활성화 함수와 손실 함수가 미분 가능해야 하므로, 아키텍처 선택에 제약을 줄 수 있습니다.

이러한 비판에도 불구하고, 역전파는 현대 AI의 '핵심'으로 인정받고 있습니다. 이는 생물학적 원리에서 벗어난 알고리즘이 어떻게 지능적인 행동을 모방하는 데 계산적으로 그렇게 효과적일 수 있는지에 대한 흥미로운 역설을 제기합니다.





4. 뇌를 닮은 AI, 새로운 학습법의 등장

역전파의 한계를 극복하고 생물학적으로 더 현실적인 학습 메커니즘을 찾기 위한 연구가 활발히 진행되고 있습니다.

예측 부호화 (Predictive Coding, PC) 뇌가 감각 입력을 수동적으로 받아들이기보다 능동적으로 예측하고, 실제 입력과의 차이(예측 오류)를 기반으로 내부 모델을 업데이트한다는 이론입니다. PC는 뇌가 다른 계층에서 동일한 정보의

여러 버전을 유지할 필요가 없어 효율적이며, 예측 오류가 학습을 유도하는 '오류 신호' 역할을 합니다.

최근 연구에 따르면 예측 부호화는 역전파와 유사한 학습 결과를 도출할 수 있지만, 매개변수 업데이트 방식은 다릅니다.

평형 전파 (Equilibrium Propagation, EP) 국소 학습 규칙을 사용하여 수렴하는 순환 신경망을 훈련하는 생물학적 영감 알고리즘입니다. EP는 두 단계로 작동합니다: 네트워크가 첫 번째 정상 상태에 도달하는 '자유 단계'와,

작은 교육 신호가 출력 계층을 목표로 밀어 두 번째 정상 상태에 도달하는 '미는 단계'입니다. EP의 가중치 업데이트는 연결된 뉴런의 상태에만 기반하여 국소적으로 결정되므로 에너지 효율적인 뉴로모픽 하드웨어 설계에 매력적입니다.

특히, 홀로모픽 평형 전파(hEP)는 유한한 교육 신호에서도 정확한 기울기를 허용하고, 별개의 단계 없이 연속 시간 기울기 계산을 가능하게 하여 역전파와 유사한 성능을 보여주었습니다.

힌턴의 순방향-순방향 알고리즘 (Forward-Forward Algorithm, FF) 2022년 제프리 힌턴이 제안한 이 알고리즘은 역전파의 역방향 패스 의존성에서 벗어납니다. FF는 '긍정적 패스'와 '부정적 패스'라는 두 번의 순방향 패스를 사용합니다.

긍정적 패스에서는 올바른 데이터에 대해 '좋음(goodness)' 반응을 증가시키고, 부정적 패스에서는 잘못된 데이터에 대해 '좋음' 반응을 감소시킵니다. 각 계층이 자체적인 국소 목적 함수를 최적화하며, 전역 역방향 패스가 없어

뇌의 처리 메커니즘과 더 잘 일치하는 것으로 간주됩니다.

스파이킹 신경망 (Spiking Neural Networks, SNN) '3세대' 신경망으로 불리는 SNN은 기존 인공 신경망(ANN)보다 생물학적 뉴런을 더 가깝게 모방합니다. SNN은 연속적인 신호 대신 '스파이크'라는 이산적이고 이벤트 기반의

신호로 작동하며, 정보가 스파이크의 타이밍에 인코딩됩니다.

SNN의 학습은 주로 스파이크-타이밍 의존적 가소성(STDP)에 의해 제어되며, 이는 스파이크의 상대적 타이밍에 따라 시냅스 강도를 조절합니다. SNN은 이벤트

기반 특성 덕분에 본질적으로 에너지 효율적이며, 시간 정보를 처리하는 데 탁월합니다. 이 외에도 리저버 컴퓨팅, 진화 연산, 직접 피드백 정렬, 헤비안 학습 등 다양한 대안적 학습 규칙들이 연구되고 있습니다.





5. AI 학습의 현재와 미래

오류 역전파는 여전히 현대 AI의 지배적인 학습 알고리즘입니다. 컴퓨터 비전, 자연어 처리, 자율 주행 등 다양한 분야에서 혁신을 가능하게 했으며, GPT-4와 같은 대규모 언어 모델(LLM)의 훈련에 필수적인 역할을 합니다.

역전파의 한계는 '기울기 클리핑' , '배치 정규화' , '적응형 학습률 알고리즘' , '드롭아웃' 등 다양한 기술적 개선과 최적화 전략을 통해 완화되어 왔습니다. 또한, 병렬 컴퓨팅과 혼합 정밀도 훈련은 대규모 모델의 훈련 시간을 크게 단축시켰습니다.





6. 힌턴의 변화하는 관점과 AI의 미래

생물학적 영감 AI의 선구자였던 제프리 힌턴조차 최근 자신의 관점을 바꾸었습니다.

그는 2023년 초, 디지털 컴퓨터에서 역전파를 사용하는 신경망이 생물학적 시스템과 다른 독특한 장점을 가지고 있으며 특정 작업에 대해 '본질적으로 더 우수'할 수 있다고 제안했습니다.

특히, 디지털 시스템의 우수한 지식 공유 능력(데이터 병렬 처리)을 강조하며, 이를 통해 GPT-4와 같은 LLM이어떤 개인보다 수천 배 더 많은 사실을 축적할 수 있다고 설명했습니다. 이러한 관점의 변화는

그가 초지능 AI의 등장을 예측하는 시기를 앞당기게 했고, AI의 급속한 발전에 대한 심각한 우려를 공개적으로 표명하며 구글을 사임하는 계기가 되었습니다.

이러한 논쟁 속에서도 뉴로모픽 컴퓨팅은 생체 영감 알고리즘의 잠재력을 보여주는 중요한 분야입니다.뉴로모픽 장치는 뇌의 학습 방식을 모방하여 에너지 효율적이고 지속적으로 학습하는 하드웨어를 가능하게

할 수 있으며, 이는 자율 우주선과 같은 온보드 응용 분야에서 특히 중요합니다.





7. 마치며, 끊임없이 진화하는 AI 학습의 여정

인공지능 학습 알고리즘의 역사는 PDP와 역전파의 탄생에서 시작하여, 그 한계를 극복하려는 끊임없는 노력으로 이어져 왔습니다. 예측 부호화, 평형 전파, 순방향-순방향 알고리즘, 스파이킹 신경망 등

다양한 생체 영감 대안들은 미래 AI의 가능성을 열어주고 있습니다.

현재는 기존 디지털 하드웨어에서 최고의 성능을 추구하는 것과, 미래의 에너지 효율적인 컴퓨팅 패러다임을 위해 생물학적 제약을 준수하는 것 사이에서 균형을 찾아가는 시기입니다. 제프리 힌턴과 같은 선구자들이 제기하는

AI 안전에 대한 윤리적 고려 사항은 AI의 급속한 발전이 가져올 심오한 함의를 다시 한번 일깨워줍니다.

인공지능 학습 알고리즘 분야는 공학적 요구와 지능의 본질에 대한 과학적 호기심이라는 두 가지 동인에 의해 끊임없이 진화하고 있습니다.

계산 신경과학과 인공지능 간의 이러한 시너지는 앞으로 수십 년 동안 더욱 풍부하고 다양한 연구 환경을 약속할 것입니다.