[AI기획③] 논문으로 본 적대적 생성 신경망 GAN
머신러닝(Machine Learning)은 크게 세 분야로 구분된다. 지도학습(Supervised Learning), 강화학습(Reinforcement learning), 비지도 학습(Unsupervised Learning)이다.
2014년 이안 굿펠로우(Ian J. Goodfellow) 등 저자가 머신러닝 분야 최대 컨퍼런스 ‘신경정보처리시스템학회(NIPS)’에서 발표한 논문 ‘Generative Adversarial Nets(GAN)’는 비지도 학습에 속한다.
저자들은 노이즈로부터 이미지를 생성하는 아이디어를 제시했다. 이후 다양한 논문들이 발표되면서 더 발달된 이미지 생성, 자연어 처리(NLP)등에 응용되고 있다. 얀 르쿤(Yann Lecun) 등이 손에 꼽는 딥러닝 혁신으로 평가한 생성 모델이다.
생성적 적대 신경망, GAN이란
‘Generative’는 발생, 생성을 의미하는 형용사다. ‘Adversalial’은 대립적, 적대적이라는 뜻을 지닌다.
논문은 GAN에 대해 특정 정보를 생성하는 항과 이와 대립하는 항으로 이뤄진 망(Network)라는 의미를 지닌다.
이론적으로 생성적 모델(G)은 훈련 데이터 x 의 분포를 흉내내는 훈련을 반복적으로 시행하게 된다. 판별자(Discriminator) 모델 D는 G가 생성한 모사 샘플과 진짜 데이터 x를 구별한다. 현재 판결하고자 하는 모사본이 실재 훈련 데이터(real data)인지, G가 위조한 데이터인지 판별해 실재 데이터일 확률을 추정(estimate)한다. 이과정이 무한 순환되다보면 특정 시점에서 G가 x의 분포를 정확하게 모사하는 수준에 이르게 되고 D는 진본과 모사본을 구분하지 못하는 상황에 이르게 된다.
훈련 데이터에서 나온 x는 D(x)=1이 되고, 임의의 노이즈 분포인 z를 G에 투입해 만든 샘플은 D(G(z))=0이 되도록 학습된다. D는 잘못 판단할 확률을 최소화(min)하도록 하고 G는 D가 잘못 판단할 확률을 최대화(max)하도록 학습이 진행된다. 이를 ‘두 행위자 최소최대 게임(two-player minimax game)’이라고 할 수 있다.
논문은 G, D 두 모델을 다층 퍼셉트론을 활용해 구성했다. 학습 초반에는 G가 생성하는 이미지의 결과 D(G(z))는 0에 가깝지만 훈련이 거듭될수록 그 값이 1에 가깝게 위조 이미지 결과물이 개선된다.
적대과정을 통해 생성모델을 추정하기 위한 새로운 프레임 워크를 제안한다. 이 모델에서는 생성모델 G, G가 아닌 훈련 데이터로부터 표본이 나올 확률 데이터 분포를 포착하는 식별모델 D가 적대적으로 경쟁한다. G의 훈련과정은 D가 실수를 할 확률을 최대화하는 것이다. 이프레임 워크는 미니맥스 2 게임(two-player minimax game)에 해당한다….. G와 D가 정의 된 경우 다층 퍼셉트론에 의해, 전체 시스템은 역전파로 훈련 될 수 있다. 트레이닝이나 샘플 생성 중에 마르코브 체인(Markov chain)이나 전개되지 않은 대략적인 추론 네트워크가 필요 없다. 실험은 생성된 샘플의 질적, 양적평가를 통한 틀의 잠재력을 제시한다. – GAN 논문 요약 중
논문의 도입부에서는 조금 더 구체적이고 쉬운 예시를 든다.
심층학습은 확률을 나타내는 풍부하고 계층적인 모델을 발견하는 것이다. 인공지능 응용 프로그램에서 발생하는 데이터 종류에 대한 분산이미지, 음성이 포함된 오디오 파일 및 자연어로 된 기호가 포함된다. 지금까지 딥러닝에서 가장 두드러진 성공은 차별적 인 모델을 포함하고 있다. 고차원적이고 풍부한 감각 입력을 클래스 레이블에 매핑한다. 이 두드러진 성공은 주로 역전파 및 드롭 아웃 알고리즘을 기반으로 하며 조각별 선형 단위를 사용한다. 심층 생성모델은 많은 난해한 확률론적 계산을 근사화하기가 어렵기 때문에 효과가 적었다. 이는 최대 유사추정 및 관련 전략에서 그리고 생성적인 맥락에서 선형 단위 조각의 이점을 레버리지하는 어려움으로 인해 발생한다. 논문은 이러한 어려움을 회피하는 새로운 생성 모델 추정절차를 제안한다.
제안된 적대망(adversarial net) 프레임 워크에서, 생성 모델은 적대적 모델과 대치된다. 판별 모델은 샘플이 G모델 분포에 있는지 또는 훈련데이터 분포에 있는지를 확인하기 위한 학습을 한다. 생성 모델은 위조 팀과 유사하다고 생각할 수 있다. 생성 모델은 가짜 화폐를 생산해 적발되지 않고 사용하려는 반면, 차별적 모델은 위조 화폐를 감지하려고 경찰과 비슷하다. 이 게임의 경쟁은 두 팀이 위조품이 정품과 식별 할 수 없는 수준까지 그들의 방법을 개선하도록 추동한다. – GAN 논문 중
이어 수식과 설명을 통해 접근법에 대한 설명을 제시한다.

숫자를 사용한 게임을 구현, 트레이닝의 내부 루프에서 D를 완벽히 최적화하는 것은 계산상 제한돼 있다. 유한한 데이터 세트에서는 오버피팅이 발생한다. 대신, D와 G를 최적화하는 한 단계를 거치게 된다. 그 결과 D가 최적의 솔루션 근처에서 유지되기까지 G가 천천히 변화한다. 이 전략은 학습의 내부 루프에서 마르코프 체인(Markov Chain)의 버닝을 회피하는 SML / PCD 훈련의 일부다.
사후분포를 예측하는 베이지안 추정기법의 일환인 마르코프 체인은 마르코프 성질(Markov Property)을 지닌 이산 확률 과정(Discrete-time Stochastic Process)을 의미한다. 마르코프 성질은 과거와 현재 상태가 주어졌을 때의 미래 상태의 조건부 확률 분포가 과거 상태와는 독립적으로 현재 상태에 의해서만 결정된다는 것을 뜻한다.


절차는 알고리즘 1에 수식으로 제시된다.
수식은 G가 잘 학습하기에 충분한 그래디언트를 제공하지 못할 수도 있다. 학습 초기에 G가 취약한 경우 D는 높은 신뢰도로 훈련 데이터와 샘플을 구분할 수 있다. 이 경우 log (1 – D (G))가 포화된다. log (1-D (G (z))) 최소화하기 위해 G를 훈련하기보다는 log D (G (z))를 최대화하기 위해 G를 훈련 할 수 있다. 이 목적함수는 G와 D의 동역학의 고정점을 얻지만 학습 초기에 훨씬 더 강한 그래디언트를 제공한다. – GAN 논문 중
V(D, G)에 있어서 G는 이를 최소화 하는 방향으로, D는 최대화 하는 방향으로 가게 하는 최소극대화 문제(minimax Problem)를 설명하고 있다. Log 함수를 사용, V(D, G)를 최소최대화 하는 방향으로 학습하게 된다.
GAN의 한계
GAN은 혁신적인 알고리즘이지만 한계 또한 존재했다. GAN은 고해상도 이미지 생성 불가, 학습 불안정 등 문제가 있다. 최소극대화 문제를 해결 구조와 완전 연결 네트워크(Fully connected network) 구조에서 기인한다. GAN의 Fully-connected network를 심층 컨볼루션 네트워크(Deep Convolution Network)로 보완한 DCGAN이 등장하는 배경이다.

*논문
Generative Adversarial Nets
*저자
Ian J. Goodfellow, Jean Pouget-Abadie?, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair†, Aaron Courville, Yoshua Bengio





![[기획2]엔비디아 Isaac·GR00T, 로봇 AI 플랫폼 패권 경쟁](https://scimonitors.com/wp-content/uploads/2026/11/jetson-thor-1-1536x864-png-150x150.webp)


![[기획①]오픈AI, 로보틱스 전담팀 해체… 피지컬 AI 경쟁축 바뀌나](https://scimonitors.com/wp-content/uploads/2024/02/NEW-_DSCF1820_Desktop_10923A__3_.webp)