NVIDIA와 경쟁기업 동향

NVIDIA(엔비디아)는 세계적으로 유명한 반도체 기업입니다.  주로 그래픽 처리 장치(GPU)를 개발하는 회사였는데 , 클라우드 데이터 센터의 성장과 AI시장 확대가  GPU(A100, H100)  시장에서 획기적인 성장의 계기가 되었습니다. 

1. NVIDIA GPU의 강점

1) GPU시장 독점적 지위확보 :  NVIDIA는 그래픽 처리 장치(GPU) 분야에서 세계적으로 주도적인 위치를 차지하고 있습니다.

2) 클라우드 데이터 센터의  GPU 수요 지속적 증가 : 데이터 센터에서의 GPU 수요가 지속적으로 증가하고 있으며,  NVIDIA는 이 분야에서 강력한 성과를 내고 있습니다.

3) GPU 제품혁신 주도 : NVIDIA는 최첨단 인공지능 기술을 지원하는 핵심 칩( H100)과 CPU와 GPU간의 고속연결기술(NVLink)을 통해 인공지능 전용칩 공급업체로 인정받고 있습니다 .

※ GPU 속도를 가속하기 위해서는 고속 메모리가 필요한데 SK하이닉스의 고대역폭메모리(HBM)가 사용되고 있습니다. HBM의 역할은 GPU와 연동하여 데이터의 읽기, 쓰기를 담당하는 역할 입니다.

4) 전용 GPU 소프트웨어를 통한 AI서비스의  지속적 개발 지원  : 인공지능(AI) 시장이 확대되면서, 독자적인 CUDA라는 NVIDIA GPU 전용 소프트웨어를 통해  AI 관련 서비스를 지속적으로 개발 지원하고 있습니다.

2. NVIDIA의 NVLink기술

NVLink는 가속화된 시스템에서 GPU 및 CPU 프로세서를 위한 고속 인터커넥트를 가능케 해, 데이터와 연산을 실행 가능한 결과로 이끌어냅니다.

NVLink는 강력한 소프트웨어 프로토콜에 의해 형성된 GPU와 CPU를 위한 고속 연결로, 일반적으로 컴퓨터 보드에 있는 여러 쌍의 전선을 이용합니다. 이를 통해 프로세서는 공유 메모리 풀에서 초고속으로 데이터를 주고받을 수 있습니다.

이제 4세대에 접어든 NVLink는 호스트와 가속화된 프로세서를 최대 초당 900기가바이트(GB/s)의 속도로 연결합니다.
이는 기존 x86 서버에 사용되는 인터커넥트인 PCIe Gen 5의 7배가 넘는 대역폭입니다. 

NVLink를 이용한 GPU와 GPU간 연결(출처 : NVIDIA)

NVLink를 이용한 CPU와 GPU간 연결(출처 : NVIDIA)

3. NVIDIA의 CUDA기술

GPU 를 이용해 일련의 과정을 수행하기 위해서 NVIDIA 에서는 GPU 를 사용하기 위한 CUDA 와 cuDNN (CUDA Deep Neural Network library) 을 제공합니다. CUDA 는 C 언어를 이용하여 GPU 의 계산을 스케줄링할 수 있도록 제공하는 GPU 제조사 NVIDIA 의 일종의 SDK 입니다.

CUDA 5 구조(출처 : NVIDIA)

※ CUDA의 특징

1) 병렬 프로그램의 확장성 지원 : CUDA는 병렬 계산 알고리즘을 구현할 수 있습니다. 이는 GPU의 병렬 처리 능력을 최대한 활용할 수 있게 해줍니다.
2) 저렴한 가격과 편리한 설치 : CUDA는 비교적 저렴한 가격에 편리하게 설치할 수 있습니다.
3) GPU의 AI분야 활용 지원 :  CUDA는 NVIDIA의 GPU를 활용하여 그래픽 처리와 인공지능 분야에서 활용됩니다. 특히, 인공지능을 위한 컴퓨터는 CPU와 GPU로 구성되며, GPU는 학습 데이터를 분배하고 결과를 수집합니다.
4) AI 프로그램 개발의 편리성 과 좋은 호환성 : CUDA를 이용하면, 파이토치와의 호환성이 좋고, 많은 사람이 사용하는 칩에 맞춰 프로그램을 개발할 수 있습니다.

☞ 파이토치 :  파이썬 기반의 오픈소스 머신러닝 라이브러리로, 딥러닝을 쉽고 빠르게 구현할 수 있도록 도와줍니다. 파이토치는 Define by Run 방식을 사용하여 실시간으로 결과를 시각화하고, 다양한 파이썬 라이브러리와 호환되며, GPU를 이용한 연산이 가능합니다.

4.  범용인공지능(AGI) 전용칩 관련 경쟁기업 동향

1) NVIDIA는 GPU 핵심칩(H100)과 칩 고속연결 기술인 NVLink기술, NVIDIA GPU를 사용을 지원하는 독자적인 소프트웨어 CUDA를 이용하여 타사 대비 경쟁우위 전략으로 현재 인공지능 전용 칩 시장에서 주도적 위치를 차지하고 있습니다. 앞으로 고성능 GPU 개발, AI 소프트웨어 플랫폼 강화,  클라우드시스템에 GPU 공급 확대,  AI 생태계 구축,  자율주행, 로봇에 투자할 계획입니다.

2) 현재 NVIDIA의 GPU를 구매할려는 수요는 많으나 칩 생산기간이 길고, 공급이 제대로 되지않고 있습니다.  그리고 칩 가격도 개당 3~4만달러로 고가 입니다. 따라서 경쟁기업들은 독자적으로 인공지능 전용칩인  NPU(Neural Processing Unit) 개발을 하고 있습니다. 그리고 경쟁기업들은 NVIDIA의 GPU 독점체제를 탈피하기 위해 구글은 GCP에 지체 인공지능 전용칩인 TPU(Tensor Processing Unit)를 개발하여 인공지능 학습 및 서비스에 사용하고 있고,  아마존도 AWS에 자체 인공지능 전용칩인 인프렌시아 를 개발하여 15%이상 사용하고  AMD GPU도 사용하고 있습니다.  또한 MS도 클라우드 애저에서도 AMD의 GPU를 15%이상 사용하고 있습니다.

※ 인공지능 모델을 처음 개발할때는 CUDA와 같은 인공지능 개발 및 라이브러리 환경이 모두 준비되어 있는  NVIDIA의 GPU를 사용해야 개발하기가 편하고, 인공지능 모델을 개발이 완료된 후 파인 튜닝단계에서는 가격이 싼 다른 GPU를 사용 가능 합니다. 왜냐하면 개발이 완료된 인공지능 모델은 다른 GPU의 환경에 맞춰서 재 컴파일만하면 사용 가능하기 때문 입니다.

3) OPEN AI의 CEO인 샘올트먼은 7조달러(약9,000조) 자금 유치를 통해 자체 AI반도체 제조능력을 확보를 추진 중에 있습니다. 이는 '반도체설계 + 반도체 생산 + 데이터 센터 구축 + 데이터센터 전기료 + 전력생산비용'을 합한 금액입니다. 또한 에너지 기업인  헬리온 융합기(인공태양), 오클로 소형 원자로에 투자하고 있습니다. 중동의 오일 머니와 손정의 회장을 투자를 받을 예정이나 아직 계획단계에 있습니다. 샘올트만의 밸류체인 계획은 반도체 설계만 OPEN AI가 하고, 생산과 메모리는 기존 공급업체를 이용한다는 생각입니다.

구 분	설 계	생 산	메모리
기존 밸류체인	엔비디아	TSMC, 삼성전자	삼성전자, SK하이닉스
샘올트먼 밸류체인	OPEN AI가 투자한 반도체  설계기업	TSMC, 삼성전자	삼성전자, SK하이닉스

4) 구글은 '구글 클라우드(GCP)'를 통해 구글 인공지능 전용칩 TPU(Tensor Processing Unit)와 NVIDIA의 GPU(H100)를 구매하여  동시 서비스 하고 있습니다. 왜냐하면 GPU선택은 개발자가 하기 때문입니다. 구굴의 생성형 AI의 전략은  Gemini Nano는 온디바이스(on-device) 작업 모델, Gemini Pro는 광범위한  작업 모델, Gemini Ultra는 매우 복잡한 작업을 위한 가장 크고 성능이 좋은 모델로 챗GPT4를 능가하는 모델입니다. 그리고 OPEN AI에서 나와서 새로 창업한 엔트로픽에 투자하여 TPU를  통하여  '클로드3' 인공지능 모델 개발하고 있습니다.  '클로드3' 인공지능 모델은 오픈AI의  GPT4와 거의 동등한 수준의 인공지능 모델입니다. 

5) 마이크로 소프트는 23년 NVIDIA의 GPU(H100) 15만개를 구입하여 마이크소프트 클라우드 애저에 투자하였습니다.  또한 OPEN AI에 투자하여 OPEN AI의 챗GPT 4 모델을 기술이전을 받아서 마이크로소프트의 GPT4 독자모델로 코파일럿(Copilot)서비스를  무료로 일반 고객들에게 서비스 하고 있습니다. 자체 인공지능 칩인 'MS 마이아100'도 보유하고 있습니다.

6)  메타는 '23년에  NVIDIA의 GPU 15만개를 구입하여 인공지능 모델 LLAMA2 학습에 투자하고 있습니다. 또한  퀄컴과의 협력을 통해 LLAMA2를 2024년부터 모바일 및 PC 칩에 이식될 예정 입니다. 올해에도  NVIDIA의 GPU(H100) 35만개를 추가 구입하겠다는 계획 및 자체 범용인공지능(AGI) 칩 개발을 하겠다는 계획도 언급 했습니다. 또한,  오픈소스로 LLAMA를 최초로 공개하여 작은 기업과 학생들에게 LLM모델을 개발할 수 있는 기회를 제공하였습니다.  
2월27일 한국에 입국한 메타 CEO 저크버그는 LG전자와의 확장현실(XR) 사업 즉 MR사업의 전략적 협의를 본격화하였고, 삼성전자와는 범용인공지능(AGI) 칩 개발 관련 협의가 있을 전망 입니다.

7) 삼성전자는 기존에는 AI반도체 두뇌 역할을 담당하는 핵심 칩보다는 고대역폭메모리(HBM) 등 연산을 돕는 메모리반도체를 중심으로 시장에 대응하였으나,  범용인공지능(AGI) 칩 개발에도 본격 대응하고 있습니다. 따라서 AGI 전용 반도체를 만들기 위해 최근 미국 실리콘밸리에 구글 TPU개발에 참여한 인력을 영입하여 AGI개발조직(AGI컴퓨팅랩) 신설 하였습니다.또한 삼성전자는 2월중순 고대역폭메모리 HBM3E D램을 12층으로 쌓아 36GB를 개발했다고 발표했습니다. 앞으로 HBM시장은 HBM 선두 기업인 SK하이닉스와 삼성전자, 마이크론간  3파전이 예상됩니다.  

5.  세계 반도체 시장 동향

세계 반도체 시장은 펜데믹을 지나면서 반도체 부족으로 높은 고용창출을 하는 자동차 생산이 힘들게 되었습니다. 또한 산업의 패러다임도 모바일 시대에서 모빌리티 시대로 변화하면서 반도체의 중요성이 더 부각되었고, 자국내 반도체 생산시설이 필요하다는 것을 알게 되었습니다. 이제는 반도체가 협력의 관계에서 경쟁의 관계로 전환 되었다는 의미입니다.  따라서 미국은 중국의 반도체 생산을 규제하면서 막대한 정부보조금을 투자하여 미국내에 반도체 생산시설을 만들고 있습니다. 이는 반도체가 안보의 개념으로 전환되었다는 것입니다. 그리고 일본, 유럽 등도 정부 보조금 지원을 통해 자국내 반도체 생산시설을 만들고 있습니다.

'23년 챗GPT의 인공지능 등장은 앞으로 반도체의 슈퍼사이클이 예상됩니다. 우리나라도 용인에 세계최대  K반도체 클러스트를 만들고 있습니다. 앞으로 계획대로 잘 진행되어 세계 반도체 시장에서 선도국가로 살아남길 바랍니다.

 

출처 : NVIDIA