이 만다라트는 "CUDA는 왜 더 이상 해자가 아닌가: LLM 추론 시대의 실질적인 경쟁 기준"에 대한 분석을 담고 있습니다.

만다라트 정보:

• 제목: CUDA는 왜 더 이상 해자가 아닌가: LLM 추론 시대의 실질적인 경쟁 기준
• 주제: [CUDA는 왜 더 이상 해자가 아닌가: LLM 추론 시대의 실질적인 경쟁 기준] AI 시대, 특히 LLM 추론이 주도하는 오늘날의 서비스 구조에서 반도체 아키텍처와 소프트웨어 생태계는 빠르게 재편되고 있다. 그 중심에는 오랫동안 GPU 생태계를 지배해온 NVIDIA의 CUDA가 있다. CUDA는 GPU 프로그래밍의 진입 장벽을 낮추고 AI 산업 확산에 지대한 기여를 해왔지만, 오늘날 LLM 중심의 추론 워크로드에서는 더 이상 ‘해자(moat)’로 기능하지 못하고 있다. 이 글은 왜 CUDA가 더 이상 추론 경쟁에서 본질적인 우위가 아니며, 오히려 병목이 되기까지 하는지, 그리고 그 자리를 실질적으로 대체해가고 있는 기술이 무엇인지, 현장 중심의 기술 흐름과 사례를 바탕으로 정리해보고자 한다. 1. CUDA가 처음부터 해자였던 이유: 단순한 메모리 모델과 이식성 CUDA의 가장 큰 장점은 GPU 내부 구조를 몰라도, 코드만으로 병렬 연산을 구성할 수 있다는 점이었다. 이는 DRAM 기반의 입출력 체계를 기본으로 설계되었기 때문에 가능했다. A 연산이 끝나면 결과를 DRAM에 저장하고, B 연산은 그 데이터를 DRAM에서 읽으면 된다. DRAM이라는 ‘공통 창고’를 통해 연산 간 데이터를 전달하는 구조는 관리, 디버깅, 유지보수, 이식성 측면에서 매우 유리했다. 이는 택배 시스템의 ‘중앙 허브’를 통한 분산 배송 구조와 유사하다. 예외 상황 없이 모든 데이터를 DRAM으로 보내고 다시 받도록 강제하면 시스템 전체가 단순해지고, 하드웨어 구조를 몰라도 소프트웨어 개발이 가능해진다. 2. 하지만 DRAM 접근 비용은 LLM 시대에 너무 비싸다 문제는 DRAM 왕복의 ‘단순함’이 LLM 추론에서는 치명적인 병목이 된다는 점이다. Attention, Softmax, LayerNorm 등 LLM의 연산 흐름은 연속적이며 중간 결과가 바로 재사용되는 경우가 많다. 이럴 때마다 데이터를 DRAM에 저장했다가 다시 불러오는 것은 시간·전력 면에서 엄청난 낭비를 유발한다. 이에 따라 GPU 내부에서 중간 데이터를 DRAM으로 내보내지 않고 바로 다음 연산에 넘기는 Fusion 기법이 널리 확산되고 있다. 실제로 Attention과 Softmax를 하나의 fused 연산으로 처리하거나, 내부 메모리(SRAM)에서 결과를 직접 넘기는 최적화가 활발하게 이뤄지고 있다. 3. CUDA가 최적화의 장벽이 되는 이유 Fusion을 하려면 GPU 내부 연산 흐름과 메모리 구조를 직접 제어해야 한다. 이는 CUDA의 추상화 계층을 벗어나야 가능한 일이다. 즉, 어셈블리 수준의 코드 작성이 필요하다. 예를 들어 Softmax에 필요한 입력 데이터를 DRAM이 아니라 GPU 내부에서 직접 넘기려면, 해당 결과를 어느 시점에 어디에 저장할지, 다음 연산이 언제 시작될지 모두 사람이 지정해야 한다. 자동화된 컴파일러로는 이 흐름을 완벽히 최적화하기 어렵다. 왜냐하면 데이터를 언제, 누가, 어떻게 사용할지에 대한 정보는 정적으로 추론하기 어려운 경우가 많기 때문이다. 또한 데이터를 DRAM에 저장하면 그 자체로 “배송 완료” 신호가 된다. 그러나 내부 메모리에만 남겨두면, “이 데이터 정말 다 쓴 거 맞나요?”라는 확인을 하기가 어려워진다. 이는 프로그래밍 자동화에 큰 장애가 된다. 4. CUDA Core는 이제 Tensor Core의 발목이 된다 CUDA는 병렬 연산을 쉽게 해줬지만, 현재의 GPU 구조에서 중요한 연산은 대부분 Tensor Core가 담당한다. 행렬 곱은 워낙 구조가 단순해서 코드도 거의 쓸 일이 없고, Tensor Core만 효율적으로 활용하면 LLM의 80% 이상 연산을 감당할 수 있다. 그런데 전처리, dequantization, indexing 같은 주변 작업은 여전히 CUDA Core에 의존한다. 문제는 CUDA Core는 Tensor Core만큼 throughput이 높지 않다는 점이다. 이로 인해 전체 추론 파이프라인에서 Tensor Core가 CUDA Core를 기다리는 병목 현상이 자주 발생한다. 성능은 떨어지고 최적화 난이도는 올라간다. 결국, CUDA 중심의 개발은 점점 더 ‘발목’이 되고 있다. 5. 추론 시장에서 CUDA는 ‘지원’이 아니라 ‘부담’이다 LLM 추론에서 가장 중요한 것은 전력당 토큰 처리량(Tokens/Watt)이다. CUDA 호환성은 이 기준과 직접적 연관이 없다. 실제로 오늘날 LLM 추론에서 가장 빠르게 확산되고 있는 것은 CUDA가 아니라 vLLM이다. vLLM은 학계와 스타트업 중심의 커뮤니티에서 빠르게 발전하고 있는 프레임워크로, 추론 워크로드에 최적화된 구조를 갖고 있다. 특히 prefix caching, 메모리 파편화 방지, dynamic scheduling, multi-query batching 등 현실적인 문제들을 해결하고 있으며, 이를 하드웨어가 제대로 지원하지 못하면 아예 사용이 불가능해진다. 6. vLLM은 이제 사실상 추론의 표준이다 vLLM을 구동할 수 있다면, 개발자는 LLM의 구조를 몰라도 서비스 로직을 구현할 수 있다. 실제로 LLM 기반 서비스 개발자들은 CUDA나 PyTorch 호환보다 “vLLM이 돌아가냐”를 먼저 묻는다. 이것이 시장의 현실이다. 국내 AI 반도체 업체도 마찬가지다. “우리는 PyTorch 호환돼요”, “CUDA 돌아가요”만 강조해선 안 된다. vLLM 상에서 실제 추론 요청 통계를 반영한 워크로드에서, 전력당 성능을 얼마나 보여줄 수 있는지가 핵심이다. 한 사례에서는, 내부 벤치마크에서 NVIDIA에 비해 40% 성능 향상을 기대했던 AI 칩이, vLLM 상 실측에서는 오히려 50배의 전력당 성능 저하를 기록했다. 메모리 관리 최적화가 너무나 안 된 상태였기 때문이다. 단순 연산 속도는 이제 별 의미가 없다. 실전 환경, 실시간 추론 워크로드를 버틸 수 있어야 한다. 7. 학습과 추론은 다르다. 혼동하면 안 된다 CUDA는 학습, 특히 연구·개발용 학습에는 여전히 중요하다. 다양한 커널을 빠르게 조합하고 새로운 아이디어를 실험할 때는 프로그래밍 생산성이 중요하기 때문이다. 대학원, 기업 연구소, 스타트업 R&D팀 등에서는 CUDA가 핵심 도구다. 그러나 추론은 다르다. 한 번 최적화된 코드는 전 세계 수백만 명에게 반복 서비스된다. 단 1%의 성능 차이가 곧 수백억 원의 전력비용 차이로 이어진다. 이 때문에 추론에서는 CUDA의 ‘편의성’보다 실행 환경에서 검증된 실효성이 훨씬 중요하다. 또한, 최적화된 추론 코드는 대부분 다음 세대 GPU로 이식이 불가능하다. A100에서 짠 코드는 H100, Blackwell에서 다시 짜야 한다. 내부 메모리 구조가 다르기 때문이다. 즉, 최적화된 코드는 본질적으로 이식성이 없으며, 이 점에서도 CUDA의 장점은 사라지고 있다. 8. 결론: CUDA는 끝나지 않았다. 하지만 해자는 아니다 CUDA는 여전히 훌륭한 기술이며, 학습 및 연구 개발에서는 중요한 도구로 남을 것이다. 그러나 LLM 추론 시대에 진짜 경쟁력은 vLLM 기준에서의 실질적 처리량, 전력 효율, 메모리 전략이다. CUDA 호환성이 아니라, vLLM이 prefix caching을 포함한 최신 기능을 문제없이 돌릴 수 있느냐가 핵심이다. 우리가 지금 토론해야 할 주제는 “CUDA가 되느냐”가 아니라, “vLLM 상에서 얼마나 잘 돌아가느냐”다. 현실적인 추론 워크로드 기반에서 전력당 성능을 보여주지 못하는 AI 반도체는 시장에서 살아남기 어렵다. 우리 기술의 해자는 더 이상 소프트웨어 추상화가 아니다. 그것은 성능이다. 그리고 그 성능은 이제 전력 모니터링 장치와 vLLM 로그에서 측정된다.
• 생성일: 2025. 7. 12.

만다라트 보기: /view/08335824e89a64d1

이 만다라트에 대한 의견이나 토론을 자유롭게 남겨주세요!