[인더스트리뉴스 조창현 기자] 글로벌 시장조사 기관 ABI리서치에 따르면 전 세계 엣지 AI 출하량은 올해 24억개에서 연평균 22.4%씩 증가해 2028년에는 65억개까지 늘어날 전망이다. 특히 생성형AI는 엣지AI가 성장할 수 있도록 뒷받침하는 핵심적인 역할을 할 것으로 예상된다. 무선 커넥티비티와 스마트 센싱 기술 및 맞춤형 시스템온칩(SoC) 분야 선두기업 CEVA가 향상된 ‘NeuPro-M(뉴프로-M) NPU’를 출시했다고 밝혔다.
CEVA 랜 스니르(Ran Snir) 비전비즈니스유닛부문부사장겸제너럴매니저는 “생성형AI를 구동하는 트랜스포머 기반 네트워크는 컴퓨팅과 메모리 리소스의 대폭적인 증가를 필요로 한다”며, “컴퓨팅 및 메모리 수요 증가를 충족하기 위해 새로운 접근 방식과 최적화된 프로세싱 아키텍처가 요구된다”고 설명했다.
CEVA는 뉴프로-M NPU가 클라우드에서 엣지까지 모든 AI 추론 워크로드에 업계 최고 성능과 전력 효율성을 바탕으로 차세대 생성형AI(Generative AI)에 대한 요구사항을 충족한다고 전했다. 특히 뉴프로-M NPU 아키텍처 및 툴은 합성곱 신경망(CNN)과 기타 네트워크 외에도 트랜스포머네트워크(transformer network)와 미래 머신러닝 추론 모델을 지원할 수 있도록 재설계됐다. 이에 뉴프로-M NPU는 통신 게이트웨이, 광학 네트워크나 기타 클라우드 및 엣지 환경에서 생성형과 기존 AI 기능을 최적화한 애플리케이션을 원활하게 개발하고 실행할 수 있도록 지원할 수 있다.
랜 스니르 부사장은 “뉴프로-M NPU IP는 기존 AI 및 생성형AI 워크로드를 효과적이고 비용 효율적으로 처리하도록 설계했으며, 새로운 추론 모델을 지원하는 미래지향적인 기능을 갖추고 있다”며, “아키텍처를 통해 향상된 성능은 비용에 민감한 엣지 디바이스부터 높은 효율을 내는 클라우드 컴퓨팅까지 모든 사용 사례에 생성형AI가 가진 놀라운 가능성을 제공한다”고 덧붙였다.
한편 CEVA 뉴프로-M 아키텍처는 뉴프로-M 병렬 처리 엔진을 완전히 활용하고 AI 애플리케이션 성능 극대화를 위해 아키텍처를 인식하는 네트워크 AI 컴파일러 CDNN을 기반으로 하는 종합 개발 툴 체인을 통해 지원된다. CEVA에 따르면 CDNN 소프트웨어에는 메모리 대역폭 최적화와 최적의 로드밸런싱 알고리즘을 위한 메모리 매니저가 포함돼 있으며, TVM 및 ONNX를 비롯한 일반적인 오픈소스 프레임워크와도 호환이 가능하다.
