[인더스트리뉴스 조창현 기자] 대규모언어모델(LLM) 반응 추적 및 모델 비교 같은 기능과 50개 이상에 달하는 통합 기술을 활용해 기업 IT 부서가 수준 높은 LLM 기반 애플리케이션을 구축할 수 있도록 지원하는 솔루션이 나왔다.
모든 엔지니어를 위한 올인원 옵저버빌리티 플랫폼기업 뉴렐릭이 업계 최초 AI 기반 애플리케이션용 APM(Application Performance Management) 솔루션 뉴렐릭 ‘AI모니터링(AI monitoring, AIM)’을 출시했다고 밝혔다.
뉴렐릭은 AIM 출시와 함께 AI 옵저버빌리티 영역을 새롭게 다져나가며 엔지니어들에게 AI 애플리케이션 스택 전반에 전례 없는 가시성과 인사이트를 제공할 계획이다. 이에 엔지니어들은 개발 관련 문제를 보다 쉽게 해결하는 동시에 AI 애플리케이션 성능과 품질, 비용은 최적화시킬 수 있게 될 전망이다.
특히 AIM은 모든 AI 기반 애플리케이션에 엔드투엔드(End to end) 옵저버빌리티를 제공한다. 이에 엔지니어들이 단일 화면을 이용해 한곳에서 △성능 △비용 △보안 관련 이슈뿐만 아니라 △할루시네이션(hallucination) △편향 △유해성 △공정성 같은 품질 이슈에 대해 다양한 LLM 프롬프트와 반응 문제를 확인하고 비교해 최적화할 수 있다.
뉴렐릭 마나브 쿠라나(Manav Khurana) 최고제품책임자(CPO)는 “모든 기업과 기관들이 제품과 작업 현장에 AI를 도입하고 있는 상황에서 AI 워크로드는 이제 모던기업 애플리케이션 아키텍처에 있어 일부가 됐다”며, “뉴렐릭은 새롭게 출시된 AI모니터링에 그간 클라우드 APM 개발 관련 기술부터 AI 기반 애플리케이션 내 엔드투엔드 가시성 확보 기술까지 심도 있는 전문 기술을 녹여내 기업들이 성능과 비용을 보다 효율적으로 관리하는 동시에 AI 규제 및 기준을 준수하며 작업할 수 있도록 했다”고 말했다.
한편 벡터 데이터베이스 업체인 파인콘은 AIM을 자체 솔루션에 통합해 개발자들에게 보다 확실하고 활용 가능한 인사이트를 제공하고 있다. 파인콘 리버티(Edo Liberty) 설립자는 “벡터 데이터베이스는 AI 스택에 있어 필수 요소이기에 기업들이 AI 애플리케이션을 구축하고 배포함에 따라 관련 수요가 급격히 증가하고 있다”며, “개발자들은 AIM을 통해 AI 옵저버빌리티를 실제로 사용하며 보다 연관성 높은 반응을 확보함으로써 검색이 쉬운 생성형 AI 솔루션을 구축할 수 있게 됐다”고 전했다.
