|
애니씽LLM은 사용자 정의가 가능한 오픈 소스 데스크톱 애플리케이션(앱)으로, LLM(거대 언어 모델) 기능을 PC 내 다양한 애플리케이션과 원활히 통합한다. 이를 통해 사용자는 콘텐츠 생성, 요약 등 다양한 작업에 AI를 활용하여 맞춤형 도구를 사용할 수 있다.
엔비디아 RTX AI PC에서 가속화된 애니씽LLM은 새로운 커뮤니티 허브(Community Hub)를 출시했다. 사용자들은 이곳에서 프롬프트, 슬래시 명령, 에이전틱 AI 기술을 공유하고 로컬 환경에서 AI를 구축해 실행할 수 있다.
에이전틱 AI는 단순한 챗봇을 넘어, 복잡한 다단계 문제를 자율적으로 해결하는 기능을 갖추고 있다. 일반 챗봇이 특정 질문에 답하는 데 그친다면, 에이전틱 AI는 데이터를 수집·처리하고 작업을 완성하며 캘린더에 예약을 추가하는 등 사용자의 복잡한 요구를 충족시킬 수 있다. 또한 에이전틱 AI는 피드백 루프를 통해 생성된 데이터를 다시 학습함으로써 점점 더 스마트하고 효율적으로 작동한다.
RTX AI PC는 다른 PC보다 빠른 속도로 추론 및 작업 실행을 지원하며, 인터넷 연결 없이도 작동해 데이터 프라이버시를 보호한다. 사용자는 RTX 기반 PC에서 애니씽LLM을 활용해 고사양 LLM을 로컬에서 실행할 수 있다.
RTX 기반 워크스테이션은 고성능 텐서 코어(Tensor Core)를 활용하여 AI 모델 실행에 필요한 컴퓨팅 성능을 제공한다. 이를 통해 개발자는 라마(Llama), 미스트랄(Mistral) 등 선호하는 LLM 모델과 올라마(Ollama), LM스튜디오(LMStudio) 같은 도구를 활용하여 에이전틱 AI를 쉽게 구축하고 맞춤화할 수 있다.
애니씽LLM은 직관적인 인터페이스를 제공해 사용자가 문서와 상호작용하거나 복잡한 작업을 처리할 수 있도록 돕는다. 일반적으로 클라우드나 브라우저 기반 환경에서 통합이 어려운 로컬 리소스와 도구를 사용할 수 있다는 점이 강점이다. 사용자는 로컬에서 AI 애플리케이션을 실행하여 맞춤형 워크플로우를 구축하고, 생산성을 높이는 다양한 기능에 접근할 수 있다.
애니씽LLM 커뮤니티 허브는 AI 사용자와 개발자들이 LLM의 동작을 조정하고, 효율적인 프롬프트 설정과 독창적인 워크플로우를 개발할 수 있도록 지원한다. 특히 특정 목적에 맞춘 API 엔드포인트와 서비스 통합도 가능해져, 사용자 맞춤형 AI 개발의 가능성을 확장한다.
