서울--(뉴스와이어)--글로벌 데이터 클라우드 기업 스노우플레이크는 온라인으로 진행된 스노우데이 2023를 통해 자사의 데이터 클라우드 플랫폼에서 AI/ML 관련 기술 지식이 없이도 쉽고 안전하게 생성형 AI를 활용할 수 있는 완전 관리형 서비스 스노우플레이크 코텍스(Cortex)를 발표했다. 이를 통해 고객들은 LLM 기반의 AI 앱을 간편하게 구축해 데이터 가치를 창출할 수 있게 된다.

스노우플레이크 코텍스는 메타(Meta) AI의 Llama 2와 같은 LLM(대규모 언어 모델), 태스크 특화 모델, 고급 벡터 검색 기능, 서버리스 함수 세트(서비스로 제공되는 함수)에 바로 액세스할 수 있도록 지원한다. 이를 기반으로 고객들은 분석 속도를 높이고, 컨텍스트화된 LLM 기반의 앱을 수 분 만에 구축할 수 있게 된다. 이와 더불어 스노우플레이크는 코텍스를 활용한 문서의 자연어 처리와 관리를 가능하게 하는 도큐먼트 AI(Document AI), LLM 어시스턴트 스노우플레이크 코파일럿(Copilot), LLM 기반 검색 유니버설 서치(Universal Search)를 프라이빗 프리뷰 형태로 공개했다.

이에 대해 스노우플레이크 AI 부문 SVP 슈리다 라마스워미(Sridhar Ramaswamy)는 “스노우플레이크는 고객들이 데이터의 안전성과 거버넌스를 확보하고 강력한 AI/ML 앱을 구축하는 데 필요한 데이터 기반과 AI의 최신 구성 요소를 제공해 AI 혁신 선두 주자가 될 수 있도록 지원하고 있다”며 “스노우플레이크 코텍스는 생성형 AI를 활용해 사용자 맞춤형 앱을 구축하거나 데이터를 기반으로 비즈니스 가치를 창출하도록 할 것”이라고 말했다.

스노우플레이크 코텍스의 서버리스 함수로 더욱 쉬워진 LLM 기반 앱 개발

완전 관리형 서비스인 스노우플레이크 코텍스는 고객들이 AI 전문 지식 또는 GPU 기반 인프라 관리 없이도 LLM과 AI를 쉽게 활용할 수 있도록 필요한 구성 요소를 제공한다. SQL 혹은 파이썬 코드의 함수 호출에서 사용할 수 있는 서버리스 함수 세트가 포함되며 함수 세트는 계속해서 추가될 예정이다. 스노우플레이크 코텍스에는 아래와 같은 기능이 포함된다.

· 특수 함수: 비용 효율성이 뛰어난 언어 모델과 AI 모델을 활용하는 태스크 특화 함수 세트로 분석 작업 속도를 높인다. 이 모델을 사용하면 주어진 입력 텍스트의 감성 정보 파악, 답변 도출, 텍스트 요약, 선택한 언어로의 번역 등이 가능하다. 특수 함수에는 예측, 이상 감지, 기여 탐색, 분류 등 스노우플레이크가 제공하는 기존 머신러닝 기반 함수도 포함된다.

· 범용 함수: Llama 2 모델 등 업계 주요 오픈소스 LLM과 텍스트-SQL 변환(text-to-SQL) 모델 등의 고성능 스노우플레이크 LLM을 활용한 대화형 함수 세트로 폭넓은 사용 사례를 지원하고 있어 사용자가 데이터와 쉽게 ‘대화’할 수 있게 된다. 이들 함수에는 벡터 임베딩과 검색 기능도 포함돼 있다. 따라서 사용자는 데이터를 활용해 모델의 응답을 컨텍스트화하고 사용자 맞춤형 앱을 수 분 만에 생성할 수 있다. 또한 스노우플레이크 데이터 클라우드 내에 벡터를 네이티브 데이터 유형으로 추가할 수 있어 효과적으로 활용할 수 있도록 지원한다.

스노우플레이크 스트림릿(Streamlit)도 LLM을 기반으로 한 사용자 맞춤형 앱을 빨리 구축하는 데 활용되고 있다. 스트림릿을 통해 파이썬 기반의 인터랙티브 앱으로 만들어 데이터와 AI 모델, 분석 및 앱 기능을 구현할 수 있다. 2023년 9월 기준 총 1만개 이상의 앱이 스트림릿으로 개발되고 있으며 보험업체 프라이오리티 헬스(priority health), 쓰리엠(3M), 보안 업체 앤빌로직(Anvilogic), 부동산 관리 스타트업 앱폴리오(AppFolio), 의료업체 밥티스 헬스(Baptist Health), 소프트웨어 기업 엑스페리언(Experian), 정보분석업체 트랜스유니온(TransUnion) 등의 업체들이 활용하고 있다.

네이티브 LLM 경험을 통해 데이터 클라우드의 생산성을 향상하는 스노우플레이크 코텍스

스노우플레이크는 코텍스 서비스로 구축된 LLM 기반 기능들도 함께 소개했다. 완전히 호스팅 및 관리된 사용자 인터페이스(UI)와 고성능 LLM이 포함되며, 모든 현업 부서와 데이터 애널리스트 모두에게 적합하다.

· 스노우플레이크 코파일럿: 새로운 LLM 기반 어시스턴트로, 자연어를 통해 스노우플레이크의 코딩 작업에 생성형 AI를 적용한다. 대화 형식으로 질문하면 관련 테이블을 활용해 SQL 쿼리를 작성해 주며 쿼리를 개선하고 인사이트를 필터링하는 등의 작업을 수행할 수 있다.

· 유니버설 서치: LLM 기반 검색 기능으로, 사용 사례와 가장 관련성 높은 데이터와 앱으로부터 가치를 빠르게 도출해 낼 수 있도록 지원한다. 이를 통해 데이터베이스, 뷰, 아이스버그(Iceberg) 테이블 등 고객의 스노우플레이크 계정에서뿐만 아니라 스노우플레이크 마켓플레이스와 스노우플레이크 네이티브 앱까지 한번에 검색할 수 있다.

· 도큐먼트 AI: 스노우플레이크가 LLM 기반의 첫 기능으로 소개한 바 있는 도큐먼트 AI를 사용해 pdf, word, txt, 스크린샷 등과 같은 모든 파일에서 데이터를 추출할 수 있다. 청구 금액 또는 계약 약관 등의 정보를 문서에서 쉽게 추출하고 시각화 인터페이스와 자연어를 사용 결과를 정교하게 조정할 수 있도록 한다.

스노우플레이크, 사실상 무제한의 완전 맞춤형 LLM 앱 개발 실현

완전 맞춤형 LLM 앱을 개발하고자 하는 고급 사용자는 스노우플레이크 스노우파크 컨테이너 서비스를 사용하면 된다. 이를 통해 컨테이너화된 워크로드의 안전한 배포와 관리를 간편하게 수행할 수 있다. 스노우파크 컨테이너 서비스는 개발자가 상용 LLM 서비스와 벡터 데이터베이스 등의 정교한 타사 앱을 스노우플레이크 계정 내에서 실행할 수 있도록 하며 조직은 데이터 클라우드 내에서 오픈소스 LLM을 손쉽게 배포하고 운영 및 관리할 수 있게 된다.

스노우플레이크는 스노우데이 2023을 통해 개발자가 데이터 클라우드에서 머신머닝 모델과 풀스택 앱을 손쉽게 구축할 수 있도록 하는 발전 방향과 함께, 데이터 사일로를 제거하고 스노우플레이크의 주요 규정 준수 및 거버넌스 기능을 강화하는 개선 사항 등을 발표했다.

스노우플레이크 코텍스로 간단하게 안전한 LLM 기반 앱을 개발할 수 있는 방법, 개발 방법과 AI 지식이 없어도 새로운 환경과 함수를 바로 활용하는 방법은 각각 블로그 게시물을 통해 확인할 수 있다. 그 외 링크드인 및 트위터를 통해서도 최신 뉴스와 공지를 확인할 수 있다.