문서번호 : 71-429870
“SingleStore, BigQuery, Cloudera 그리고 Snowflake를 검토했습니다. 대부분 좋은 기능을 가지고 있었지만, 솔루션별로 선택을 망설이게 하는 1~2가지씩의 문제점을 가지고 있었습니다. 반면 SingleStore는 필요한 모든 기능을 갖고 있었습니다.” -마우리시오 아리스티자발, Impact.com 수석 데이터 설계자
퍼포먼스기반 광고에서 광고주는 일반적으로 구매전환으로 분류되는 측정 가능한 결과가 있는 경우에만 비용을 지불합니다. 이는 마켓에서 인지도를 구축하는데 중점을 둔 브랜드 마케팅 및 광고와 대조 됩니다. 퍼포먼스 광고는 그 의미가 어려울 뿐만 아니라, Apple이 타사 쿠키를 차단하여 마케터가 캠페인을 조사하고 기여하는데 어려움을 겪도록 하는 것과 같은 외부 문제에 직면하고 있습니다. 퍼포먼스 광고 회사는 성과를 분석하고 기존 제휴 마케팅을 넘어 발전한 파트너십 프로그램을 관리할 수 있는 새로운 방법이 필요했고 Impact.com 은 그 새로운 방법에 대해 솔루션 제공을 하고 있습니다.
Impact.com을 통해 기업은 파트너쉽 경제의 엄청난 잠재력을 활용할 수 있습니다. 이들은 브랜드, 퍼블리셔 그리고 대행사들이 퍼블리셔 및 소비자와의 관계를 구축할 수 있도록 지원하고 전체 소비자 여정에 대한 가시성을 제공하는 세계 최고의 퍼포먼스 광고 파트너십 관리 플랫폼을 제공합니다. 그리고 디지털 마케팅, 제휴 성공, 이상 거래 감지, 규정 준수에 대한 리포팅 및 인사트를 위한 스트리밍 분석을 제공합니다. 고객은 광고 노출이나 클릭이 아니라 판매, 고객리스트, 앱 설치 및 가입과 같은 결과(전환)에 대해 비용을 지불합니다.
Impact.com은 Adidas, Canva, HSBC, 1-800-FLOWERS, HubSpot, Lenovo, Levi Strauss & Co., McAfee, Microsoft, Ticketmaster, Uber 및 Walmart를 포함한 1,000개 이상의 고객에게 서비스를 제공하고 있으며, 전 세계 11개 지역에 1,000명의 직원을 두고 있습니다.
도전/목표
Impact.com은 하루 동안 많은 리포트를 실행하고 실시간 데이터, 짧은 대기 시간 및 양방향 경험을 기대하는 1,000명의 동시 사용자에 대해 시간 당 2천만 개의 이벤트를 처리할 수 있어야 합니다. Impact.com은 여러 데이터베이스에서 datasets이 급격하게 증가하고 있었고, 높은 동시성 상황에서 수집 속도의 한계에 봉착했습니다. 기존 시스템인 Cloudera Impala와 Kudu는 1초 미만의 리포팅을 달성하는데 실패했습니다.
“Cloudera기반의 보고서 기능에서 데이터 구조를 최적화해서 리포팅 속도를 기존 2~10초 걸리던 것을 1초 미만으로 줄일 수가 없었습니다. 이는 우리가 고객에게 제공하고자 했던 수준에 크게 미치지 못했습니다. 추가로 ad-hoc 쿼리의 BI 뿐만이 아닌 표준 보고서, 대시보드 그리고 위젯을 모두 포함해서 기존보다 훨씬 빠른 리포팅이 필요했습니다.” - 마우리시오 아리스티자발, Impact.com 수석 데이터 설계자
아리스티자발에 따르면 Cloudera의 경우, 최근까지 Kerberos(네트워크 인증 프로토콜)를 사용해야 했기 때문에 전통적으로 어려움이 있었다고 합니다. Kerberos 티켓과 다른 모든 것을 모든 고객들을 위해 설정을 해야 했고, 일부 고객은 이를 지원하지 않았기 때문에 설정이 불가능한 경우도 있었다고 합니다.
이 모든 요인이 부정적인 비즈니스 결과를 초래했습니다. impact.com에는 성능 서비스 수준 계약(SLA)이 누락되어 최종 고객 만족도가 떨어졌으며 더 많은 비용을 지불해야 했습니다. 데이터베이스 인프라 지원 및 확장과 관련된 비용 증가와 가격 유연성이 거의 없는 예상치 못한 예산 증가를 처리해야 했습니다.
기술 요구 사항
Impact.com은 증가하는 데이터 집약적 플랫폼 요구 사항을 충족하기 위해 다음과 같은 기준으로 솔루션을 평가했습니다.
•
짧은 대기 시간 분석을 통해 사용자 기대치를 충족하고 통찰력 확보 시간 단축
•
다양한 BI 보고서, 대시보드 및 기타 시각화, API 및 키별 조회 지원
•
SLA를 충족하면서 지속적으로 비용을 최적화하기 위해 간편한 클러스터 사이즈 조절이 가능한분산(스케일아웃) 모델
•
1,000명의 사용자를 지원할 수 있는 높은 동시성 및 전체 멀티 테넌트 기능
•
시간당 2천만 개의 이벤트를 처리하는 초고속 성능
•
멱등성(애플리케이션이 초기에 수행한 연산 결과를 수정하지 않고 여러번 해당 연산을 재수행할 수 있게 하는 기능)을 제공하는 PK 및 동일한 데이터 세트에서 빠른 조회로 Ad-hoc 쿼리 지원
•
대규모 데이터 업데이트 지원
•
스토리지와 컴퓨팅의 분리, 테넌트(워크스페이스) 간 분리
•
낮은 관리 오버헤드: 자동화된 압축/통계정보수집/리밸런싱
•
손쉬운 클라이언트 연결
SingleStore 선택 이유
“우리는 BigQuery, Cloudera CDP(Impala/Kudu), SingleStore 및 Snowflake의 4가지 플레이어를 검토했습니다. 몇몇 경쟁자들은 좋은 기능을 가지고 있지만, 그들 모두는 우리를 가로막는 한두가지 함정이 있었습니다. 반면에 SingleStore는 기술요건의 모든 상자에 체크 표시를 했습니다.” -아리스티자발
impact.com은 원래 회사 이름으로 인해 SingleStore를 평가 과정에 추가했습니다.
“솔직히, SingleStore 팀에 연락하게 된 것은 당시 MemSQL이라는 이름 때문이었습니다. 인메모리 데이터 저장소가 우리가 필요로 하는 1초 미만의 응답을 가능하게 할 것이라고 생각했기 때문에 인메모리 데이터 저장소를 찾고 있었습니다.” -아리스티자발
SingleStore는 데이터 집약적 애플리케이션을 위한 최신 데이터베이스입니다. 특히, Impact.com은 다음과 같은 기능에 끌렸습니다.
•
엄청나게 빠르고 무한 확장 가능한 데이터베이스 엔진 및 데이터 구조를 통해 1초 미만의 리포팅 가능
•
SingleStore Workspace를 통한 스토리지 및 컴퓨팅 분리로 메모리 및 예산 초과를 방지하며 무한 확장 가능한 시스템 구축
•
간단한 사용자 이름 및 암호 그리고 MySQL을 연상시키는 사용자 친숙성을 갖춘 간편한 연결
•
하나의 최신 데이터베이스에 트랜잭션, 분석 및 여러 데이터 유형을 저장하여 데이터 이동을 최소화하고 빠른 속도를 제공하는 기능
•
빠른 키 조회 및 다중 인덱스
솔루션
Impact.com 은 Google Cloud에 SingleStoreDB Cloud 를 구축했습니다. SingleStore는 1초 미만의 리포팅, 짧은 지연 시간 분석, 높은 동시성 등의 모든 조건을 만족 시켰습니다. SingleStore는 멀티 테넌트(multi-tenant) 디지털 마케팅, 제휴사 성공 및 부정 행위 플랫폼에 대한 실시간 분석을 Impact.com에 제공합니다. 마이그레이션이 완료되면 SingleStore는 Impact.com에 데이터와 리포팅의 100%를 제공하는 데이터 웨어하우스가 됩니다. (All Data. One Platform
) (참고로, 6PB의 데이터가 SingleStore로 관리하게 됩니다.)
) (참고로, 6PB의 데이터가 SingleStore로 관리하게 됩니다.)“SingleStore를 사용하면 빠른 키 조회를 통해 수십 억 개 중에서 특정 레코드를 즉시 찾을 수 있습니다. 우리 팀은 모든 컬럼에 대해 분석 쿼리를 수행할 수 있으며(Columnar 형식이기 때문에) 인덱스가 있는 컬럼에 대해서는 1초 미만의 초고속 리포팅을 수행할 수 있습니다.”-아리스티자발
Impact.com은 초기 구축 시 데이터의 20-30%를 Cloudera에서 SingleStore(Data Mart 역할)로 이동해서 리포팅 요청의 80%를 수용했습니다. 추가 성능 및 피크 타임 용량을 대비하여 리소스를 많이 사용하는 구축 모델을 사용했습니다.
결과
Impact.com의 파트너십 관리 플랫폼은 이제 다음과 같은 기능을 통해 제휴 및 캐시백 프로그램, 인플루언서 및 B2B 활용 사례를 처리합니다.
•
봇이 아닌 실제 사람이 조치를 취하고 있는지 확인하는 이상 거래 탐지
•
파트너가 회사 브랜드 이름을 적절하게 사용하고 있는지 확인하기 위한 규정 준수 검사
•
고객 전환을 유도한 클릭과 고객 전환에 기여한 기타 파트너를 식별하는 추적 및 속성
•
60개 이상의 통화로 모든 자금 이체 및 처리가 가능하여, 사용자가 하나의 은행 계좌에서 해당 통화로 자금을 조달하여 전 세계 파트너에게 현지 통화로 지불할 수 있는 기능
“SingleStore와 함께 일하게 되어 기쁩니다. SingleStore는 훌륭한 판매 조직을 가지고 있으며 특별한 서비스를 제공합니다. 분기별 비즈니스 검토를 잘 계획하고 구성했다는 사실뿐만이 아니라 문제가 발생하면 SingleStore 팀의 Slack 메시지나 전화 한 통이면 된다는 사실을 알고 안심할 수 있습니다.”-아리스티자발
짧은 지연 시간 분석으로 뛰어난 고객 경험 제공
Google Cloud에서 실행되는 SingleStoreDB Cloud를 사용하여 Impact.com은 1초 미만의 지연 시간 분석 목표를 달성할 수 있습니다. 많은 동시 사용자가 다양한 유형의 보고서에 빠르게 액세스할 수 있으므로 실시간 분석을 통해 더 나은 비즈니스 의사 결정을 더 빠르게 내릴 수 있습니다.
"우리는 1초 미만의 지연 시간이 인메모리 기능 뿐만 아니라 SingleStore의 강력한 엔진 및 데이터 구조도 포함한다는 것을 알게 되었습니다."-아리스티자발
데이터베이스 무분별한 확산(Sprawl) 제거로 관리 오버헤드 감소
"SingleStore를 통해 많은 활용 사례를 충족할 수 있는 하나의 데이터 세트, 하나의 테이블 그리고 하나의 데이터 구조를 갖을 수 있습니다. 이를 통해 데이터를 복제하거나 별도의 파이프라인을 사용하지 않고 데이터 불일치에 대한 걱정없이 하나의 데이터로 모든 종류의 작업을 수행할 수 있습니다.”-아리스티자발
안정적인 미래형 데이터 파트너와 함께 나아가는 파트너 자동화 리더
“현재 플랫폼은 매우 안정적입니다. 우리는 managed service를 사용하고 있으므로 실제로 많은 관리를 할 필요가 없습니다. 일시적인 문제가 몇 번 있었지만 SingleStore가 바로 해결해 주었습니다. 지난 2년 동안 SingleStore와 함께 일하면서 플랫폼에 올인 할 수 있다는 자신감을 얻었습니다. 그것은 큰 결정이었고 엄청난 결실을 맺었습니다. 앞으로도 이 성공적인 파트너십을 오래 지속할 수 있기를 기대합니다.”-아리스티자발
조만간 SingleStore는 모든 사용 사례에 대한 데이터 및 보고 요청을 100% 처리하는 주요 데이터 웨어하우스의 역할을 수행하게 될 것입니다. 또한 Impact.com은 SingleStore WorkSpaces 사용을 하려고 합니다. SingleStore WorkSpaces 는 관리 및 워크로드 분리를 위해 컴퓨팅과 스토리지를 분리합니다. “Workspaces는 스토리지와 컴퓨팅을 분리하면 더 많은 테넌스(tenant)에 서비스를 제공하는 동시에 워크로드가 분리되고 서로 영향을 미치지 않도록 하고, 특정 요구사항과 SLA에 맞게 리소스와 비용을 미세 조정할 수 있기 때문에(Workspace 크기를 통해) 매우 흥미로운 기능입니다. "예를 들어, Cloudera에는 서로 다른 워크로드 간에 약간의 분리를 위한 서로 다른 데이터베이스 풀이 있지만 세분화되어 있지는 않습니다." SingleStore를 통해 Impact.com은 테넌트(tenants)를 위한 개별 workspace을 생성하여 한 워크로드가 다른 워크로드에 영향을 미치지 않도록 할 수 있습니다. API가 통제 불능 상태가 되더라도 리포팅과 같은 다른 구성 요소에는 영향을 미치지 않습니다.
"SingleStore WorkSpaces를 사용하면 데이터 추출, 전송, 로드(ETL) 및 유지 관리를 수행하는 기본 read-write workspace 가 생기고, 그 후 모든 tenants가 읽기 전용으로 사용할 수 있는 별도의 독립적인 workspace 를 갖게 할 수 있습니다. 개별 작업 공간을 확보하게 되므로 새로 생성한 workspace 는 별도의 컴퓨팅을 사용하므로 다른 workspace 에 영향을 주지 않습니다." -아리스티자발
영상을 통해 과거 Impact.com이 Cloudera Impala와 Kudu를 사용하여 속도 비즈니스를 따라잡을 수 없었던 것을 SingleStore로 해결한 것을 확인 할 수 있습니다.
