SingleStore TPC-C / TPC-H : Benchmark Result

문서번호 : 11-318138

Benchmark 개요

TPC Benchmark는 많은 유형의 benchmark 시나리오를 제공하지만, 그 중 OLTP 을 위한 TPC-C 와 OLAP 를 위한 TPC-H 가 존재한다. 이를 통해 동일한 HW 상에서 DBMS의 성능을 비교해 볼 수 있다. 그렇지만, TPC-C / TPC-H 뿐 아니라 TPC-DS 까지도 정의된 시점이 20여년 전으로 현재의 Computing 환경과 많은 차이가 있다. 이는 최신 DBMS의 기술의 특성을 제대로 평가하지 못할 가능성 뿐 아니라, 정의 자체가 아주 오래전 Hardware를 바탕으로 정의되었기에 어디까지나 참고 자료일 뿐이다.

요즘과 같이 scale-up/scale-out으로 computing power를 과거 대비 큰 폭 또는 원하는 만큼 확장할 수 있는 시점에, 테스트 환경을 고려하지 않고 단순 tpmc만으로 성능을 판단할 경우 오류가 발생할 수 있다. 동일 조건 또는 환경에서 측정된 benchmark result를 비교해 동일 제품군의 성능치를 비교하는 참고 자료로 활용 할 수 있다.

Benchmark Report by SingleStore

아래 자료는 2022년 1월 시행된 자료로, Cloud 상에서 각 제품의 구매 환경이 다르기에 유사한 조건하에 테스트가 진행 될 수 있도록, OLAP의 경우 동일 비용 기준으로 cluster size를 산정했으며, OLTP의 경우 vCPU 수 기준으로 cluster size를 산정했다. 비교대상은 최신 기술들이 적용되는 선두 그룹의 제품들이며, 관례에 따라 제품명을 직접 표기하지는 않는다.

CDW1 / CDW2 : Cloud 기반의 data warehouse product

CDB : Cloud 기반의 Operational database product

TPC-H / TPC-C 비교

Dataset 규모와 Scale-out에 따른 tpmC 변화.

결과 요약

SingleStore는 기본 구성이며 disk에 data를 저장하는 columnar 기반의 columnstore를 사용해 성능 측정했다.

TPC-H는 약 10TB data set에 대한 테스트 결과이다. 수치 단위는 초이며 작을수록 높은 성능을 의미한다. 비교 대상 Data warehouse 제품인 CDW1, CDW2 보다 빠른 성능을 보인다.

TPC-C는 Warehouse 1000 기준의 data set으로 비교할 때, Columnar 기반으로 disk에 저장하는 SingleStore의 성능이 Row 기반으로 처리하는 타 DBMS와 비교했을 때 비슷한 정도의 성능이 나타났다. 그렇지만, SingleStore의 경우 유연하게 scale-out이 가능하기에, 이를 통해 Core 수를 확장할 경우 tpmC가 x10 으로 증가하는 것을 확인할 수 있다.

Benchmark Result 원문과 이에 사용된 script와 source는 아래 reference에서 볼 수 있다.