문서번호 : 71-394811
"ElasticSearch에서 타임아웃되던 모든 쿼리는 SingleStore에서 10초 미만으로 처리되고 거의 모든 쿼리가 1.5초 미만으로 처리됩니다. 우리는 연간 100만 달러 이상 비용이 발생하던 ElasticSearch를 포함한 모든 파이프라인을 Singlestore Managed Service로 이전했고, 파이프라인 비용을 70%이상 절감하고 있습니다 "
아비람 코헨, Armis Security, R&D 총괄 부사장
산업 분석가들은 2025년까지 전 세계적으로 최대 560억개의 커넥티드 디바이스가 있을 것으로 예측하고 있습니다. 기업 환경 내에서 관리되지 않는 디바이스의 수가 빠르게 증가하고 있으며, 조직에서는 이러한 디바이스를 모두 검색하고 보호할 수 있는 방법이 필요합니다.
2015년에 설립된 Armis Security는 자체 플랫폼을 통해 기업들이 의료 기기와 산업 제어 시스템(ICS)을 포함한 관리형, 비관리형 및 IoT 기기를 검색하고 보호할 수 있도록 해줍니다. Armis는 세분화된 산업별 디바이스 세부 정보 및 동작 통찰력을 제공하는 실시간 플랫폼을 통해 100% 엔드 투 엔드 간 자산의 가시성을 제공합니다. Armis Platform과 Armis Asset Management는 데이터를 수집하고 이로부터 인사이트를 끌어내므로 기업이 실시간으로 수많은 정보를 활용하고 이에 따라 조치를 취할 수 있게 합니다.
"Google Maps는 A 지점에서 B 지점으로 가는 길을 찾는 데 도움이 되는 동시에 특정 위치와 터치 포인트뿐만 아니라 전체 환경에 대해 더 깊이 이해할 수 있는 수많은 추가 정보와 컨텍스트를 제공합니다" 이와 같이 "Armis Security의 비전은 위험, 취약성, 위협 평가 및 위협 탐지에 대한 즉각적인 컨텍스트가 갖추어진 한 곳에서 모든 자산을 검색할 수 있도록 함으로써 조직의 Google Maps가 되는 것입니다. 그런 인사이트에 따라 자산을 보호하는 것입니다. " - 아비람 코헨
도전과제/목표
Armis는 초기에 PostgreSQL 데이터베이스를 사용하여 플랫폼을 출시했습니다. 시간이 지남에 따라 Postgres가 처리하기에는 시계열 데이터 셋이 너무 커졌습니다. 기존 사용되던 400대이상의 PostgresSQL 데이터베이스에서 운영되던 데이터 셋을 Elasticsearch 클러스터(160개 노드)로 마이그레이션했습니다.
"초기에 Elasticseach를 사용하는 것은 해당 기술에 대한 우리 팀의 방대한 지식과 대규모 데이터 셋에 대해 빠른 검색과 집계가 필요하다는 사실을 고려할 때 합리적인 선택처럼 보였습니다. 단지 이 데이터 셋이 얼마나 커질지와 이것을 유지하기 위해 무엇이 요구될지를 전혀 몰랐을 뿐입니다. "
- 토머 프라이즐러, 수석 아키텍처, Armis Security
데이터 속성의 변경 - 제품의 요구사항이 변함에 따라 ElasticSearch 내의 data는 더욱더 가변적이게 됩니다. Armis 플랫폼 활용 사례는 변경 가능성이 높은 데이터의 특성으로 인해 ElasticSearch 클러스터의 전체에 대해 재인덱싱(100B 문서에 가까움)이 요구되었습니다. Elasticsearch는 이러한 유형의 재인덱싱 데이터 흐름(data flow)을 확실히 지원할 수 있지만 클러스터의 크기를 고려할 때 이 흐름을 견고하게 만들기 위해서는 수 많은 컴퓨팅 노드와 보안기능이 필요했습니다. 토머는 인덱싱에 EKS 리소스를 많이 사용했고 ElasticSearch에 대한 인덱싱을 버퍼링하기 위해 매우 큰 사이즈의 Kafka 클러스터를 사용했고, 또한 EMR 클러스터를 주기적으로 실행하고 데이터 레이크에서 업데이트된 모든 항목을 가져와 다시 인덱싱해야 했습니다.
Armis는 ElasticSearch를 사용하여 더 이상 확장할 수 없었고, 설상가상으로 ElasticSearch를 포함한 전체 데이터 파이프라인의 연간 비용이 100만 달러 이상이라는 엄청난 비용을 지불해야 했습니다.
Armis는 자산 관리 플랫폼을 통해 원활한 고객 지원을 위해 아래의 사항이 꼭 필요했습니다.
•
지속적으로 증가하는 다양한 커넥티드 디바이스에 의해 폭발적으로 증가하는 데이터를 수용할 수 있는 유연한 확장성과 빠른 성능 제공
•
연방 위험 및 승인 관리 프로그램(FedRAMP)과 같은 엄격한 표준 준수
•
플랫폼의 복잡성 제거 및 비용 절감
기술 요구 사항
Armis Security는 글로벌 고객을 대상으로 하고 매일 1,000억 건이상의 이벤트를 처리합니다. Armis는 디바이스, 방화벽, IoT, 멀티 테넌트, ServiceNow 및 네트워크 트래픽을 포함하여 기업이 보유할 수 있는 모든 것에서 데이터를 수집합니다. 즉, Armis는 관리와 분석을 해야 할 방대한 데이터 파이프라인을 보유하고 있습니다.
Armis는 다음과 같은 기술 요구 사항을 충족시는 데이터베이스 기술이 필요했습니다.
•
실시간 분석을 위한 쿼리 SLA : 1.5초/3day_data , 3초/7day_data, 10초/+30day_data
•
FedRAMP 요구사항을 충족하기 위해 매니지드 서비스와 온프래미스 양쪽에 구축 가능해야 함
•
조회 조건이 자주 변경이 되고 Join을 효과적으로 수행이 가능해야 함
왜 SingleStore인가?
Google BigQuery를 사용하는 것을 고려했지만, 멀티 클라우드 미지원과 온프래미스 설치형 버젼의 부재로 도입을 하지 않았습니다. 코핸은 그 후 Armis의 다양한 고객들이 이미 Singlestore를 사용하고 있고 좋은 피드백을 받았습니다. 또한 Singlestore에 대해 알면 알수록 제품의 우수성을 인지하게 되었다고 합니다. Armis는 FedRAMP 규정 준수를 충족하기 위해 온프래미스 SingleStore DB를, AWS를 통해 클라우드 데이터 전략을 지원하기 위해 SingleStore Managed Service를 선택했습니다.
최종적으로 솔루션을 결정하는데 아래와 같은 기능들도 한 몫을 했습니다.
•
인메모리 로우스토어와 디스크기반 컬럼스토어가 동일한 데이터베이스 엔진에서 동작함
•
페타바이트(Petabyte) 규모의 확장성 및 5배이상의 데이터 압축률
•
ISO/IEC 27001, SOC2 Type 2, Privacy Shield를 포함한 정부 고객이 필요로 하는 보안 기능 내장
Armis 플랫폼
현재 SingleStore가 중요한 역할을 하고 있는 Armis 플랫폼은 다양한 소스에서 다양한 유형의 원시 데이터(트래픽, 자산, 사용자 데이터 등)를 수집, 처리, 분석하고 집계를 합니다. 이것은 클라이언트의 모든 자산에 대한 완벽하게 동적 화면을 생성하고 이 화면은 디바이스, IP 세션 데이터, 사전 정의된 메트릭 등에 대한 자유로운 쿼리(ad-hoc)를 통해 플랫폼 내에서 액세스할 수 있습니다.
Armis 플랫폼내 데이터 처리량:
•
1,000억개/day 이벤트 관리
•
30TB 데이터 셋 관리(최대 사용 고객)
•
1.5초 쿼리 응답 속도 제공
Twingo는 선도적인 빅데이터 기술을 보유하고 해당 솔루션을 판매하고 배포를 전문으로 하는 Singlestore 파트너입니다. 아키텍처 설계 전문기업인 Twingo는 Armis가 올바른 기술을 선택하고 복잡한 다양한 문제에 직접했을때마다 최적의 해결안을 제공했습니다. Twingo는 Armis의 SingleStore 구축을 위한 도입 초기 단계부터 다향한 업무를 지원했습니다(클러스터 크기 조정, 쿼리 재설계 및 모델 최적화를 포함한 PoC 설계 및 수행). 현재 Armis는 SingleStore Managed Service를 32개 유닛(8 CPU 코어, 64GB RAM, 2TB SSD)으로 구성하여 운영 중에 있습니다.
골란 나훔, Twingo CEO에 따르면 ElasticSearch의 경우 디바이스 하나가 업데이트되면 이전 3개월치 데이터를 업데이트해야 했습니다. 이에 Armis는 관계형 모델 전환과 매우 높은 확장성 작업이 필요했으며, 동시에 데이터 모델링을 단순화해야 했습니다. 최종적으로 Armis는 Singlestore를 통해 복잡성을 대폭 줄이고 성능을 극대화시켰으며 비용을 크게 절감했습니다.
"Twingo와의 파트너십을 통해 최소한의 리소스로 성공적인 PoC를 진행할 수 있었고, Twingo의 전문가들 덕분에 실수를 피하고 최적화된 솔루션을 만들 수 있었고, 그들은 시스템 개선을 위한 우리의 다양한 요청에 대해 우선 순위를 정해가면서 지속적인 조언을 해주었습니다."- 프라이즐러 수석 아키텍처, Armis Security.
현재 Armis는 소규모 트랜잭션 워크로드에서 아직 PostgreSQL과 Elasticsearch를 사용하고 있지만, 이미 가장 큰 데이터 셋을 Elasticsearch에서 SingleStore로 이동했으며 모든 분석 워크로드를 PostgreSQL에서 SingleStore로 이동했습니다.
"SingleStore로 파이프라인을 단순화시킴으로서 ElasticSearch보다 훨씬 더 적은 인력으로 쉽게 운영/관리가 가능해졌습니다.” 로이프랑코, 데이터 인프라 팀 리더, Armis Security
SingleStore 파이프라인 통해 방대한 스트리밍 데이터를 수집하고 실시간으로 데이터를 분석하고 사용자가 모든 것을 자세히 살펴볼 수 있도록 합니다.
대량 데이터 업데이트(Armis Platfrom);
•
실시간 집계를 통해 얻어지는 Facts
•
30분마다 갱신되는 디바이스 자체에 대한 사용 가능한 데이터
“어떤 사용자의 Macbook Pro iOS가 업데이트되면서 취약점이 발생했다고 가정할 때, 즉시 그 취약점을 해결하길 원할 것입니다. 이것을 위해서는 우리 플랫폼은 디바이스의 변경 사항이 SingleStore에 실시간으로 저장/처리되길 원합니다.” - 코헨
결과
코헨에 따르면 "ElasticSearch에서 타임아웃되던 모든 쿼리는 SingleStore에서 10초 이내에 처리되며 거의 모든 쿼리가 1.5초 이내에 처리된다고 합니다. 그리고 기술 성과가 크게 증가함에 따라 놀라운 재무 성과가 나오게 되었다고 합니다.
가치평가 $34억, 비즈니스 성장 가속화
SingleStore가 제공하는 확장성과 성능 개선은 Armis Security가 비즈니스를 크게 성장시키는데 도움이 되었으며, 2년도 채 되지 않아 가치 평가가 3배가 되는데 도움이 되었습니다. 사모펀드 회사 Insight Partners가 2020년 2월 Armis Security를 인수했을 때 가치는 11억 달러였으나 2021년 Armis Security의 가치는 34억 달러였습니다.
70% 비용 절감
SingleStore를 통해 Armis는 클러스터 크기에 따라 비용을 조정할 수 있습니다. 코헨에 따르면 "연간 100만 달러 이상의 비용이 드는 ElasticSearch를 포함한 전체 데이터 파이프라인에서 Singlestore Managed Service 비용의 일부만 지불하는 방식으로 전환하여 데이터 파이프라인 비용을 70%이상 절감했다고 합니다.
더 빠른 성능으로 디바이스 보안 향상
Armis Security가 SingleStore를 통해 실현한 대폭적인 성능 개선은 고객의 디바이스 환경에 대한 더 나은 뷰를 제공하여 최신 데이터를 기반으로 더 빠르게 대응하여 환경을 안전하게 유지할 수 있도록 합니다.
