문서번호 : 71-431548
한 메이저 석유 및 가스 채굴 기업은 IoT 데이터가 초당 기가바이트(GB)의 속도로 쏟아져 들어오고, 닷넷(.NET) 애플리케이션에서 생성된 최신 재무 예측이 주요 경쟁 우위로 작용하는 불안정한 마켓에서 사업을 하고 있습니다. 이에 분석 아키텍처의 핵심에 있는 NoSQL 데이터베이스인 MapR, ElasticSearch를 MongoDB, Oracle Exadata로 교체를 고려했지만, 결국 SingleStore로 교체했습니다. 빠르게 구현한 후, 이제는 경쟁업체보다 더 적은 수의 서버와 더 나은 성능으로, 재무 예측을 하루에 여러 번 실행할 수 있게 되었습니다. 이 회사는 이제 다양한 재무 예측 애플리케이션, 토지 계약 분석, ERP 보고 등에도 SingleStore DB를 사용하고 있습니다.
개요
석유와 가스를 찾고, 추출하고, 공급하는 것은 세계에서 가장 어려운 사업 영역중 하나라고 합니다. 또한, 평상시에는 세계에서 가장 수익성이 높은 사업 중 하나이기도 합니다. 그러나 최근 유가 폭락과 코로나바이러스 전염병으로 인한 수요 붕괴는 이 산업에 전례 없는 위기를 맞았습니다.
그러나 석유와 가스는 항상 어려운 사업이었습니다. 가장 큰 과제와 기회 중 하나는 재정 운영입니다. 제대로 운영되는 기업은 가용 자본의 보유량 관리를 위해, 산더미 같은 데이터를 사용합니다. 자본에 대한 접근성이 좋아 상황이 좋을 때는 기존 공급량을 유지하면서 새로운 매장량을 찾는데 투자를 합니다. 어려운 시기에는 생산량을 줄이고, 다음 기회가 올 때까지 기다립니다.
제대로 운영되지 않거나 규모가 너무 작아 효과적으로 경쟁할 수 없는 기업은 재정적인 문제 해결 능력이 부족하여, 매각되거나 폐업하는 경우가 있습니다. 이러한 기업들의 자산은 더 잘 운영하는 경쟁 기업이 인수하여 더 크고 탄력적인 기업으로 성장을 합니다.
한 대형 석유 및 가스 채굴 기업는 유정, 시추 장비, 파이프라인으로 구성된 공장 전체에 광범위한 IoT 인프라를 구축했습니다. 또한 광범위한 외부 데이터 피드를 사용하고 내부 생성 정보와 시장 정보를 혼합하여 현명한 결정을 내립니다. 그러나 몇 년 전만 해도 IT 인프라가 충분하지 않았습니다.
그래서 그들은 인프라의 핵심에 있는 데이터베이스를 SingleStore 데이터베이스 플랫폼으로 교체했습니다. 이 새롭고 강력한 DB 엔진의 주요 활용 영역은 기업의 재무 예측을 지속적으로 조정하는 것 입니다. 경영진은 현장 직원부터 금융 자본의 대출 기관과 분석가에 이르기까지 모든 사람과 지속적으로 연락하면서 동시에 대략 100개의 주요 변수들을 조사합니다. 이 모든 정보를 바탕으로 잠재적인 새 예산을 지속적으로 만들고 스트레스 테스트를 합니다. 이러한 과정은 엄청난 보상의 성공부터 심각한 비즈니스 실패의 결과까지 전사적 리스크 관리 분석을 실행하는 것입니다.
본 사례 연구에서는 이전 아키텍처로 인해 발생한 비즈니스 문제에 대해 자세히 정리를 하고, 어떤 대안 솔루션을 고려했는지, SingleStore가 문제를 해결하는데 어떻게 도움이 되었는지에 대해 설명을 하고자합니다. 이제 SingleStore를 사용하는 이 기업은 좋은 시기든 힘든 시기든, 성장을 위해 경쟁자들보다 선제적으로 투자를 하고 있습니다.
본 사례는 다른 석유 및 가스 채굴 기업, 일상 업무에서 IoT를 사용하는 기업, 변화하는 대규모 데이터 셋 전반에 걸쳐 재무 분석과 예산 편성 유연성이 필요한 기업, 현재의 비즈니스 과제를 해결하기 위해 정보 흐름의 속도를 높여야 하는 모든 기업들에게 도움을 줄 수 있을 것 입니다.
기업 개요
몇 년 전, 텍사스에 본사를 두고 석유와 가스 채굴을 하는 한 기업이 SingleStore에 연락을 해왔습니다. 이 기업은 Fortune 500대 기업에 리스트 되어 있으며, 연간 수익은 수백억 달러이고, 직원은 수천 명입니다. 이 기업은 주로 셰일에서 나오는 탄화수소(석유와 가스)를 적극적으로 탐색을 합니다. 셰일 가스는 개발 비용이 많이 드는 것으로 유명하지만, 기존의 석유와 가스보다 채굴도중에 더 쉽게 가동을 중단하고 다시 가동을 할 수 있습니다. 즉, 기존의 석유 및 가스와 달리 적극적으로 관리할 수 있으며, 셰일 자원을 최대한 활용하기 위해서는 지속적인 정보 흐름이 필요합니다.
이 기업은 실시간 유정 생산 분석을 위해, 시추 공정 전반에 걸쳐 센서의 데이터를 사용합니다. 재무 및 정보 데이터 흐름에 포함시킬수 있도록, 실시간, 상시, 내부, 외부 데이터 피드들을 결합시킵니다. 기업은 이러한 방대한 데이터 흐름을 다양한 목적으로 사용할 수 있습니다.
•
굴착 장치 및 기타 기반 시설의 문제를 신속하게 수리하고
•
유지 관리가 언제 발생해야 하는지 예측하고
•
가격과 고객 요구의 변화에 따라 언제 어떤 장비를 가동할지 결정하고
•
금융가와 협력하여 현금 관리와 자본에 접근하기 위해 데이터를 사용합니다.
기업은 이러한 데이터 흐름을 사용하여 비생산 시간(NPT, Non-Productive Time )을 줄이고, 비용을 절감하며, 자본 시장을 활용하고, 기회를 이용합니다. 그러나 이 모든 데이터를 가져와 처리하는 능력은 느리고, 제한된 데이터 처리 작업으로 인해 심각한 장애에 봉착하고 있습니다.
이러한 이유로 가장 필요한 시간과 장소에서 데이터를 사용할 수 없었기 때문에, 기업에서는 매주 수백만 달러를 절약하거나, 더 많은 돈을 벌 수 있는 결정을 내리지 못했습니다.
기존 리소스는 모든 지점에서 취약했습니다.
•
수집 기능은 대량의 내부 및 외부 데이터 흐름을 적시에 처리할 수 없었습니다.
•
처리 기능은 실시간 스트리밍 데이터를 과거 데이터와 통합할 수 없었고, 회사가 액세스할 수 있는 모든 데이터를 사용하여 의사 결정을 내리는데 비용이 발생했습니다.
•
분석이 느렸습니다. 시간이 돈인 비즈니스에서 응답을 기다리는 것은 참을 수 없었습니다. 기업은 지역별로 새로운 예산을 지속적으로 생성하고 테스트할 수 있어야 하지만, 느린 분석은 유연성을 크게 제한했습니다.
•
분석을 위한 동시성은 열악했습니다. 기업은 ad-hoc 쿼리, BI(Business Intelligence)툴 쿼리, 앱의 API 호출 모두가 동시에 데이터베이스에 도달하도록, 현재와 원하는 모든 사용자를 한 번에 지원할 수 없었습니다. 사용자가 더 많은 분석을 원하거나 BI 툴 사용자가 늘어나거나, 새로운 앱이 추가되면, 모든 사용자의 결과가 느려졌습니다.
이 기업은 그들의 가장 큰 약점을 재무예측이라고 판단했습니다. 이 모든 데이터를 통합하여 견고한 예산을 생성하고, 리스크를 가장 효과적으로 관리하기 위해 서로 다른 시나리오에 대해 테스트할 수 있다면, 공격적인 경쟁에서 앞서 나갈 수 있을 것으로 판단했습니다.
신중한 조사 후에, 결과를 수집, 처리, 전달 속도를 높일 수 있고, 동시성을 높일 수 있는 SingleStore 데이터베이스가 선택되었습니다. 이 새로운 시스템은 7개월 만에 채굴/시추 범위 지정, 구축 및 생산 분야에 적용이 되었습니다. 그 결과, 비용이 절감되고 유연성, 관리 용이성, 수익성을 향상할 수 있었습니다.
비즈니스 문제
이 기업은 지속적으로 새로운 고객을 찾고 기존 고객과 협상을 해야 합니다. 다른 상장 기업과 마찬가지로, 상세한 재무 보고 요구 사항을 충족하고 지역별로 수익, 비용 및 손익을 정확하게 예측한 다음, 이러한 예산을 기업 전체에서 합산을 해야 합니다.
이 중 어느 것도 쉽지 않습니다. 셰일 석유 기업의 운영은 기존 석유와 가스 가격에 크게 의존합니다. 수익을 얻으려면, 생산 비용이 상품 가격보다 낮아야 하기 때문입니다. 이러한 비용에는 드릴링과 완성 비용, 배송 비용, 운영 비용, 세금 등이 포함이 됩니다. 회사는 감퇴 곡선(decline curve)을 사용하여 유정의 수명 동안 생산량 감소율을 살펴보고, 주어진 유정에 대해 예상되는 최종 회수율(EUR, Estimated Ultimate Recovery)을 결정하기 위해 노력합니다. 분기별이 아니라, 매일 매일의 경제 정보를 정확하게 확보하는 것은 상품 가격 변화의 영향을 고려할 때 이들 기업에 필수적인 요소입니다.
석유 및 가스 채굴 기업의 재무 예측은 끊임없이 변동하는 요인의 조합에 따라 달라집니다.
유가가 충분히 높을 때 생산하는 유정은 상당히 수익성이 있을 수 있습니다. 오늘날의 디지털 오일 필드(Digital Oilfield)는 IoT 지원 장치, 센서, 시스템을 사용하여 비용을 절감하고, 성능을 개선하고, 안전을 강화하고, 가동 중지 시간을 최소화하고, 운영 효율성을 높입니다. 매우 복잡하고 값비싼 장비를 유지 관리하고, 예측 분석을 사용하여 예방 장비를 유지 관리하고, 공급망을 관리하는 것은 모두 IoT로 개선된 영역입니다.
기업의 IoT 투자의 결과로, 비즈니스는 시추 장비에 있는 수많은 센서에서 나오는 정보 흐름을 관리하고 중앙 집중화할 수 있게 되었습니다. 기업은 각 센서를 독립적으로 관리하는 대신, 이제 유량에서 온도, 압력, 진흙 펄스의 원격 측정 신호에 이르기까지 모든 것을 전체적으로 볼 수 있습니다. 그들은 잠재적인 지역을 광범위하게 프로파일링하고 개발할 지역을 선택할 수 있습니다. 또한, 실시간 데이터를 사용하여 굴착 장치를 온라인 및 오프라인으로 전환할 시점과 기존 유정을 운영할 시점을 결정할 수 있습니다.
자본 요건을 충족하기 위해 차입하는 비용도 변수입니다. 회사가 유정을 운영하는 각 지역에는 자체 예측과 예산이 있습니다. 각 지역의 예측 및 예산 책정 프로세스를 지원하기 위한 모델링은 비즈니스 고유의 어려움과 관련된 변수의 수(많은 결정에서 1,000개 이상)로 인해 큰 과제입니다.
리소스 관리와 예산 책정은 중요한 비즈니스 요구사항입니다. 필요한 의사 결정 프로세스를 지원하는 올바른 데이터 인프라와 인프라를 실행할 올바른 인력을 보유하는 것은 현장에 올바른 장비와 인력을 보유하는 것만큼이나 중요합니다.
이 기업의 이전 인프라에서는 예산 할당이 2배 이상 증가했습니다. 즉, 기회의 크기와 이를 추구하기 위한 자금의 필요성은 분기 동안 2배 이상 쉽게 변동할 수 있습니다. 비즈니스는 최적화되지 않은 의사 결정으로 인해 금전적인 손실이 컸고, 비즈니스에서 자금을 충분히 빠르게 재할당하지 못했기 때문에 기회를 잃었습니다. 또한 이 기업은 수익을 정확하게 예측할 수 없었습니다. 이 모든 것이 기업의 재무 결과에 해를 끼쳤습니다.
기술적 과제
이 기업은 광범위한 데이터 소스를 보유하고 있었으며, 기존 시스템에 과부하가 있었고, 처리 요구사항이 증가하고 있었으며, 쿼리 양과 사용자 수 모두에서 분석 요구사항이 계속 증가하고 있었습니다. 분석가, BI 툴, 재무 대시보드, 애플리케이션 및 머신러닝 모델이 분석 액세스를 위해 동시에 일어남에 따라, 응답시간 SLA는 당연히 낮아지고, 또한 동시성 SLA에 대한 요구는 크게 증가하고 있습니다.
이 기업은 MapR을 결합하여 수신 데이터를 축적하고, ElasticSearch를 사용하여 분석을 강화했습니다. 하지만, 시스템에 대한 내부 의견은 좋지 않았습니다. 평가 팀의 한 구성원은 MapR을 거칠게 설명했습니다. “저기 땅속 구멍이 있어. 이제 그걸 넣고 불을 붙이면 돼.” MapR Technologies기업은 작년에 Hewlett-Packard Enterprise(HPE)에 매각되었습니다.
Before: MapR 및 ElasticSearch 기반 분석
ElasticSearch는 Apache Lucene에 구축된 "텍스트, 숫자, 지리 공간, 구조화 및 비구조화를 포함한 모든 유형의 데이터를 위한 분산형 오픈 소스 검색 및 분석 엔진"입니다. ElasticSearch는 혼합 데이터와 함께 사용하기에 가치가 있지만, 제약 사항이 많은 NoSQL 솔루션 입니다. SQL을 지원하는 관계형 데이터베이스는 머신당 분석 실행 속도가 훨씬 빠르고 호환성이 훨씬 뛰어납니다. SingleStore와 같은 NewSQL 솔루션은 이러한 효율성을 활용하여 일반 서버의 분산 클러스터 전반에 걸쳐 원활하게 확장합니다.
그들이 겪고 있는 열악한 결과에 직면하여 기업은 SingleStore 외에 4가지 대안 솔루션을 고려했습니다. 대안 중 하나인 Oracle은 관계형 데이터베이스 솔루션입니다. 나머지 세 가지는 NoSQL 솔루션입니다. SingleStore로의 교체는 아래의 이유로 결정하게 되었습니다.
1. 분석을 위한 Elasticsearch의 확장된 사용
Elastic Search는 기본적으로 업데이트를 안정적으로 수행할 수 있는 능력과 진정한 SQL 기능 등 ACID를 보장하지 않습니다. 성능이 요구 사항에 미치지 못하고 확장성도 부족합니다.
2. 프로세싱을 위한 MapR의 확장된 사용
3. MongoDB
세 번째 NoSQL 경쟁자인 MongoDB는 다른 두 제품보다 주류 워크로드에 더 널리 사용됩니다. 그러나 Mongo는 여전히 ACID 보장과 진정한 SQL 기능의 부족으로 어려움을 겪고 있습니다. 성능이 떨어집니다.
4. Oracle의 Exadata
Oracle을 확장하는 것은 비용이 많이 들고 비효율적입니다. Exadata의 가격이나 성능 모두 기업에 매력적이지 않았습니다.
5. SingleStore
선도적인 NewSQL 데이터베이스인 SingleStore는 아래와 같이 기업이 필요로 하는 가격, 성능, SQL 지원을 갖추고 있습니다. 예를 들어, SingleStore는 Oracle보다 훨씬 원활하게 확장되어 1/4의 비용으로 10배의 성능을 제공합니다 .
문제 해결
이 기업은 기업 수준에서 투자할 가치가 있는 큰 문제가 있음을 깨달았습니다. 그래서 그들은 솔루션에 대한 요구 사항을 설정하는 것으로부터 시작을 했습니다.
•
CEO 수준의 가시성
•
글로벌 가용성 – 초기 기명 사용자(Named User) 300명 이상
•
약 8GB/sec의 대량 수집을 포함한 방대한 데이터 볼륨
•
초당 수백만 개의 행(매우 넓은 테이블)의 지속적인 업데이트
•
총 컴퓨팅 – 클러스터 2개, CPU 3200개, 메모리 30TB
•
대화형 분석 – 차트를 표시하는 데 3초 미만
•
Oracle, Spark 및 빅 데이터(MapR)와 통합
•
.NET으로 작성된 금융 애플리케이션 지원
•
가장 빠른 구축 기간(SingleStore의 경우 단 7개월)
SingleStore는 신중하게 고려되었으며 핵심 비즈니스 문제뿐만 아니라 몇 가지 추가 문제도 해결하는 것으로 나타났습니다. 다음은 SingleStore 솔루션의 주요 기술적 특징입니다.
•
빠른 구축, 설치 작업 시작부터 솔루션의 첫 번째 버전을 배포하는데 이르기까지 7개월의 목표가 설정되었습니다.
•
시스템 성능, 성능 요구 사항은 첫날부터 충족되었습니다. 또한 다른 공급업체와 달리 성능을 최적화하고 요구 사항을 충족하기 위해 외부 컨설팅 서비스가 필요하지 않았습니다.
•
쉬운 통합, 기존 시스템(Oracle, .NET 및 기존 빅데이터 솔루션(MapR))과 통합된 SingleStore 솔루션을 즉시 사용할 수 있습니다.
•
단순성, SingleStore는 데이터베이스 공급업체와 데이터베이스 제품 통합, 단순성 및 성능을 위해 Elasticsearch와 MapR을 대체하는데 사용되었습니다.
•
손쉬운 스케일 아웃(scale-out), 시스템을 20대에서 40대로 스케일 아웃하는데 하룻밤 사이에 완료되었습니다.
•
쉬운 기존 기술의 재사용, 기존 Oracle 기술은 SingleStore 시스템을 관리하는 데 쉽게 사용되었습니다.
이전의 NoSQL 솔루션 (Elasticsearch 및 MapR)과는 달리 SingleStore는 SQL의 친숙함, 관계형 데이터베이스 관리 시스템(RDBMS) 고유의 ACID 기능, 그리고 SingleStore의 속성인 분산 시스템의 성능과 확장성을 제공했습니다. 일반적으로분산 시스템의 성능과 확장성은 NoSQL 솔루션에서 찾을 수 있고, SQL 호환 시스템에서는 찾아볼 수 없지만, SingleStore가 제공하는 핵심 부분입니다.
가격 대비 성능이 우수한 것으로 입증되었습니다. 기능 면에서 SingleStore와 가장 가까운 경쟁자는 Oracle Exadata였습니다. 그러나 SingleStore는 많은 속성, 특히 가격 대비 성능에서 Oracle보다 일관되게 뛰어납니다. 많은 기업에서 약 1/4의 비용으로 Oracle 성능의 10배에 달하는 성능을 달성했습니다.
After: 분석 및 앱을 지원하는 SingleStore
이 기업이 SingleStore로 이관하여 얻은 비즈니스 이점은 상당하며, 시간이 지남에 따라 더욱 중요해집니다.
•
이제 각 부서와 지역은 현재 비즈니스 및 석유 생산을 평가할 수 있어, 하루 중 언제든지 컴퓨터나 모바일 장치에서 예산을 예측할 수 있습니다.
•
이러한 유연성 덕분에 예측과 예산은 이제 이 기업의 주요 경쟁 우위입니다. 그들은 가용 자본과 물리적 공장을 다른 사람들보다 더 효율적으로 활용할 수 있고, 시장 상황에 더 잘 대처할 수 있습니다.
•
최근 몇 년 사이에 유가 및 가스 가격의 변동성이 증가하면서, 이러한 유연성은 이 기업과 같은 승자를 다른 기업과 구분하는 데 도움이 됩니다.
SingleStore로의 이관은 이 기업의 시가 총액 및 주가에서 볼 수 있듯이 강력한 수익과 수익성에 기여했습니다.
첫 번째 IoT 프로젝트 성공 후, 이 기업은 추가 재무 예측 활용 사례, 토지 계약 분석, ERP 보고 등 광범위한 애플리케이션으로 SingleStore의 사용을 크게 확대했습니다.
결론
이 선도적인 석유 및 가스 채굴 기업에 SingleStore가 도입되면서 성능 향상, 시스템 설계 간소화, 새로운 기능, 다양한 애플리케이션을 위한 새로운 데이터 백본 등 많은 혁신이 이루어졌습니다. 현재, SingleStore는 이 기업 내에서 더욱 폭넓게 사용할 수 있도록 검토되고 있습니다.
지금 무료로 SingleStore를 사용해 볼 수 있습니다.
