데이터 레이크란 무엇인가요?

조직은 데이터 레이크와 분석 플랫폼을 구축할 때 다음과 같은 여러 주요 기능을 고려해야 합니다.

데이터 이동

데이터 레이크를 사용하면 실시간으로 수신되는 모든 양의 데이터를 가져올 수 있습니다. 데이터는 여러 소스에서 수집되어 원래 형식으로 데이터 레이크로 이동합니다. 이 프로세스를 사용하면 데이터 구조, 스키마 및 변환을 정의하는 시간을 절약하면서 모든 크기의 데이터로 확장할 수 있습니다.

데이터를 안전하게 저장하고 카탈로그 작성

데이터 레이크를 사용하면 운영 데이터베이스, 업무용 애플리케이션 데이터 등의 관계형 데이터와 모바일 앱, IoT 기기, 소셜 미디어와 같은 비관계형 데이터를 저장할 수 있습니다. 또한 데이터의 크롤링, 카탈로그 작성 및 인덱싱을 통해 레이크에 어떤 데이터가 있는지 파악할 수 있습니다. 마지막으로, 데이터 자산을 보호하려면 데이터의 보안을 유지해야 합니다.

분석

데이터 레이크를 사용하면 데이터 사이언티스트, 데이터 개발자, 비즈니스 분석가와 같은 조직의 다양한 역할이 선택한 분석 도구 및 프레임워크를 사용하여 데이터에 액세스할 수 있습니다. 여기에는 Apache Hadoop, Presto, Apache Spark와 같은 오픈 소스 프레임워크와 데이터 웨어하우스 및 비즈니스 인텔리전스 공급업체의 상용 제품이 포함됩니다. 데이터 레이크를 사용하면 데이터를 별도의 분석 시스템으로 이동할 필요 없이 분석을 실행할 수 있습니다.

데이터 분석에 대해 읽어보기 »

기계 학습

데이터 레이크를 통해 조직은 과거 데이터를 보고하고 예상 결과를 예측하도록 모델을 구축하고, 최적의 결과를 달성하기 위해 규정된 다양한 조치를 제안하는 기계 학습을 수행하는 등 다양한 유형의 인사이트를 생성할 수 있습니다.

기계 학습에 대해 읽어보기 »

더 짧은 시간에 더 많은 소스에서 더 많은 데이터를 활용하고, 사용자가 다양한 방식으로 협업하고 데이터를 분석할 수 있도록 지원하면 더 효과적이고 빠른 의사 결정을 내릴 수 있습니다. 데이터 레이크가 부가 가치를 창출한 예시는 다음과 같습니다.

고객 상호 작용 개선

데이터 레이크는 CRM 플랫폼의 고객 데이터를 소셜 미디어 분석, 구매 내역이 포함된 마케팅 플랫폼, 인시던트 티켓과 결합하여 비즈니스가 가장 수익성이 높은 고객 집단, 고객 이탈의 원인, 충성도를 높일 프로모션 또는 보상을 파악할 수 있도록 지원합니다.

R&D 혁신 선택 개선

데이터 레이크는 R&D 팀이 가설을 테스트하고, 가정을 구체화하고, 결과를 평가하는 데 도움이 될 수 있습니다. 예를 들어 제품 설계에서 올바른 재료를 선택하여 성능을 높이고, 게놈 연구를 수행하여 약물 효과를 높이거나, 다양한 특성에 대한 고객의 지불 의향을 파악할 수 있습니다.

운영 효율성 증대

사물 인터넷(IoT)은 인터넷 연결 장치에서 제공되는 실시간 데이터를 통해 제조와 같은 프로세스에 대한 데이터를 수집하는 더 많은 방법을 도입했습니다. 데이터 레이크를 사용하면 기계 생성 IoT 데이터를 쉽게 저장하고 분석을 실행하여 운영 비용을 줄이고 품질을 높이는 방법을 찾을 수 있습니다.

사물 인터넷(IoT)에 대해 읽어보기 »

클라우드는 성능, 확장성, 안정성, 가용성, 다양한 분석 엔진 세트 및 대규모 경제를 제공하므로 데이터 레이크는 클라우드에 배포하기에 이상적인 워크로드입니다. ESG 연구에 따르면 응답자의 39%가 분석을 위한 기본 배포로 클라우드를 고려했으며, 41%는 데이터 웨어하우스를 고려하였고 43%는 Spark를 고려했습니다. 고객이 클라우드를 데이터 레이크의 장점으로 인식한 가장 큰 이유는 향상된 보안, 배포 시간 단축, 가용성 향상, 특성/기능 업데이트 빈도 증가, 탄력성 향상, 지리적 범위 확대, 실제 활용에 따른 비용 등입니다.