J 의 기록

Apache Atlas > Data Governance and Metadata framework for Hadoop '데이터 거버넌스 및 메타데이터 프레임워크' 데이터 표준 및 계보(lineage)를 관리 1-1. 데이터 거버넌스란? 데이터 거버넌스란 전사적인 차원에서 보유하고 있는 모든 데이터의 관리에 대한 기업 IT시스템 내 데이터를 관리하기 위한 정책 및 프로세스. 거버넌스의 주요기능은 데이터품질 관리, 메타데이터 관리, 데이터 주기 관리, 그리고 데이터 보안 및 프라이버시가 있다. 1-2. 데이터 거버넌스로 얻는 장점 1) 데이터 투명성 제공 : 데이터에 대한 전반적인 시각을 제공하고 데이터 액세스를 향상시켜 이전에는 이용할 수 없었던 통찰력을 얻을 수 있는 기회를 제공 2) 데이터 품질 향상 :..

쿠버네티스란? - 쿠버네티스는 컨테이너화된 워크로드와 서비스를 관리하기 위한 오픈소스 플랫폼으로 이식성이 있고, 확장가능하다. - 쿠버네티스는 선언적 구성과 자동화를 모두 용이하게 해준다. - 구글이 2014년에 쿠버네티스 프로젝트를 오픈소스화 하였으며 구글의 15년에 걸친 대규모 상용 워크로드 운영 경험을 기반으로 만들어졌다. 쿠버네티스의 배경 - 전통적인 배포 시대 : 초기 조직은 애플리케이션을 물리 서버에서 실행하였다. 한 물리 서버에 여러 애플리케이션에 대한 리소스 한계를 정의할 방법이 없었기에, 리소스 할당의 문제가 발생했다. 물리 서버 하나에서 여러 애플리케이션을 실행하면 리소스 전부를 차지하는 애플리케이션이 있을 수 있고, 결과적으로 다른 애플리케이션의 성능이 저하된다. 이 문제를 해결하기 ..