J 의 기록

이번에 친구랑 우연히 기회가 되어서 학습을 목적으로 머신러닝 프로젝트를 진행하려 하는데, 그 기반이 될 데이터가 필요해 파이썬을 이용해 웹 크롤링(crawling)으로 데이터를 가져오는 프로그램을 공부하게 되었다. 먼저, mac 은 python이 기본적으로 깔려있었으나 pip 가 되지않아 sudo easy_install pip 를 실행하여 pip를 설치하였다. 이후에 pip install bs4 pip install requests pip install pandas html을 쉽게 파싱하기 위해 BeautifulSoup가 포함된 패키지 bs4를 받아주고, 웹사이트에 http request 를 날리기 위해 request 모듈도 설치하였다. pandas 라이브러리는 추출한 결과를 DataFrame 자료구조에..

1. 도커를 이용한 애플리케이션의 컨테이너화 도커는 애플리케이션을 패키지로 만들어 구동하기 위한 세련되고 훌륭한 방법을 제공한다. 그러므로 도커는 현재 가장 인기있는 오픈 소스 프로젝트 중 하나로 자리잡게 되었다. 컨테이너 기술을 활용하면 애플리케이션을 클라우드 환경에 배치할 때 훨씬 효율적으로 처리할 수 있다. 컨테이너를 구동하는 운영체제도 컨테이너처럼 가볍게 만들 수 있다. 이렇게 컨테이너를 호스팅할 운영체제는 애플리케이션에 관련된 모든 의존성을 직접 책임질 필요가 없다. 애플리케이션 구동에 필요한 것들은 대부분 이미 컨테이너에 담겨있기 때문이다. 애플리케이션 컨테이너화의 장단점 도커는 애플리케이션을 컨테이너 안에 설정한 상태로 생성해서 구동한다. 그럼 VM (가상 머신)을 사용할 때에 비해 컨테이너..

쿠버네티스 (kubernetes) = 여러 컨테이너를 관리/예약하는 도구 도커 (docker) = 여러 컨테이너를 관리/예약하는 플랫폼 >>> 도커는 '기술적인 개념이자 도구' 이며 쿠버네티스는 '도커'를 관리하는 툴 이미지를 컨테이너에 띄우고 실행하는 기술이 도커, 이런 도커를 기반으로 컨테이너를 관리하는 서비스가 쿠버네티스라고 생각하면 편하다. 도커는 '한 개의 컨테이너'를 관리하는데 최적, 쿠버네티스는 '여러개의 컨테이너' 를 서비스 단위로 관리하는데 최적화 되어있다. 1. 도커 (Docker) 도커는 '컨테이너 기반의 오픈소스 가상화 플랫폼' 이다. 기술적인 개념으로, 도커로 컨테이너를 띄운다. * 컨테이너? 컨테이너는 애플리케이션과 애플리케이션을 구동하는 환경을 격라한 공간 그렇다면 VM (vi..

◎ VNC 란 ? Virtual Network Computing의 약자로서, 원격접속 기술이다. VNC 는 서버 & 클라이언트의 구조를 가지며 컴퓨터에 서버를 설치 구동하여 원격에서 클라이언트로 서버에 접속하여 컴퓨터를 제어하는 구조이다. 일 대 일 뿐만 아니라 일 대 다수의 접속도 가능하며 이 때 컴퓨터의 화면과 접속한 모든 클라이언트의 화면이 동일하게 표시됨. 사용하는 이유는 리눅스의 xwindow 환경으로 원격접속하기 위함. root 계정으로 진행한다. 1.Linux 에 vncserver 설치 yum install vnc-server 2.구성 파일 복사 cp /lib/systemd/system/vncserver@.service /etc/systemd/system/vncserver@:1.service..

테이블정의서 (ORACLE) -------------------------------------- select a.table_name , b.comments , a.column_name , c.comments , a.data_type , a.nullable --, to_clob(a.data_default) from user_tab_columns a , user_tab_comments b , user_col_comments c where a.table_name = b.table_name AND a.column_name = c.column_name AND b.table_name = c.table_name AND b.comments like '%캠페인%' --AND c.comments is not null o..

◎ MySQL vs MariaDB MySQL이 Oracle로 넘어가면서 당시 MySQL 출신들이 따로 나와서 MySQL을 기반으로 한 다른 오픈 소스 기반의 DBMS를 배포한 것이 MariaDB. MySQL의 정보를 그대로 고수한 오픈 소스 기반의 DBMS. 현재 Monty Program AB와 MariaDB Community에서 개발하고 있으며, MySQL과 기본적으로 구조 및 사용 방법 등 모두 동일함. GPL v2 라이선스를 따름으로, Oracle로부터 자유로움. (mySQL도 현재는 오픈소스 정책을 고수하고 있음.) ◎ 설치방법 설치방법은 MySQL, MariaDB 동일 ◎ 스토리지 엔진 (MariaDB) 스토리지 엔진이란 ? DBMS가 데이터베이스에 대해 데이터를 삽입,추출,업데이트 및 삭제(C..