목록데이터 엔지니어링 (4)

Dream Lovers

1-1. [배경] 빅데이터의 정착

**도서 빅데이터를 지탱하는 기술의 내용을 요약, 정리함 분산 시스템에 의한 데이터 처리의 고속화 빅데이터의 등장 2011년~2012년, 많은 기업들이 데이터 처리에 분산시스템을 도입함 빅데이터 처리 기술 : Hadoop & NoSQL 인터넷 ⇒ RDB (관계형 데이터 베이스) / NoSQL / 텍스트 데이터 ⇒ Hadoop Hadoop 다수의 컴퓨터에서 대량의 데이터를 처리하기 위한 시스템 맵리듀스(MapReduce)를 참고하여 제작했으나, 자바 프로그래밍이 필수 Hive 개발 → 프로그래밍 없이 Hadoop 사용 가능 NoSQL RDB의 제약을 제거하는 것이 목표인 데이터베이스를 총칭함 키밸류스토어, 도큐멘트 스토어, 와이드컬럼스토어 온라인으로 접속 ⇒ NoSQL 데이터 베이스에 기록하고 Hadoop..
데이터 엔지니어링/책 정리 2023. 12. 13. 23:25
conda 업데이트해도 파이썬 버전 변경이 안될 때 해결 방법 (가상환경 만들기)

강의보니까 airflow 컨테이너 들어가보니까 파이썬 3.7 버전을 쓰고 있었다. 기존에 내 노트북에 설치해 둔 파이썬은 3.11 버전이었으므로, 파이썬 버전 다운그레이드가 필요했다. cmd에 들어가 다음과 같이 입력했다. 내가 원하는 버전은 3.7.9였음. conda install python=3.7.9 그런데 failed with initial frozen solve. Retrying with flexible solve 라는 문구가 계속 떴고, 찾아보니 conda 업데이트를 하라고 시도해봄. conda update --all 그런데도 다운그레이드가 안 됨.... 파이썬 삭제하고 재설치하면 되는 경우도 있던데 그것도 안 되더라. stackoverflow에서도 대부분 콘다 최신버전으로 업데이트하면 해결된..
데이터 엔지니어링/Airflow 2023. 7. 23. 20:42
도커(Docker)를 통한 에어플로우(airflow)설치 및 에러 해결 방법

강사님이 알려주신 대로 아래 사이트를 참고하여 wsl을 통해서 도커를 설치했다. https://docs.docker.com/engine/install/ubuntu/ Install Docker Engine on Ubuntu docs.docker.com 다만 마지막에 계속 sudo service docker start를 여러번 해도 sudo docker run hello-world에서 에러가 뜨더라!!! 분명 도커를 시작하면 데몬이 연결되어 실행이 되어야 정상인데 안 되더라. "Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?" Cannot connect to the Docker da..
데이터 엔지니어링/Airflow 2023. 7. 13. 00:27
Airflow 설치 :: WSL 설치와 기본 Linux 명령어

알게된 것 WSL (Windows Subsystem for Linux): 윈도우에서 리눅스 환경을 지원하는 기능 airflow는 윈도우에서 바로 설치가 안 됨 WSL 설치 후 도커를 통해 airflow를 설치할 수 있음 Power shell을 이용한 wsl 설치 방법 : https://learn.microsoft.com/ko-kr/windows/wsl/install 시행착오 강의에서는 power shell을 통해서 금방 금방 wsl 설치가 되었는데, 나는 에러가 떠서 결국 수동설치를 하게 되었다. 내가 윈도우 이전 버전을 사용하는 듯하다. Linux 기본 명령어 pwd : 현재 디렉토리 경로 출력 ls : 현재 디렉토리에 있는 파일 목록 보기 cd : 디렉토리 변경 cd .. : 뒤로가기 mkdir : ..
데이터 엔지니어링/Airflow 2023. 7. 13. 00:12
이전 Prev 1 Next 다음