새벽에 하는 DevOps 삽질기록

AWS EC2의 가장 큰 장점은 Elasticity(탄력성)이라고 생각한다. 용량이 부족하다 용량 확장 GPU가 딸린다 Instance family 업그레이드 입력과 출력이 느리다 EBS IOPS 업그레이드 돈만 있다면 다 되는 세상 클라우드! LSTM을 적용한 Meissy를 업그레이드 하면서 c6g.medium 인스턴스를 사용하고 있던 모델에서 감당하지 못하기 시작했다. 처음 인스턴스를 만들때 위 목록에서 크기를 설정하게 된다. 초기에 루트 볼륨을 8GB정도로 설정해 두었는데 인공지능 모델을 개발하면서 8GB로 퉁치려고 했던것은 욕심이었나보다. 😊 손쉽게 인스턴스 루트볼륨을 확장하는 법을 알아봅시다. 1. 변경하고자 하는 볼륨 상세페이지 접근 디스크 볼륨을 높이기 위해서 해당하는 인스턴스를 클릭하여 상..

DevOps 연구 노트/아마존 웹 서비스 2023. 5. 17. 08:20

이번에 런칭하는 프로젝트는 프론트로 아래 스펙을 사용한다. 백은 몽고와 express 사용 중, 배포는 nginx로 확장 구축할 예정이다. 현재 프론트 서비스 스펙 환경 : node:16 WAS : nginx Web Framework : React Language : Typescript nginx는 실제 운영할때 사용할 배포 스펙이기 때문에 개발 테스트용으로 실행해야 했다. Problem 하지만 나는 docker를 사용중 .. !! 아래 Dockerfile을 사용해 실행하고자 하니 자꾸 에러가 났다. docker를 사용하면 한 instance안에서 이것저것 실행할 수 있어서 확실히 편하다. (용량 빵꾸만 나지 앟는다면) 아래 CMD 부분을 ["npm", "run", "dev"]로 변경해도 효과는 동일 V..

DevOps 연구 노트/아마존 웹 서비스 2023. 5. 6. 16:27

TMPDIR=/mnt/d/tmp/ pip install -U 일단 결론만 이야기 하면 위 명령어로 해결했다. tc2.micro에서 tensorflow로 아주 작은 데이터를 다루는 모델을 작동하기 위해서 여러 라이브러리를 설치해야 한다. 지금 설치하는 라이브러리 중에 용량이 큰 친구가 두개가 있다. - pykoSpacing - tensorflow 이 친구들을 pip3로 install할때 아래와 같은 오류가 발생했다. No space left on device 1개 cpu, 8g 메모리를 사용중이라 절대공간이 부족한건지 궁금했다. df -h 이 명령어를 사용하면 위와 같이 깔끔한 결과를 보여준다. 전체용량은 절반정도 사용중이라 안전하다. 그때 눈에 띄인 용량이 /tmp 폴더. pip가 tmp에 파일을 저장하..

DevOps 연구 노트/아마존 웹 서비스 2023. 4. 19. 09:30

오랜만에 EC2에 새로운 서버를 만들고 여러가지 환경설정을 하려니 기억이 안나서 약간 애먹었다 ㅋㅋ기준은 Amazon Linux2 OS이고 같은 Linux라도 Ubuntu처럼 다른 운영체제라면 명령어가 약간 다른 줄로 안다.    예전에는 yum install mysql-community-server 명령어만 입력하면 바로 설치가 되었지만 이번에는 이상하게 아래와 같은 오류가 났다.The GPG keys listed for the "MySQL 8.0 Community Server" repository are already installed but they are not correct for this package.흠흠 .. 검색해보니 예전에는 바로 설치가 되었는데 yum 설치 가능리스트에서 빠져 수동으로..

DevOps 연구 노트/아마존 웹 서비스 2022. 6. 8. 13:48

AWS 서비스 비용을 알아보는 방법은 여러가지가 있다. 그 중 Pricing Calculator를 사용해보자. 참고로 이 글은 S3의 역활, Storage의 구분 등 아주 기본적인 개념을 알고 있는 개발자를 위해 작성되었다. CTRL+F눌러서 필요한 정보를 찾아 잘 사용하길 바란다. 아래 공식홈페이지는 S3의 비용이 어떻게 구성되고 과금되는지 잘 나와있다. 각 비용들의 세금은 제외되어 있다. https://aws.amazon.com/s3/pricing/?loc=ft#AWS_Free_Tier Amazon S3 Simple Storage Service 요금 - Amazon Web Services S3 버킷 및 객체를 대상으로 수행한 요청에 대해 요금을 지불합니다. S3 요청 요금은 요청 유형을 기준으로 하며..

DevOps 연구 노트/아마존 웹 서비스 2022. 3. 27. 14:45

11월에 마무리 하기로 했던 s3 정적 웹사이트 호스팅을 1차 마무리 지었다. 클라이언트가 메인 페이지라도 ASAP 옮기기를 원하셔서 급하게 메인 페이지만 빌딩하여 퍼블리싱 하였다. 궁금하신 분들은 여기를 클릭하면 확인할 수 있다. S3란 아마존에서 제공하는 저장공간 서비스로 무한대의 공간을 비용을 주고 임대할 수 있다. 공간을 많이 사용할 수록 요금이 늘어나지만 정말 몇 백 테라바이트를 사용하는 편이 아니라면 저렴한 편이다. 게다가 자주 접근하지 않는 데이터라면 훨씬더 저렴한 가격에 저장할 수 있으니 S3를 잘 활용한다면 저렴한 가격에 여러 데이터를 저장하고 활용할 수 있다. S3 호스팅 시리즈의 구성 s3 웹사이트 호스팅 시리즈는 총 3개의 구간으로 나뉘어져 있다. (1) 비용 AWS 서비스를 이용하..

DevOps 연구 노트/아마존 웹 서비스 2022. 3. 20. 18:24

드디어 AWS Solution Architect Associate 자격증을 취득했다. 👏👏👏 (사실 바로 Professional시험을 준비하고 있다. 결제까지 완료함) 원래 시험일이 12월 5일 이였지만 연말의 게으름과 .. 도저히 넘지 않는 72점의 점수 앞에 가로막혀 1월 28일로 시험을 연기했다. 그렇게 어려운 시험이 아니라고 다들 말하길래 슬렁슬렁 공부를 하면서 준비했었는데... 아니다. 슬렁슬렁 공부하면 안된다. C01과 C02(C01의 개정판)는 시험에서 지대한 차이가 있으니 그 부분에 대해서도 자세히 써보겠다. 1. AWS Cloud 자격증을 따려는 계기 대학시절부터 클라우드에 대한 관심이 많았다. EC2라는 개념을 먼저 접했을 부터 "어떻게 저 조그마한 한줄이 컴퓨터라는 거지?"라는 의문을..

DevOps 연구 노트/아마존 웹 서비스 2022. 1. 30. 19:10

거진 3주에 걸친 aws 자격증 후기 환불 2월 20일 부터 3주간공부했고 종로 솔데스크에서 오후 시간에 시험을 봤다. 사실 3월 1일에 시험을 보려고 결제까지 했으나 온라인 시험은 여권이 있어야 한다는 사실을 알게되었고 여권이 없는 나는 시험을 취소하고 오프라인 시험으로 재응시 할 수밖에 없었다 ㅠㅠ. 체크카드로 결제한덕분에 2주일이 지난 지금도 현금이 들어오지 않았다. 내 십이만원... (*방금 들어온것을 확인했다! 이씨 ㅠㅠ 12일 걸린거 실화냐 이것때문에 진짜 존나 신경쓰여서 아무것도 못하고.. 3월 16일에 상황종료!) psi측에 환불에 대한문의를 넣어놓았으나 이메일 답변도 일주일정도 걸린다고 한다. 이런 복잡한 환불 절차 + 기다림을 겪고 싶지 않다면 신용카드로 진행하도록 하자 ^^ 참고로 환..

DevOps 연구 노트/아마존 웹 서비스 2021. 3. 14. 12:15