이것저것 이것저것

로그 다시 까보면npm error code EEXISTnpm error syscall mkdirnpm error path /Users/semihan/.npm/_cacache/content-v2/sha512/3d/e3npm error errno EEXISTnpm error Invalid response body while trying to fetch https://registry.npmjs.org/@nestjs%2fcore: EACCES: permission denied, mkdir '/Users/semihan/.npm/_cacache/content-v2/sha512/3d/e3'npm error File exists: /Users/semihan/.npm/_cacache/content-v2/sha512/3d..

그리고 우선 csv을 es에 넣을때 자동으로 인덱스 생성이 되는 편리한 기능이 있지만 이것도 단점이 있다 자꾸가 8월11일까지만 들어가 있길래 뭔지 확인해봤더니 데이터의 사이즈를 1000개까지만 가져오도록 설정이 되어있기 때문이다 오버라이딩 셋팅을 누르고 사이즈를 직접입력해준다 나는 17000개 정도의 데이터가 있으니 18000개로 했다 그리고 새로운 인덱스와 데이터 파이프라인을 만들어서 17000개의 데이터를 리인덱스 시키려 보니까 자꾸 1000개에서 끊긴다. 이유는 사이즈 때문이다 POST _reindex { "source": { "index": "geo_stomi_csv", "size": 10000 }, "dest": { "index": "geo_stomi_new_index", "pipeline":..

ELK 작은 사이즈의 데이터는 키바나의 파일 업로드 기능을 이용하는 게 편하다 1.키바나 첫페이지(192.168.2.180:5601)에 upload a file로 가서 csv를 넣음 2.machine learning에서 visual csv형태로 되어있는걸 알아서 쪼개서 필드를 만들어줌 필드가 어떤 타입인지도 알아서 셋팅해줌 ingestor파이프라인도 알아서 생성해줌 Dev tools에서 csv파일 업로드로 만들어진 인덱스를 조회할 수 있음 GET Seoul-metro-station-info-temp/_search 데이터가 잘 들어가도 매핑을 손봐야한다 인덱스를 민들면서 매핑을 추가한다 PUT seoul-metro-station-info { "mappings": { "properties": { "geo":..

파이썬에서 튜플, 문자열, 리스트의 특정 요소를 가져오라 하면 for문을 돌며 수작업으로 요소를 선택하지 않고 [] 자체 시퀀스로 가져올 수 있다 items[:-3] -> 뒤에서 부터 3개 요소 제외하고 나머지 items[3:] -> 3번째 있는 요소부터 나머지 시퀀스 기능은 __getitem__ 이라는 매직 메서드 덕분에 작동한다 with문으로 파일을 열게되면 __enter__와 __exit__ 두 개의 매직 메서드로 구성된다. contextlib.suppress 와 try except의 차이점 util패키지로 제공한 예외 중 하나가 발생한 경우 실패하지 않도록 한다. try는 try안에서 오류가 났을 경우 except로 예외 처리하는 경우를 말한다 파이썬에서의 밑줄 public, private, pr..

대충 예쁘게 꾸며보았다 컨테이너에 마진을 주고 그림자 효과와 appbar를 추가하여 title로 데스매치게임을 달아주고 buttom navigation을 복붙해왔다 저 세 버튼은 onpressed만 채워주면 화면이동이 될 것같다는 느낌을 받는다 이제 내가 할건 데스매치에서 선택하고 싶은 위젯을 눌렀을 때 다음 매치로 넘어가는 화면을 만들 것이다. 사실 화면이 넘어 가는 것이 아니라 컨테이너 안에 있는 텍스트가 다음으로 넘어가는 것! 코딩애플을 보니 버튼을 눌렀을 때 재랜더링을 해주면 된다고 한다 데이터는 변수에 저장을 하지만 플러터에서는 자료를 잠깐 저장하고 싶을 때 변수말고 state를 사용한다고 한다 컨테이너는 그대로고 안에있는 텍스트만 계속 바꿔주는 것이기 때문에 text를 잠깐 저장해 놓기에는 변..

맥북에 플러터 + 안드로이드 설치하기 => 이슈없이 잘되서 skip DeathMatchMain.dart 파일 생성 짜장 vs 짬뽕이라는 화면을 만들고 짜장을 눌렀을 때 다음 데스매치로 넘어가는 화면을 설계하고 싶다. 우선 메인화면에 색갈 씌우기 import 'package:flutter/material.dart'; void main() { runApp(const MyApp()); } class MyApp extends StatelessWidget { const MyApp({Key? key}) : super(key: key); @override Widget build(BuildContext context) { return MaterialApp( // Todo image.asset("경로~") 넣으면 이미 ..

airflow가 뭔지 알았으니 튜토리얼 개념으로 크롤러들을 에어플로어로 작성해보는 시간을 가져본다 일단 DB는 개인 RDS를 사용하도록한다 이 안에 엉망진창 인스타그램 데이터들이 들어 있긴하다 파이썬을 깔고 레포도 하나 파준다 근데 나도 맨날 코드 블록으로 코드 쓰는데 왜 게시만 하면 코드블록이 사라지는지 모르겠다.. (venv) semihan@semiui-MacBookAir airflow_tutorial % python3 -m pip install apache-airflow Collecting apache-airflow (venv) semihan@semiui-MacBookAir airflow_tutorial % airflow users create --username semi colon --firstn..

--주저리-- 더보기 회사에서 진행중인 프로젝트들을 보면 시간이 지날 수록 추가 요청 사항들, 에러 수정 등 코드를 고칠일이 상당히 많은데 이럴 때마다 코드들이 점점 지저분해져 간다는 느낌을 받았다 깔끔한 유지보수를 위해 클린코드가 무엇인지 기초 공사부터 다시 배우려 한다 책 앞부분에는 '기술 부채는 나쁜 결정이나 적당한 타협의 결과로 생긴 소프트웨어적 결함을 말한다' '개발팀이 제 시간에 어떤 것을 제공할 수 없어서 코드를 수정하고 리팩토링하기 위해 멈춘다는 것은 기술 부채에 대한 비용을 지불한다는 뜻이다' 라고 적혀있다 나는 여태 "급하니까 일단 실행만 되게 해 놓자" 라는 식의 코드 작성만 있었던 것같다 이게 나중에 어떻게 이자가 생겨서 부채로 돌아올지... 더 큰 부채가 생기기전에 '파이썬 클린코..