이것저것 이것저것

ELK 작은 사이즈의 데이터는 키바나의 파일 업로드 기능을 이용하는 게 편하다 1.키바나 첫페이지(192.168.2.180:5601)에 upload a file로 가서 csv를 넣음 2.machine learning에서 visual csv형태로 되어있는걸 알아서 쪼개서 필드를 만들어줌 필드가 어떤 타입인지도 알아서 셋팅해줌 ingestor파이프라인도 알아서 생성해줌 Dev tools에서 csv파일 업로드로 만들어진 인덱스를 조회할 수 있음 GET Seoul-metro-station-info-temp/_search 데이터가 잘 들어가도 매핑을 손봐야한다 인덱스를 민들면서 매핑을 추가한다 PUT seoul-metro-station-info { "mappings": { "properties": { "geo":..

대충 예쁘게 꾸며보았다 컨테이너에 마진을 주고 그림자 효과와 appbar를 추가하여 title로 데스매치게임을 달아주고 buttom navigation을 복붙해왔다 저 세 버튼은 onpressed만 채워주면 화면이동이 될 것같다는 느낌을 받는다 이제 내가 할건 데스매치에서 선택하고 싶은 위젯을 눌렀을 때 다음 매치로 넘어가는 화면을 만들 것이다. 사실 화면이 넘어 가는 것이 아니라 컨테이너 안에 있는 텍스트가 다음으로 넘어가는 것! 코딩애플을 보니 버튼을 눌렀을 때 재랜더링을 해주면 된다고 한다 데이터는 변수에 저장을 하지만 플러터에서는 자료를 잠깐 저장하고 싶을 때 변수말고 state를 사용한다고 한다 컨테이너는 그대로고 안에있는 텍스트만 계속 바꿔주는 것이기 때문에 text를 잠깐 저장해 놓기에는 변..

맥북에 플러터 + 안드로이드 설치하기 => 이슈없이 잘되서 skip DeathMatchMain.dart 파일 생성 짜장 vs 짬뽕이라는 화면을 만들고 짜장을 눌렀을 때 다음 데스매치로 넘어가는 화면을 설계하고 싶다. 우선 메인화면에 색갈 씌우기 import 'package:flutter/material.dart'; void main() { runApp(const MyApp()); } class MyApp extends StatelessWidget { const MyApp({Key? key}) : super(key: key); @override Widget build(BuildContext context) { return MaterialApp( // Todo image.asset("경로~") 넣으면 이미 ..

airflow가 뭔지 알았으니 튜토리얼 개념으로 크롤러들을 에어플로어로 작성해보는 시간을 가져본다 일단 DB는 개인 RDS를 사용하도록한다 이 안에 엉망진창 인스타그램 데이터들이 들어 있긴하다 파이썬을 깔고 레포도 하나 파준다 근데 나도 맨날 코드 블록으로 코드 쓰는데 왜 게시만 하면 코드블록이 사라지는지 모르겠다.. (venv) semihan@semiui-MacBookAir airflow_tutorial % python3 -m pip install apache-airflow Collecting apache-airflow (venv) semihan@semiui-MacBookAir airflow_tutorial % airflow users create --username semi colon --firstn..

airflow를 배워보려 한다 기존에 파이썬으로 작성한 크롤링들을 주기적으로 실행을 하려면 크론탭으로 스케줄을 설정했다 이것의 단점은 작업에 실패하면 로그를 확인하고 에러가 난 부분을 확인해서 재실행한다는 것이다 딱히 단점이라고 생각하지 않았는데 airflow를 사용하면 이런 것들을 쉽게 핸들링 할 수 있나보다 DAG(Directed Acyclic Grtaph):유향 비순환 그래프 DAG안에는 한 개 이상의 Task가 있고, Task는 실제 실행시키는 작업이다 배치 스케줄을 관리 Action Operator 에어플로우는 Operator를 사용하여 python, bash, aws등 다양한 동작을 실행시킬 수 있다 sample_task = BashOperator( task_id="sample_task", b..

위키피디아에서 제목 파일을 제공해준다길래 gz파일을 다운받았다 https://dumps.wikimedia.org/kowiki/latest/ kowiki-20220420-all-titles.gz 파이썬으로 불러오니까 다 깨진다 a.decode("utf-8") '828\t첫_걸음\n' 대충 콘솔로 찍어보니 이런식으로 나온다 b'828\t\xec\xb2\xab_\xea\xb1\xb8\xec\x9d\x8c\n', b'829\tAuthority_control\n', b'829\tBananas/\xec\x8b\x9c\xed\x97\x98\xec\x9e\xa5\n', b'829\tBananasArgs/\xec\x8b\x9c\xed\x97\x98\xec\x9e\xa5\n', 이렇게 다 깨져서 나오지만 이런건 디코딩하면..

우선 mbti_stomi_term인덱스를 새로 생성했다 팥장님 티스토리를 참고했다 term_vector: true -> 필드의 용어가 저장된다 "fielddata" : - 디폴트는 false 입니다. true로 설정하면 해당 필드의 색인된 텀 들을 가지고 집계(aggregation) 또는 정렬(sorting)이 가능합니다. 이 설정은 다이나믹 설정으로 이미 정의된 매핑에 true 또는 false로 다시 적용하는 것이 가능합니다. fielddata를 사용하면 메모리사용량이 많아진다한다 그치만 어쩌겠는가 문서의 모든 단어들을 다 카운팅하고싶은데... GET mbti_stomi_term/_search { "query": { "bool": { "must": [ {"term": {"keyword":"infp"}}..

글한번 썼는데 날라갔다 reindex 사용하기 처음에 502에러는 한 3번정도 마주쳤다 그냥 source에 기존 인덱스, dest에 옮길 인덱스 했는데 502에러가 떴다 첫번째 reindex시도했을 때는 사이즈가 커서 그런가 싶어서size:1000를 해줬는데도 502에러 두번째시도는 mbti_stomi_analysis에는 맵핑이 없어서 그런가 싶었다 원래 인덱스에 bulk하면 자동으로 생성되니까 이번에도 그런줄알고 맵핑을 안했다 그래서 수동으로 데이터 타입들을 넣어줬다 그런데도 502에러 세번째 시도는 wait_for_completion=false를 파라메타로 넣어주니까 0.1초만에 끝났다 POST _reindex?wait_for_completion=false { "source": { "index": "..