reindex 왜자꾸 문서의 갯수가 다르게 복제될까?
그리고 우선 csv을 es에 넣을때 자동으로 인덱스 생성이 되는 편리한 기능이 있지만
이것도 단점이 있다
자꾸가 8월11일까지만 들어가 있길래 뭔지 확인해봤더니
데이터의 사이즈를 1000개까지만 가져오도록 설정이 되어있기 때문이다
오버라이딩 셋팅을 누르고 사이즈를 직접입력해준다
나는 17000개 정도의 데이터가 있으니 18000개로 했다
그리고 새로운 인덱스와 데이터 파이프라인을 만들어서 17000개의 데이터를 리인덱스 시키려 보니까
자꾸 1000개에서 끊긴다.
이유는 사이즈 때문이다
POST _reindex
{
"source": {
"index": "geo_stomi_csv",
"size": 10000
},
"dest": {
"index": "geo_stomi_new_index",
"pipeline": "stomi_pipeline"
}
}
원래 source안에 디폴트로 1000개만 가져온다고 한다(es는 디폴트로 1000이란 숫자를 참 좋아하나보다)
geo_stomi_csv 이인덱스 안에는 문서가 17000개정도가 있는데 자꾸 1000개 정도만 가져와서
뭐일까 봤는데 디폴트 사이즈 때문이라고 한다
그래서 사이즈를 18000으로 늘려줬더니
"error": {
"root_cause": [
{
"type": "illegal_argument_exception",
"reason": "Batch size is too large, size must be less than or equal to: [10000] but was [18000]. Scroll batch sizes cost as much memory as result windows so they are controlled by the [index.max_result_window] index level setting."
이와 같은 에러가 뜬다
최대로 맥스를 지정할 수 있는 사이즈 10000개이다ㅣ
7000개는 대체 어떻게 reindex할 수 있을까..에바 참치다..
결론은 csv파일안에서 그냥 10000개 지우고 7000개만 다시 가져왔는데
인덱스안에서 도큐먼트의 순서를 지정해서 가져왔으면 좋겠다
최대 만개까지만 가능하니 만개단위로 쪼개서 가져갈 수 있는 방법을 알아내는게 좋을 것같다
그냥 파이썬으로 하는게 가장 편해보이긴하다
하지만 여기서 또하나의 문제점이 나왔다
만개의 데이터를 geo_stomi_csv라는 인덱스에 넣었고
7000개의 데이터를 geo_remain이라는 인덱스에 넣었다
그리고 reindex를 두번을 해줬더니 마지막에 실행한 리인덱스만 살아남고
앞에 넣었던 만개의 데이터가 없어졌다.
만개의 데이터를 다시 리인덱스 시키면 칠천개의 인덱스가 사라진다...
해결방법은
Setting version_type to external causes Elasticsearch to preserve the version from the source, create any documents that are missing, and update any documents that have an older version in the destination than they do in the source.
es에사 디폴트로 version_type을 internal을 하고있기 때문에
POST _reindex
{
"source": {
"index": "geo_stomi_csv",
"size": 10000
},
"dest": {
"index": "geo_stomi_new_index",
"pipeline": "stomi_pipeline",
"version_type": "external"
}
}
external로 설정해주면 인덱스안에 있는 데이터들은 그대로 냅두고 새로 덮어씌어준다