PythonでElasticsearch 5からscrollを使って検索結果をすべて取得する

Pythonを使ってElasticsearchからデータを取ってくる際、どうも計算が合わない。
なんでだろうなぁと思い調べてみたところ、どうやらElasticsearchではデータを取得する際、デフォルトでは10件までしか取得できないらしい。で、10件以上のデータを取得する場合だと、以下の方法があるようだ。

  • scrollでデータを繰り返し取得して条件にあったデータを全て取得してくる
  • query実行時にsizeを指定することで指定した件数までのデータを取得する(上限は10,000まで?)

上限があるというのもあり、2個目の方法はちょっと…
という訳で、scrollで処理をさせることにした。以下、記述例(Elasticsearchへの接続処理等は省略)。

Sponsored Links

num = 10
s_time = '2m'
data = conn.search(index=self.es_index, doc_type=self.es_doc, scroll=s_time, body=query, size=num, request_timeout=150)

s_id = data['_scroll_id']
s_size = data['hits']['total']
result = data['hits']['hits']
while (s_size > 0):
    data = conn.scroll(scroll_id=s_id, scroll=s_time,request_timeout=150)
    s_id = data['_scroll_id']
    s_size = len(data['hits']['hits'])
    result.extend(data['hits']['hits'])
return result

 

 

これで全件のデータを取得できる。

 


Written by blacknon

インフラエンジニア(…のつもり)。 仕事で使うならクライアントはWindowsよりはUNIXの方が好き。 大体いつも眠い。

Leave a Comment

メールアドレスが公開されることはありません。

*