通过esrally压测elasticsearch

参考文档:https://blog.csdn.net/znb769525443/article/details/90722067

专业从事成都网站设计、成都网站建设,高端网站制作设计,重庆小程序开发,网站推广的成都做网站的公司。优秀技术团队竭力真诚服务,采用H5响应式网站+CSS3前端渲染技术,响应式网站设计,让网站在手机、平板、PC、微信下都能呈现。建站过程建立专项小组,与您实时在线互动,随时提供解决方案,畅聊想法和感受。

es官方关于基准测试的文档:https://elasticsearch-benchmarks.elastic.co/

需要安装的软件:

python3

git版本高于1.9

python3的安装,忽略,很简单

git源码编译安装:

https://mirrors.edge.kernel.org/pub/software/scm/git/
tar xf git-2.21.0.tar.gz 
cd git-2.21.0
./configure --prefix=/usr/bin/
make -j 4 && make install

安装JDK12

jdk地址: 

wget https://download.java.net/java/GA/jdk12.0.2/e482c34c86bd4bf8b56c0b35558996b9/10/GPL/openjdk-12.0.2_linux-x64_bin.tar.gz 

tar xf openjdk-12.0.2_linux-x64_bin.tar.gz  -C /usr/local/

创建es用户

useradd es 
su - es
export JAVA_HOME=/usr/local/jdk-12.0.2
export PATH=$JAVA_HOME/bin:$PATH

esrally官方文档: https://esrally.readthedocs.io/en/latest/configuration.html

开始配置 esrally:

/usr/local/python3/bin/esrally  configure

然后会创建 /home/es/.rally/ 这个目录

/usr/local/python3/bin/esrally  list tracks

Available tracks:
Name           Description                                                                                                                                                                        Documents    Comessed Size    Uncompressed Size    Default Challenge        All Challenges
-------------  ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------  -----------  ---------------  -------------------  -----------------------  ---------------------------------------------------------------------------------------------------------------------------
geopointshape  Point coordinates from PlanetOSM indexed as geoshapes                                                                                                                              60,844,404   470 MB           2.6 GB               append-no-conflicts      append-no-conflicts,append-no-conflicts-index-only,append-fast-with-conflicts
metricbeat     Metricbeat data                                                                                                                                                                    1,079,600    87.MB            1.2 GB               append-no-conflicts      append-no-conflicts
pmc            Full text benchmark with academic papers from PMC                                                                                                                                  574,199      5.5B             21.7 GB              append-no-conflicts      append-no-conflicts,append-no-conflicts-index-only,append-sorted-no-conflicts,append-fast-with-conflicts
http_logs      HTTP server log data                                                                                                                                                               247,249,096  1.2B             31.1 GB              append-no-conflicts      append-no-conflicts,append-no-conflicts-index-only,append-sorted-no-conflicts,append-index-only-with-ingest-pipeline,update
geonames       POIs from Geonames                                                                                                                                                                 11,396,505   252 MB           3.3 GB               append-no-conflicts      append-no-conflicts,append-no-conflicts-index-only,append-sorted-no-conflicts,append-fast-with-conflicts
geopoint       Point coordinates from PlanetOSM                                                                                                                                                   60,844,404   481 MB           2.3 GB               append-no-conflicts      append-no-conflicts,append-no-conflicts-index-only,append-fast-with-conflicts
eventdata      This benchmark indexes HTTP access logs generated based sample logs from the elastic.co website using the generator available in https://github.com/elastic/rally-eventdata-track  20,000,000   755 MB           15.3 GB              append-no-conflicts      append-no-conflicts
nested         StackOverflow Q&A stored as nested docs                                                                                                                                            11,203,029   663 MB           3.4 GB               nested-search-challenge  nested-search-challenge,index-only
so             Indexing benchmark using up to questions and answers from StackOverflow                                                                                                            36,062,278   8.9B             33.1 GB              append-no-conflicts      append-no-conflicts
geoshape       Shapes from PlanetOSM                                                                                                                                                              60,523,283   13.GB            45.4 GB              append-no-conflicts      append-no-conflicts
noaa           Global daily weather measurements from NOAA                                                                                                                                        33,659,481   947 MB           9.0 GB               append-no-conflicts      append-no-conflicts,append-no-conflicts-index-only
percolator     Percolator benchmark based on AOL queries                                                                                                                                          2,000,000    102 kB           104.9 MB             append-no-conflicts      append-no-conflicts
nyc_taxis      Taxi rides in New York in 2015                                                                                                                                                     165,346,692  4.5B             74.3 GB              append-no-conflicts      append-no-conflicts,append-no-conflicts-index-only,append-sorted-no-conflicts-index-only,update,append-ml
--------------------------------
[INFO] SUCCESS (took 51 seconds)
--------------------------------

压测阿里云环境的es2.3.3

su - es

export JAVA_HOME=/usr/local/jdk-12.0.2

export PATH=$JAVA_HOME/bin:$PATH

/usr/local/python3/bin/esrally --pipeline=benchmark-only --target-hosts=es-cn-xxxxxxx.elasticsearch.aliyuncs.com:9200

------------------------------------------------------

    _______             __   _____

   / ____(_)___  ____ _/ /  / ___/_________  ________

  / /_  / / __ \/ __ `/ /   \__ \/ ___/ __ \/ ___/ _ \

 / __/ / / / / / /_/ / /   ___/ / /__/ /_/ / /  /  __/

/_/   /_/_/ /_/\__,_/_/   /____/\___/\____/_/   \___/

------------------------------------------------------

            

2019-12-05 11:36:03,880 ActorAddr-(T|:44952)/PID:1712 esrally.reporter INFO 

|                                                         Metric |                   Task |       Value |    Unit |

|---------------------------------------------------------------:|-----------------------:|------------:|--------:|

|                     Cumulative indexing time of primary shards |                        |     50.6006 |     min |

|             Min cumulative indexing time across primary shards |                        |           0 |     min |

|          Median cumulative indexing time across primary shards |                        |           0 |     min |

|             Max cumulative indexing time across primary shards |                        |     11.7327 |     min |

|            Cumulative indexing throttle time of primary shards |                        |           0 |     min |

|    Min cumulative indexing throttle time across primary shards |                        |           0 |     min |

| Median cumulative indexing throttle time across primary shards |                        |           0 |     min |

|    Max cumulative indexing throttle time across primary shards |                        |           0 |     min |

|                        Cumulative merge time of primary shards |                        |     28.7238 |     min |

|                       Cumulative merge count of primary shards |                        |         634 |         |

|                Min cumulative merge time across primary shards |                        |           0 |     min |

|             Median cumulative merge time across primary shards |                        |           0 |     min |

|                Max cumulative merge time across primary shards |                        |     7.40308 |     min |

|               Cumulative merge throttle time of primary shards |                        |     3.58372 |     min |

|       Min cumulative merge throttle time across primary shards |                        |           0 |     min |

|    Median cumulative merge throttle time across primary shards |                        |           0 |     min |

|       Max cumulative merge throttle time across primary shards |                        |     1.21168 |     min |

|                      Cumulative refresh time of primary shards |                        |     12.5344 |     min |

|                     Cumulative refresh count of primary shards |                        |        3960 |         |

|              Min cumulative refresh time across primary shards |                        |           0 |     min |

|           Median cumulative refresh time across primary shards |                        |           0 |     min |

|              Max cumulative refresh time across primary shards |                        |     2.88455 |     min |

|                        Cumulative flush time of primary shards |                        |   0.0517667 |     min |

|                       Cumulative flush count of primary shards |                        |          17 |         |

|                Min cumulative flush time across primary shards |                        |           0 |     min |

|             Median cumulative flush time across primary shards |                        |           0 |     min |

|                Max cumulative flush time across primary shards |                        |   0.0142167 |     min |

|                                             Total Young Gen GC |                        |     429.144 |       s |

|                                               Total Old Gen GC |                        |      80.149 |       s |

|                                                     Store size |                        |     42.9031 |      GB |

|                                                  Translog size |                        | 2.76323e-06 |      GB |

|                                         Heap used for segments |                        |     155.989 |      MB |

|                                       Heap used for doc values |                        |     1.71252 |      MB |

|                                            Heap used for terms |                        |     151.204 |      MB |

|                                            Heap used for norms |                        |    0.132751 |      MB |

|                                    Heap used for stored fields |                        |     2.94003 |      MB |

|                                                  Segment count |                        |         534 |         |

|                                                 Min Throughput |           index-append |     15346.5 |  docs/s |

|                                              Median Throughput |           index-append |     15679.1 |  docs/s |

|                                                 Max Throughput |           index-append |     16563.1 |  docs/s |

|                                        50th percentile latency |           index-append |     2572.24 |      ms |

|                                        90th percentile latency |           index-append |     3436.66 |      ms |

|                                        99th percentile latency |           index-append |     4211.05 |      ms |

|                                      99.9th percentile latency |           index-append |     4599.41 |      ms |

|                                       100th percentile latency |           index-append |     4678.18 |      ms |

|                                   50th percentile service time |           index-append |     2572.24 |      ms |

|                                   90th percentile service time |           index-append |     3436.66 |      ms |

|                                   99th percentile service time |           index-append |     4211.05 |      ms |

|                                 99.9th percentile service time |           index-append |     4599.41 |      ms |

|                                  100th percentile service time |           index-append |     4678.18 |      ms |

|                                                     error rate |           index-append |           0 |       % |

|                                                 Min Throughput |            index-stats |       90.02 |   ops/s |

|                                              Median Throughput |            index-stats |       90.04 |   ops/s |

|                                                 Max Throughput |            index-stats |       90.08 |   ops/s |

|                                        50th percentile latency |            index-stats |     6.02111 |      ms |

|                                        90th percentile latency |            index-stats |     8.86774 |      ms |

|                                        99th percentile latency |            index-stats |     42.3696 |      ms |

|                                      99.9th percentile latency |            index-stats |     85.1385 |      ms |

|                                       100th percentile latency |            index-stats |     88.8076 |      ms |

|                                   50th percentile service time |            index-stats |     5.91218 |      ms |

|                                   90th percentile service time |            index-stats |     7.35952 |      ms |

|                                   99th percentile service time |            index-stats |     18.6886 |      ms |

|                                 99.9th percentile service time |            index-stats |     39.9026 |      ms |

|                                  100th percentile service time |            index-stats |     74.2301 |      ms |

|                                                     error rate |            index-stats |           0 |       % |

|                                                 Min Throughput |             node-stats |       89.53 |   ops/s |

|                                              Median Throughput |             node-stats |       90.07 |   ops/s |

|                                                 Max Throughput |             node-stats |       90.28 |   ops/s |

|                                        50th percentile latency |             node-stats |     5.08438 |      ms |

|                                        90th percentile latency |             node-stats |     8.88973 |      ms |

|                                        99th percentile latency |             node-stats |     76.5986 |      ms |

|                                      99.9th percentile latency |             node-stats |     97.4872 |      ms |

|                                       100th percentile latency |             node-stats |      98.339 |      ms |

|                                   50th percentile service time |             node-stats |     5.00674 |      ms |

|                                   90th percentile service time |             node-stats |      6.6037 |      ms |

|                                   99th percentile service time |             node-stats |     18.2712 |      ms |

|                                 99.9th percentile service time |             node-stats |     48.8116 |      ms |

|                                  100th percentile service time |             node-stats |      61.194 |      ms |

|                                                     error rate |             node-stats |           0 |       % |

|                                                 Min Throughput |                default |       50.01 |   ops/s |

|                                              Median Throughput |                default |       50.02 |   ops/s |

|                                                 Max Throughput |                default |       50.05 |   ops/s |

|                                        50th percentile latency |                default |     10.6258 |      ms |

|                                        90th percentile latency |                default |     14.9461 |      ms |

|                                        99th percentile latency |                default |     18.1433 |      ms |

|                                      99.9th percentile latency |                default |     21.3906 |      ms |

|                                       100th percentile latency |                default |     22.3396 |      ms |

|                                   50th percentile service time |                default |     10.5573 |      ms |

|                                   90th percentile service time |                default |     14.8878 |      ms |

|                                   99th percentile service time |                default |     18.0845 |      ms |

|                                 99.9th percentile service time |                default |     21.3312 |      ms |

|                                  100th percentile service time |                default |     22.2814 |      ms |

|                                                     error rate |                default |           0 |       % |

|                                                 Min Throughput |                   term |       200.1 |   ops/s |

|                                              Median Throughput |                   term |      200.13 |   ops/s |

|                                                 Max Throughput |                   term |      200.23 |   ops/s |

|                                        50th percentile latency |                   term |     1.51974 |      ms |

|                                        90th percentile latency |                   term |      1.6954 |      ms |

|                                        99th percentile latency |                   term |     6.66124 |      ms |

|                                      99.9th percentile latency |                   term |     15.2816 |      ms |

|                                       100th percentile latency |                   term |     16.8316 |      ms |

|                                   50th percentile service time |                   term |     1.46063 |      ms |

|                                   90th percentile service time |                   term |     1.61522 |      ms |

|                                   99th percentile service time |                   term |     4.10225 |      ms |

|                                 99.9th percentile service time |                   term |     15.2238 |      ms |

|                                  100th percentile service time |                   term |     16.7731 |      ms |

|                                                     error rate |                   term |           0 |       % |

|                                                 Min Throughput |                 phrase |      200.01 |   ops/s |

|                                              Median Throughput |                 phrase |      200.12 |   ops/s |

|                                                 Max Throughput |                 phrase |      200.19 |   ops/s |

|                                        50th percentile latency |                 phrase |     2.15299 |      ms |

|                                        90th percentile latency |                 phrase |     3.71056 |      ms |

|                                        99th percentile latency |                 phrase |     15.0728 |      ms |

|                                      99.9th percentile latency |                 phrase |     17.9697 |      ms |

|                                       100th percentile latency |                 phrase |     20.9373 |      ms |

|                                   50th percentile service time |                 phrase |      2.0853 |      ms |

|                                   90th percentile service time |                 phrase |     2.72552 |      ms |

|                                   99th percentile service time |                 phrase |     14.7404 |      ms |

|                                 99.9th percentile service time |                 phrase |      16.492 |      ms |

|                                  100th percentile service time |                 phrase |     20.8794 |      ms |

|                                                     error rate |                 phrase |           0 |       % |

|                                                 Min Throughput |   country_agg_uncached |        3.94 |   ops/s |

|                                              Median Throughput |   country_agg_uncached |        3.99 |   ops/s |

|                                                 Max Throughput |   country_agg_uncached |           4 |   ops/s |

|                                        50th percentile latency |   country_agg_uncached |     453.766 |      ms |

|                                        90th percentile latency |   country_agg_uncached |     769.082 |      ms |

|                                        99th percentile latency |   country_agg_uncached |     957.694 |      ms |

|                                       100th percentile latency |   country_agg_uncached |     984.625 |      ms |

|                                   50th percentile service time |   country_agg_uncached |     223.603 |      ms |

|                                   90th percentile service time |   country_agg_uncached |     256.647 |      ms |

|                                   99th percentile service time |   country_agg_uncached |     373.593 |      ms |

|                                  100th percentile service time |   country_agg_uncached |     412.185 |      ms |

|                                                     error rate |   country_agg_uncached |           0 |       % |

|                                                 Min Throughput |     country_agg_cached |      100.03 |   ops/s |

|                                              Median Throughput |     country_agg_cached |      100.09 |   ops/s |

|                                                 Max Throughput |     country_agg_cached |      100.14 |   ops/s |

|                                        50th percentile latency |     country_agg_cached |     1.75755 |      ms |

|                                        90th percentile latency |     country_agg_cached |     1.98545 |      ms |

|                                        99th percentile latency |     country_agg_cached |     3.68271 |      ms |

|                                      99.9th percentile latency |     country_agg_cached |      7.5676 |      ms |

|                                       100th percentile latency |     country_agg_cached |      14.721 |      ms |

|                                   50th percentile service time |     country_agg_cached |     1.69877 |      ms |

|                                   90th percentile service time |     country_agg_cached |     1.92259 |      ms |

|                                   99th percentile service time |     country_agg_cached |      3.6158 |      ms |

|                                 99.9th percentile service time |     country_agg_cached |     7.50826 |      ms |

|                                  100th percentile service time |     country_agg_cached |     14.6624 |      ms |

|                                                     error rate |     country_agg_cached |           0 |       % |

|                                                 Min Throughput |                 scroll |       20.04 | pages/s |

|                                              Median Throughput |                 scroll |       20.05 | pages/s |

|                                                 Max Throughput |                 scroll |       20.07 | pages/s |

|                                        50th percentile latency |                 scroll |     438.089 |      ms |

|                                        90th percentile latency |                 scroll |     460.156 |      ms |

|                                        99th percentile latency |                 scroll |     517.941 |      ms |

|                                       100th percentile latency |                 scroll |     558.949 |      ms |

|                                   50th percentile service time |                 scroll |     437.256 |      ms |

|                                   90th percentile service time |                 scroll |     459.327 |      ms |

|                                   99th percentile service time |                 scroll |     517.183 |      ms |

|                                  100th percentile service time |                 scroll |      558.15 |      ms |

|                                                     error rate |                 scroll |           0 |       % |

|                                                 Min Throughput |             expression |         1.4 |   ops/s |

|                                              Median Throughput |             expression |        1.41 |   ops/s |

|                                                 Max Throughput |             expression |        1.41 |   ops/s |

|                                        50th percentile latency |             expression |     53493.4 |      ms |

|                                        90th percentile latency |             expression |     61703.9 |      ms |

|                                        99th percentile latency |             expression |       63532 |      ms |

|                                       100th percentile latency |             expression |     63687.5 |      ms |

|                                   50th percentile service time |             expression |     696.336 |      ms |

|                                   90th percentile service time |             expression |      732.37 |      ms |

|                                   99th percentile service time |             expression |     791.284 |      ms |

|                                  100th percentile service time |             expression |      900.99 |      ms |

|                                                     error rate |             expression |           0 |       % |

|                                        50th percentile latency |            large_terms |      906044 |      ms |

|                                        90th percentile latency |            large_terms | 1.04709e+06 |      ms |

|                                        99th percentile latency |            large_terms | 1.07876e+06 |      ms |

|                                       100th percentile latency |            large_terms | 1.08199e+06 |      ms |

|                                   50th percentile service time |            large_terms |     4201.18 |      ms |

|                                   90th percentile service time |            large_terms |     4756.67 |      ms |

|                                   99th percentile service time |            large_terms |     5243.67 |      ms |

|                                  100th percentile service time |            large_terms |     5258.64 |      ms |

|                                                     error rate |            large_terms |         100 |       % |

|                                                 Min Throughput |   large_filtered_terms |         0.6 |   ops/s |

|                                              Median Throughput |   large_filtered_terms |        0.61 |   ops/s |

|                                                 Max Throughput |   large_filtered_terms |        0.61 |   ops/s |

|                                        50th percentile latency |   large_filtered_terms |      245773 |      ms |

|                                        90th percentile latency |   large_filtered_terms |      283055 |      ms |

|                                        99th percentile latency |   large_filtered_terms |      292309 |      ms |

|                                       100th percentile latency |   large_filtered_terms |      293178 |      ms |

|                                   50th percentile service time |   large_filtered_terms |     1561.13 |      ms |

|                                   90th percentile service time |   large_filtered_terms |     1729.85 |      ms |

|                                   99th percentile service time |   large_filtered_terms |     2606.56 |      ms |

|                                  100th percentile service time |   large_filtered_terms |     2639.79 |      ms |

|                                                     error rate |   large_filtered_terms |           0 |       % |

|                                                 Min Throughput | large_prohibited_terms |        0.64 |   ops/s |

|                                              Median Throughput | large_prohibited_terms |        0.65 |   ops/s |

|                                                 Max Throughput | large_prohibited_terms |        0.65 |   ops/s |

|                                        50th percentile latency | large_prohibited_terms |      222051 |      ms |

|                                        90th percentile latency | large_prohibited_terms |      256500 |      ms |

|                                        99th percentile latency | large_prohibited_terms |      265220 |      ms |

|                                       100th percentile latency | large_prohibited_terms |      266069 |      ms |

|                                   50th percentile service time | large_prohibited_terms |     1515.93 |      ms |

|                                   90th percentile service time | large_prohibited_terms |     1609.41 |      ms |

|                                   99th percentile service time | large_prohibited_terms |     2611.93 |      ms |

|                                  100th percentile service time | large_prohibited_terms |      2671.6 |      ms |

|                                                     error rate | large_prohibited_terms |           0 |       % |

2019-12-05 11:36:03,883 ActorAddr-(T|:44952)/PID:1712 esrally.metrics INFO Closing metrics store.

2019-12-05 11:36:03,887 ActorAddr-(T|:34978)/PID:1732 esrally.actor INFO MechanicActor#receiveMessage unrecognized(msg = [] sender = [ActorAddr-(T|:44952)])

2019-12-05 11:36:03,886 ActorAddr-(T|:44952)/PID:1712 esrally.actor INFO BenchmarkActor received unknown message [ActorExitRequest] (ignoring).

2019-12-05 11:36:03,888 ActorAddr-(T|:44952)/PID:1712 esrally.actor INFO BenchmarkActor received unknown message [ChildActorExited:ActorAddr-(T|:34978)] (ignoring).

2019-12-05 11:36:06,889 -not-actor-/PID:1704 esrally.rally INFO Attempting to shutdown internal actor system.

2019-12-05 11:36:06,891 -not-actor-/PID:1711 root INFO ActorSystem Logging Shutdown

2019-12-05 11:36:06,911 -not-actor-/PID:1710 root INFO ---- Actor System shutdown

2019-12-05 11:36:06,911 -not-actor-/PID:1704 esrally.rally INFO Actor system is still running. Waiting...

2019-12-05 11:36:07,913 -not-actor-/PID:1704 esrally.rally INFO Shutdown completed.

注意:压测期间, esrally 日志有爆出如下内容:

2019-12-05 13:10:21,296 -not-actor-/PID:3945 elasticsearch WARNING GET http://es-cn-xxxxxxx.elasticsearch.aliyuncs.com:9200/_search [status:500 request:5.030s]
2019-12-05 13:10:24,803 -not-actor-/PID:3945 elasticsearch WARNING GET http://es-cn-xxxxxxx.elasticsearch.aliyuncs.com:9200/_search [status:500 request:3.499s]
2019-12-05 13:10:29,115 -not-actor-/PID:3945 elasticsearch WARNING GET http://es-cn-xxxxxxx.elasticsearch.aliyuncs.com:9200/_search [status:500 request:4.303s]
2019-12-05 13:10:33,84 -not-actor-/PID:3945 elasticsearch WARNING GET http://es-cn-xxxxxxx.elasticsearch.aliyuncs.com:9200/_search [status:500 request:3.961s]
2019-12-05 13:10:37,517 -not-actor-/PID:3945 elasticsearch WARNING GET http://es-cn-xxxxxxx.elasticsearch.aliyuncs.com:9200/_search [status:500 request:4.425s]
2019-12-05 13:10:42,297 -not-actor-/PID:3945 elasticsearch WARNING GET http://es-cn-xxxxxxx.elasticsearch.aliyuncs.com:9200/_search [status:500 request:4.771s]

再次压测:

[es@test-01 ~]$ /usr/local/python3/bin/esrally --pipeline=benchmark-only --target-hosts=es-cn-xxxxxxx.elasticsearch.aliyuncs.com:9200

    ____        ____

   / __ \____ _/ / /_  __

  / /_/ / __ `/ / / / / /

 / _, _/ /_/ / / / /_/ /

/_/ |_|\__,_/_/_/\__, /

                /____/

************************************************************************

************** WARNING: A dark dungeon lies ahead of you  **************

************************************************************************

Rally does not have control over the configuration of the benchmarked

Elasticsearch cluster.

Be aware that results may be misleading due to problems with the setup.

Rally is also not able to gather lots of metrics at all (like CPU usage

of the benchmarked cluster) or may even produce misleading metrics (like

the index size).

************************************************************************

****** Use this pipeline only if you are aware of the tradeoffs.  ******

*************************** Watch your step! ***************************

[WARNING] Ensure that these settings are defined in elasticsearch.yml:

  "indices.query.bool.max_clause_count": 50000

}

If they are absent, running this track will fail or lead to unexpected results.

[INFO] Racing on track [geonames], challenge [append-no-conflicts] and car ['external'] with version [2.3.3].

[WARNING] merges_total_time is 1723426 ms indicating that the cluster is not in a defined clean state. Recorded index time metrics may be misleading.

[WARNING] merges_total_throttled_time is 215023 ms indicating that the cluster is not in a defined clean state. Recorded index time metrics may be misleading.

************************************************************************

Rally does not have control over the configuration of the benchmarked

Elasticsearch cluster.

Be aware that results may be misleading due to problems with the setup.

Rally is also not able to gather lots of metrics at all (like CPU usage

of the benchmarked cluster) or may even produce misleading metrics (like

the index size).

************************************************************************

****** Use this pipeline only if you are aware of the tradeoffs.  ******

*************************** Watch your step! ***************************

************************************************************************

[WARNING] Ensure that these settings are defined in elasticsearch.yml:

  "indices.query.bool.max_clause_count": 50000

}

If they are absent, running this track will fail or lead to unexpected results.

[INFO] Racing on track [geonames], challenge [append-no-conflicts] and car ['external'] with version [2.3.3].

[WARNING] merges_total_time is 1723426 ms indicating that the cluster is not in a defined clean state. Recorded index time metrics may be misleading.

[WARNING] merges_total_throttled_time is 215023 ms indicating that the cluster is not in a defined clean state. Recorded index time metrics may be misleading.

[WARNING] indexing_total_time is 3036037 ms indicating that the cluster is not in a defined clean state. Recorded index time metrics may be misleading.

[WARNING] refresh_total_time is 752065 ms indicating that the cluster is not in a defined clean state. Recorded index time metrics may be misleading.

[WARNING] flush_total_time is 3106 ms indicating that the cluster is not in a defined clean state. Recorded index time metrics may be misleading.

Running delete-index                                                           [100% done]

Running create-index                                                           [100% done]

Running check-cluster-health                                                   [100% done]

Running index-append                                                           [100% done]

Running refresh-after-index                                                    [100% done]

Running force-merge                                                            [100% done]

Running refresh-after-force-merge                                              [100% done]

Running index-stats                                                            [100% done]

Running node-stats                                                             [100% done]

Running default                                                                [100% done]

Running term                                                                   [100% done]

Running phrase                                                                 [100% done]

Running country_agg_uncached                                                   [100% done]

Running country_agg_cached                                                     [100% done]

Running scroll                                                                 [100% done]

Running expression                                                             [100% done]

Running large_terms                                                            [100% done]

Running large_filtered_terms                                                   [100% done]

Running large_prohibited_terms                                                 [100% done]

------------------------------------------------------

    _______             __   _____

   / ____(_)___  ____ _/ /  / ___/_________  ________

  / /_  / / __ \/ __ `/ /   \__ \/ ___/ __ \/ ___/ _ \

 / __/ / / / / / /_/ / /   ___/ / /__/ /_/ / /  /  __/

/_/   /_/_/ /_/\__,_/_/   /____/\___/\____/_/   \___/

------------------------------------------------------

            

|                                                         Metric |                   Task |       Value |    Unit |

|---------------------------------------------------------------:|-----------------------:|------------:|--------:|

|                     Cumulative indexing time of primary shards |                        |     50.2242 |     min |

|             Min cumulative indexing time across primary shards |                        |           0 |     min |

|          Median cumulative indexing time across primary shards |                        |           0 |     min |

|             Max cumulative indexing time across primary shards |                        |     11.9424 |     min |

|            Cumulative indexing throttle time of primary shards |                        |           0 |     min |

|    Min cumulative indexing throttle time across primary shards |                        |           0 |     min |

| Median cumulative indexing throttle time across primary shards |                        |           0 |     min |

|    Max cumulative indexing throttle time across primary shards |                        |           0 |     min |

|                        Cumulative merge time of primary shards |                        |     30.2628 |     min |

|                       Cumulative merge count of primary shards |                        |         649 |         |

|                Min cumulative merge time across primary shards |                        |           0 |     min |

|             Median cumulative merge time across primary shards |                        |           0 |     min |

|                Max cumulative merge time across primary shards |                        |     7.56005 |     min |

|               Cumulative merge throttle time of primary shards |                        |     4.45932 |     min |

|       Min cumulative merge throttle time across primary shards |                        |           0 |     min |

|    Median cumulative merge throttle time across primary shards |                        |           0 |     min |

|       Max cumulative merge throttle time across primary shards |                        |      1.4932 |     min |

|                      Cumulative refresh time of primary shards |                        |     12.1026 |     min |

|                     Cumulative refresh count of primary shards |                        |        4100 |         |

|              Min cumulative refresh time across primary shards |                        |           0 |     min |

|           Median cumulative refresh time across primary shards |                        |           0 |     min |

|              Max cumulative refresh time across primary shards |                        |     2.86677 |     min |

|                        Cumulative flush time of primary shards |                        |   0.0492333 |     min |

|                       Cumulative flush count of primary shards |                        |          17 |         |

|                Min cumulative flush time across primary shards |                        |           0 |     min |

|             Median cumulative flush time across primary shards |                        |           0 |     min |

|                Max cumulative flush time across primary shards |                        |   0.0120333 |     min |

|                                             Total Young Gen GC |                        |     133.665 |       s |

|                                               Total Old Gen GC |                        |       2.338 |       s |

|                                                     Store size |                        |       42.89 |      GB |

|                                                  Translog size |                        | 2.76323e-06 |      GB |

|                                         Heap used for segments |                        |     155.118 |      MB |

|                                       Heap used for doc values |                        |     1.72109 |      MB |

|                                            Heap used for terms |                        |     150.315 |      MB |

|                                            Heap used for norms |                        |    0.134399 |      MB |

|                                    Heap used for stored fields |                        |     2.94794 |      MB |

|                                                  Segment count |                        |         536 |         |

|                                                 Min Throughput |           index-append |     15154.4 |  docs/s |

|                                              Median Throughput |           index-append |     15840.4 |  docs/s |

|                                                 Max Throughput |           index-append |     16869.9 |  docs/s |

|                                        50th percentile latency |           index-append |     2605.34 |      ms |

|                                        90th percentile latency |           index-append |     3552.54 |      ms |

|                                        99th percentile latency |           index-append |     4422.58 |      ms |

|                                      99.9th percentile latency |           index-append |     4982.87 |      ms |

|                                       100th percentile latency |           index-append |     5119.11 |      ms |

|                                   50th percentile service time |           index-append |     2605.34 |      ms |

|                                   90th percentile service time |           index-append |     3552.54 |      ms |

|                                   99th percentile service time |           index-append |     4422.58 |      ms |

|                                 99.9th percentile service time |           index-append |     4982.87 |      ms |

|                                  100th percentile service time |           index-append |     5119.11 |      ms |

|                                                     error rate |           index-append |           0 |       % |

|                                                 Min Throughput |            index-stats |       90.02 |   ops/s |

|                                              Median Throughput |            index-stats |       90.04 |   ops/s |

|                                                 Max Throughput |            index-stats |       90.08 |   ops/s |

|                                        50th percentile latency |            index-stats |     5.85103 |      ms |

|                                        90th percentile latency |            index-stats |     10.2232 |      ms |

|                                        99th percentile latency |            index-stats |     66.5564 |      ms |

|                                      99.9th percentile latency |            index-stats |     110.738 |      ms |

|                                       100th percentile latency |            index-stats |     115.007 |      ms |


分享文章:通过esrally压测elasticsearch
URL链接:http://scyanting.com/article/gsiish.html