Compare your own system(s) to this result file with the Phoronix Test Suite by running the command: phoronix-test-suite benchmark 2201044-NE-2201047NE49

Jump To Table - Results

View

Do Not Show Noisy Results
Do Not Show Results With Incomplete Data
Do Not Show Results With Little Change/Spread
List Notable Results

Limit displaying results to tests within:

Desktop Graphics ^{5 Tests}
OpenGL Demos Test Suite ^{4 Tests}
Unigine Test Suite ^{4 Tests}

Statistics

Show Overall Harmonic Mean(s)
Show Overall Geometric Mean
Show Geometric Means Per-Suite/Category
Show Wins / Losses Counts (Pie Chart)
Normalize Results
Remove Outliers Before Calculating Averages

Graph Settings

Force Line Graphs Where Applicable
Convert To Scalar Where Applicable
Prefer Vertical Bar Graphs
No Box Plots
On Line Graphs With Missing Data, Connect The Line Gaps

Table

Show Detailed System Result Table

Run Management

Highlight
Result

Hide
Result

Result
Identifier

Performance Per
Dollar

Date
Run

Test
Duration

Baseline

January 04 2022

1 Hour, 28 Minutes

Async command submission

January 04 2022

1 Hour, 12 Minutes

Invert Hiding All Results Option

1 Hour, 20 Minutes

Only show results matching title/arguments (delimit multiple options with a comma):

Do not show results matching title/arguments (delimit multiple options with a comma):

{ "title": "Virgl asyncronus command submission", "last_modified": "2022-01-04 11:03:14", "description": "Test the impact of asynchronous command submission on performance", "reference_id": "2201047-NE-2201035NE74", "systems": { "Baseline": { "identifier": "Baseline", "hardware": { "Processor": "8 x QEMU Virtual 2.5+ (8 Cores)", "Motherboard": "QEMU Standard PC (Q35 + ICH9 2009) (rel-1.14.0-0-g155821a1990b-prebuilt.qemu.org BIOS)", "Chipset": "Intel 82G33\/G31\/P35\/P31 + ICH9", "Memory": "16GB", "Disk": "97GB", "Graphics": "virgl 12288GB", "Audio": "QEMU Generic", "Monitor": "QEMU Monitor", "Network": "Red Hat Virtio device" }, "software": { "OS": "Debian unstable", "Kernel": "5.15.0-2-amd64 (x86_64)", "Display Server": "X Server 1.20.13", "OpenGL": "4.3 Mesa 22.0.0-devel (git-f6a046dc64) (LLVM 13.0.0 D...)", "Compiler": "GCC 11.2.0", "File-System": "ext4", "Screen Resolution": "1440x900", "System Layer": "KVM QEMU" }, "user": "gerddie", "timestamp": "2022-01-04 09:20:08", "client_version": "10.8.0", "data": { "cpu-microcode": "0x1000065", "kernel-extra-details": "Transparent Huge Pages: always", "environment-variables": "VIRGL_DEBUG=snc_cmd", "python": "Python 3.9.9", "security": "itlb_multihit: Not affected + l1tf: Not affected + mds: Not affected + meltdown: Not affected + spec_store_bypass: Not affected + spectre_v1: Mitigation of usercopy\/swapgs barriers and __user pointer sanitization + spectre_v2: Mitigation of Full AMD retpoline STIBP: disabled RSB filling + srbds: Not affected + tsx_async_abort: Not affected" } }, "Async command submission": { "identifier": "Async command submission", "hardware": { "Processor": "8 x QEMU Virtual 2.5+ (8 Cores)", "Motherboard": "QEMU Standard PC (Q35 + ICH9 2009) (rel-1.14.0-0-g155821a1990b-prebuilt.qemu.org BIOS)", "Chipset": "Intel 82G33\/G31\/P35\/P31 + ICH9", "Memory": "16GB", "Disk": "97GB", "Graphics": "virgl 12288GB", "Audio": "QEMU Generic", "Monitor": "QEMU Monitor", "Network": "Red Hat Virtio device" }, "software": { "OS": "Debian unstable", "Kernel": "5.15.0-2-amd64 (x86_64)", "Display Server": "X Server 1.20.13", "OpenGL": "4.3 Mesa 22.0.0-devel (git-f6a046dc64) (LLVM 13.0.0 D...)", "Compiler": "GCC 11.2.0", "File-System": "ext4", "Screen Resolution": "1440x900", "System Layer": "KVM QEMU" }, "user": "gerddie", "timestamp": "2022-01-04 03:14:30", "client_version": "10.8.0", "data": { "cpu-microcode": "0x1000065", "kernel-extra-details": "Transparent Huge Pages: always", "python": "Python 3.9.9", "security": "itlb_multihit: Not affected + l1tf: Not affected + mds: Not affected + meltdown: Not affected + spec_store_bypass: Not affected + spectre_v1: Mitigation of usercopy\/swapgs barriers and __user pointer sanitization + spectre_v2: Mitigation of Full AMD retpoline STIBP: disabled RSB filling + srbds: Not affected + tsx_async_abort: Not affected" } } }, "results": { "022860cb48c9d6775ed4c333e0f30b38b4b8595a": { "identifier": "pts\/glmark2-1.3.0", "title": "GLmark2", "app_version": "2021.08.30", "arguments": "-s 1024x768", "description": "Resolution: 1024 x 768", "scale": "Score", "proportion": "HIB", "display_format": "BAR_GRAPH", "results": { "Baseline": { "value": 4766, "test_run_times": [ 330.81999999999999317878973670303821563720703125 ] }, "Async command submission": { "value": 4781, "test_run_times": [ 330.8799999999999954525264911353588104248046875 ] } } }, "48f663b92c209b1511cbd1687c71c82e95db467d": { "identifier": "pts\/openarena-1.5.5", "title": "OpenArena", "app_version": "0.8.8", "arguments": "+set r_customWidth 1024 +set r_customHeight 768 +set r_fullscreen 0", "description": "Resolution: 1024 x 768", "scale": "Frames Per Second", "proportion": "HIB", "display_format": "BAR_GRAPH", "results": { "Baseline": { "value": 281.30000000000001136868377216160297393798828125, "raw_values": [ 275.1000000000000227373675443232059478759765625, 284.3999999999999772626324556767940521240234375, 284.5 ], "min_result": [ "1" ], "test_run_times": [ 14.8100000000000004973799150320701301097869873046875, 14.25, 14.730000000000000426325641456060111522674560546875 ] }, "Async command submission": { "value": 302.3999999999999772626324556767940521240234375, "raw_values": [ 305.1000000000000227373675443232059478759765625, 303.69999999999998863131622783839702606201171875, 298.30000000000001136868377216160297393798828125 ], "min_result": [ "1" ], "test_run_times": [ 13.6099999999999994315658113919198513031005859375, 13.5, 13.699999999999999289457264239899814128875732421875 ] } } }, "0c8a7ade36c3cc8c6e767327f0988e84d488104a": { "identifier": "pts\/xonotic-1.5.2", "title": "Xonotic", "app_version": "0.8.2", "arguments": "+vid_width 1024 +vid_height 768 +exec effects-ultimate.cfg", "description": "Resolution: 1024 x 768 - Effects Quality: Ultimate", "scale": "Frames Per Second", "proportion": "HIB", "display_format": "BAR_GRAPH", "results": { "Baseline": { "value": 247.833723800000001347143552266061305999755859375, "raw_values": [ 247.325332400000007737617124803364276885986328125, 248.488780600000012555028661154210567474365234375, 247.687058500000006233676685951650142669677734375 ], "min_result": [ "40" ], "max_result": [ "658" ], "test_run_times": [ 47.92999999999999971578290569595992565155029296875, 47.7000000000000028421709430404007434844970703125, 47.8299999999999982946974341757595539093017578125 ] }, "Async command submission": { "value": 246.838425800000010212897905148565769195556640625, "raw_values": [ 246.347411599999986719922162592411041259765625, 245.652773499999995010512066073715686798095703125, 248.515092399999986128023010678589344024658203125 ], "min_result": [ "38" ], "max_result": [ "652" ], "test_run_times": [ 48.1700000000000017053025658242404460906982421875, 48.21000000000000085265128291212022304534912109375, 47.68999999999999772626324556767940521240234375 ] } } }, "f06ead5dd4b02dfaf679e3e2963aa431c25bdd59": { "identifier": "pts\/unigine-heaven-1.6.5", "title": "Unigine Heaven", "app_version": "4.0", "arguments": "-video_width 1024 -video_height 768 -video_fullscreen 0 -video_app opengl", "description": "Resolution: 1024 x 768 - Mode: Fullscreen - Renderer: OpenGL", "scale": "Frames Per Second", "proportion": "HIB", "display_format": "BAR_GRAPH", "results": { "Baseline": { "value": 216.50200000000000954969436861574649810791015625, "raw_values": [ 218.87299999999999045030563138425350189208984375, 217.21199999999998908606357872486114501953125, 213.42099999999999226929503493010997772216796875 ], "test_run_times": [ 288.31000000000000227373675443232059478759765625, 288.259999999999990905052982270717620849609375, 287.45999999999997953636921010911464691162109375 ] }, "Async command submission": { "value": 211.219999999999998863131622783839702606201171875, "raw_values": [ 210.2450000000000045474735088646411895751953125, 211.2549999999999954525264911353588104248046875, 212.1589999999999918145476840436458587646484375 ], "test_run_times": [ 287.3899999999999863575794734060764312744140625, 287.05000000000001136868377216160297393798828125, 286.3999999999999772626324556767940521240234375 ] } } }, "3b5ac9c848023fb4ff493d9d51a44126ecd42773": { "identifier": "pts\/unigine-valley-1.1.8", "title": "Unigine Valley", "app_version": "1.0", "arguments": "-video_width 1024 -video_height 768 -video_fullscreen 0 -video_app opengl", "description": "Resolution: 1024 x 768 - Mode: Fullscreen - Renderer: OpenGL", "scale": "Frames Per Second", "proportion": "HIB", "display_format": "BAR_GRAPH", "results": { "Baseline": { "value": 182.730999999999994543031789362430572509765625, "raw_values": [ 178.76699999999999590727384202182292938232421875, 188.722000000000008412825991399586200714111328125, 179.907000000000010686562745831906795501708984375, 183.527999999999991587174008600413799285888671875 ], "test_run_times": [ 207.979999999999989768184605054557323455810546875, 209.169999999999987494447850622236728668212890625, 208.469999999999998863131622783839702606201171875, 208.729999999999989768184605054557323455810546875 ] }, "Async command submission": { "value": 190.515999999999991132426657713949680328369140625, "raw_values": [ 188.842999999999989313437254168093204498291015625, 191.902999999999991587174008600413799285888671875, 190.801999999999992496668710373342037200927734375 ], "test_run_times": [ 210.099999999999994315658113919198513031005859375, 209.400000000000005684341886080801486968994140625, 209.340000000000003410605131648480892181396484375 ] } } }, "bd4c918253bf3bd8d09f6443eb65614362958667": { "identifier": "pts\/unigine-sanctuary-1.6.4", "title": "Unigine Sanctuary", "app_version": "2.3", "arguments": "-video_width 1024 -video_height 768 -video_fullscreen 0", "description": "Resolution: 1024 x 768 - Mode: Fullscreen", "scale": "Frames Per Second", "proportion": "HIB", "display_format": "BAR_GRAPH", "results": { "Baseline": { "value": 243.548000000000001818989403545856475830078125, "raw_values": [ 258.6870000000000118234311230480670928955078125, 278.43900000000002137312549166381359100341796875, 152.705999999999988858689903281629085540771484375, 224.94499999999999317878973670303821563720703125, 299.59800000000001318767317570745944976806640625, 228.532000000000010686562745831906795501708984375, 216.104999999999989768184605054557323455810546875, 284.16100000000000136424205265939235687255859375, 250.1100000000000136424205265939235687255859375, 248.366999999999990222931955941021442413330078125, 275.59600000000000363797880709171295166015625, 205.326999999999998181010596454143524169921875 ], "test_run_times": [ 181.56000000000000227373675443232059478759765625, 181.6100000000000136424205265939235687255859375, 181.56999999999999317878973670303821563720703125, 181.530000000000001136868377216160297393798828125, 181.590000000000003410605131648480892181396484375, 181.539999999999992041921359486877918243408203125, 181.539999999999992041921359486877918243408203125, 181.55000000000001136868377216160297393798828125, 181.539999999999992041921359486877918243408203125, 181.6299999999999954525264911353588104248046875, 181.55000000000001136868377216160297393798828125, 181.6299999999999954525264911353588104248046875 ] }, "Async command submission": { "value": 251.188999999999992951416061259806156158447265625, "raw_values": [ 191.105999999999994543031789362430572509765625, 188.87200000000001409716787748038768768310546875, 218.034999999999996589394868351519107818603515625, 229.75200000000000954969436861574649810791015625, 279.692999999999983629095368087291717529296875, 359.7269999999999754436430521309375762939453125, 271.942999999999983629095368087291717529296875, 230.914999999999992041921359486877918243408203125, 290.6580000000000154614099301397800445556640625 ], "test_run_times": [ 181.55000000000001136868377216160297393798828125, 181.56000000000000227373675443232059478759765625, 181.530000000000001136868377216160297393798828125, 181.539999999999992041921359486877918243408203125, 181.580000000000012505552149377763271331787109375, 181.6200000000000045474735088646411895751953125, 181.530000000000001136868377216160297393798828125, 181.55000000000001136868377216160297393798828125, 181.580000000000012505552149377763271331787109375 ] } } }, "94c291ddc6909bb78a4615f973aca06352264080": { "identifier": "pts\/unigine-tropics-1.6.4", "title": "Unigine Tropics", "app_version": "1.3", "arguments": "-video_width 1024 -video_height 768 -video_fullscreen 0", "description": "Resolution: 1024 x 768 - Mode: Fullscreen", "scale": "Frames Per Second", "proportion": "HIB", "display_format": "BAR_GRAPH", "results": { "Baseline": { "value": 227.55500000000000682121026329696178436279296875, "raw_values": [ 226.830000000000012505552149377763271331787109375, 235.19999999999998863131622783839702606201171875, 222.655000000000001136868377216160297393798828125, 225.5339999999999918145476840436458587646484375 ], "test_run_times": [ 204.270000000000010231815394945442676544189453125, 204.25, 204.289999999999992041921359486877918243408203125, 204.270000000000010231815394945442676544189453125 ] }, "Async command submission": { "value": 220.68500000000000227373675443232059478759765625, "raw_values": [ 221.099999999999994315658113919198513031005859375, 224.076999999999998181010596454143524169921875, 216.878999999999990677679306827485561370849609375 ], "test_run_times": [ 204.240000000000009094947017729282379150390625, 204.25, 204.240000000000009094947017729282379150390625 ] } } }, "723c01e28eda02b83171cf8f2ce6bbc5113facb2": { "title": "OpenArena", "app_version": "0.8.8", "arguments": "+set r_customWidth 1024 +set r_customHeight 768 +set r_fullscreen 0", "description": "Resolution: 1024 x 768 - Total Frame Time", "scale": "Milliseconds", "proportion": "LIB", "display_format": "LINE_GRAPH", "results": { "Baseline": { "value": "1,8,5,2,3,2,3,3,2,3,3,2,3,2,3,2,2,2,3,3,2,3,2,2,3,2,2,3,2,3,2,2,2,3,2,2,2,3,3,4,4,4,4,4,6,5,6,5,6,5,5,6,5,5,6,6,5,5,5,6,5,6,5,5,6,5,6,5,6,5,5,5,6,5,5,5,6,5,5,6,5,5,5,5,5,5,6,5,5,4,6,5,5,5,5,5,5,5,5,5,5,5,5,6,5,6,5,5,5,5,5,4,4,5,4,4,5,5,4,5,5,4,5,4,4,5,4,4,5,5,4,4,5,4,4,4,4,4,4,4,4,4,4,4,5,3,4,4,5,4,5,5,5,5,5,5,4,4,7,4,5,4,5,5,5,5,6,5,5,5,5,5,5,5,6,5,5,4,5,5,5,5,5,5,5,6,5,5,5,5,6,6,5,5,5,6,5,5,5,5,6,5,5,5,6,6,5,7,6,5,6,5,6,5,5,5,5,5,5,6,5,6,5,6,6,5,5,6,5,5,6,5,5,5,5,5,5,5,5,5,5,4,4,4,3,3,3,2,3,3,3,4,4,3,4,4,3,4,4,3,4,6,3,4,4,4,3,4,4,3,4,3,3,4,3,4,3,4,3,3,3,4,3,3,4,3,3,3,4,3,3,3,3,3,2,3,2,3,2,3,2,3,2,2,2,3,2,2,3,3,3,3,3,3,4,4,3,4,3,3,3,3,3,4,3,3,4,3,4,3,4,4,4,3,4,3,3,2,3,6,4,4,4,4,3,4,4,4,5,4,5,4,4,4,4,4,4,4,4,3,5,4,4,3,4,3,3,4,4,3,4,3,3,3,4,3,3,3,3,3,3,3,2,3,3,3,3,2,2,2,3,2,2,2,2,2,2,3,2,2,2,2,3,2,2,2,3,2,3,2,2,3,2,2,3,2,3,3,2,3,5,2,3,3,2,3,2,2,3,2,3,2,3,2,2,2,3,2,2,2,3,2,2,3,3,3,3,4,3,3,4,3,3,4,3,4,3,4,3,4,2,2,4,3,3,2,3,2,3,2,2,3,3,2,3,3,2,3,3,2,3,3,3,2,3,2,3,3,3,3,2,3,2,2,3,2,3,2,3,3,4,4,3,4,4,2,4,3,4,6,4,4,4,5,4,4,4,4,4,4,4,4,5,4,4,5,4,4,4,4,3,3,3,3,2,3,2,2,2,2,2,2,3,1,3,2,2,2,2,1,2,2,2,1,2,1,2,1,2,2,1,3,2,3,3,3,4,3,4,4,3,3,3,4,3,4,3,3,4,3,4,4,3,4,3,4,3,4,4,4,5,4,4,3,4,3,3,4,3,3,2,3,2,3,2,3,2,3,3,2,3,2,3,2,2,2,3,2,3,2,3,2,2,2,3,2,2,3,2,3,2,2,2,2,2,2,2,2,2,2,2,2,2,1,2,2,2,1,2,2,2,1,2,2,1,2,2,2,2,2,2,2,2,2,1,1,2,2,2,2,2,1,1,2,2,1,2,2,1,2,2,1,2,2,1,2,2,3,2,2,2,3,2,3,3,2,2,3,2,2,2,2,2,2,4,1,2,1,2,1,2,2,1,2,1,2,1,2,1,1,1,1,2,1,2,1,2,1,1,2,1,2,1,2,2,1,2,1,2,1,2,1,2,1,2,1,1,2,2,2,2,2,3,2,2,2,2,2,2,2,2,3,2,2,2,3,2,3,2,2,3,2,3,3,3,3,3,3,4,3,3,3,3,3,4,4,3,4,4,3,3,2,2,3,2,3,3,2,2,2,2,2,2,3,3,6,4,3,3,2,3,2,3,2,3,2,2,4,3,2,3,3,3,2,3,2,3,2,3,3,2,3,2,3,3,2,3,2,3,2,3,2,3,2,2,2,2,3,1,1,1,2,2,2,2,2,2,3,2,2,2,2,2,2,2,2,4,5,3,1,12,1,11,1,11,1,11,1,11,1,11,1,11,1,11,1,11,1,11,1,11,1,11,1,11,1,11,1,11,2,2,2,11,1,11,1,11,1,11,1,11,1,11,1,11,1,12,1,12,1,12,1,12,1,11,1,12,1,12,1,12,1,12,1,12,1,12,1,12,1,11,1,3,2,3,2,3,2,3,3,3,3,4,3,3,3,4,3,4,4,3,4,3,3,4,4,3,4,3,4,3,4,3,3,3,3,3,3,4,3,3,3,3,3,4,3,2,2,3,2,2,3,2,3,3,2,3,3,4,3,4,4,6,4,4,3,4,3,4,3,4,3,3,3,3,3,3,4,3,2,3,3,4,3,3,3,3,3,3,4,3,3,4,3,3,3,3,4,3,3,4,3,4,3,3,3,3,3,3,2,3,2,3,2,3,2,2,3,3,3,4,4,3,3,4,3,3,3,4,3,3,4,3,4,3,4,3,2,3,3,3,2,4,3,3,3,2,3,2,3,3,3,2,3,2,3,2,3,2,3,2,3,2,3,2,3,3,3,3,2,3,4,3,3,4,3,4,3,4,3,4,3,3,3,4,3,4,3,4,3,4,3,4,4,3,4,4,3,3,4,2,3,3,2,3,3,3,3,3,3,4,3,4,3,4,3,4,3,3,3,3,3,3,6,3,4,3,4,4,4,5,5,5,5,6,5,5,5,6,5,5,6,5,5,6,5,5,5,5,5,5,4,4,4,4,4,3,3,3,3,2,3,2,3,2,3,2,3,2,3,2,3,2,3,3,2,3,3,2,3,2,3,3,2,3,3,2,3,2,3,2,3,2,5,2,3,2,3,2,2,3,2,2,2,3,2,3,2,2,2,2,2,2,2,1,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,3,3,3,4,4,4,4,6,5,5,5,5,5,5,5,5,5,5,6,6,5,6,5,6,5,6,5,6,6,6,6,6,5,8,6,6,6,5,6,6,5,5,6,5,5,5,5,4,5,5,5,5,5,4,5,5,5,4,5,4,5,5,4,6,5,5,5,5,5,6,5,6,5,6,5,5,6,5,6,5,5,8,5,5,6,5,5,5,6,5,5,6,5,6,6,5,5,6,5,6,5,5,5,5,5,5,5,4,5,5,5,5,5,5,5,4,5,4,5,5,4,5,5,5,4,5,5,4,4,4,2,2,3,5,3,3,3,3,3,3,2,4,3,5,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,5,4,5,4,4,4,4,5,4,4,4,3,4,4,3,4,3,4,4,4,4,4,3,4,4,4,3,3,4,3,4,3,3,3,3,3,3,3,3,3,4,3,4,4,3,3,3,3,2,3,3,3,3,3,3,2,4,4,3,4,4,3,3,4,4,3,3,4,4,3,4,4,3,4,4,5,5,4,3,2,2,2,2,2,2,2,2,2,2,2,2,2,3,2,2,2,2,2,3,3,2,3,2,3,2,2,3,2,3,2,3,2,3,2,2,2,2,2,2,1,2,2,2,2,2,3,4,5,6,5,6,3,3,3,3,4,4,4,4,4,5,4,5,6,6,5,6,5,5,5,5,5,4,5,5,5,4,5,5,5,5,5,4,5,5,5,5,6,5,6,5,5,5,6,5,5,5,5,4,5,5,4,7,4,5,4,4,5,4,4,4,4,4,4,5,4,4,4,4,5,4,4,4,4,4,4,5,4,4,4,3,4,3,3,3,3,3,2,3,3,4,4,3,4,4,3,4,4,5,4,5,4,5,4,5,4,4,5,4,5,4,4,3,2,3,3,2,4,3,3,4,4,3,4,3,3,3,4,3,3,3,4,4,3,4,3,4,4,3,4,3,4,3,3,4,3,3,3,3,3,4,3,4,3,3,3,4,4,4,3,4,3,3,2,3,3,4,4,3,4,4,4,3,4,4,4,2,3,3,3,3,3,3,4,4,5,5,5,5,6,5,5,5,6,5,5,5,5,5,5,5,5,5,5,6,5,2,2,2,2,3,2,2,4,5,4,4,5,4,3,4,3,4,5,4,5,4,5,4,5,4,4,4,3,4,4,4,3,4,3,4,4,3,4,3,3,4,3,3,3,4,5,3,3,3,3,3,2,3,3,2,3,2,3,3,2,3,2,3,2,2,2,2,2,2,2,2,2,2,3,2,4,2,2,3,2,2,3,2,3,2,2,2,3,3,4,4,3,3,4,3,3,3,2,3,3,3,2,3,3,3,3,3,3,3,2,3,3,2,3,2,3,2,3,2,2,2,2,2,3,2,1,1,2,2,1,2,2,3,4,4,4,3,4,4,6,4,3,4,3,3,3,3,2,3,2,2,2,2,3,2,2,2,2,2,2,2,1,2,2,2,2,3,2,3,3,3,3,3,4,4,3,4,3,3,4,3,3,3,3,4,3,3,3,4,3,4,5,4,3,4,3,2,3,2,3,3,3,4,5,5,4,5,5,5,5,5,5,4,5,4,4,4,5,4,4,4,3,4,4,5,5,5,4,5,4,3,5,4,4,4,4,4,4,4,4,3,3,3,4,3,3,3,3,3,4,4,3,4,3,4,3,4,4,5,4,4,5,4,5,5,5,4,5,5,5,5,5,5,5,5,5,5,7,5,4,5,5,5,3,3,3,2,3,3,3,2,3,2,3,2,2,3,2,3,2,2,2,2,2,2,3,2,2,3,2,2,3,2,3,2,3,2,3,4,3,4,4,3,4,3,4,3,4,4,4,4,4,4,3,4,5,5,4,5,5,5,5,5,5,5,5,4,5,4,4,5,5,3,4,5,4,4,4,4,4,4,3,4,3,4,3,4,4,3,3,4,3,3,3,4,3,3,2,4,3,3,3,2,3,3,3,3,3,3,3,4,3,2,3,3,4,3,2,3,3,2,2,3,2,3,2,2,3,2,3,2,2,2,2,3,2,2,3,2,3,3,2,3,3,2,3,3,2,3,2,3,3,2,3,2,5,2,3,3,2,3,2,4,2,3,3,2,3,2,3,2,3,2,3,2,3,2,3,2,3,2,3,2,2,2,3,2,2,3,2,3,1,2,2,2,2,3,2,3,2,3,3,3,3,4,3,3,3,3,4,3,4,4,3,4,3,4,3,3,4,3,4,3,3,4,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,2,3,2,3,5,3,3,3,2,3,2,2,3,2,2,2,2,3,2,2,2,2,2,2,2,2,2,2,2,3,2,2,2,2,2,2,2,2,2,2,2,2,3,3,2,2,2,2,3,2,2,2,2,3,2,3,2,2,2,2,2,3,2,3,2,3,2,4,2,3,2,3,3,2,3,2,3,3,2,3,3,2,3,2,3,2,4,3,2,3,2,3,2,3,2,3,3,2,3,2,3,2,3,2,3,2,5,6,5,5,4,5,5,5,5,5,5,5,5,5,6,5,5,5,6,5,5,5,6,5,5,5,6,5,7,6,7,6,6,6,6,6,7,6,6,6,6,6,6,7,6,7,8,6,6,6,6,6,5,6,6,6,6,6,6,6,6,6,6,6,6,6,6,5,4,4,3,4,3,2,3,3,3,2,3,2,2,3,3,3,3,3,2,4,3,2,3,3,3,3,3,3,3,4,3,4,3,3,4,3,3,4,3,3,5,3,3,3,3,3,3,4,3,3,3,3,3,3,2,3,3,5,5,6,6,5,6,6,5,6,6,6,5,5,6,5,6,6,6,6,5,6,6,6,6,6,6,6,5,6,6,5,6,5,5,3,4,5,5,5,6,5,5,6,5,5,5,5,5,5,5,5,4,4,5,4,5,4,4,4,4,4,3,3,4,4,4,4,5,4,4,4,3,3,3,2,3,2,3,2,3,3,3,3,4,3,3,3,3,3,3,3,2,3,3,2,2,3,4,3,4,4,3,6,3,4,4,2,3,2,3,2,3,2,2,3,2,2,3,2,3,3,3,2,2,3,2,3,2,3,2,4,3,4,4,5,5,4,5,5,5,4,4,4,4,4,4,4,4,4,5,5,5,5,5,5,5,5,4,5,4,4,5,4,4,4,4,4,5,4,4,7,5,5,4,4,4,3,4,4,3,4,3,4,3,4,4,3,4,4,3,5,4,5,4,4,4,4,4,4,4,4,4,4,3,4,4,4,4,4,4,4,4,5,4,5,4,5,5,4,5,5,5,4,5,5,5,5,4,5,5,6,5,4,5,5,5,5,4,4,4,3,4,3,3,4,3,3,2,3,3,3,2,3,3,3,2,3,3,2,3,3,2,2,2,2,3,2,2,2,2,2,2,2,2,2,2,1,2,2,2,2,1,2,2,1,1,2,2,2,2,2,2,3,2,3,3,3,3,3,3,3,3,2,3,3,3,3,3,2,3,3,3,3,2,3,3,3,2,3,4,3,5,4,4,4,4,4,4,4,4,4,4,4,4,4,4,3,4,3,4,4,3,4,3,2,3,3,3,3,4,3,3,3,3,3,3,2,3,3,3,3,3,2,2,3,2,2,3,2,3,2,3,3,2,3,3,2,2,3,3,3,3,2,3,2,3,2,3,2,2,3,3,2,3,3,3,4,4,5,5,4,6,5,4,5,5,5,4,4,4,4,4,4,5,4,4,3,4,4,4,3,4,3,4,4,4,3,4,3,4,4,3,3,3,3,4,4,3,3,4,3,3,4,3,4,3,2,3,3,3,2,3,3,2,3,2,3,2,3,4,3,3,3,2,3,3,3,3,3,3,3,2,3,3,4,3,2,3,3,2,3,2,3,2,3,3,2,3,3,3,3,3,2,3,2,2,2,2,3,2,2,2,2,3,2,1,2,2,2,2,2,4,4,4,4,3,4,2,3,3,3,2,3,2,3,2,3,3,2,2,3,1,2,2,2,2,2,1,2,2,2,2,2,2,2,2,2,2,1,2,2,2,2,2,3,3,4,4,3,4,3,3,4,4,3,4,3,4,4,4,7,5,5,4,4,5,5,4,5,4,4,3,2,3,2,4,3,2,3,3,3,2,3,2,3,3,2,3,3,3,4,3,3,4,3,4,4,4,4,4,4,4,3,2,2,2,2,2,2,2,1,2,2,2,2,3,4,4,5,4,4,4,4,4,3,4,4,4,4,4,4,3,4,4,4,5,4,3,3,3,4,3,3,4,3,3,3,3,3,3,3,3,3,3,2,3,2,3,2,3,3,2,2,3,3,3,2,3,2,2,2,3,2,2,3,2,3,2,3,2,2,2,3,2,2,3,2,3,2,2,3,2,2,3,3,2,2,2,2,2,2,2,2,2,1,3,2,3,3,2,3,2,2,2,2,2,3,2,2,2,3,2,3,2,1,2,3,2,2,2,1,2,2,3,2,3,2,1,4,2,2,2,2,2,3,2,3,2,1,2,2,2,2,2,2,2,2,2,2,2,3,5,4,5,4,5,6,5,6,5,5,6,5,6,6,6,6,6,6,5,6,5,6,6,6,5,6,5,6,5,6,5,6,5,6,5,6,8,6,6,6,6,7,6,6,6,6,6,6,6,6,6,6,6,6,6,6,6,6,6,6,6,6,5,6,6,6,6,6,6,6,6,6,6,6,6,6,5,6,7,6,6,6,6,6,5,6,6,6,6,6,6,5,6,5,6,6,5,6,5,5,6,5,6,6,5,6,7,5,6,5", "test_run_times": [ 14.8100000000000004973799150320701301097869873046875, 14.25, 14.730000000000000426325641456060111522674560546875 ] }, "Async command submission": { "value": "10,8,5,3,2,3,2,3,2,3,2,3,2,2,2,2,2,3,3,2,2,2,2,2,3,2,2,3,2,3,2,2,3,2,2,2,3,3,3,4,6,4,4,4,5,5,6,5,5,5,6,5,5,5,5,5,5,5,5,6,5,5,5,6,5,6,5,5,6,5,5,5,6,5,6,5,5,5,5,6,5,5,5,5,5,5,5,4,5,7,5,5,5,5,5,5,6,4,5,5,5,5,4,5,5,5,5,5,5,5,4,4,4,4,4,5,4,4,5,4,5,4,4,4,4,5,4,4,4,4,4,4,4,4,3,4,4,4,4,4,5,4,4,4,4,4,6,5,4,5,5,4,5,4,6,5,4,4,4,4,4,4,5,5,5,5,5,5,5,5,5,5,4,5,5,5,4,5,4,5,5,4,5,4,5,5,5,5,5,5,6,5,5,5,5,6,5,5,5,5,5,5,5,6,5,5,5,5,5,6,5,6,5,5,5,5,5,5,5,5,5,6,5,5,6,5,5,5,5,5,5,5,5,5,5,5,5,4,5,5,4,4,3,3,4,3,2,3,2,3,4,3,3,5,3,4,3,4,4,3,4,3,3,4,4,3,4,3,3,4,3,3,4,3,3,4,3,4,3,3,3,3,3,3,3,3,4,3,3,3,3,3,2,3,3,2,3,2,2,3,2,2,2,2,2,3,2,3,3,3,2,3,3,3,3,4,3,3,3,3,3,3,3,3,4,3,3,4,3,3,4,3,4,3,6,3,3,2,3,4,4,4,3,4,3,4,4,4,4,4,4,5,3,4,4,4,4,3,4,4,4,4,3,4,4,3,3,3,4,3,4,3,3,3,3,3,3,3,3,3,3,2,3,2,3,3,2,2,3,2,2,2,1,2,3,2,2,2,2,2,2,2,2,2,2,3,2,2,2,2,2,2,2,2,2,3,2,3,2,3,4,3,2,2,3,2,2,2,2,3,2,2,2,3,2,2,2,2,3,2,2,2,2,3,3,3,3,3,3,3,3,3,3,4,3,3,4,3,3,3,3,3,3,2,3,3,2,2,3,2,2,3,2,3,3,2,3,3,2,2,3,2,3,3,3,2,3,3,2,2,3,2,3,2,2,2,2,2,3,3,3,3,4,3,3,3,3,3,4,3,4,4,4,5,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,3,2,3,2,3,2,2,2,2,2,2,2,1,2,2,2,2,1,2,2,1,2,1,2,2,1,2,1,2,2,1,2,2,2,3,4,3,3,4,4,3,4,3,4,3,3,4,3,4,3,3,4,4,3,4,3,4,3,4,4,4,4,3,4,3,4,3,3,3,5,3,3,3,2,3,3,2,2,2,3,2,3,2,2,3,2,2,2,2,2,3,2,2,2,2,3,1,3,2,2,2,2,2,2,2,2,2,2,1,2,2,2,2,2,2,2,1,2,2,1,2,2,2,1,2,2,2,1,2,2,2,2,2,2,2,2,2,1,2,2,2,2,2,1,2,2,2,1,2,2,2,1,2,1,2,2,2,2,2,2,2,3,2,2,3,2,3,2,2,3,2,2,2,2,2,2,2,1,2,1,2,1,2,2,1,2,1,2,1,2,1,2,1,1,1,1,3,2,1,2,1,1,2,1,2,1,2,2,1,2,1,2,1,2,1,12,1,11,1,11,1,12,1,12,1,12,1,12,1,12,1,12,1,12,1,3,2,2,3,3,2,2,3,2,3,3,4,3,3,3,3,2,3,3,3,3,4,3,3,4,3,2,3,2,3,2,3,3,4,2,1,2,3,2,2,4,5,4,3,3,2,2,3,2,2,2,2,2,2,3,2,2,3,2,3,2,2,3,3,2,3,2,2,3,2,3,2,3,2,2,2,2,3,2,3,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,1,2,2,2,3,4,2,2,11,1,11,1,11,1,11,1,11,1,11,1,11,1,11,1,11,1,11,1,11,1,11,1,11,1,11,1,11,2,2,1,12,1,11,1,11,1,11,1,11,1,11,1,11,1,12,1,12,1,12,1,12,1,13,1,12,1,12,1,12,1,12,1,12,1,12,1,12,1,11,1,3,2,2,2,3,2,2,3,4,3,3,4,3,4,3,4,3,3,4,3,3,3,4,3,4,3,3,3,3,3,3,3,3,3,3,3,2,3,3,3,3,3,3,2,3,2,2,2,2,4,2,3,2,2,2,3,4,3,4,4,4,4,3,4,3,4,3,3,3,3,3,3,2,3,3,3,3,2,3,3,3,3,3,4,3,3,3,3,3,3,2,3,3,3,3,3,3,3,3,4,3,3,3,3,3,3,3,3,2,3,2,2,2,2,1,3,3,3,4,3,3,3,3,3,3,3,4,3,3,3,3,3,3,5,3,3,2,3,2,3,3,2,3,3,2,3,2,3,2,3,2,3,3,2,2,3,2,2,3,3,2,3,2,3,3,3,3,3,3,3,3,3,3,3,3,3,4,3,3,3,3,3,3,3,4,3,3,4,3,3,3,3,4,4,3,3,3,3,3,2,2,3,2,3,2,3,3,3,4,3,4,3,4,3,3,3,3,3,3,5,3,3,3,4,3,3,3,5,4,4,5,5,5,5,5,5,5,4,5,5,5,5,5,5,5,5,4,5,5,4,4,4,4,3,3,3,2,3,2,2,3,2,2,3,2,3,2,3,2,2,3,2,2,3,2,3,2,3,2,3,2,2,3,3,2,2,3,2,2,2,3,2,2,3,2,2,4,2,2,3,2,2,2,2,2,2,2,2,2,2,2,2,2,2,1,2,2,2,2,1,2,2,2,2,2,2,2,2,2,3,2,3,4,4,4,4,5,5,5,4,5,5,5,4,4,5,5,6,5,5,5,5,5,5,6,5,5,6,5,6,5,6,5,5,6,5,6,5,6,5,5,5,5,5,5,4,5,4,5,5,4,5,4,5,4,5,4,4,5,4,5,4,5,5,4,5,5,5,5,5,5,5,5,6,5,5,5,5,5,5,5,5,5,5,5,5,5,5,7,5,5,5,6,5,5,5,5,5,5,5,5,4,5,5,4,5,4,4,5,5,4,5,5,4,4,5,4,5,4,4,5,4,5,4,5,4,4,4,3,2,3,2,4,2,3,3,3,3,2,3,3,3,4,4,4,3,4,4,3,6,4,4,3,4,3,4,4,3,4,4,4,4,4,3,3,4,4,3,4,3,4,3,3,3,3,4,3,3,4,3,3,4,3,3,3,4,3,3,3,4,3,3,3,3,2,3,3,3,3,3,3,4,2,3,2,3,3,2,3,3,3,3,2,3,3,3,4,3,4,3,4,3,3,3,3,3,5,3,3,4,3,3,4,5,4,4,3,2,2,2,2,2,3,2,2,2,2,2,2,2,3,2,2,2,2,2,3,2,3,2,2,2,2,2,2,2,3,2,2,1,2,2,2,1,2,2,2,2,1,2,2,2,2,3,4,5,5,5,3,4,3,3,3,3,4,4,4,4,3,4,5,6,5,5,6,5,5,4,5,4,7,4,4,5,4,5,4,4,5,4,5,4,6,5,5,5,5,5,5,5,5,5,5,5,4,5,4,4,4,5,4,4,4,4,4,4,4,4,3,4,4,4,3,4,3,3,4,4,4,3,4,4,4,4,3,4,3,4,3,3,5,3,3,2,3,2,2,3,3,4,3,3,3,4,4,4,4,4,4,4,4,5,4,4,4,4,4,4,4,3,3,2,3,2,1,2,3,4,3,3,4,3,3,3,2,3,3,2,3,3,4,3,3,3,4,3,3,4,3,3,3,3,3,3,3,3,2,4,3,3,3,3,3,3,3,3,4,3,3,5,2,4,3,3,3,4,3,3,4,4,3,4,3,4,3,3,2,3,3,3,3,3,4,4,5,5,4,5,5,4,5,5,5,5,4,5,4,5,5,4,5,4,5,5,2,1,2,2,2,2,2,3,4,4,5,4,3,4,4,3,4,4,4,5,4,4,7,4,4,4,3,4,4,4,3,4,3,3,4,3,3,4,3,3,2,3,3,3,3,3,3,3,2,3,3,3,3,3,3,2,2,3,2,3,2,2,2,3,2,2,2,2,1,2,1,2,3,1,3,3,2,3,2,3,2,2,3,2,2,2,3,2,3,4,3,3,3,3,3,2,3,3,2,2,3,2,3,2,3,3,3,2,3,2,3,2,3,2,4,2,3,2,3,2,2,2,2,2,2,2,2,1,2,2,2,2,2,4,4,3,3,4,4,3,4,3,3,3,3,3,2,2,3,2,2,2,2,2,1,2,2,2,1,2,2,1,2,2,2,2,2,2,2,3,3,2,3,3,3,3,3,3,3,3,2,3,3,3,3,3,3,3,2,3,4,3,3,3,3,3,3,2,3,2,3,2,5,4,4,5,4,4,7,4,4,5,4,4,3,3,4,3,4,3,4,3,3,3,5,4,5,4,4,3,4,3,4,4,4,4,4,4,3,4,3,3,3,3,3,3,3,3,3,4,3,3,3,3,4,3,4,4,4,4,4,4,4,5,4,5,4,5,4,5,5,5,4,5,5,4,5,5,4,5,4,5,3,3,3,2,3,2,3,2,3,2,2,2,2,3,2,1,2,1,2,2,3,1,2,2,2,2,2,3,2,2,2,3,2,3,2,2,4,3,4,3,3,3,3,3,4,3,4,4,4,4,3,4,4,4,4,5,4,5,4,5,5,5,5,4,5,4,4,4,4,6,3,4,4,4,3,4,4,3,4,4,3,4,3,4,3,4,3,3,3,3,3,3,3,3,3,2,3,3,3,2,3,3,3,3,3,3,3,3,2,4,2,3,3,3,3,2,2,2,3,2,3,2,2,2,2,2,2,3,2,2,2,2,2,2,2,2,2,3,2,2,4,2,3,2,2,3,2,2,3,2,2,2,3,2,3,2,2,3,3,4,3,2,3,3,2,3,2,2,3,2,3,2,2,3,2,3,2,2,2,2,3,2,2,2,3,2,2,2,3,2,1,2,2,2,2,2,2,3,3,2,3,3,4,2,3,3,3,4,3,3,4,3,3,3,3,3,3,3,2,3,4,3,3,2,3,3,3,4,2,3,2,3,2,3,2,4,2,3,3,2,3,2,3,2,3,2,2,2,3,2,2,2,1,2,2,2,4,2,2,3,1,2,2,2,1,3,2,1,2,2,2,2,2,2,2,1,2,2,2,2,2,2,1,2,2,3,2,2,2,2,2,2,2,2,2,2,2,2,2,2,3,2,2,2,3,2,2,2,3,2,2,3,2,2,2,3,2,2,3,2,2,3,2,2,3,3,2,2,3,2,2,3,2,2,2,3,2,2,2,3,2,2,2,2,4,5,4,5,4,5,4,5,4,5,5,5,5,7,5,5,5,5,5,5,5,5,5,5,5,4,5,5,6,6,6,5,6,6,6,5,6,6,6,5,6,5,6,5,6,5,6,6,5,5,5,5,6,5,6,5,5,6,5,8,6,5,6,6,5,6,5,4,4,3,3,3,3,2,3,2,3,2,2,2,2,3,2,3,3,3,2,3,2,3,2,3,2,3,2,3,2,3,3,3,3,2,3,3,3,2,3,3,2,3,2,3,2,3,3,2,3,2,2,3,2,3,2,2,3,5,5,5,6,5,5,6,5,6,5,8,5,5,6,5,6,6,5,6,6,5,6,6,6,6,6,6,5,6,5,6,5,6,4,4,3,4,5,5,5,6,5,5,5,5,5,5,6,4,5,4,5,4,4,5,4,4,4,4,4,6,3,3,4,4,4,4,4,4,4,4,3,3,3,2,3,3,2,2,2,3,2,4,3,3,3,3,3,3,3,3,2,3,2,3,2,3,3,3,4,4,3,4,4,3,4,2,3,2,3,2,3,2,2,2,3,2,2,3,2,2,2,3,2,3,2,3,2,2,3,3,4,4,4,4,4,5,5,4,5,4,6,4,4,4,4,4,5,4,4,5,5,5,5,5,5,5,5,4,4,5,4,4,4,5,4,4,4,4,5,5,4,5,5,4,4,4,4,4,3,4,3,4,3,4,4,4,3,4,4,5,4,5,4,4,4,4,4,4,4,6,4,4,4,3,5,3,4,4,4,4,5,5,4,5,4,5,4,5,5,5,4,5,5,5,5,4,5,5,5,5,4,5,5,5,4,5,5,4,4,3,3,4,3,3,3,3,3,3,3,3,2,3,3,3,2,3,3,3,2,3,2,2,2,2,2,1,2,4,2,2,3,2,2,2,2,1,2,2,2,1,2,2,2,1,2,2,1,2,2,2,2,3,2,3,3,3,3,3,3,2,3,3,2,3,3,3,3,2,3,3,3,2,3,2,3,3,3,3,3,3,4,3,4,3,4,3,4,3,4,3,4,3,4,3,3,4,3,3,4,3,4,2,3,3,2,3,3,3,4,2,4,3,3,2,3,3,2,3,5,3,3,2,2,2,3,2,2,2,3,2,3,2,2,3,3,2,2,3,3,3,3,2,3,2,2,3,2,2,3,2,3,2,2,3,3,4,4,4,5,4,5,4,5,4,5,4,4,4,4,4,3,4,4,4,4,4,3,4,3,3,4,3,4,3,4,3,3,3,4,3,3,3,3,3,4,3,4,3,4,4,3,3,3,3,3,3,3,3,2,3,2,3,3,2,2,3,2,2,4,3,2,3,3,3,3,3,3,3,3,2,3,3,2,3,3,2,2,3,2,3,2,3,2,3,2,3,2,2,3,3,3,3,2,2,2,3,1,3,2,2,2,2,2,2,1,2,2,2,1,3,3,4,4,3,4,3,2,3,3,2,3,2,3,2,3,2,3,2,2,2,2,1,1,2,2,1,2,3,2,2,2,2,1,2,2,1,2,1,2,2,2,2,2,3,4,4,3,4,4,4,3,4,4,4,4,3,4,4,5,4,5,4,4,5,4,4,5,4,4,3,3,3,2,3,3,3,3,2,3,3,3,3,3,3,2,3,3,2,2,3,3,3,3,3,4,4,3,4,4,3,4,2,2,2,2,2,2,2,2,1,2,3,2,1,3,4,4,5,4,4,4,3,4,4,4,3,4,4,4,3,4,4,3,4,3,3,3,3,3,4,3,3,3,3,2,3,3,3,3,3,3,2,3,3,2,2,3,2,3,3,2,2,3,2,3,2,2,3,2,2,2,3,2,2,2,2,2,3,2,2,2,2,2,2,2,2,3,2,2,2,2,3,2,3,1,2,2,2,2,2,2,1,2,2,3,2,1,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,1,3,1,2,2,2,1,2,2,2,1,2,2,1,2,1,2,1,2,2,1,2,2,2,1,2,2,2,2,2,2,2,2,2,2,2,4,4,5,4,5,5,5,5,5,6,5,6,5,5,6,6,5,5,6,5,5,5,6,5,6,5,5,5,7,5,6,5,5,5,6,5,6,5,6,6,6,5,6,6,6,5,6,6,5,6,5,6,5,6,5,6,6,5,6,6,5,6,5,6,5,5,6,5,6,6,5,6,5,6,6,6,5,6,5,5,6,5,6,5,6,5,6,5,6,6,5,6,5,5,6,5,5,6,5,5,5,6,5,6,5,6,6,5,5,6", "test_run_times": [ 13.6099999999999994315658113919198513031005859375, 13.5, 13.699999999999999289457264239899814128875732421875 ] } } } } }