GBase 8a
其他
文章
JDBC读取大量数据几种方式性能比较测试
发表于2024-08-30 16:58:2245次浏览0个评论
[读取方式]
1、全量
2、useCursorFetch
分别设置FetchSize为100、1000、10000、100000、1000000
3、Stream方式
设置statement.setFetchSize(Integer.MIN_VALUE)
[数据量]
1000W
[客户端环境]
cpu 8c
mem 16g
os suse12sp5
jdbc gbase-connector-java-8.3.81.53-build55.4.1-bin.jar
集群版本 8.6.2_build43-R34
[测试结果]
| 数据量1000W | |
| 全量 | OOM |
| FetchSize=100 | 64s |
| FetchSize=1000 | 43s |
| FetchSize=10000 | 40s |
| FetchSize=100000 | 42s |
| FetchSize=1000000 | 70s |
| Stream方式 | 22s |
评论
登录后才可以发表评论
热门帖子
- 12025-12-01浏览数:182759
- 22023-05-09浏览数:25044
- 42023-09-25浏览数:18519
- 52020-05-11浏览数:17526