GBase 8a
其他
文章

JDBC读取大量数据几种方式性能比较测试

发表于2024-08-30 16:58:2245次浏览0个评论

[读取方式]
1、全量
2、useCursorFetch
分别设置FetchSize为100、1000、10000、100000、1000000
3、Stream方式
设置statement.setFetchSize(Integer.MIN_VALUE)

[数据量]
1000W

[客户端环境]
cpu 8c 
mem 16g
os suse12sp5
jdbc gbase-connector-java-8.3.81.53-build55.4.1-bin.jar
集群版本 8.6.2_build43-R34

[测试结果]

 数据量1000W
全量OOM
FetchSize=10064s
FetchSize=100043s
FetchSize=1000040s
FetchSize=10000042s
FetchSize=100000070s
Stream方式22s

评论

登录后才可以发表评论