Kettle 优化
目录
Kettle 内存配置优化
- windows 端
修改 Spoon.bat 文件,找到if "%PENTAHO_DI_JAVA_OPTIONS%"==""
部分内容,修改为
if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xms4096m" "-Xmx4096m" "-XX:MaxPermSize=256m" "-Dfile.encoding=UTF-8"
- linux 端 修改 spoon.sh 文件,找到
if [ -z "$PENTAHO_DI_JAVA_OPTIONS" ]; then
部分内容,修改为
if [ -z "$PENTAHO_DI_JAVA_OPTIONS" ]; then
PENTAHO_DI_JAVA_OPTIONS="-Xms4096m -Xmx4096m"
fi
**注意:**无论 linux,windows 都需要合理设置-Xms
,-Xmx
配置,内存大小一般为服务器(如果是docker部署,那么就是container容器内存)的70%-80%
MySQL 读写速度优化
主要通过优化DB连接配置提升读写速度
编辑数据库连接=>选项,添加如下参数
useServerPrepStmts=false
rewriteBatchedStatements=true
useCompression=true
参数说明:
命名参数 | 值 | 说明 |
---|---|---|
useCompression | true | 在传输时开启数据压缩 ,提高传输效率 |
rewriteBatchedStatements | true | 让数据库重排Insert语句,合并多条插入语句成为一条,提交插入效率 |
useServerPrepStmts | false | 让数据库重排Insert语句,合并多条插入语句成为一条,提交插入效率 |