Impala配置优化


参考官网文档:
Impala安装后的推荐配置https://www.cloudera.com/documentation/enterprise/6/6.3/topics/impala_config_performance.html

HDFS快速读取

启用快速读取允许Impala直接从文件系统读取本地数据。不再需要通过DataNode进行通信,从而提高了性能。
cloudera manager进入impala配置页面,搜索dfs.client.read.shortcircuit,勾选后重启。

设置内存限制

进入impala配置页面,搜索mem_limit

设置连接超时时间

进入impala配置页面,搜索idle_session_timeout

注意:超时时间设置过短可能导致服务端连接关闭而客户端未关闭,可能造成客户端无法使用impala的问题

设置连接数

进入impala配置页面,搜索fe_service_threads

使用HDFS缓存

参考官网文档:
使用Impala时设置HDFS缓存https://www.cloudera.com/documentation/enterprise/6/6.3/topics/impala_perf_hdfs_caching.html#hdfs_caching

配置Impala负载均衡

参考官网文档:
Using Impala through a Proxy for High Availability
参考微信公众hadoop实操文章:
如何使用HAProxy实现Impala的负载均衡

Impala timestamp类型时区问题

参考微信公众hadoop实操文章:
Hive中的Timestamp类型日期与Impala中显示不一致分析(补充)


评论
  目录