public class HiveUtil { private static Logger logger = LoggerFactory.getLogger(HiveUtil.class); private static BasicDataSource basicDataSource = null; private static String HIVE_DRIVER = null; private static String HIVE_URL = null; static { HIVE_DRIVER = ConfigProperties.getInstance().getValue("hive.driver"); HIVE_URL = ConfigProperties.getInstance().getValue("hive.url"); //创建数据源对象 if (basicDataSource == null) { basicDataSource = new BasicDataSource(); //设置连接数据库的驱动 basicDataSource.setDriverClassName(HIVE_DRIVER); //设置连接数据库的url basicDataSource.setUrl(HIVE_URL); //设置连接数据库的用户名 basicDataSource.setUsername("root"); //设置连接数据库的密码 basicDataSource.setPassword(""); //设置连接池启动时的初始值 basicDataSource.setInitialSize(5); //设置连接池的最大值 basicDataSource.setMaxActive(256); //最大空闲值.当经过一个高峰时间后,连接池可以慢慢将用不到的连接慢慢释放一部分,一直减少到maxIdle为止 basicDataSource.setMaxIdle(20); //最小空闲值.当空闲的连接数少于该值时,连接池就会预申请一些连接,以避免洪峰来时再申请而造成的性能开销 basicDataSource.setMinIdle(5); } } public static Connection getConnection() throws SQLException { return basicDataSource.getConnection(); } public static Statement getStatement(Connection connection) throws SQLException { return connection.createStatement(); } public static PreparedStatement getPreparedStatement(Connection connection, String sql) throws SQLException { return connection.prepareStatement(sql); } public static void switchDB(Connection connection, String database) throws SQLException { Statement statement = getStatement(connection); if (StringUtils.isNotEmpty(database)) { statement.execute("use " + database); } } public static void createTable(Connection connection, String database, String tableName, String sql) throws SQLException { Statement statement = getStatement(connection); if (StringUtils.isNotEmpty(tableName)) { statement.execute("drop table if exists " + tableName); statement.execute(sql); } close(statement); } public static void listTables(Connection connection, String database) throws SQLException { Statement statement = getStatement(connection); ResultSet resultSet = statement.executeQuery("show tables"); while (resultSet.next()) { logger.info(resultSet.getString("tab_name")); } close(resultSet); close(statement); } public static void listTableStructure(Connection connection, String database, String tableName) throws SQLException { Statement statement = getStatement(connection); ResultSet resultSet = statement.executeQuery("describe " + tableName); while (resultSet.next()) { logger.info(resultSet.getString("col_name") + " | " + resultSet.getString("data_type") + " | " + resultSet.getString("comment")); } close(resultSet); } public static void dropTable(Connection connection, String database, String tableName) throws SQLException { Statement statement = getStatement(connection); if (StringUtils.isNotEmpty(tableName)) { statement.execute("drop table if exists " + tableName); } close(statement); } public static void execute(Connection connection, String sql, Boolean isPrepared) throws SQLException { if (isPrepared) { PreparedStatement preparedStatement = getPreparedStatement(connection, sql); ResultSet resultSet = preparedStatement.executeQuery(); close(resultSet); close(preparedStatement); } else { Statement statement = getStatement(connection); statement.execute(sql); close(statement); } } public static ResultSet list(Connection connection, PreparedStatement preparedStatement, Object[] objs) throws SQLException { if (ArrayUtils.isNotEmpty(objs)) { for (int i = 0; i < objs.length; i++) { preparedStatement.setObject(i, objs[i]); } } return preparedStatement.executeQuery(); } public static void close(Connection connection) throws SQLException { if (connection != null) { connection.close(); connection = null; } } public static void close(Statement statement) throws SQLException { if (statement != null) { statement.close(); statement = null; } } public static void close(PreparedStatement preparedStatement) { if (preparedStatement != null) { try { preparedStatement.close(); } catch (SQLException e) { e.printStackTrace(); } preparedStatement = null; } } public static void close(ResultSet resultSet) { if (resultSet != null) { try { resultSet.close(); } catch (SQLException e) { e.printStackTrace(); } resultSet = null; } } }
相关推荐
使用jdbc连接hive 里面提供了很多封装方法 .....................................................................
写ORC 格式文件的工具类,可以用于写hive orc 的格式,
hive权威指南
本项目对如何在Springboot项目中整合hive-jdbc进行简单示例和介绍,亲测可用,请放心下载。
Hive是Hadoop项目中的一个子项目,由FaceBook向Apache基金会贡献,其中TaoBao也是其中一位使用者+贡献者,Hive被视为一个仓库工具,可以将结构化的数据文件映射为一张数据库表,并可以将sql语句转换为MapReduce任务...
hive sql 解析工具类,传入sql(支持多段sql,以";"隔开),返回map 获取表get("tables")获取sql语句 get("sqls")
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。 hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储...
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。(1)解析器(SQL Parser):将SQL字符串转换成抽象语法树AST,这一步一般都用第三方工具库完成,比如antlr;对AST...
Hive 定义了简单的类 SQL 查询语言,称为 QL,它允许熟悉 SQL 的用户查询数据。 同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理 内建的 mapper 和 reducer 无法完成的复杂的...
该资源为远程连接hive客户端时,需要自定义用户名和密码的工具类,放在hive/lib目录下,有需自取
Hive 定义了简单的类 SQL 查询语言,称为 QL,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析...
hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的...
Hive 定义了简单的类 SQL 查询语言,称为 HQL,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析...
什么是 Hive Hive:由 Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并 提供类 SQL 查询功能
什么是 Hive Hive:由 Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并 提供类 SQL 查询功能
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。
hive学习资料-hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速...
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。 本质是:将HQL/SQL转化成MapReduce程序。 1)Hive处理的数据存储在HDFS。 2) Hive分析数据底层的实现是MapReduce...