Chaos and Order

💡 왼쪽 원문을 읽으면서 오른쪽에 따라 써보세요. Tab 키로 힌트를 받을 수 있습니다.

원문 렌더가 준비되기 전까지 텍스트 가이드로 표시합니다.

Overview

Hiveは、Hadoopに保存されたデータをSQLを使って照会できるようにするMapreduce Wrapperです。

インストール方法

MySQLのインストール

sudo apt install mysql-server

MySQL Connectorのインストール

[mysql-connector-official-download-site](https://downloads.mysql.com/archives/c-j/)からインストール済みのMySQLと互換性のあるバージョンのmysql-connectorをダウンロードします。

wget https://downloads.mysql.com/archives/get/p/3/file/mysql-connector-java_8.0.30-1ubuntu22.04_all.deb

dpkg -x mysql-connector-java_8.0.30-1ubuntu22.04_all.deb ./

cp usr/share/java/mysql-connector-java-8.0.30.jar /usr/local/hive/lib/

Hiveのインストール

[https://www.apache.org/dyn/closer.cgi/hive/](https://www.apache.org/dyn/closer.cgi/hive/)から適切なHiveバージョンを探してダウンロードします。

wget https://dlcdn.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz

tar -zxvf apache-hive-3.1.3-bin.tar.gz

cd -R apache-hive-3.1.3-bin /usr/local/hive

~/.bashrcの修正

`HIVE_HOME`環境変数を追加します。

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

export HADOOP_HOME=/usr/local/hadoop

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export YARN_HOME=$HADOOP_HOME

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

export HADOOP_YARN_USER=${HADOOP_YARN_USER:-yarn}

export HIVE_HOME=/usr/local/hive

PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$HIVE_HOME/bin

hive-env.shの修正

以下にHadoopホームディレクトリを設定します。

HADOOP_HOME=/usr/local/hadoop

hive-site.xmlの修正

最初はhive-site.xmlファイルが存在しないため、`hive-default.xml.template`ファイルをコピーしてhive-site.xmlを作成します。

以下の内容を追加します。

以下の内容を修正します。

JDBC connect string for a JDBC metastore.

To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.

For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.

Metastoreスキーマの初期化

schematool -initSchema -dbType mysql -verbose

Hiveの実行

/usr/local/hive/bin/hive

クイズ

Apache Hiveのインストール方法を解説します

MySQLのインストール MySQL Connectorのインストール

mysql-connector-official-download-siteからインストール済みのMySQLと互換性のあるバージョンのmysql-connectorをダウンロードします。

Hiveのインストール

https://www.apache.org/dyn/closer.cgi/hive/から適切なHiveバージョンを探してダウンロードします。

~/.bashrcの修正 HIVE_HOME環境変数を追加します。