安装RTF(单机版本)

1、首先我们需要开启binlog功能,并配置binlog模式为ROW,在my.cnf中配置如下信息

[mysqld]
log-bin       = mysql-bin  #  开启binlog
binlog-format = ROW        #  选择模式为ROW
server_id     = 1          #

由于我们从binlog读取数据的方式是主从复制,所以需要一个非root用户模仿slave。需要新建用户并授权,如果已经有非root账号可以直接授权

CREATE USER rtfuser IDENTIFIED BY ‘rtfuser’;
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO ‘rtfuser’@‘%’;
FLUSH PRIVILEGES;  #  刷新权限

2、点击下载RTF项目压缩包:Download

上传到服务器上并解压到指定目录:

tar -zxvf rtf-writer-1.0-SNAPSHOT.tar.gz rtf

3、在启动之前,我们需要进入解压之后的目录下的conf,在rtf_writer.properties中配置以下信息:

host        =  #mysql所在的主机ip
port        =  #mysql的端口名称,一般默认为3306
dn_names    =  #监听的离线表名,按照db1:table1 db2:table2格式输入
username    =  #之前新建的用户
password    =  #用户的密码
filenames   =  #存放实时数据的hdfs上的文件夹,不同的文件夹需要用空格隔开(需要与dn_names严格一一对应)
primaryKeys =  #每个表的主键信息(需要与dn_names严格一一对应)
allfields   =  #每个表各个字段的信息(需要与dn_names严格一一对应)

至此,需要配置的基本信息就已经全部完成了。接下来,需要在hdfs上初始化你希望获得实时数据的离线表的对应文件夹。请转到快速开始,有我们为您提供的一个示范。