DataStage配置及使用
配置
第一、要通过浏览器登录，创建用户等。这个可以参考配置文档。
第二，要配置数据库。因为我们的DataStage服务器和db2数据源不在同一个电脑上。我们需要在DataStage服务器上配置db2节点，将其他服务器上的db2数据库映射（db2 catalog）到本地。如果确认配置正确了，还是连接不上，需要确定网络是否通畅。
第三，配置DataStage环境变量文件（$DataStage/DSEngine/dsenv）。这个费了好些时间，按照配置文档里给的不太好用。可以参考IBM官方教程“用IBM WebSphere DataStage进行数据整合: 第 1 部分”。
第四，服务启动顺序（不知道是否唯一）。db2->WAS->DataStage。NOTE：WAS错误日志有时候并不能准确的说明问题。如果WAS启动之后，ps到了WAS的进程，但浏览器通过9060端口还是连接不了，检查9060等端口是否禁用，防火墙是否禁用。（每次启动WAS的时候日志里都写着什么文件被占用，其实不影响）
几个DataStage常用控件的使用。DB、Lookup、Join、Transform、RemoveDuplicates、Sort、SequenceFile、Modify等。其中也有需要的：
第一、要通过浏览器登录，创建用户等。这个可以参考配置文档。
第二，要配置数据库。因为我们的DataStage服务器和db2数据源不在同一个电脑上。我们需要在DataStage服务器上配置db2节点，将其他服务器上的db2数据库映射（db2 catalog）到本地。如果确认配置正确了，还是连接不上，需要确定网络是否通畅。
第三，配置DataStage环境变量文件（$DataStage/DSEngine/dsenv）。这个费了好些时间，按照配置文档里给的不太好用。可以参考IBM官方教程“用IBM WebSphere DataStage进行数据整合: 第 1 部分”。
第四，服务启动顺序（不知道是否唯一）。db2->WAS->DataStage。NOTE：WAS错误日志有时候并不能准确的说明问题。如果WAS启动之后，ps到了WAS的进程，但浏览器通过9060端口还是连接不了，检查9060等端口是否禁用，防火墙是否禁用。（每次启动WAS的时候日志里都写着什么文件被占用，其实不影响）
几个DataStage常用控件的使用。DB、Lookup、Join、Transform、RemoveDuplicates、Sort、SequenceFile、Modify等。其中也有需要的：
DB在sql中使用参数时，记得将参数加上单引号，eg：'#?StartDT#'。参数的默认值设置为ProjectDefault，以免带来麻烦。
Lookup需要配置Lookup Failure选项。默认为“失败”：就是说如果主表的某一条记录和引用表匹配不上，就终止job，这一般不是我们想要的。根据需求，我们一般选择继续、拒绝或删除。
Join的key需要两个表的字段类型、字段名名完全一样，不然字段不会出现在key的下拉列表。不一样可以通过Modify来改变。另外，Join可以有key。
以后还将学习更多的Stage，以便完成同一个流程可以选择效率更高的方案。
Lookup需要配置Lookup Failure选项。默认为“失败”：就是说如果主表的某一条记录和引用表匹配不上，就终止job，这一般不是我们想要的。根据需求，我们一般选择继续、拒绝或删除。
Join的key需要两个表的字段类型、字段名名完全一样，不然字段不会出现在key的下拉列表。不一样可以通过Modify来改变。另外，Join可以有key。
以后还将学习更多的Stage，以便完成同一个流程可以选择效率更高的方案。
用到的命令
1）db2配置
--查看配置，其中codepage等是需要注意的 db2set -all
--注册节点 catalog tcpip node nodename remote IpAdress server port;
--注册数据库 catalog database DBName at node nodename;
--删除注册节点 uncatalog node nodename;
--删除注册数据库 uncatalog database DBName;
--注册数据库 catalog database DBName at node nodename;
--删除注册节点 uncatalog node nodename;
--删除注册数据库 uncatalog database DBName;
--查看所有节点：db2 list node directory
--db2当前实例查看与配置 db2 get instance; db2 update dbm cfg using svcename InstanceName
eg:
b2 catalog tcpip node test remote 192.168.42.102 server 50000
db2 catalog db coshine at node test
db2 terminate --让配置生效
db2 connect to coshine user user_name using password
2）WAS相关
cd ...../IBM/WebSphere/AppServer/profiles/InfoSphere/bin
./startServer.sh server1 -username username -password password
./stopServer.sh server1 -username username -password password
3）DataStage相关
cd ..../mistel/IBM/InformationServer/Server/DSEngine
停止服务：$DSHOME/bin/uv –admin –stop
启动服务：$DSHOME/bin/uv –admin –start
停止服务：$DSHOME/bin/uv –admin –stop
启动服务：$DSHOME/bin/uv –admin –start
重启ASB Agent: /opt/IBM/InformationServer/ASBNode/bin/NodeAgents.sh restart
如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！
赞1Ctrl+Enter 发表
添加新评论0 条评论