新足迹 › 论坛 › 澳洲生活区 › 工作学习 › Any DataStage engineer here ?

精华好帖回顾
· 纪念逝去十年的知己良朋。 (2013-5-17) hr6970	· The story of a young immigrant (so far) (2006-12-26) 黑山老妖
· 单反小白扫盲贴！想买相机看此贴四楼 (2010-6-16) jmms_smmj	· 陈年旧事系列17 - 后遗症联想 (2006-10-15) SuiYi

123 / 3 页下一页

楼主:daomeidan1234

[IT] Any DataStage engineer here ? [复制链接]

baolqun

银靴族

发表于 2006-11-23 13:44 |显示全部楼层

此文章由 baolqun 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 baolqun 所有！转贴必须注明作者、出处和本声明，并保持内容完整

原帖由月亮于 2006-11-23 12:37 发表

我们用的是一个叫KE Emu的专门用于博物馆的软件，因为它可以直接把图片populate到网站上，装在linux下，和别的数据库都不兼容，我现在最头疼的就是它了。保龄球，你知道哪里有3，5天的专门针对DW的training c ...

其实DW的概念很好懂的,你网上搜索一下教科书...自学没问题

但是我觉得DW不是最好的方案...因为DW还是要倒数据...它的难度不是设计结构而是实施倒数据...这个一定要专业人士解决的...
而且DW数据表结构就不是平时的RELATIONAL MODEL了,做CRYSTAL REPORT的人还要去培训...

[ 本帖最后由 baolqun 于 2006-11-23 12:46 编辑 ]

月亮

水晶靴族

发表于 2006-11-23 13:46 |显示全部楼层

此文章由月亮原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者月亮所有！转贴必须注明作者、出处和本声明，并保持内容完整

原帖由 baolqun 于 2006-11-23 12:44 发表

我觉得DW不是最好的方案...因为DW还是要倒数据...
而且数据表结构就不是平时的RELATIONAL MODEL了,你们做CRYSTAL REPORT的人还要去培训...

有什么更好的办法么？

baolqun

银靴族

发表于 2006-11-23 13:48 |显示全部楼层

此文章由 baolqun 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 baolqun 所有！转贴必须注明作者、出处和本声明，并保持内容完整

原帖由月亮于 2006-11-23 12:46 发表

有什么更好的办法么？

找个专业倒数据的CONTRACT...

你们现在的问题是不是数据在不同的地方没办法联系起来?
只要建一个DATA MART把不同源的数据倒到一起,建立关联就可以了...所以还是个倒数据的问题...

[ 本帖最后由 baolqun 于 2006-11-23 12:50 编辑 ]

月亮

水晶靴族

发表于 2006-11-23 13:51 |显示全部楼层

此文章由月亮原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者月亮所有！转贴必须注明作者、出处和本声明，并保持内容完整

原帖由 baolqun 于 2006-11-23 12:48 发表

找个专业倒数据的CONTRACT...

你们现在的问题是不是数据在不同的地方没办法联系起来?
只要建一个DATA MART把不同源的数据倒到一起,建立关联就可以了...所以还是个倒数据的问题...

data mart是怎么update数据的？

baolqun

银靴族

发表于 2006-11-23 13:52 |显示全部楼层

此文章由 baolqun 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 baolqun 所有！转贴必须注明作者、出处和本声明，并保持内容完整

原帖由月亮于 2006-11-23 12:51 发表

data mart是怎么update数据的？

可以是自动的,每天,或每周,或每月倒一次...

DATA MART也好DW也好数据都是历史性的...要定期从应用系统倒...不是随BUSINESS PROCESS更新的...

[ 本帖最后由 baolqun 于 2006-11-23 12:54 编辑 ]

apatche

皮靴族

发表于 2006-11-23 13:56 |显示全部楼层

此文章由 apatche 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 apatche 所有！转贴必须注明作者、出处和本声明，并保持内容完整

crystal report可以用stored procedure做数据源，也就是说，基本上可以访问数据库中所有数据，并根据数据做复杂计算（这在crystal中就比较困难，且不准确）。

如果配置合理，不同数据库之间也可以互相访问，当然，不同类型的数据库比较多的肯定是很麻烦的

月亮

水晶靴族

发表于 2006-11-23 14:00 |显示全部楼层

此文章由月亮原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者月亮所有！转贴必须注明作者、出处和本声明，并保持内容完整

原帖由 baolqun 于 2006-11-23 12:48 发表

找个专业倒数据的CONTRACT...

你们现在的问题是不是数据在不同的地方没办法联系起来?
只要建一个DATA MART把不同源的数据倒到一起,建立关联就可以了...所以还是个倒数据的问题...

除了在不同的地方之外，它们之间几乎没有任何关系。
DM和DW的主要区别在哪里？

baolqun

银靴族

发表于 2006-11-23 14:06 |显示全部楼层

此文章由 baolqun 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 baolqun 所有！转贴必须注明作者、出处和本声明，并保持内容完整

原帖由月亮于 2006-11-23 13:00 发表

除了在不同的地方之外，它们之间几乎没有任何关系。
DM和DW的主要区别在哪里？

我不是很懂你们做REPORT啥需求...你说那些不同地方的数据没任何关系...那也就是没必要做DW了...但是做REPORT的人做不出来是啥意思?他不能用CRYSTAL REPORT访问不同数据库???不太可能吧...

另...理论上DW是由面对不同用户对象的DM(财务DM,市场DM,销售DM)组合而成...

[ 本帖最后由 baolqun 于 2006-11-23 13:10 编辑 ]

PeterWay

银靴族

发表于 2006-11-23 14:11 |显示全部楼层

此文章由 PeterWay 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 PeterWay 所有！转贴必须注明作者、出处和本声明，并保持内容完整

原帖由 baolqun 于 2006-11-23 11:57 发表

站中间:si108

Logistics Manager

ccj5124

银靴族

发表于 2006-11-23 14:18 |显示全部楼层

此文章由 ccj5124 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 ccj5124 所有！转贴必须注明作者、出处和本声明，并保持内容完整

10*N个数据库? 很牛啊！

各个数据库有没有相似和联系啊？

去年在这里好像还有关于DW的争吵。呵呵。

baolqun

银靴族

发表于 2006-11-23 14:20 |显示全部楼层

此文章由 baolqun 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 baolqun 所有！转贴必须注明作者、出处和本声明，并保持内容完整

原帖由 ccj5124 于 2006-11-23 13:18 发表
10*N个数据库? 很牛啊！

各个数据库有没有相似和联系啊？

去年在这里好像还有关于DW的争吵。呵呵。

高手都退隐江湖了?

单衣纵酒

皮靴族

发表于 2006-11-23 14:27 |显示全部楼层

此文章由单衣纵酒原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者单衣纵酒所有！转贴必须注明作者、出处和本声明，并保持内容完整

If you are looking for a contractor, visit http://home.iprimus.com.au/raywurlod/services/Availability.htm
Ray Wurlod is the the best DataStage guy in the world and the price is about 800 per day.

If you are looking for vendor support, ask Australia IBM for Philip. He is the Chinese DataStage guy in IBM, from Taiwan and can speak Mandarin.

If you are looking for outsourcing, Satyam will be the first choice. Quantas, ANZ and CBA are outsourcing their ETL and BI to Satyam.

baolqun

银靴族

发表于 2006-11-23 14:33 |显示全部楼层

此文章由 baolqun 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 baolqun 所有！转贴必须注明作者、出处和本声明，并保持内容完整

原帖由 单衣纵酒 于 2006-11-23 13:27 发表
If you are looking for a contractor, visit http://home.iprimus.com.au/raywurlod/services/Availability.htm
Ray Wurlod is the the best DataStage guy in the world and the price is about 800 per day.
...

800/天...牛的...

月亮

水晶靴族

发表于 2006-11-23 14:39 |显示全部楼层

此文章由月亮原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者月亮所有！转贴必须注明作者、出处和本声明，并保持内容完整

原帖由 baolqun 于 2006-11-23 13:06 发表

我不是很懂你们做REPORT啥需求...你说那些不同地方的数据没任何关系...那也就是没必要做DW了...但是做REPORT的人做不出来是啥意思?他不能用CRYSTAL REPORT访问不同数据库???不太可能吧...

另...理论上 ...

据个简单的例子。
比如一个大剧院里有10家餐厅，分别位于不同的楼层和地点，餐厅用的是一种专门软件，有10+ sql server DB，
还有一个定票和定function room的ticketing系统，也是个专门的软件+oracle
现在餐饮部经理想知道，对于每晚的芭蕾舞剧，平均每人在A餐厅消费了多少钱（money spent per head）
这本来应该是个很简单的query，但因为所有的都是第三方开发的application,数据库结构非常复杂，因为这些软件为了避免delete cascade，一般都不设置foreign key constrains. 而且有大量的duplication，作报告的人说做不出来。

baolqun

银靴族

发表于 2006-11-23 14:47 |显示全部楼层

此文章由 baolqun 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 baolqun 所有！转贴必须注明作者、出处和本声明，并保持内容完整

原帖由月亮于 2006-11-23 13:39 发表

据个简单的例子。
比如一个大剧院里有10家餐厅，分别位于不同的楼层和地点，餐厅用的是一种专门软件，有10+ sql server DB，
还有一个定票和定function room的ticketing系统，也是个专门的软件+oracle
现在 ...

那就是有关联的数据...还是要倒数据...打报告让那个800/天的牛人来做...不知道你们预算是多少...

ccj5124

银靴族

发表于 2006-11-23 14:49 |显示全部楼层

此文章由 ccj5124 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 ccj5124 所有！转贴必须注明作者、出处和本声明，并保持内容完整

原帖由月亮于 2006-11-23 13:39 发表

据个简单的例子。
比如一个大剧院里有10家餐厅，分别位于不同的楼层和地点，餐厅用的是一种专门软件，有10+ sql server DB，
还有一个定票和定function room的ticketing系统，也是个专门的软件+oracle
现在 ...

那是需要把数据整合起来了。
为每一个餐厅写一个dts包，每天把共同的数据（transactions）导入一个数据库（事前要好好定义）；定义维表和事实表，在分析服务器里；每天处理聚合。report 就基于这个聚合生成。

daomeidan1234

铜靴族

发表于 2006-11-23 14:51 |显示全部楼层

此文章由 daomeidan1234 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 daomeidan1234 所有！转贴必须注明作者、出处和本声明，并保持内容完整

原帖由 dashaguaus 于 2006-11-23 11:42 发表

daomeidan1234

铜靴族

发表于 2006-11-23 14:56 |显示全部楼层

原帖由 单衣纵酒 于 2006-11-23 13:27 发表
If you are looking for a contractor, visit http://home.iprimus.com.au/raywurlod/services/Availability.htm
Ray Wurlod is the the best DataStage guy in the world and the price is about 800 per day.
...

thanks for your information, Mate.

What I really want to say, since I help my company to get a DataStage deal in Melbourne, I am going to in charge of a project of DS. And I am not sure if i am capable ...

Just want to find some possible support here. Definitely, I maintain a BI/DW techincal loop for myself.

Just want to find more here in Melbourne.

单衣纵酒

皮靴族

发表于 2006-11-23 15:04 |显示全部楼层

此文章由单衣纵酒原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者单衣纵酒所有！转贴必须注明作者、出处和本声明，并保持内容完整

At least one senior ETL Developer and two ETL support specialist needed.

To hire one experienced DataStage ETL developer/consultant, around 110K pkg; To hire one experienced ETL / BI support specialist, around 100K pkg.

dashaguaus

布鞋族

发表于 2006-11-23 15:20 |显示全部楼层

data integration and data reconciliation

此文章由 dashaguaus 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 dashaguaus 所有！转贴必须注明作者、出处和本声明，并保持内容完整

原帖由月亮于 2006-11-23 13:39 发表

据个简单的例子。
比如一个大剧院里有10家餐厅，分别位于不同的楼层和地点，餐厅用的是一种专门软件，有10+ sql server DB，
还有一个定票和定function room的ticketing系统，也是个专门的软件+oracle
现在 ...

From my understanding, if there must be some connection between two those two kinds customers otherwise, there is no way to do this report.
You need do some data integration and data reconciliation job before load them into data mart or dw. Data mart is enough for your business.
Do not worry about the data base, extract the data into to a flate file then use etl tools (datastage or infomatica) to load them into DW or DM. From the example you gave, the data valume is not big. There are many consuling company in market.IBM , EDS (both of them will waste your money). Just find a small consulting company. Such as my conpany. :)

daomeidan1234

铜靴族

发表于 2006-11-23 15:24 |显示全部楼层

原帖由 单衣纵酒 于 2006-11-23 14:04 发表
At least one senior ETL Developer and two ETL support specialist needed.

To hire one experienced DataStage ETL developer/consultant, around 110K pkg; To hire one experienced ETL / BI support spe ...

Good career path ..

Actually, I don't think 800$/day is a big number although my value is much less than that number.

Persons as I met here, an Oracle ERP expert is more than 2000/day, and I am not sure what about SAP expert ?

riverstone

银靴族

发表于 2006-11-23 15:26 |显示全部楼层

此文章由 riverstone 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 riverstone 所有！转贴必须注明作者、出处和本声明，并保持内容完整

俺们公司就是做DATA WAREHOUSE很出名得，不过俺是不懂滴。10年前曾经一度接触过DATA WAREHOUSE和虚拟现实技术，俺当初的一个女同事还翻译了一本DATA WAREHOUSE的书，把DATA WAREHOUSE这个概念带入了中国。

[ 本帖最后由 riverstone 于 2006-11-23 14:29 编辑 ]

baolqun

银靴族

发表于 2006-11-23 15:35 |显示全部楼层

此文章由 baolqun 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 baolqun 所有！转贴必须注明作者、出处和本声明，并保持内容完整

原帖由 riverstone 于 2006-11-23 14:26 发表
俺们公司就是做DATA WAREHOUSE很出名得，不过俺是不懂滴。10年前曾经一度接触过DATA WAREHOUSE和虚拟现实技术，俺当初的一个女同事还翻译了一本DATA WAREHOUSE的书，把DATA WAREHOUSE这个概念带入了中国。

你现在的公司?

baolqun

银靴族

发表于 2006-11-23 15:37 |显示全部楼层

此文章由 baolqun 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 baolqun 所有！转贴必须注明作者、出处和本声明，并保持内容完整

原帖由 daomeidan1234 于 2006-11-23 14:24 发表

Good career path ..

Actually, I don't think 800$/day is a big number although my value is much less than that number.

Persons as I met here, an Oracle ERP expert is more than 2000/day, ...

800/D和2000/D的人对我来说都没啥区别...就是牛...

正如对富豪来说100和10000没啥区别...只是数字而已...