Treinamento DataStage Enterprise Edition - Basico - Modulo 01 v8

DataStage DataStage Enterprise Enterprise Edition Edition - Básico Básico

IBM Software Group

TREINAMENTO DATASTAGE ENTERPRISE EDITION

© IBM Corporation


IBM Software Group

Ensina Ensi narr o ne nece cess ssár ário io pa para ra ut utililiz izaç ação ão da fe ferr rram amen enta ta WebSp We bSphe here re Dat DataS aSta tage ge En Enter terpri prise se Editi Edition on da suíte suíte IBM IB M Inf Infor ormat matio ion n Ser Serve ver, r, par para a de dese senvo nvolv lvime iment nto o e manutençao de processos ETL (Extração, Trans Tr ansfo form rmaçã ação o e Car Carga ga de da dados dos)) e int integr egraç ação ão de dados.

© IBM Corporation

1


IBM Software Group

Ensina Ensi narr o ne nece cess ssár ário io pa para ra ut utililiz izaç ação ão da fe ferr rram amen enta ta WebSp We bSphe here re Dat DataS aSta tage ge En Enter terpri prise se Editi Edition on da suíte suíte IBM IB M Inf Infor ormat matio ion n Ser Serve ver, r, par para a de dese senvo nvolv lvime iment nto o e manutençao de processos ETL (Extração, Trans Tr ansfo form rmaçã ação o e Car Carga ga de da dados dos)) e int integr egraç ação ão de dados.

© IBM Corporation

1


IBM Software Group

Módulo 01 Introdução

Objetivo:

Demonstrar os componentes do DataStage e apresentar o detalhamento de suas respectivas funcionalidades. © IBM Corporation

2

DataStage Enterprise Edition - Básico

IBM Software Group

© IBM Corporation

3


IBM Software Group

DataStage Administrator Utilizado para criar e administrar projetos DataStage.

© IBM Corporation

4


IBM Software Group

DataStage Manager Utilizado para manipular (visualizar e editar) o repositório de metadados, criar e manter rotinas de transformação de dados do DataStage. Componente disponível até a versão 7.5. A partir da versão 8.0 suas funcionalidades estão presentes no DataStage Designer. © IBM Corporation

5


IBM Software Group

DataStage Designer Utilizado para desenvolver, compilar e executar jobs DataStage. é o nome dado a um programa criado e executado pelo DataStage. Um job é compostos por estágios e conectados através de ligações (links). Job

© IBM Corporation

6


IBM Software Group

DataStage Director Utilizado para executar, agenda e monitorar jobs criados no DataStage Designer.

© IBM Corporation

7


IBM Software Group

DataStage Server Mantém o repositório de metadados, armazena os parâmetros de processos ETL, estabelece conexões com fontes e alvos de dados e realiza efetivamente o processo de extração, transformação e carga dos dados (Servidor). © IBM Corporation

8


DATASTAGE ADMINISTRATOR

Visão Geral

IBM Software Group

© IBM Corporation

O DataStage Administrator é utilizado para adicionar, remover ou configurar as propriedades de um projeto através de interface gráfica ou através de instruções diretas no repositório. Com ele é possível associar privilégios para grupos de usuários do ambiente com três tipos de funções: Operator, Developer e DataStage Production Manager. • Usuários do grupo Operator podem executar jobs utilizando o componente DataStage Director, porém, não podem editá-los; • Usuários do grupo Developer tem acesso a todas as áreas de um projeto e podem criar, editar e excluir jobs; • Usuários do grupo Production Manager tem acesso a todas as áreas de um projeto e também pode criar e manipular projetos protegidos; Para efetuar logon no DataStage Administrator após a instalação, basta clicar no atalho se criado no desktop no momento da instalação do client ou pela opção de programas e informar usuário e senha. Quando selecionado o checkbox Omit, o DataStage tentará efetura o logon com o usuário logado na máquina.

9



IBM Software Group Informações Gerais

© IBM Corporation

A aba General contém as seguintes informações: Server:

• Version Versão do Produto. •NLS ( National Language Suporte) A instalação do NLS é opcional, podendo optar por ela no momento da instalação do DataStage Server. Ele é utilizado para você integrar o DataStage com aplicações de linguagens e formatos diferentes. • Inactivity timeout Tempo que o DataStage (sem a execução de nenhum comando) se torna inativo até que o usuário efetue um novo logon.

10



Projetos

IBM Software Group

© IBM Corporation

No DataStage, todos os processos de ETL são realizados e organizados por projetos. Os projetos são criados durante o processo de instalação ou adicionados e configurados pelo DataStage Administrator. Um projeto é associado a um diretório e o armazenamento é realizado no sistema de arquivos do ambiente operacional no qual o DataStage Server está instalado. Os projetos são auto-suficientes e podem importar e exportar objetos entre eles. Dentro deste diretório são inseridos os arquivos necessários para a execução mínima do mesmo. Existe um subdiretório no ambiente operacional reservado para armazenar esses dados. Exemplo:

Se o diretório C:\Ascential\DataStage\Projects foi escolhido para hospedar os projetos, existirão subdiretórios de acordo com cada projeto criado. O Administrator também possui uma interface que permite executar linhas de comandos diretamente no repositório. (Command)

11



Licenças

IBM Software Group

© IBM Corporation

Na aba Licensing é possível alterar e fazer atualizações referente às licenças do DataStage Server e Client. Ela possui as seguintes informações: License Details:

• Serial# Número de série do DataStage Server. • CPU Count Número de processadores disponíveis para licença. • Expiration Date Data de expiração da licença. Client License:

• Serial# Número de série do DataStage Client. • User Limit: Número de usuários que podem acessar o servidor simultaneamente com a determinada licença. • Expiration Date Data de expiração da licença.

12



IBM Software Group Propriedades do Projeto

© IBM Corporation

Para editar as propriedades de um projeto, deve-se selecionar o projeto desejado e clicar em Properties. Em seguida será exibida uma nova janela contendo todas as informações sobre o projeto. Essas informações estão divididas em abas. Nestas abas é configurar algumas funcionalidades como: • General Liberar algumas funcionalidades de administração de jobs no DataStage Director, habilitar a opção de Runtime Column Propagation, configurar exclusão de log dos jobs e criar/alterar variáveis de ambiente do projeto; • Permissions Configurar privilégios para os usuários dos grupos disponíveis; • Tracing Habilitar ou desabilitar a opção de Server side tracing que é utilizado para rastrear problemas no projeto; Obs: Esta opção deve ser utilizada somente para identificar graves problemas, pois ela pode gerar uma sobrecarga no servidor.

13



IBM Software Group Propriedades do Projeto

© IBM Corporation

Para editar as propriedades de um projeto, deve-se selecionar o projeto desejado e clicar em Properties. Em seguida será exibida uma nova janela contendo todas as informações sobre o projeto. Essas informações estão divididas em abas. Nestas abas é configurar algumas funcionalidades como: • Schedule Disponível somente para server instalado no Windows e é utilizado para definir o usuário e a senha que executarão jobs agendados no projeto; • Mainframe e Tunables Não são utilizadas para jobs Parallel e • Parallel Definir propriedades específicas de jobs Parallel, como a manipulação de mensagens de log e formato de data/hora; • Sequence Definir propriedades específicas de jobs Sequences como checkpoints;

14


DATASTAGE MANAGER

Visão Geral

IBM Software Group

© IBM Corporation

Para efetuar logon no DataStage Manager, Designer ou Directos após a instalação, basta clicar no atalho se criado no desktop no momento da instalação do client ou pela opção de programas, informar usuário/senha e escolher o projeto. Também existe uma opção dentro dos componentes citados acima que possibilita um chamar o outro. Tools >> Run Designer / Run Manager / Run Director. Qualquer objeto do repositório em um projeto pode ser exportado para um arquivo e importado para outro projeto DataStage na mesma versão ou superior. Este procedimento também é utilizado para a realização de backups de projetos. O DataStage Manager só está sendo mostrado neste curso por ser um módulo presente até a versão 7.5 do DataStage. A partir da versão 8.0 este componente não está mais disponível e suas funcionalidades foram transferidas para o componente DataStage Designer.

15


DATASTAGE MANAGER

Componentes IBM Software Group

© IBM Corporation

Abaixo uma breve descrição sobre os objetos listados no DataStage Manager: • Data Elements Lista os tipos de elementos de dados padrão disponíveis para serem utilizados em um job; • Jobs Lista os jobs existentes no projeto corrente; • Routines Lista as rotinas construídas pelos usuários e as rotinas já desenvolvidas (padrão); Obs: Rotinas são blocos de código em BASIC que podem ser executados dentro de um job (indicado somente para jobs server) ou apontamentos para programas desenvolvidos na linguagem C++ em caso de jobs Parallel.

16


DATASTAGE MANAGER

Componentes IBM Software Group

© IBM Corporation

Abaixo uma breve descrição sobre os objetos listados no DataStage Manager: •Stage Types Lista os estágios disponíveis para serem utilizados em um job, seja ele padrão ou desenvolvido pelo usuário; • Table definitions Lista as definições de tabelas disponíveis para serem utilizadas em um job. • Transforms Lista as transformações disponíveis para serem utilizadas em um job, seja ele padrão ou desenvolvido pelo usuário; Obs: É uma customização do retorno de uma rotina ou função do DataStage.

17


DATASTAGE MANAGER

IBM Software Group Exportando Componentes

© IBM Corporation

Se você deseja copiar/mover um projeto ou componentes deste projeto de um ambiente para outro (Desenvolvimento -> Homologação -> Produção), é possível utilizar a opção Export do DataStage Manager. Eles são armazenados em arquivos texto no formato específico que o DataStage entende ou xml e podem ser importados no ambiente quando desejado. É necessário selecionar os objetos a serem exportados. No botão Browse deve-se definir o nome e o local onde se deseja alocar o arquivo DSX ou XML na estação cliente. Na aba Options é possível escolher a expotação de jobs individuais ou categoria*. * Categoria – Pastas criadas para organização de jobs e objetos dentro do DataStage.

18


DATASTAGE MANAGER

IBM Software Group Importando Componentes

© IBM Corporation

Para importar qualquer objeto no DataStage Manager para um determinado projeto a partir de um arquivo, basta realizar o procedimento acima. Basta indicar o local e o nome do arquivo, se todos os objetos contidos no arquivo serão importados ou se deseja selecionar e em seguida clicar em OK . Se o arquivo a ser importado estiver no formato xml, basta ir na opção Import >> DataStage Components (XML)...

Se durante a importação o DataStage identificar que o determinado objeto já existe, ele irá exibir uma mensagem perguntando se deseja substituí-lo. Caso queira substituir todos os objetos sem nenhum questionamento, basta habilitar a opção Overwrite without query.

19


DATASTAGE MANAGER

IBM Software Group Importando Metadados

© IBM Corporation

No DataStage Manager é possível importar as definições de arquivos ou tabelas que serão utilizados no desenvolvimento dos jobs. Chamadas de Table Definitions, estas definições podem ser utilizadas quantas vezes forem necessárias no Job, para especificar os formatos de dados, ou seja, metadados. É interessante lembrar que esses metadados podem ser utilizados entre objetos de formatos diferentes (ODBC, Sequential File, Data Set, etc). Isto é possível considerando o fato que, ao importar definições de tabelas a partir de alguma origem de dados, as mesmas são armazenadas no repositório do DataStage.

20


DATASTAGE DESIGNER

Visão Geral

IBM Software Group

© IBM Corporation

O DataStage Designer é utilizado para modelagem de um fluxo ETL de dados através de uma visualização gráfica. Um fluxo de dados é criado através da inserção e edição das propriedades dos estágios e ligações com um o intuito de realizar o processamento necessário.

21


DATASTAGE DESIGNER

IBMdeSoftware Group Detalhes da Área Trabalho

© IBM Corporation

A área de trabalho do DataStage Designer é destinada ao desenvolvimento de jobs. Existem várias opções de customização desta área, como por exemplo: • Exibir/ocultar linhas de grade; • Exibir/ocultar linhas de impressão; • Disposição dos estágios (liberdade de mover os estágios para o lugar que desejar facilitando assim uma melhor organização dos mesmos); • Barra de Ferramentas e Barra de Estágios móvel.

22


DATASTAGE DESIGNER

IBM Software Group Barra de Ferramentas

Botão

Descrição

New

Cria um novo Job

Open

Abre um Job existente

Save Job

Grava as informações do Job

Job Properties

Abre a janela de propriedades do Job

Compile

Compila o Job

Zoom Out e Zoom In

Altera a visualização

GridLines

Oculta/exibe linhas de grade

Snap to Grid

Alinha os objetos de acordo com a grade © IBM Corporation

A barra de Ferramentas (como na maioria dos softwares para sistema operacional Microsoft Windows) mantém certo padrão de aplicações conhecidas, como editores de texto e planilhas.

23


DATASTAGE DESIGNER

Software Group Repositório de IBM Objetos

© IBM Corporation

Assim como no DataStage Manager é possível visualizar os objetos existentes no repositório. Também é possível importar table definitions e criar outros componentes como no Manager. Para customizar o que deve ser exibido, basta clicar com o botão direito sobre Repository.

24


DATASTAGE DESIGNER

Software Group Paleta ou BarraIBM de Estágios

© IBM Corporation

Na barra de estágios encontram-se todos os estágios disponíveis de acordo com a instalação do DataStage Server. É possível customizá-la, exibindo ou ocultando estágios para uma melhor visualização. Para isto, basta selecionar o menu superior View e em seguida Customize Palette.

25


DATASTAGE DESIGNER

IBM Propriedades do JobSoftware - Geral Group

© IBM Corporation

A sugestão para criação de nomes de jobs é voltada para sua função específica. O nome deve se aproximar de seu objetivo e os campos Description encontrados nas propriedades de cada job proporcionam a oportunidade de documentar mais detalhadamente seu objetivo. Na aba General existem campos que possibilitam ainda a execução de sub-rotinas antes e/ou depois da execução dos jobs.

26


DATASTAGE DESIGNER

IBM Group Propriedades do JobSoftware - Parâmetros

© IBM Corporation

Nas Propriedades do Job na aba Parameters é possível criar parâmetros a serem utilizados em um job. Os parâmetros podem ser utilizados em diversos estágios como Transformer, Sequential File, ODBC, Data Set e outros mais. Eles são utilizados para indicar diretório de arquivos, usuário e senha de um determinado banco de dados, argumentos para rotinas e várias outras funcionalidades. Para adicionar um parâmetro definido nas propriedades do job em um estágio, você deve especificá-lo no campo onde deseja utilizar da seguinte forma: #param# - onde param é o nome do parâmetro criado. Também é possível adicionar variáveis de ambiente criadas no DataStage Administrator para o projeto corrente clicando em Add Environment Variable. Nota: Ao executar um View Data em um estágio ou executar um job onde o mesmo possui algum

parâmetro, aparecerá uma janela para confirmação, e caso ele não tenha sido criado com um valor default, o valor deverá ser inserido.

27


DATASTAGE DESIGNER

Tipos de Jobs IBM Software Group

© IBM Corporation

O DataStage possui os seguintes tipos de jobs: • Job Parallel (Foco do Treinamento) Executado sobre o controle do DataStage Server. Construído com funcionalidades de paralelismo pipeline e particionado. Compilado em OSH (Orchestrate Scripting Language) que utiliza operadores/instâncias de classes C++. Sua execução é monitorada pelo Director. • Job Sequence Job utilizado para automatizar (Batch) e controlar a execução de jobs server, parallel e outro objetos do DataStage. A sua execução pode ser realizada e monitorada pelo Director. • Job Mainframe A partir do job criado, é gerado um código COBOL, sendo que este job é compilado, executado e monitorado no Mainframe, ou seja, fora do DataStage. • Job Server Executado pelo DataStage Server e compilado em código Basic. Nota: A disponibilidade para criação dos tipos de jobs acima, depende de licença.

28


DATASTAGE DESIGNER

IBM Software Passos para Criação de um Group Job •

•

Importar os metadados (table definitions) da(s) origen(s) e destino(s); – Este procedimento pode ser reaiizado no Manager ou no próprio Designer. Inserir os estágios necessários para extração, carga e transformação dos dados;

•

Criar os links entre os estágios necessários para definir o fluxo da(s) origen(s) para o(s) destino(s);

•

Salvar e compilar o job;

•

Executar e monitorar a execução do job; –

Pode ser executado pelo Designer ou Director, mas a visualização de log somente está disponível no Director. © IBM Corporation

29


DATASTAGE DIRECTOR

Visão Geral

IBM Software Group

© IBM Corporation

O DataStage Director permite a validação, execução e monitoramento de jobs compilados pelo DataStage Designer. Com o Director é possível visualizar o status do Job quanto a sua compilação, validação e execução. Também é possível visualizar o log detalhado de execução de cada Job, facilitando assim a identificação de erros.

30


DATASTAGE DIRECTOR

IBM Software Group Modos de Visualização Existem três modos de visualização no DataStage Director:

• Status - Monitora o status dos Jobs • Schedule - Visualização dos Jobs agendados • Log - Monitora a execução passo a passo de cada Job Schedule

Status

Log © IBM Corporation

31


DATASTAGE DIRECTOR

IBM Software Visualizando Status dos JobsGroup

© IBM Corporation

O Director possui uma janela chamada Status, onde é possível visualizar e monitorar o status e a execução de cada Job. Abaixo estão todos os tipos de status dos Jobs e uma breve descrição sobre cada um: • Compiled O job foi compilado mas ainda não foi validado. • Not compiled O job está em desenvolvimento, mas não foi compilado ou a compilação não obteve sucesso. • Running O job corrente está em execução. • Finished O job foi executado com sucesso. • Finished (See Log) O job foi executado, mas houve restrições (warnings). • Stopped O operador interrompeu a execução do job. • Aborted Algum erro faltal foi detectado e o job foi finalizado. • Validate OK O job foi validado sem erros.

32


DATASTAGE DIRECTOR

Executando umIBM JobSoftware Group

© IBM Corporation

Como mencionado no tópico DataStage Designer >> Propriedades do Job Parâmetros, ao executar um job que possua parâmetros, os mesmos serão exibidos e podem sofer alteração no momento da execução. Ao executar um job parallel é possível especificar um ponto de parada de acordo com o número de warnings.

33


DATASTAGE DIRECTOR

IBMeSoftware Group Janelas Schedule Log

Schedule

Log

© IBM Corporation

Na janela de log é possível visualizar: • Eventos de controle (Inicializando, finalizado, abortado etc.); • Mensagens informativas; • Mensagens de advertência; • Mensagens de erro fatal; • Mensagens geradas pelo programa.

34


DATASTAGE DIRECTOR

IBM Software Group Janela Event Detail

© IBM Corporation

Depois que o job é executado, no modo de visualização Log é possível obter detalhes sobre cada evento clicando duas vezes sobre a linha desejada. Ao realizar este procedimento, será exibida a janela Event Detail contendo maiores informações sobre o evento desejado.

35

Treinamento DataStage Enterprise Edition - Basico - Modulo 01 v8

Recommend Documents