Semana Acadêmica de Ciência da Computação –PUC-PR – 2011
Olá pessoal!
Tive o prazer de ser convidado pelo Nikolas (@nikolasmoya) para dar uma palestra na semana acadêmica de Ciência da Computatação da Pontifícia Universidade Católica do Paraná.
O evento ocorreu ao longo da semana passada e a minha palestra foi na segunda-feira (25/07). Particularmente para mim foi muito bacana pois pude retornar a universidade na qual me formei (em ciência da computação!) e onde fiz meu mestrado em informática também!
O tema foi sobre Business Intelligence. Hoje nas corporações é um tema muito relevante e recorrente, maso meu desafio foi como tratar do assunto quando estamos falando com estudantes (e de noite, quando já estão cansados)?
Procurei fazer algo um pouco mais descontraído e acho que o resultado foi bem bacana.
Segue a apresentação e os links que coloquei como referência nos slides:
− Centros de Treinamento TechNet/MSDN
http://technet.microsoft.com/pt-br/treinamento
− TechEd - www.techedbrasil.com.br
Abraços e espero os próximos anos!
Lembrando que ao longo dessa semana temos a semana de SQL Server (http://bit.ly/kQY8Zl) e hoje a noite palestro sobre BISM e a nova versão do PowerPivot (self-service BI)!
[]s
Thiago Zavaschi
Como saber quem está conectado no meu servidor do Analysis Services?
Olá pessoal!
Recebi essa dúvida no meu e-mail e por ser pertinente estou fazendo esse post.
“Como saber quem está conectado no meu servidor do Analysis Services?”
A resposta é simples: existem DMVs no SSAS (!!!) que podem retornar informações sobre recursos, objetos e desempenho. As DMVs em geral são utilizadas no database engine, mas existem no servidor de análise também.
Mais diretamente, para saber quem está conectado no meu servidor SSAS basta executar:
SELECT * FROM $system.DISCOVER_CONNECTIONS
A DMV similar a procedure sp_who2 para o Analysis Services é a seguinte:
SELECT * FROM $system.DISCOVER_Commands
Para obter uma listagem de todas as DMVs que podem receber consultas, utilize:
SELECT * FROM $system.dbschema_tables
WHERE Table_Schema = '$SYSTEM'
Como referência posso citar o livro: Microsoft SQL Server Analysis Services Unleashed, capítulo 41: Resource Monitoring.
Abraços e até o próximo post!
PowerPivot – DAX – Entendendo o contexto de execução
Olá a todos!
Hoje continuo com o tema DAX.
Introdução ao Contexto de Execução
Antes de entrar nas especificidades de cada função, conforme anunciei no meu último post que o faria, é importante frisar que o resultado obtido é sempre baseado no contexto atual. O contexto pode vir da tabela que você está trabalhando (novas colunas ao modelo) ou ao conjunto tratado pela measure.
E o que pode afetar/criar esse contexto?
Basicamente o contexto vem dos filtros aplicados (filtros nas funções ou slicers). Isso afeta o resultado esperado, por exemplo ao utilizar um slicer (segmentador de dados) temos uma redução de contexto.
Quando estamos trabalhando com valores relativos, por exemplo, considere o seguinte conjunto de dados e a seguinte DAX:
=SUM(Tabela[Categoria])
Temos um resultado semelhante a:
Neste momento estamos trabalhando com o conjunto total dos dados, mas ao marcar um slicer, por exemplo “Rock”, temos o filtro sobre o conjunto usado:
Ok, Thiago até aí ok, mas em que cenários que devo me atentar quanto a isso? Por exemplo, e se você possuir uma expressão DAX para calcular uma média, onde o denominador seja o somatório total das vendas ?
Algo como:
Vendas / Todas as vendas independente de categoria ?
Você poderia pensar em algo como =SUM(Tabela[Categoria])/SUM(Tabela[Categoria]), e manter a divisao por categorias, mas a conta não faria sentido, pois tanto o numerador quanto o denominador resultariam em um valor flutuante de acordo com o contexto.
Como resolver então?
Existem três funções que podem ajudar que são: CALCULATE(), ALL() e ALLExcept().
O CALCULATE serve para manipular o contexto, e o ALL e ALLExcept servem para retornar regiões dos dados de forma invariável ao contexto dos slicers (ALL) e podendo ter excessões (ALLExcept).
Na prática ficaria algo como:
=SUM(Tabela[Valor])/CALCULATE(SUM(Tabela[Valor]),ALL(Tabela))
Assim, mesmo aplicando um slicer, o resultado da medida (measure) para aquela categoria é baseado no valor total(denominador) e não mais no contexto dos slicers, veja:
Por hoje é só pessoal! :)
Este artigo é parte de uma série de artigos sobre PowerPivot e DAX. Confira os outros artigos sobre PowerPivot no link: http://zavaschi.com/index.php/tag/powerpivot/
Abraços!
Thiago Zavaschi
PowerPivot – DAX – Time Intelligence Functions
Olá pessoal beleza? Estou tentando retomar o ritmo dos posts!
Se vocês analisarem a sequência de posts sobre Business Intelligence (http://zavaschi.com/index.php/business-intelligence/) vocês vão perceber que estou dando um foco grande em DAX. O motivo é claro: com a chegada do SQL Server 11 (Denali) também chega um novo modelo para as bases multidimensionais do Analysis Services conhecido como BISM (BI Semantic Model).
Através do Visual Studio 2010 será possível criar modelos do BISM (da mesma forma que criamos os modelos do PowerPivot dentro do Excel) e fazer o deploy para o servidor do SSAS.
Uma das grandes diferenças é que a manipulação do modelo BISM será feita usando DAX (e não MDX), sim a mesma DAX que temos hoje no PowerPivot Excel, acrescida de uma série de novas funções e capacidades.
Temos 35 funções nesta categoria na versão atual, é possível que esse número aumente quando possuirmos os modelos BISM (e podemos subdividir em 3 sub categorias):
-
Funções que retornam uma data
-
Funções que retornam uma tabela de datas
-
Funções que resolvem uma expressão sobre um período de tempo
|
FIRSTDATE |
LASTDATE |
FIRSTNONBLANK |
LASTNONBLANK |
|
STARTOFMONTH |
STARTOFQUARTER |
STARTOFYEAR |
ENDOFMONTH |
|
ENDOFQUARTER |
ENDOFYEAR |
PREVIOUSDAY |
PREVIOUSMONTH |
|
PREVIOUSQUARTER |
PREVIOUSYEAR |
NEXTDAY |
NEXTMONTH |
|
NEXTQUARTER |
NEXTYEAR |
DATESMTD |
DATESQTD |
|
SAMEPERIODLASTYEAR |
DATEADD |
DATESBETWEEN |
DATESINPERIOD |
|
PARALLELPERIOD |
DATESYTD |
TOTALQTD |
TOTALYTD |
|
TOTALMTD |
OPENINGBALANCE |
OPENINGBALANCE |
OPENINGBALANCE |
|
CLOSINGBALANCE |
CLOSINGBALANCE |
CLOSINGBALANCE |
Os próximos posts sobre DAX serão sobre cada um destes 3 grupos!
Este artigo é parte de uma série de artigos sobre PowerPivot e DAX. Confira os outros artigos sobre PowerPivot no link: http://zavaschi.com/index.php/tag/powerpivot/
Abraços,
Thiago Zavaschi
SQL Server Analysis Services sobre HTTP/HTTPs
Olá pessoal,
Quando pensamos no SSAS, lembramos que o único modo de autenticação que temos é através de Windows Authentication. Não há algo como o Mixed mode do SQL Server.
Mas os clientes que vão consumir os dados do nosso servidor de análise nem sempre está no mesmo domínio que nós. Então como proceder?
É possível sim (SSAS enterprise only) fazer essa conexão externa através de um pump. Ou seja, você cria uma passagem no seu IIS para o seu servidor de análise.
Primeiramente ative seu IIS no seu servidor. (Aqui estou utilizando o IIS7, os passos para o IIS 6 podem ser observados de uma maneira geral neste post, em inglês: Configuring SSAS over HTTP, apesar de falar do SQL Server 2000, os passos são parecidos).
Crie um site no IIS. Dentro deste site crie um diretório virtual e mapeie para um diretório físico. No meu caso nomeei o diretório como “olap” e mapeei para “C:\inetpub\wwwroot\olap”.
Mesmo que seja usado HTTP (sem SSL) na porta 80, libere no firewall a porta 80 e a porta 2725, para que o Office consiga fazer o acesso ao servidor de análise.
Copie para a pasta mapeada (C:\inetpub\wwwroot\olap) todos os arquivos do diretório: C:\<local da instalacao do SQL Server>\MSAS10_50.<instancia>\OLAP\bin\isapi.
No meu caso o diretório é:
C:\Program Files\Microsoft SQL Server\MSAS10_50.MSSQLSERVER\OLAP\bin\isapi.
O diretório mapeado fica semelhante ao mostrado abaixo:
Após isso vá no gerenciador do IIS, clique no diretório virtual que você criou e depois clique em Mapeamentos de Manipulador (Handler Mapping) e depois clique em “Adicionar Mapeamento de Script” (Add Map Script).
Dê um nome para o mapeamento (no meu caso usei olap mesmo) e mapeie para a dll chamada msmdpump.dll que você copiou do diretório do SQL Server.
O último detalhe agora é se o ISS não estiver no mesmo servidor do SSAS. Se este for o cenário você deve acertar o arquivo (com o notepad mesmo) msmdpump.ini que está no diretório mapeado para o diretório virtual. O pedaço que você deve ajustar é o <ServerName>. Se for no mesmo servidor, deixe localhost.
<ConfigurationSettings>
<ServerName>localhost</ServerName>
<SessionTimeout>3600</SessionTimeout>
<ConnectionPoolSize>100</ConnectionPoolSize>
</ConfigurationSettings>
Pronto!
Agora você pode usar como servidor para a conexão o seguinte endereço:
http://<servername/ip>/olap/msmdpump.dll.
Lembrando que você deve passar as credenciais, e estas devem estar no domínio do SSAS. O usuário e senha ficaria algo como:
<domínio>\usuario (com a barra mesmo), e a senha normal do usuário.
Este usuário vai ter as permissões normais definidas nas roles da base do SSAS que você estará fazendo o acesso.
É isso, espero que tenham gostado. :-)
Abraços,
Thiago Zavaschi
TechEd Brasil 2010 – Eu estarei lá, e você?
![botton_c_180x180[1]](http://zavaschi.com/wp-content/uploads/2010/07/botton_c_180x1801.png "botton_c_180x180[1]")
Então pessoal, quem acompanha o blog há algum tempo deve ter visto os posts (dia 1, dia 2 e 3) que fiz (blog antigo) ano passado sobre o TechEd Brasil 2009.
O TechEd Brasil é o maior evento tecnológico da Microsoft da América Latina!! Corresponde a 3 dias de palestras de altíssimo nível, tanto para desenvolvedores quanto para IT pros.
Ano passado fui somente para assistir as palestras e reforçar o meu network pessoal (experiência fantástica!).
Este ano estou MUITO feliz em anunciar que fui convidado para palestrar (sim!) neste evento fantástico. Sei que a responsabilidade é grande e farei por merecer o meu convite!
O evento é dividido em tracks, eu farei duas palestras na track de Business Intelligence. Os temas/níveis serão:
Sessão: BI401
Nível: 400
Título: PowerPivot Avançado: Modelagem, formulas e DAX
Descritivo: DAX (Data Analysis Expressions) é uma nova linguagem para os usuários finais adicionar lógica de negócios aos aplicativos PowerPivot. DAX é uma linguagem poderosa e flexível, que mantém a simplicidade e familiaridade do Excel. Esta sessão explica os conceitos básicos e os conceitos por trás da DAX e demonstra como adicionar lógica de negócios em PowerPivot usando colunas calculadas e medidas. Esta sessão também apresenta várias categorias de funções DAX - funções escalares, tabelas, agregações - mas não se destina a ser uma visão abrangente.
Sessão: BI307
Nível: 300
Título: Arquitetura e preparação de infraestrutura de PowerPivot no Excel e Sharepoint
Agradeço novamente a comissão organizadora do TechEd 2010, valeu!!
Você não vai perder, vai?! Nos vemos em setembro!
Abraços,
Thiago Zavaschi
PowerPivot – DAX – Tipos de Funções DAX
Olá!
Comecei a falar das DAX e esqueci de mencionar algumas coisas importantes.
Primeiramente: é possível usar diversas fórmulas do Excel dentro do PowerPivot (eu disse diversas, isso não significa todas).
E segundo: Há funcões que só existem dentro do PowerPivot, que facilitam (e muito) a nossa vida para extrair as informações.
As funções disponíveis podem ser divididas nas seguintes categorias (fonte):
|
Date and time |
=WEEKDAY([OrderDate],1) |
Retorna o número do dia na semana. Onde 1 é domingo e 7 é sábado. |
|
Filter and value |
=FILTER(ProductSubcategory, |
Returna um subconjunto de uma tabela baseada numa expressão de filtro. |
|
Information |
=IsNumber([OrderQuantity]) |
Retorna TRUE se o valor é numérico e FALSE se não. |
|
Logical |
=IF([OrderQuantity]<10,"low", |
Retorna o valor do segundo argumento se o valor do primeiro argumento for verdade. Caso contrário retorna o valor do terceiro argumento. |
|
Math and trig |
=ROUND([SalesAmount] * |
Retorna o valor do primeiro elemento arredondado pro número de dígitos do segundo elemento. |
|
Statistical |
=AVERAGEX(ResellerSales, |
Resolve a expressão do segundo argumento para cada linha da tabela no primenro argumento e então calcula a média aritmética. |
|
Text |
=CONCATENATE([FirstName], |
Retorna uma string da junção de dois itens em texto. |
|
Time Intelligence |
=DATEADD([OrderDate],10,day) |
Retorna uma tabela de datas obtidas pela adição de dias (ou outro tipo especificado no terceiro parâmetro)especificados no segundo argumento na data passada no primeiro parâmetro. |
Meu objetivo é abordar cada grupo e mostrar algumas peculiaridades e como funcionam.
E na sequência postar alguns problemas comuns que vocês terão que resolver (e eu também) usando DAX.
Este artigo é parte de uma série de artigos sobre PowerPivot e DAX. Confira os outros artigos sobre PowerPivot no link: http://zavaschi.com/index.php/tag/powerpivot/
Abraços,
Thiago Zavaschi
PowerPivot – DAX – Time Intelligent Functions – Golden Rules
Olá!
Estou desenvolvendo um trabalho de BI para um cliente baseado no Powerpivot. Esta solução vai fazer uso intensivo de datas.
Existem algumas “regras de ouro” (“Golden Rules”) quando se está trabalhando com datas no PowerPivot.
São elas (fonte: Kasper de Jonge, para variar, hehe, o cara é fera!):
- Nunca usar a coluna datetime da tabela fato nas funções de tempo.
- Sempre criar uma tabela Tempo (dimensão de tempo) separada.
- Crie relacionamentos entre as tabelas fato e a tabela de tempo.
- Tenha certeza de que os relacionamentos são baseados na coluna datetime (e não em outra chave artificial).
- A coluna datetime na tabela tempo deve estar na granularidade de dia (sem frações dentro do mesmo dia).
Nos próximos posts veremos melhor estes processos.
Este artigo é parte de uma série de artigos sobre PowerPivot e DAX. Confira os outros artigos sobre PowerPivot no link: http://zavaschi.com/index.php/tag/powerpivot/
Abraços,
Thiago Zavaschi
PowerPivot – DAX – Função DATE
Olá pessoal,
Temos disponíveis entre as DAX uma série de funções para análise de tempo e datas (também conhecidas como time intelligent functions, que abordarei aos poucos).
Hoje venho relatar a função DATE e as suas peculiaridades (ao menos nesta versão do PowerPivot, também conhecida como v1), mais informações podem ser vistas no FAQ: http://powerpivotfaq.com).
A primeira função que devemos nos atentar é a função DATE. O seu objetivo é simples: retornar em formato de data sobre os inteiros passados como parâmetros.
Sintaxe: DATE(ano, mês, dia).
Exemplo 1: Retornando uma data simples.
=DATE(2010, 06, 17).
O retorno será dia 17, mês junho, ano 2010. Simples não? Lembrando que os parâmetros podem vir de resultados de outras expressões DAX (por exemplo de outra coluna). Veja abaixo:
Exemplo 2:
Apesar de simples, devemos nos atentar para pequenos detalhes que podem nos levar a problemas nas nossas manipulações de datas.
O que você acha que retorna a seguinte expressão DAX: =DATE(08, 06, 01)?
Se voc6e respondeu dia 01 de junho de 2008 errou! Na realidade representa 01/06/1908! Pois anos até 1899 são somados ao valor 1900. 1900 + 08 = 1908, entendeu?
Se desejar 2008, é necessário que o valor passado seja 2008. Mas como resolver isto se a minha coluna veio importada de uma fonte que trata 08 como 2008? Simples: Crie uma coluna computada que tranforme de 08 para 2008.
A imagem abaixo demonstra a questão do valor menor que 1900 receba uma soma de 1900 para o cálculo do ano. Anos de 1900 para cima não recebem o acréscimo.
Atente que 1789 foi para o ano 3689, e 1900/1995 permaneceram os mesmos.
Exemplo 3: Manipulando os dias (e meses).
O terceiro parâmetro é a referência ao dia.
Atenção pois há peculiaridades também: Se informar um valor de dia maior que o que o mês pode comportar (dia 31 para o mês de fevereiro, ou passar o valor 45 como dia), esse valor será somado.
Por exemplo: se informar 45 em um mês que deveria ter 30 dias apenas, será somado mais 15 dias e cairá na metade do mês seguinte.
De maneira similar, se informar uma data negativa será decrescido o valor informado.
Veja a imagem abaixo com alguns exemplos.
PS: O mesmo comportamento é aplicado ao parâmetro com o número do mês informado.
Bom pessoal era isso o que eu queria mostrar hoje. É mais para vocês não subestimarem as funções simples, pois se não conhecermos os detalhes teremos resultados muitas vezes inesperados e difíceis de rastrear.
Este artigo é parte de uma série de artigos sobre PowerPivot e DAX. Confira os outros artigos sobre PowerPivot no link: http://zavaschi.com/index.php/tag/powerpivot/
Abraços,
Thiago Zavaschi
PowerPivot – Data Analysis Expressions DAX – Intro
Então pessoal. :)
Creio que muitos que acompanham as evoluções do PowerPivot já devem ter se deparado com o seguinte pensamento: falta material sobre DAX em português e as referências externas (em inglês ao menos) são sempre de blogs de especialistas (Rob Collie, Kasper de Jonge, Vidas Matelis).
A minha proposta é seguir na mesma linha (já que meu principal canal de difusão de informação é este blog mesmo) e fornecer um pouco de conteúdo sobre DAX, mas em português. Já fiz alguns posts de introdução ao PowerPivot, então creio que valha a pena explorar num nível técnico mais profundo. Claro que se sugirem dúvidas podem perguntar :).
DAX é a abreviação para Data Analysis Expressions. É uma “evolução” da liguagem de fórmulas do Excel e só funcionará par a manipulação da base do PowerPivot dentro do seu workbook.
As DAX são importantes pois: devido a semelhança com a (já conhecida) linguagem de fórmulas do Excel e também por possibilitarem uma flexibilidade na análise dos dados. A capacidade de escrever as DAX e elas serem sensíveis aos slicers do Excel 2010 gera um ganho muito grande de capacidade de análise.
Agora vamos por a mão na massa. Neste artigo apresento uma introdução dos dois tipos de expressões DAX que podem ser criadas. Nos próximos artigs vou assumir que os concents apresentados aqui já estão assimilados.
Temos dois lugares onde podemos utilizar as DAX:
1) Através de novas colunas associadas a uma determinada tabela importada no PowerPivot, conhecidas como “calculated columns”. O resultado desta expressão DAX é armazenado juntamente aos seus dados. O uso deste tipo de DAX (em geral) não deve acarretar problemas de performance.
Há algumas experiências (do pessoal que citei no início do post principalmente) que relatam que a taxa de compressão adquirida pelo VertiPaq atravém de colunas importadas é maior que sobre as colunas calculadas. Não fiz um teste com uma massa grande ainda, mas o que eles querem dizer é que: nos casos em que o cálculo pode vir já feito no momento da importação a compressão (sobre o tamanho final do workbook) possui maiores ganhos. A seguir um exemplo da criação de uma coluna utilizando DAX ou trazendo da fonte de dados diretamente. Há outras utilizadades para colunas computadas que veremos ao longo do artigo e em artigos futuros.
Por exemplo:
Usar a expressão DAX como coluna computada: =Tabela[coluna1] * Tabela[coluna2].
É equivalente a importar (do SQL Server por exemplo) com uma coluna computada na query:
SELECT *, coluna1 * coluna2 FROM Tabela
2) Através de DAX Measures (medidas) que são calculadas tendo como base uma tabela ou uma coluna. Este cálculo será executado para cada célula que o contiver. Então atenção quando utilizá-las!
Uma DAX Measure é basicamente uma fórmula DAX (estilo a usada para a criação de uma coluna) associada a um nome (e a uma tabela).
Um aspecto positivo das DAX Measures é que elas operam sobre o conjunto atual da PivotTable. A cada intereçaão dos slicers temos o recálculo dos valores das measures e com isso temos a atualização dos valores mostrados nos gráficos e tabelas.
Por exemplo:
Vou criar uma DAX measure para o exemplo mostrado na figura anterior que fará a soma dos elementos da coluna nomeada “Valor”.
Ficar complicado (por ter muitos elementos) eu usar a coluna Valor como fonte do slicer (ver figura abaixo). Então o que fazer nestes casos?
Conforme vimos no tópico anterior, é possível criar colunas através de expressões DAX. uma saida então é criar uma nova coluna que agrupe os valores. (isso não é um case, os exemplos são apenas para fins didáticos, por isso são simples).
Vou criar uma coluna que categorize os elementos da coluna valor quando são menores que 10, entre 10 e 20, e maiores que 20. Em exemplos futuros abordaremos melhor esta estratégia de categorização.
Notas sobre a sintaxe da DAX:
* Estou usando o operador IF, que apesar de simples é extremamente importante para se obter os resultados desejados.
* O operador de concatenação de strings é o &.
* Para me referir a uma tabela eu simplesmente digo o nome da mesma, para me referenciar a uma coluna utiliza-se: NomeTabela[NomeColuna].
* Operadores MAX e MIN (perceba que não são os novos MAXX e MINX, estes veremos em artigos futuros) calculam os valeres máximos e mínimos das colunas passadas como parâmetro a eles).
* Aninhei um segundo IF no parâmetro “else” do primeiro.
A expressão resultante é a seguinte (também pode ser observada na figura abaixo):
=IF(Tabela[Valor] < 10, MIN(Tabela[Valor]) & " |- 10", IF(Tabela[Valor] <= 20, "10 |- 20", "20 |- " & MAX(Tabela[Valor])))
Usar essa nova coluna (GrupoValor) como um slicer tornou a coisa bem mais interessante, não? :)
Agora seleciono a PivotTable e vou em “New Measure” lá na ribbon. E crio a seguinte expressão DAX (perceba que também aparece na PowerPivot Field List com um pequeno ícone ao lado):
=SUM(Tabela[Valor])
Adicione esta measure como valor na PivotTable e adicione a coluna GrupoValor como um slicer. Pronto! Selecione os slicers e veja que o valor total é alterado de acordo com o que foi marcado! :)
Aguardem novos posts sobre DAX em um futuro (espero que) não muito distante!
Este artigo é parte de uma série de artigos sobre PowerPivot e DAX. Confira os outros artigos sobre PowerPivot no link: http://zavaschi.com/index.php/tag/powerpivot/
Abraços,
Thiago Zavaschi