1)Create Table ---------------------------------------------------
CREATE TABLE NomeTabela
(campo_1 INT IDENTITY not null,
campo_2 VARCHAR(20) not null,
campo_3 DECIMAL(10,2) not null)
2)Insert ---------------------------------------------------------
INSERT NomeTabela
VALUES('conteudo_alfa',conteudo_num) --> ('Pedro',15000)
INSERT INTO NomeTabela
SELECT cnpj,empresa,segmento,cnpj_corpo
FROM PN_Empresa_Filial
WHERE matriz = 'nao'
3)Delete --------------------------------------------------------
Delete from NomeTabela
WHERE condição
4)Into ----------------------------------------------------------
INSERT INTO TabelaDestino *
FROM TabelaOrigem
5) Between ------------------------------------------------------
UPDATE NomeTabela
SET campo = 'alteraçao'
WHERE campo BETWEEN '01000000' AND '19999999'
domingo, 25 de julho de 2010
Data Mining
Detectar tendências e comportamentos obscuros aos olhos do analista de negócios.
Conheça esta técnica de visualização de dados.
Por Fernando Vieira Coutinho, especialmente para o DwBrasil
Atualmente, muitas revistas de informática e de negócios têm publicado artigos sobre Data Mining. Contudo, há poucos anos atrás, muito pouca gente tinha ouvido falar a respeito. Apesar dessa tecnologia ter uma longa evolução de sua história, o termo como conhecemos hoje só foi introduzido recentemente, nos anos 90.
DataMining (ou mineração de dados) é o processo de extrair informação válida, previamente desconhecida e de máxima abrangência a partir de grandes bases de dados, usando-as para efetuar decisões cruciais. O DMvai muito além da simples consulta a um banco de dados, no sentido de que permite aos usuários explorar e inferir informação útil a partir dos dados, descobrindo relacionamentos escondidos no banco de dados. Pode ser considerada uma forma de descobrimento de conhecimento em bancos de dados (KDD - Knowledge Discovery in Databases), área de pesquisa de bastante evidência no momento, envolvendo Inteligência Artificial e Banco de Dados.
Algumas vezes, projetos que começam como data warehouses se transformam em data marts. Quando as organizações acumulam grandes volumes de dados históricos para suporte à decisão que se mostram pouco ou nunca utilizados, elas podem reduzir o armazenamento ou arquivamento de informação e contrair o seu data warehouse em um data mart mais focado. Ou elas podem dividir o warehouse em vários data marts, oferecendo tempos de resposta mais rápido, acesso mais fácil e menos complexidade para os usuários finais.
Veja em que se baseia.
1.1) A estatística
O Data Mining descende fundamentalmente de 3 linhagens. A mais antiga delas é a estatística clássica. Sem a estatística não seria possível termos o DM, visto que a mesma é a base da maioria das tecnologias a partir das quais o DM é construído. A Estatística Clássica envolve conceitos como distribuição normal, variância, análise de regressão, desvio simples, análise de conjuntos, análises de discriminantes e intervalos de confiança, todos usados para estudar dados e os relacionamentos entre eles. Esses são as pedras fundamentais onde as mais avançadas análises estatísticas se apóiam. E sem dúvida, no coração das atuais ferramentas e técnicas de DM, a análise estatística clássica desempenha um papel fundamental.
1.2) Inteligência Artificial
A segunda linhagem do DM é a Inteligência Artificial, ou IA. Essa disciplina, que é construída a partir dos fundamentos da heurística, em oposto à estatística, tenta imitar a maneira como o homem pensa na resolução dos problemas estatísticos. Em função desse “approach”, ela requer um impressionante poder de processamento, que era impraticável até os anos 80, quando os computadores começaram a oferecer um bom poder de processamento a preços mais acessíveis. A IA desenvolveu algumas aplicações para o alto escalão do governo/cientistas americanos, sendo que os altos preços não permitiram que ela ficasse ao alcance de todos. As notáveis exceções foram certamente alguns conceitos de IA adotados por alguns produtos de ponta, como módulos de otimização de consultas para SGBDs.
1.3) Machine Learning
E a terceira e última linhagem do DM é a chamada machine learning, que pode ser melhor descrita como o casamento entre a estatística e a IA. Enquanto a IA não se transformava em sucesso comercial, suas técnicas foram sendo largamente cooptadas pela machine learning, que foi capaz de se valer das sempre crescentes taxas de preço/performance oferecidas pelos computadores nos anos 80 e 90, conseguindo mais e mais aplicações devido às suas combinações entre heurística e análise estatística.A machine learning tenta fazer com que os programas de computador “aprendam” com os dados que eles estudam, tal que esses programas tomem decisões diferentes baseadas nas características dos dados estudados, usando a estatística para os conceitos fundamentais, e adicionando mais heurística avançada da IA e algoritmos para alcançar os seus objetivos.
De muitas formas, o DM é fundamentalmente a adaptação das técnicas da Machine Learning para as aplicações de negócios. Desse modo, podemos descreve-lo como a união dos históricos e dos recentes desenvolvimentos em estatística, em IA e Machine Learning. Essas técnicas são usadas juntas para estudar os dados e achar tendências e padrões nos mesmos. Hoje, o DM tem experimentado uma crescente aceitação nas ciências e nos negócios que precisam analisar grandes volumes de dados e achar tendências que eles não poderiam achar de outra forma.
2 – Um resumo das principais técnicas de Data Mining
Existem inúmeras ramificações de Data Mining, sendo algumas delas:
• REDES NEURAIS
• INDUÇÃO DE REGRAS
• ÁRVORES DE DECISÃO
• ANÁLISES DE SÉRIES TEMPORAIS
• VISUALIZAÇÃO
Visão geral das tecnologias de Data Mining (DM)
O DM é um campo que compreende atualmente muitas ramificações importantes. Cada tipo de tecnologia tem suas próprias vantagens e desvantagens, do mesmo modo que nenhuma ferramenta consegue atender todas as necessidades em todas as aplicações.
Detectar tendências e comportamentos obscuros aos olhos do analista de negócios.
Conheça esta técnica de visualização de dados.
Por Fernando Vieira Coutinho, especialmente para o DwBrasil
Atualmente, muitas revistas de informática e de negócios têm publicado artigos sobre Data Mining. Contudo, há poucos anos atrás, muito pouca gente tinha ouvido falar a respeito. Apesar dessa tecnologia ter uma longa evolução de sua história, o termo como conhecemos hoje só foi introduzido recentemente, nos anos 90.
DataMining (ou mineração de dados) é o processo de extrair informação válida, previamente desconhecida e de máxima abrangência a partir de grandes bases de dados, usando-as para efetuar decisões cruciais. O DMvai muito além da simples consulta a um banco de dados, no sentido de que permite aos usuários explorar e inferir informação útil a partir dos dados, descobrindo relacionamentos escondidos no banco de dados. Pode ser considerada uma forma de descobrimento de conhecimento em bancos de dados (KDD - Knowledge Discovery in Databases), área de pesquisa de bastante evidência no momento, envolvendo Inteligência Artificial e Banco de Dados.
Algumas vezes, projetos que começam como data warehouses se transformam em data marts. Quando as organizações acumulam grandes volumes de dados históricos para suporte à decisão que se mostram pouco ou nunca utilizados, elas podem reduzir o armazenamento ou arquivamento de informação e contrair o seu data warehouse em um data mart mais focado. Ou elas podem dividir o warehouse em vários data marts, oferecendo tempos de resposta mais rápido, acesso mais fácil e menos complexidade para os usuários finais.
Veja em que se baseia.
1.1) A estatística
O Data Mining descende fundamentalmente de 3 linhagens. A mais antiga delas é a estatística clássica. Sem a estatística não seria possível termos o DM, visto que a mesma é a base da maioria das tecnologias a partir das quais o DM é construído. A Estatística Clássica envolve conceitos como distribuição normal, variância, análise de regressão, desvio simples, análise de conjuntos, análises de discriminantes e intervalos de confiança, todos usados para estudar dados e os relacionamentos entre eles. Esses são as pedras fundamentais onde as mais avançadas análises estatísticas se apóiam. E sem dúvida, no coração das atuais ferramentas e técnicas de DM, a análise estatística clássica desempenha um papel fundamental.
1.2) Inteligência Artificial
A segunda linhagem do DM é a Inteligência Artificial, ou IA. Essa disciplina, que é construída a partir dos fundamentos da heurística, em oposto à estatística, tenta imitar a maneira como o homem pensa na resolução dos problemas estatísticos. Em função desse “approach”, ela requer um impressionante poder de processamento, que era impraticável até os anos 80, quando os computadores começaram a oferecer um bom poder de processamento a preços mais acessíveis. A IA desenvolveu algumas aplicações para o alto escalão do governo/cientistas americanos, sendo que os altos preços não permitiram que ela ficasse ao alcance de todos. As notáveis exceções foram certamente alguns conceitos de IA adotados por alguns produtos de ponta, como módulos de otimização de consultas para SGBDs.
1.3) Machine Learning
E a terceira e última linhagem do DM é a chamada machine learning, que pode ser melhor descrita como o casamento entre a estatística e a IA. Enquanto a IA não se transformava em sucesso comercial, suas técnicas foram sendo largamente cooptadas pela machine learning, que foi capaz de se valer das sempre crescentes taxas de preço/performance oferecidas pelos computadores nos anos 80 e 90, conseguindo mais e mais aplicações devido às suas combinações entre heurística e análise estatística.A machine learning tenta fazer com que os programas de computador “aprendam” com os dados que eles estudam, tal que esses programas tomem decisões diferentes baseadas nas características dos dados estudados, usando a estatística para os conceitos fundamentais, e adicionando mais heurística avançada da IA e algoritmos para alcançar os seus objetivos.
De muitas formas, o DM é fundamentalmente a adaptação das técnicas da Machine Learning para as aplicações de negócios. Desse modo, podemos descreve-lo como a união dos históricos e dos recentes desenvolvimentos em estatística, em IA e Machine Learning. Essas técnicas são usadas juntas para estudar os dados e achar tendências e padrões nos mesmos. Hoje, o DM tem experimentado uma crescente aceitação nas ciências e nos negócios que precisam analisar grandes volumes de dados e achar tendências que eles não poderiam achar de outra forma.
2 – Um resumo das principais técnicas de Data Mining
Existem inúmeras ramificações de Data Mining, sendo algumas delas:
• REDES NEURAIS
• INDUÇÃO DE REGRAS
• ÁRVORES DE DECISÃO
• ANÁLISES DE SÉRIES TEMPORAIS
• VISUALIZAÇÃO
Visão geral das tecnologias de Data Mining (DM)
O DM é um campo que compreende atualmente muitas ramificações importantes. Cada tipo de tecnologia tem suas próprias vantagens e desvantagens, do mesmo modo que nenhuma ferramenta consegue atender todas as necessidades em todas as aplicações.
Data Warehouse
Data Warehouse
Saiba como esta ferramenta de BI pode ajudar você a transformar dados em informação e conhecimento.
Inicialmente analisemos algumas definições, elaboradas por acadêmicos autores e profissionais especializados em Data Warehouse, que podem nos dar uma primeira impressão sobre a tecnologia.
Segundo Inmon, Data Warehouse é uma coleção de dados orientados por assuntos, integrados, variáveis com o tempo e não voláteis, para dar suporte ao processo de tomada de decisão;
Data Warehouse é um processo em andamento que aglutina dados de fontes heterogêneas, incluindo dados históricos e dados externos para atender à necessidade de consultas estruturadas e ad-hoc, relatórios analíticos e de suporte de decisão, conforme Harjinder; Kimball define assim: é um conjunto de ferramentas e técnicas de projeto, que quando aplicadas às necessidades específicas dos usuários e aos bancos de dados específicos permitirá que planejem e construam um data warehouse.
Para entender o que é um DW, é importante fazer uma comparação com o conceito tradicional de banco de dados. Conforme Batini, "Um banco de dados é uma coleção de dados operacionais armazenados e utilizados pelo sistema de aplicações de uma empresa específica". Os dados mantidos por uma empresa são chamados de "operacionais" ou "primitivos". Batini refere-se aos dados do banco de dados como "dados operacionais", distinguindo-se de dados de entrada, dados de saída e outros tipos de dados.
Levando em consideração esta definição sobre dados operacionais, pode-se dizer que um DW é, na verdade, uma coleção de dados derivados dos dados operacionais para sistemas de suporte à decisão. Estes dados derivados são, muitas vezes, referidos como dados "gerenciais", "informacionais" ou "analíticos".
Os bancos de dados transacionais, ou operacionais, armazenam as informações das transações diárias da empresa, são utilizados por todos os funcionários para registrar e executar operações pré-definidas, por isso seus dados podem sofrer constantes mudanças. Por não ocorrer redundância nos dados e as informações históricas não ficarem armazenadas por muito tempo, este tipo de BD não exige grande capacidade de armazenamento.
Já um DW armazena dados analíticos, destinados às necessidades da gerência no processo de tomada de decisões. Isto pode envolver consultas complexas que necessitam acessar um grande número de registros, por isso é importante a existência de muitos índices criados para acessar as informações da maneira mais rápida possível. Um DW armazena informações históricas de muitos anos e por isso deve ter uma grande capacidade de processamento e armazenamento dos dados que se encontram de duas maneiras, detalhados e resumidos.
Com base nestes conceitos podemos concluir que o DW é um conjunto de técnicas e bancos de dados integrados, projetados para suportar as funções dos Sistemas de Apoio à Decisão, onde cada unidade de dados está relacionada a um determinado assunto, ou fato. Esses bancos de dados é que darão subsídio de informações aos gerentes e diretores de empresas, para analisarem tendências históricas dos seus clientes e com isso melhorarem os processos que aumentem a satisfação e fidelidade dos mesmos.
No DW os dados podem ser retirados de múltiplos sistemas de computação normalmente utilizados há vários anos e que continuam em operação, como também podem ser de fontes externas da empresa. Data Warehouses são construídos para que tais dados possam ser armazenados e acessados de forma que não sejam limitados por tabelas e linhas estritamente relacionais. Os dados de um DW podem ser compostos por um ou mais sistemas distintos e sempre estarão separados de qualquer outro sistema transacional, ou seja, deve existir um local físico onde os dados desses sistemas serão armazenados.
Saiba como esta ferramenta de BI pode ajudar você a transformar dados em informação e conhecimento.
Inicialmente analisemos algumas definições, elaboradas por acadêmicos autores e profissionais especializados em Data Warehouse, que podem nos dar uma primeira impressão sobre a tecnologia.
Segundo Inmon, Data Warehouse é uma coleção de dados orientados por assuntos, integrados, variáveis com o tempo e não voláteis, para dar suporte ao processo de tomada de decisão;
Data Warehouse é um processo em andamento que aglutina dados de fontes heterogêneas, incluindo dados históricos e dados externos para atender à necessidade de consultas estruturadas e ad-hoc, relatórios analíticos e de suporte de decisão, conforme Harjinder; Kimball define assim: é um conjunto de ferramentas e técnicas de projeto, que quando aplicadas às necessidades específicas dos usuários e aos bancos de dados específicos permitirá que planejem e construam um data warehouse.
Para entender o que é um DW, é importante fazer uma comparação com o conceito tradicional de banco de dados. Conforme Batini, "Um banco de dados é uma coleção de dados operacionais armazenados e utilizados pelo sistema de aplicações de uma empresa específica". Os dados mantidos por uma empresa são chamados de "operacionais" ou "primitivos". Batini refere-se aos dados do banco de dados como "dados operacionais", distinguindo-se de dados de entrada, dados de saída e outros tipos de dados.
Levando em consideração esta definição sobre dados operacionais, pode-se dizer que um DW é, na verdade, uma coleção de dados derivados dos dados operacionais para sistemas de suporte à decisão. Estes dados derivados são, muitas vezes, referidos como dados "gerenciais", "informacionais" ou "analíticos".
Os bancos de dados transacionais, ou operacionais, armazenam as informações das transações diárias da empresa, são utilizados por todos os funcionários para registrar e executar operações pré-definidas, por isso seus dados podem sofrer constantes mudanças. Por não ocorrer redundância nos dados e as informações históricas não ficarem armazenadas por muito tempo, este tipo de BD não exige grande capacidade de armazenamento.
Já um DW armazena dados analíticos, destinados às necessidades da gerência no processo de tomada de decisões. Isto pode envolver consultas complexas que necessitam acessar um grande número de registros, por isso é importante a existência de muitos índices criados para acessar as informações da maneira mais rápida possível. Um DW armazena informações históricas de muitos anos e por isso deve ter uma grande capacidade de processamento e armazenamento dos dados que se encontram de duas maneiras, detalhados e resumidos.
Com base nestes conceitos podemos concluir que o DW é um conjunto de técnicas e bancos de dados integrados, projetados para suportar as funções dos Sistemas de Apoio à Decisão, onde cada unidade de dados está relacionada a um determinado assunto, ou fato. Esses bancos de dados é que darão subsídio de informações aos gerentes e diretores de empresas, para analisarem tendências históricas dos seus clientes e com isso melhorarem os processos que aumentem a satisfação e fidelidade dos mesmos.
No DW os dados podem ser retirados de múltiplos sistemas de computação normalmente utilizados há vários anos e que continuam em operação, como também podem ser de fontes externas da empresa. Data Warehouses são construídos para que tais dados possam ser armazenados e acessados de forma que não sejam limitados por tabelas e linhas estritamente relacionais. Os dados de um DW podem ser compostos por um ou mais sistemas distintos e sempre estarão separados de qualquer outro sistema transacional, ou seja, deve existir um local físico onde os dados desses sistemas serão armazenados.
Assinar:
Comentários (Atom)