abril 2015 - Business Monitor

28 abr, 2015

By fernando • business monitor • No comments 853 Views

Nova versão do Business Monitor 1.7.0 traz macros aos RecordSet

Essa nova versão do Business Monitor (1.7.0) traz evoluções no componente de RecordSet.

1. Exibição de mensagem de erro na Listagem de RecordSets

Na listagem geral dos RecordSets, caso a query tenha algum erro durante a execução, o mesmo será exibido com um ícone de alerta em vermelho:

Parando o mouse sobre o ícone, é possível ver qual erro ocorreu durante a carga.

2. Processamento de Macros

Para facilitar a execução de comandos complexos, agora as queries possuem macros pré-configuradas que são trocadas pelo valor correspondente durante sua execução.

Por exemplo, usando a macro $CUR_DATE$, ele retornará o dia atual. Se essa macro for usada em uma consulta comparando com o registro em uma base de dados, permitirá extrair os dados do dia atual muito facilmente, por exemplo:

SELECT dia,valor FROM vendas WHERE dia=”$CUR_DATE$”;

Claro que essa função poderia ser feita anteriormente com através de comandos SQL, mas em alguns SGBD isso é complicado de se fazer, principalmente quando você quer calcular o dia, mês ou ano anterior.

As macros disponíveis são:

$CUR_DATE$ – retorna o Dia atual, exemplo: 2015-01-20

$CUR_TIME$ – retorna a hora completa atual, exemplo: 23:10:10

$CUR_DATETIME$ – retorna a data e hora atual, exemplo: 2015-01-20 23:10:10

$CUR_YEAR$ – retorna o ano atual, exemplo: 2015

$PREV_YEAR$ – retorna o ano anterior ao atual, exemplo: 2014

$NEXT_YEAR$ – retorna o próximo ano, exemplo: 2016

$CUR_MONTH$ – retorna o mês atual, exemplo: 03

$PREV_MONTH$ – retorna o mês anterior, exemplo: 02

$NEXT_MONTH$ – retorna o próximo mês, exemplo: 04

$CUR_DAY$ – retorna o dia atual, exemplo: 15

$PREV_DAY$ – retorna o dia anterior, exemplo: 14

$NEXT_DAY$ – retorna o próximo dia, exemplo: 16

$CUR_HOUR$ – retorna a hora atual, exemplo: 20

$PREV_HOUR$ – retorna a hora anterior, exemplo: 19

$NEXT_HOUR$ – retorna a próxima hora, exemplo: 21

$CUR_MINUTE$ – retorna o minuto atual, exemplo: 25

$PREV_MINUTE$ – retorna o minuto anterior, exemplo: 24

$NEXT_MINUTE$ – retorna o próximo minuto, exemplo: 26

$CUR_SECOND$ – retorna o segundo atual, exemplo: 13

$CUR_WEEK$ – retorna o número da semana no ano atual, exemplo: 11

$PREV_WEEK$ – retorna o número da semana anterior no ano atual, exemplo: 10

$NEXT_WEEK$ – retorna o número da próxima semana no ano atual, exemplo: 12

$CUR_QUARTER$ – retorna o trimestre atual, exemplo: 1 (valores possíveis: 1,2,3 e 4)

$PREV_QUARTER$ – retorna o trimestre anterior, exemplo: 4

$NEXT_QUARTER$ – retorna o próximo trimestre, exemplo: 2

$COLOR_WHITE$ – retorna o código HTML da cor branca, exemplo: #FFFFFF

$COLOR_BLACK$ – retorna o código HTML da cor breta, exemplo: #000000

$COLOR_GRAY$ – retorna o código HTML da cor cinza, exemplo: #888888

$COLOR_LIGHTGRAY$ – retorna o código HTML da cor cinza claro, exemplo: #444444

$COLOR_DARKGRAY$ – retorna o código HTML da cor cinza escuro, exemplo: #CCCCCC

$COLOR_BLUE$ – retorna o código HTML da cor azul

$COLOR_LIGHTBLUE$ – retorna o código HTML da cor azul claro

$COLOR_DARKBLUE$ – retorna o código HTML da cor azul escuro

$COLOR_GREEN$ – retorna o código HTML da cor verde

$COLOR_LIGHTGREEN$ – retorna o código HTML da cor verde claro

$COLOR_DARKGREEN$ – retorna o código HTML da cor verde escuro

$COLOR_CYAN$ – retorna o código HTML da cor ciano

$COLOR_LIGHTCYAN$ – retorna o código HTML da cor ciano claro

$COLOR_DARKCYAN$ – retorna o código HTML da cor ciano escuro

$COLOR_RED$ – retorna o código HTML da cor vermelho

$COLOR_LIGHTRED$ – retorna o código HTML da cor vermelho claro

$COLOR_DARKRED$ – retorna o código HTML da cor vermelho escuro

$COLOR_MAGENTA$ – retorna o código HTML da cor magenta

$COLOR_LIGHTMAGENTA$ – retorna o código HTML da cor magenta claro

$COLOR_DARKMAGENTA$ – retorna o código HTML da cor magenta escuro

$COLOR_BROWN$ – retorna o código HTML da cor marrom

$COLOR_YELLOW$ – retorna o código HTML da cor amarelo

$COLOR_ORANGE$ – retorna o código HTML da cor laranja

3. Processo de atualização mais simples

A rotina de atualização das tabelas passou a ser automática, ao atualizar o pacote RPM, o próprio sistema irá detectar a diferença de versão e aplicar as mudanças necessárias.

Caso tenha problema na atualização, uma mensagem será exibida quando um usuário administrador logar no sistema com a opção de atualizar pela interface.

16 abr, 2015

By fernando • administração do tempo, gerência de redes, gerência de TI • No comments 1000 Views

10 Formas de Fazer Mais com Menos em TI

Seu chefe já te pediu pra fazer? Sua empresa está precisando? A crise está te obrigando a fazer mais com menos?

Esse é um mantra que sempre aparece em tempos de crise, mas também é recitado por altos executivos em apresentações pomposas e recheadas de gráficos e números, em artigos, discursos e até em conversas de corredor.

Mas será que é realmente possível fazer mais com menos?

A primeira coisa a se entender é o que significa mais com menos em TI: mais chamados atendidos? mais performance dos servidores? mais gente com menos dinheiro? mais usuários suportados com menos hardware? mais servidores em menos espaço físico? Alguns desses exemplos são factíveis, enquanto outros não, e algumas coisas dependem do nível de maturidade da TI, vamos explorar alguns desses pontos:

1. Hardware & Softwares

Primeiro é preciso entender que é difícil reduzir a quantidade de hardware existente, espaço ocupado ou energia elétrica consumida sem novos investimentos, ou seja, é necessário gastar dinheiro para economizar dinheiro.

Nesse ponto a virtualização de servidores ajuda muito, pois permite condensar servidores diferentes, com vários sistemas operacionais e aplicativos instalados em um único hardware, além de prover redundância, facilidade no backup e capacidades de recuperação de desastres antes não existentes, entre outros benefícios explorados nesse outro artigo.

Mesmo gastando mais para comprar um hardware mais potente e as licenças de virtualização, medindo no espaço físico, no watt consumido e principalmente no tempo e trabalho de manutenção economiza-se muito com Virtualização, e é realmente uma forma de entregar mais serviço com menos esforço e dinheiro a médio e longo prazo.

2. Sistemas

Em sistemas, a tendência é que os mesmos sejam cada vez mais completos, atendam cada vez mais necessidades dos negócios, cada vez mais legislações e assim fiquem mais complexos, custosos de manter e utilizem mais recursos.

Isso por si só significa fazer mais, mas para utilizar menos recursos, é necessário disciplina para criar códigos eficientes e enxutos, ou mesmo realizar sessões de “caça as bruxas”, onde a equipe de desenvolvimento para por um tempo a inovação para buscar melhorias de performance. Isso aconteceu por exemplo com o kernel do Linux e mesmo com o Windows no lançamento da versão 7, e os usuários perceberam a diferença.

Mas o ideal mesmo é que esse seja um processo contínuo, onde a equipe de Operações ofereça um feedback constante das partes do sistema que mais consomem recursos (queries lentas por exemplo), ou mesmo a mudança de desempenho na mudança da versão, enquanto que a equipe de desenvolvimento trabalha com esse feedback para melhorar as rotinas e aprender a desenvolver código mais rápido.

Pode ser uma boa prática também utilizar componentes de mercado para sistemas, isso significa buscar no mercado pedaços de código prontos para determinadas tarefas, por exemplo, ao invés de programar um módulo de calendário, buscar uma biblioteca pronta para calendário que possa ser plugada no sistema atual e adaptado as necessidades, isso pode economizar semanas de desenvolvimento.

Um componente irá custar uma fração do que o tempo do desenvolvedor, mas os desenvolvedores precisam ter autonomia e direcionamento para buscar esses componentes, senão sempre irão preferir fazer por conta.

3. Desenvolvimento Ágil

Uma outra abordagem para sistemas é utilizar técnicas de desenvolvimento ágil como o SCRUM, isso significa diminuir o tempo para entrega de funcionalidades, embora limitando o escopo das mesmas.

A entrega mais frequente faz a equipe de desenvolvimento ser mais eficaz perante o negócio, pois está entregando valor para o mesmo em menor tempo, e também permite a correção de percurso em intervalos regulares, evitando que seja desenvolvido um sistema monstro que não se aplica aos negócios e se perca meses de desenvolvimento com isso.

4. Operações

Em operações e serviços de TI, a forma de fazer mais com menos é automatizar o máximo possível as tarefas. Mas não adianta começar a tentar automatizar os sistemas a esmo, principalmente enquanto “a casa pega fogo”.

O primeiro passo é medir o esforço que se gasta com tarefas corriqueiras, por exemplo, quantas máquinas são formatadas por dia e quanto tempo o técnico gasta nisso? Será que vale a pena automatizar com um sistema de restauração de imagem de disco?

Para medir, pode-se utilizar um sistema de chamados, onde são cadastrados os principais serviços oferecidos pela TI, e lançados chamados identificando os problemas, usuários, equipamentos, etc. Pode-se buscar depois os principais eventos, que representam a maior quantidade de problemas, ou maior tempo de trabalho e começar a automatizar por aí.

Outra alternativa é utilizar algum sistema que meça o tempo gasto por aplicativo, como muitos dos profissionais de TI passam quase o dia todo no computador, a precisão será bem grande.

Também, usando os indicadores que listo nesse outro artigo, é possível deixar os usuários mais satisfeitos e atender a pontos críticos da empresa mais rapidamente, além de dar visibilidade do trabalho da equipe.

5. Documentação

Ainda em operações, é importante documentar as principais atividades e processos, para que a execução da tarefa não dependa de um operador em específico, mas principalmente para que possa ser migrado dos técnicos mais experientes (mais caros) para os novatos (mais baratos).

Além de liberar tempo dos melhores profissionais e permitir o aprendizado aos iniciantes, também garante a execução correta dos processos e a continuidade das operações mesmo na ausência do profissional (por motivo de férias ou doença por exemplo).

6. Integrações de Sistemas

Como parte dos trabalhos entre Operações e Desenvolvimento, a integração de sistemas é algo que pode fazer a empresa como um todo ganhar mais produtividade.

Integrar por exemplo a autenticação de sistemas, centralizando em uma base como o AD, torna a tarefa de administrar usuários muito mais simples para a TI, mais fácil para o usuário que poderá usar uma única senha para todos os sistemas, e segura pois fica um ponto único de controle de acessos.

Outras integrações, como transportar dados entre sistemas sem intervenção humana também significam menos trabalho para a equipe e consequentemente mais tempo livre.

7. Monitoramento

O monitoramento da estrutura e de sistemas permite ter certeza que tudo está funcionando conforme esperado, e que alarmes estão definidos para quando alguma situação sair da operação normal.

Em operações pode significar monitorar o consumo de CPU e espaço em disco, e configurar alertas para, por exemplo, quando o disco estiver com 90% de uso, isso garante que será tomada uma ação antes que o mesmo chegue a 100% de ocupação e pare algum sistema, isso também significa parar de “apagar incêndio” e trabalhar na prevenção dos mesmos.

Em sistemas pode-se monitorar a quantidade de transações executadas, ou quantidade de erros dos usuários por exemplo, ou ainda o tempo gasto pelos usuários em cada parte do sistema.

Se soubermos onde os usuários gastam mais tempo, podemos pensar em formas de otimizar esse processo e com isso trazer benefícios para todo o negócio.

8. Gestão a Vista

Com todos os dados coletados, a melhor forma de deixar transparente as evoluções é fazendo gestão a vista. Deixar a quantidade de chamados abertos em um painel, mostrar a evolução dos chamados mês a mês, ou ainda os indicadores de tempo utilizado por serviço, tudo fica mais fácil de visualizar com gráficos e linhas de tendências.

Sistemas de Business Activity Monitoring podem ajudar nisso, com painéis atualizados em tempo real e alertas para quando algum indicador atingir um determinado nível, podem complementar sistemas já existentes oferecendo uma camada fácil de visualização.

Nesse outro artigo dou algumas ideias de Indicadores para a área de TI.

9. Terceirização

Com sistemas e infraestrutura cada vez mais complexos, a terceirização é uma opção real para diminuição de custos. Não a terceirização total, não expulsar o departamento de TI para fora, mas sim a terceirização de especialidades que não agregam para o negócio.

Por exemplo, com sistemas cada vez mais complexos, muitas empresas utilizam tecnologias de ponta das mais diversas, como Storages, Virtualização, Firewalls, Switches gerenciados, Windows, Linux, diversas bases de dados, ferramentas de backup, replicação, etc.

Um único profissional não é capaz de ser especialista em todas as plataformas e a contratação de um profissional para uma tarefa que não ocupa seu tempo integral é um desperdício de recursos. Aí aparece a oportunidade de terceirização desses serviços especializados, confiando a uma empresa as atividades avançadas como atualização de firmware, pentest, gerenciamento de redes, storages e ambientes virtuais.

Uma empresa de Serviços Gerenciados em TI ou Serviços Gerenciados em Segurança tem a chance de ter profissionais capacitados nos principais fornecedores, estar sempre atualizada, conhecer as melhores práticas e enxergar riscos nos ambientes dos clientes, por já terem passado por tudo isso em diversos clientes.

10. Pessoas

Enfim, o elo mais importante da cadeia, as pessoas. Automatizar os sistemas ao máximo possível, diminuir o tempo gasto apagando incêndio, trazer maior produtividade para colaboradores, novos recursos para sistemas, novos serviços para os clientes finais, só é possível alcançar com pessoas capacitadas e motivadas.

A redução de determinados serviços não significa que o profissional perderá a importância e será demitido, pelo contrário, na maioria das empresas existe serviço suficiente para o dobro da equipe de TI, então o tempo extra “sobrando” será direcionado para novas atividades.

Se a equipe de TI puder se livrar das atividades repetitivas (por exemplo, formatar máquinas), prevenir os problemas do dia a dia (por exemplo, atualizar o Windows para evitar vírus), e investir o tempo em atividades do negócio (por exemplo, automatizando mais os sistemas), será percebida como um centro de inovação e não apenas como um centro de custo.

Conclusão

Os principais pontos para a TI fazer mais com menos é:

Diminuir os desperdícios
Automatizar as tarefas que não agregam valor para o profissional
Focar em atividades que sejam importantes para o negócio

Tudo isso garante melhor qualidade de vida para o profissional de TI, aumento da competitividade do negócio e a valorização da TI frente ao mesmo.

Sobre o autor
Fernando Ulisses dos Santos
Diretor de Tecnologia na Blue Solutions
Especialista em Segurança da Informação
Certificado VCP-DCV, VCAP-DT, VCP-DT

15 abr, 2015

By fernando • BI, business indicator, business intelligence, businnes analytics • No comments 720 Views

Nova versão do Business Monitor 1.6.7

Foi lançado nessa última segunda-feira a versão 1.6.7 do Business Monitor.

A principal mudança foi melhoria no editor de SQL, agora o mesmo apresenta as linhas numeradas e é capaz de reconhecer o código SQL, deixando o mesmo mais fácil de compreender como pode ser visto no exemplo abaixo:

Também foi feito uma correção de bug referente a conexão com base de dados SQL e PostgreSQL, que apresentava erro dependendo do charset preenchido.

Para os clientes que gerenciam o próprio servidor, o procedimento de upgrade é bem simples, basta acessar a máquina virtual e executar:

yum update bm

06 abr, 2015

By fernando • Big Data, Cloudera, Clusters, High Performance • No comments 1010 Views

O que é Big Data e como funciona?

Muito tem se falado de Big Data, e começam a aparecer algumas soluções interessantes no mercado, inclusive open source, mas poucas são as definições do que é Big Data e qual sua importância para o mundo dos negócios.

O termo tem sido usado para definir grandes quantidades de dados armazenados pelas empresas, mas principalmente dados não estruturados, como logs de acesso, dados de sensores, frases escritas por funcionários e clientes, dados de redes sociais, posições geográficas, e-mails, arquivos no servidor de arquivos, entre outros.

Todos sabem que a evolução da tecnologia tem seguido a Lei de Moore, que prevê que a capacidade de processamento e armazenamento dobra a cada 18 meses, isso tem nos proporcionado cada vez mais capacidade de armazenamento.

Por outro lado, a Lei de Parkinson quando aplicada a computação, determina que toda a capacidade disponível tende a ser ocupada, isso nos dá mais dados para armazenar e principalmente analisar, o que tem se tornado inviável com ferramentas convencionais.

Aí que entram as ferramentas de análise de Big Data, que permitem o tratamento de grandes quantidades de informações, estruturadas ou não, para gerar novas análises e entendimento sobre as informações existentes.

Arquiteturas de Big Data

O grande diferencial dessas ferramentas é a capacidade de processamento distribuído, o que permite criar um cluster dedicado com vários servidores, com grande capacidade de processamento e armazenamento, sem a necessidade de equipamentos especializados e normalmente tolerante a falha.

Em termos de arquitetura, as ferramentas de Big Data utilizam a capacidade de processamento e armazenamento em paralelo, ao invés de utilizar um computador único cada vez maior. Esse conceito já era defendido por Grace Hopper:
“In pioneer days they used oxen for heavy pulling, and when one ox couldn’t budge a log, we didn’t try to grow a larger ox. We shouldn’t be trying for bigger computers, but for more (systems of computers).“

Casos de Uso

Estima-se que apenas 20% dos dados de uma empresa são dados estruturados, usados para a tomada de decisões, e é aí que entra a capacidade das novas ferramentas, que vão além do banco de dados relacional, permitindo correlacionar dados de diversas fontes, e nos mais variados formatos, como documentos, planilhas, emails, imagens e até vídeos.

Um caso de uso bem comum é utilizar o cluster de Big Data para Business Analytics ou Business Inteligence. Em empresas maiores, a quantidade de dados estruturados pode chegar a números bem expressivos, o que pode inviabilizar a consulta em um banco de dados relacional comum.

Nesses casos, exportar o conteúdo desses bancos para um ambiente de Big Data pode viabilizar a execução, pois o SGBD em Big Data é focado apenas no dado, e não na indexação, relacionamento e validação dos dados como num SGBD comum, permitindo executar consultas que seriam inviáveis em termos de tempo de execução e recursos computacionais das soluções convencionais.

Desafios

O primeiro desafio do Big Data é a coleta de dados para dentro do cluster, normalmente fala-se de enormes quantidades de dados sendo gerados em um taxa maior do que um servidor seria capaz de processar e armazenar, aí entram os clusters, com vários nós capturando essas informações e distribuindo entre os outros nós do cluster para manter a tolerância a falha.

O segundo desafio é processar essas informações, como elas estão distribuídas, a aplicação deve ser capaz de consumir pequenas partes das informações e gerar pequenas partes de dados processados, que depois serão calculados em conjunto para criar o resultado final. Isso normalmente requer um desenvolvimento específico para o processamento desses dados.

A parte mais simples é a exibição dos resultados. Os arquivos gerados normalmente são resumo das informações, agrupando conforme necessário, de forma que alguém possa entender e tomar uma decisão sobre aqueles dados.

Existe SQL em Big Data?

Uma das formas criadas para aproveitar o conhecimento já existente no mercado sobre a linguagem SQL foi desenvolver ferramentas que suportassem SQL (Structured Query Language), comumente utilizada em SGBD.

Assim nasceram aplicações como Cassandra, MongoDB, Hive e Impala (essas duas últimas rodam sobre Hadoop), capazes de executar comandos comuns de SQL em clusters de Big Data.

Isso torna um pouco mais fácil o desenvolvimento para Big Data, pois aproveita um conhecimento já existente, mas Big Data ainda não é um conceito tão simples quanto Plug and Play.

Também o uso dessas ferramentas pode gerar uma expectativa irreal quanto a performance e o funcionamento. Todas essas ferramentas são muito novas, com comandos limitados, e o fato de executar distribuído faz consultas pequenas demorarem muito mais do que em um SGBD comum. A vantagem delas está realmente na hora de trabalhar grandes quantidades de dados, onde o overhead da computação distribuída é insignificante frente a quantidade de dados a ser processada.

Conclusão

Big Data é uma tecnologia que é realidade para grandes empresas. Tem tido rápida adoção para pesquisas, análise de negócios, detecção de fraudes, entendimento de comportamento dos consumidores, entre outros; mas os requisitos iniciais estão longe da realidade da maioria das pequenas e médias empresas, principalmente no Brasil.

Também as aplicações ainda são muito específicas e normalmente desenvolvidas sob demanda, o que aumenta ainda mais os custos iniciais de implantação e desenvolvimento.

Mas a predominância principalmente de ferramentas opensource, a capacidade de executar sobre hardware comum, e a tendência de aparecerem novos fornecedores nesse mundo deve trazer essa realidade em breve para pequenas e médias empresas.

Também deve ser comum a adoção de Big Data em Cloud Computing, principalmente para processar dados obtidos na própria Internet.

Sobre o autor
Fernando Ulisses dos Santos
Diretor de Tecnologia na Blue Solutions
Especialista em Segurança da Informação
Certificado VCP-DCV, VCAP-DT, VCP-DT

Nova versão do Business Monitor 1.7.0 traz macros aos RecordSet

1. Exibição de mensagem de erro na Listagem de RecordSets

2. Processamento de Macros

3. Processo de atualização mais simples

10 Formas de Fazer Mais com Menos em TI

1. Hardware & Softwares

2. Sistemas

3. Desenvolvimento Ágil

4. Operações

5. Documentação

6. Integrações de Sistemas

7. Monitoramento

8. Gestão a Vista

9. Terceirização

10. Pessoas

Conclusão

Nova versão do Business Monitor 1.6.7

O que é Big Data e como funciona?

Arquiteturas de Big Data

Casos de Uso

Desafios

Existe SQL em Big Data?

Conclusão

Mais sobre o Quadrante Mágico