Warning: Constant WP_DEBUG already defined in /home/sucupira/public_html/wp-config.php on line 248

Warning: Cannot modify header information - headers already sent by (output started at /home/sucupira/public_html/wp-config.php:248) in /home/sucupira/public_html/wp-includes/rest-api/class-wp-rest-server.php on line 1831

Warning: Cannot modify header information - headers already sent by (output started at /home/sucupira/public_html/wp-config.php:248) in /home/sucupira/public_html/wp-includes/rest-api/class-wp-rest-server.php on line 1831

Warning: Cannot modify header information - headers already sent by (output started at /home/sucupira/public_html/wp-config.php:248) in /home/sucupira/public_html/wp-includes/rest-api/class-wp-rest-server.php on line 1831

Warning: Cannot modify header information - headers already sent by (output started at /home/sucupira/public_html/wp-config.php:248) in /home/sucupira/public_html/wp-includes/rest-api/class-wp-rest-server.php on line 1831

Warning: Cannot modify header information - headers already sent by (output started at /home/sucupira/public_html/wp-config.php:248) in /home/sucupira/public_html/wp-includes/rest-api/class-wp-rest-server.php on line 1831

Warning: Cannot modify header information - headers already sent by (output started at /home/sucupira/public_html/wp-config.php:248) in /home/sucupira/public_html/wp-includes/rest-api/class-wp-rest-server.php on line 1831

Warning: Cannot modify header information - headers already sent by (output started at /home/sucupira/public_html/wp-config.php:248) in /home/sucupira/public_html/wp-includes/rest-api/class-wp-rest-server.php on line 1831

Warning: Cannot modify header information - headers already sent by (output started at /home/sucupira/public_html/wp-config.php:248) in /home/sucupira/public_html/wp-includes/rest-api/class-wp-rest-server.php on line 1831
{"id":214110,"date":"2012-03-22T12:03:40","date_gmt":"2012-03-22T15:03:40","guid":{"rendered":"http:\/\/www.luissucupira.com.br\/?p=214110"},"modified":"2012-03-22T12:03:40","modified_gmt":"2012-03-22T15:03:40","slug":"big-data-a-arquitetura-de-dados-em-velocidade-supersonica","status":"publish","type":"post","link":"https:\/\/www.luissucupira.com.br\/big-data-a-arquitetura-de-dados-em-velocidade-supersonica\/","title":{"rendered":"Big Data: A Arquitetura de Dados em Velocidade Supers\u00f4nica"},"content":{"rendered":"

Por M\u00e1rcio Guerra \u2013 Diretor da MD2 Consultoria<\/p>\n

(As empresas necessitam rever seu modelo de organiza\u00e7\u00e3o de dados a fim de suportar o tsunami de informa\u00e7\u00f5es em que se constituem os \u201cBig Data\u201d)<\/p>\n

\"\"<\/a>A gigantesca enxurrada de dados que atinge as corpora\u00e7\u00f5es n\u00e3o \u00e9 um fen\u00f4meno assim t\u00e3o recente. \u00a0H\u00e1 muito tempo ele vem mobilizando esfor\u00e7os da ind\u00fastria de TI para que as empresas possam n\u00e3o s\u00f3 contornar os enormes problemas que este n\u00edvel de imputs gera para o dia a dia de seus neg\u00f3cios, mas tamb\u00e9m para viabilizar a manipula\u00e7\u00e3o desses dados como ferramenta de neg\u00f3cio.<\/p>\n

Mas o que atualmente vemos emergir deste amea\u00e7ador mar de dados \u00e9 uma vaga que, para muitos, assemelha-se a um tsunami que poder\u00e1 afogar toda a possibilidade de ordena\u00e7\u00e3o da massa de\u00a0 informa\u00e7\u00e3o efetiva. Para outros, pelo contr\u00e1rio, a chance de dominar estas ondas e canaliz\u00e1-las, de forma r\u00e1pida, em dire\u00e7\u00e3o dos dutos que irrigam o neg\u00f3cio as posiciona n\u00e3o como amea\u00e7a, mas como uma fonte de oportunidade antes nunca vista na esfera da explora\u00e7\u00e3o de dados.\u00a0\u00a0<\/p>\n

E tudo isso aconteceu muito r\u00e1pido. H\u00e1 pouco mais de duas d\u00e9cadas iniciava-se a digitaliza\u00e7\u00e3o massiva do trabalho; e os n\u00edveis de complexidade e volume das informa\u00e7\u00f5es iam superando, em poucos anos, \u00a0aquilo que os arquivos de a\u00e7o, as fichas de cartolina e as m\u00e1quinas Olivetti haviam levado s\u00e9culos para erguer no horizonte dos dados.<\/p>\n

O barateamento dos circuitos Intel e AMD; a populariza\u00e7\u00e3o de interfaces DOS e Windows, tudo isto associado \u00e0 crescente banaliza\u00e7\u00e3o das m\u00eddias magn\u00e9ticas tornam o computador uma verdadeira commodity, tirando das grandes empresas o privil\u00e9gio milagroso da inform\u00e1tica. Falava-se muito em downsing e assist\u00edamos boquiabertos \u00e0 explos\u00e3o da produ\u00e7\u00e3o de dados e sua integra\u00e7\u00e3o via linguagem C, bem como atrav\u00e9s do uso de protocolos de comunica\u00e7\u00e3o com os ent\u00e3o modern\u00edssimos modems anal\u00f3gicos que atingiam a incr\u00edvel velocidade de 1.200 Bits por segundo.<\/p>\n

Ainda mal recuperados desse espet\u00e1culo da revolu\u00e7\u00e3o informacional, presenciamos o \u2018\u2019boom\u2019\u2019 das redes TCP\/IP, ao longo dos anos 80, logo superadas pela Internet abundante e pela transforma\u00e7\u00e3o da banda larga numa utility compar\u00e1vel \u00e0 \u00e1gua, \u00e0 luz e ao esgoto das resid\u00eancias e empresas a partir do ano 2000.<\/p>\n

Atingir o est\u00e1gio atual, entretanto, era algo inimagin\u00e1vel h\u00e1 pouco mais de cinco anos. Enquanto, em 2005, a mem\u00f3ria vol\u00e1til m\u00e9dia de um computador de mesa girava em 256MB e com discos de 10 GB; hoje as m\u00e1quinas saem de f\u00e1brica com 4 GB de RAM e HD de 600 Gb.<\/p>\n

A capacidade de intera\u00e7\u00f5es nas empresas chegou a n\u00edveis astron\u00f4micos. Veja-se o exemplo do Walmart, nos EUA. A cada hora do dia, os canais de contato daquela rede varejista atingem 2,5 Petabytes de dados. Ou seja, um volume equivalente a 170 bibliotecas do Senado norte-americano a cada 60 minutos, e isso numa \u00fanica empresa.<\/p>\n

Assim, quando se fala em \u201cBig-Data\u201d, n\u00e3o se pense que seja demasiadamente exagerado associar isto \u00e0 ideia de um \u201cBig-Bang\u201d, guardadas as propor\u00e7\u00f5es.\u00a0 Atente-se para o fato, ainda, de que 85% das informa\u00e7\u00f5es empresariais s\u00e3o hoje dados n\u00e3o estruturados. O volume e a varia\u00e7\u00e3o do card\u00e1pio das fontes de dados comparecem ainda para multiplicar a complexidade do ambiente informacional para\u00a0 uma dimens\u00e3o pra l\u00e1 de estratosf\u00e9rica.<\/p>\n

E tudo isto sem mencionar aquela ing\u00eanua neglig\u00eancia com que grande parte das empresas vai lidando com a enxurrada de dados, que s\u00e3o simplesmente arquivadas em duplicidade, em multiplicidade e em aleatoriedade… ou ent\u00e3o s\u00e3o doce e simplesmente deletadas para n\u00e3o confundirem os \u201cgestores\u201d ou n\u00e3o atulhar o storage!<\/p>\n

Com este tipo de atitude e sem a tecnologia correta para transformar o dado em neg\u00f3cio, empresas de todos os portes pedem o p\u00e9 do seu cliente enquanto n\u00e3o ficam de bem com o universo dos \u201cBig-Data\u201d.<\/p>\n

Elas atrelam sua compet\u00eancia \u00e0s limita\u00e7\u00f5es da inform\u00e1tica legada; inform\u00e1tica esta que foi desenvolvida num per\u00edodo em que o dado digital ainda usava o paradigma das gavetas e dos arm\u00e1rios de a\u00e7o com que as reparti\u00e7\u00f5es se adornavam e que, em \u00faltima inst\u00e2ncia, geravam arquivos-mortos,\u00a0 e que hoje geram, porque n\u00e3o: enormes cemit\u00e9rios de dados.<\/p>\n

Com informa\u00e7\u00e3o para se cuidar (e se explorar ao inv\u00e9s de se morrer sufocado sobre ela), \u00e9 preciso repensar a estrat\u00e9gia de dados, n\u00e3o s\u00f3 nas grandes, mas tamb\u00e9m nas empresas menores.<\/p>\n

Manusear este volume astron\u00f4mico de dados, pensando em entrega r\u00e1pida e com qualidade dos relat\u00f3rios, pain\u00e9is de an\u00e1lises\u00a0ad hoc,\u00a0<\/em>ou de analises preditivas para mecaniza\u00e7\u00e3o de decis\u00f5es. A\u00ed est\u00e1 o desafio que se coloca para o gestor de informa\u00e7\u00f5es de neg\u00f3cio.\u00a0 O homem de dados n\u00e3o \u00e9 mais aquele burocrata dos arquivos, mas um co-estrategista do varejo que busca conhecer a fundo o que tais dados t\u00eam a dizer sobre os h\u00e1bitos de compra do cliente e sua tend\u00eancia comportamental diante da nossa empresa ou das empresas concorrentes.<\/p>\n

Sim, o homem de dados organiza arquivos, mas isto \u00e9 apenas um meio para que ele descubra brechas ou eventos concretos em termos de fraudes financeiras ou em termos de exaust\u00e3o futura dos estoques.<\/p>\n

O modelo tradicional de\u00a0arquitetura mais comumente utilizada hoje n\u00e3o serve mais : O mundo dos grandes dados exige uma dimens\u00e3o muito maior em termos de capacidade de I\/O e ETL, controle de \u00a0pontos de falha, gest\u00e3o de pontos de performance, \u201c tunning\u201d….. an\u00e1lises tridimensionais de logs e informa\u00e7\u00f5es que podem ser feitas num segundo, mas tamb\u00e9m podem levar v\u00e1rios dias.<\/p>\n

S\u00f3 uma tecnologia \u201csupers\u00f4nica\u201d pode nos apoiar no novo universo \u201cBig-Data\u201d.\u00a0 \u00c9 por isto que os formadores de opini\u00e3o da ind\u00fastria \u2013 e, n\u00e3o por acaso, com a IBM \u00e0 frente, com sua nov\u00edssima e ultra-robusta plataforma Netezza \u2013 j\u00e1 est\u00e3o em movimento para promover uma guinada no mercado de solu\u00e7\u00f5es de data warehouse. Este movimento promete uma nova revolu\u00e7\u00e3o cujo start n\u00e3o ser\u00e1 daqui a um ano ou daqui a uma semana. Ele j\u00e1 est\u00e1 em curso, na verdade, e as l\u00edderes do varejo, bancos, utilities, seguros, governo e servi\u00e7o j\u00e1 captaram a mensagem. O volume mundial de dados ir\u00e1 dobrar ou at\u00e9 quadruplicar novamente em 2012. Assim, ou nos valemos disso como diferencial ou corremos o risco de sermos soterrados sobre ru\u00eddo de bilh\u00f5es de decib\u00e9is que n\u00e3o ir\u00e1 se tornar m\u00fasica.<\/p>\n","protected":false},"excerpt":{"rendered":"

Por M\u00e1rcio Guerra \u2013 Diretor da MD2 Consultoria (As empresas necessitam rever seu modelo de organiza\u00e7\u00e3o de dados a fim de suportar o tsunami de informa\u00e7\u00f5es em que se constituem os \u201cBig Data\u201d) A gigantesca enxurrada de dados que atinge as corpora\u00e7\u00f5es n\u00e3o \u00e9 um fen\u00f4meno assim t\u00e3o recente. \u00a0H\u00e1 muito tempo ele vem mobilizando …<\/p>\n

Big Data: A Arquitetura de Dados em Velocidade Supers\u00f4nica<\/span> Leia mais »<\/a><\/p>\n","protected":false},"author":22,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"site-sidebar-layout":"default","site-content-layout":"default","ast-global-header-display":"","ast-main-header-display":"","ast-hfb-above-header-display":"","ast-hfb-below-header-display":"","ast-hfb-mobile-header-display":"","site-post-title":"","ast-breadcrumbs-content":"","ast-featured-img":"","footer-sml-layout":"","theme-transparent-header-meta":"","adv-header-id-meta":"","stick-header-meta":"","header-above-stick-meta":"","header-main-stick-meta":"","header-below-stick-meta":"","footnotes":""},"categories":[10,23],"tags":[],"_links":{"self":[{"href":"https:\/\/www.luissucupira.com.br\/wp-json\/wp\/v2\/posts\/214110"}],"collection":[{"href":"https:\/\/www.luissucupira.com.br\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.luissucupira.com.br\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.luissucupira.com.br\/wp-json\/wp\/v2\/users\/22"}],"replies":[{"embeddable":true,"href":"https:\/\/www.luissucupira.com.br\/wp-json\/wp\/v2\/comments?post=214110"}],"version-history":[{"count":1,"href":"https:\/\/www.luissucupira.com.br\/wp-json\/wp\/v2\/posts\/214110\/revisions"}],"predecessor-version":[{"id":214111,"href":"https:\/\/www.luissucupira.com.br\/wp-json\/wp\/v2\/posts\/214110\/revisions\/214111"}],"wp:attachment":[{"href":"https:\/\/www.luissucupira.com.br\/wp-json\/wp\/v2\/media?parent=214110"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.luissucupira.com.br\/wp-json\/wp\/v2\/categories?post=214110"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.luissucupira.com.br\/wp-json\/wp\/v2\/tags?post=214110"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}