Big Data, a próxima etapa na análise de dados

Um dos temas mais debatidos no IOD 2011 foi o conceito de Big Data, seus usos, a maturidade das soluções atuais e a necessidade/oportunidade de usar este recurso nos próximos meses. Particularmente não conhecia o tema e vou tentar resumir o que pude aprender no workshop.

Por definição, o conceito de Big Data é relativo pois passa a valer quando uma organização não consegue mais gerenciar, analisar e armazenar um determinado (e enorme) volume e variedade de dados. Este gerenciamento pré supõe estruturar estas informações, organizá-las e padronizá-las para uso. Ano após ano é cada vez maior o volume de informações gerados nos negócios e cada vez mais difícil entender e definir o que é informação relevante ou não – por exemplo, os emails enviados pelos clientes para o Atendimento podem ser uma fonte valiosa de informação a respeito da satisfação e qualidade do serviço, assim como movimentos da concorrência, mas possuem igualmente muito lixo digital que não agrega nada a nenhuma análise. Daí surge à questão: armazenar e tratar estes dados ou não? Na abordagem tradicional isto significa muito espaço em storage, muito trabalho de análise e classificação de informações para um resultado duvidoso. Se pensarmos em aplicar isso a áudio, imagem e vídeo o problema fica ainda maior e é aqui que entra o conceito de usar soluções de Big Data para tratar estes dados não estruturados. No fundo, Big Data só amplifica um problema já conhecido: como extrair valor dos dados que temos dos nossos clientes ?

Como seria uma solução de Big Data?

Na solução apresentada pela IBM, isto passaria por uma camada de streaming computing preparada para monitorar um gigantesco volume de dados em tempo real e programada com alguns triggers que ao encontrar uma informação relevante (previamente definida) dispara processos numa camada de Analytics Engine e aplica regras de negócio pré definidas. Como comentei no Post “Customer Experience Analytics Case Studies” um exemplo disso seria monitorar clientes Premium de operadoras de Telecom para que num momento de contato com o Call Center os sistemas avisassem ao atendente se houve falhas de serviços nos últimos dias/horas e, por exemplo, ao invés de fazer uma oferta de serviço, passasse a oferecer uma ação de relacionamento para “compensar” alguma má experiência que o cliente possa ter tido. Uma condição para a existência de um ambiente como esse é possuir uma visão única do cliente (provido pelas soluções de MDM – Master Data Management) onde é possível ver todos os serviços (fixo e móvel) seja ele uma pessoa física, jurídicas ou ambas, além de monitorar as suas experiências de uso nos serviços e nos canais de atendimento.

A arquitetura em si da solução para este processamento é bastante nova e complexa e não será discutida aqui. Uma referência pode ser consultada em: http://www.smartercomputingblog.com/2011/05/25/509/ ou

http://english.ict.cas.cn/ns/ue/201106/t20110610_71040.html ou http://www.cloudave.com/8176/ibms-new-architecture-boosts-big-data-processing-speeds/

Quais aplicações poderão ser implementadas com Big Data?

O céu é o limite, mas durante o workshop os debates ficaram muito focados em monitorar mídias sociais (facebook, twitter, Yelp, etc) e análises de voz em Call Center – tanto para fazer palitagem (diga-se de passagem muito melhor que atendentes humanos...) quanto para “análise de sentimento” e satisfação do cliente.

Outro tema muito debatido foi o uso da solução para viabilizar “mobile advertising” (algo restrito no Brasil devido a legislação) em vários graus de uso. Assim dado a preferência do consumidor seria possível enviar descontos para consumo em regiões (ruas até) que ofereçam os serviços ou produtos de sua preferência. De maneira geral, todo um universo de "micro campanhas geográficas" se abrirá quando utilizarmos ferramentas como esta, uma vez que operadoras (ou Big Brothers como o Google e a Apple) terão o perfil de consumo e preferências de seus clientes e poderão oferecer este recurso para fazer marketing de evento.

Aplicando Analytics com as soluções de Big Data também se espera: associar cada vez mais análise de textos para entender melhor os clientes, aplicar análises de "next best offer" em tempo real, melhorar o cross selling e otimizar tarifas de acordo com a necessidade, uso e local que o cliente esteja. Estes usos serão discutidos num Post futuro.

A Mobile Business Intelligence

Neste post gostaria de registrar não uma apresentação do evento e sim uma discussão num dos BoF* que ocorriam durante o horário do almoço e que reuniam diferentes pessoas de várias industrias para conversar sobre um determinado tema da conferência. No almoço em questão foi debatido o impacto que a função “Siri” http://youtu.be/L4D4kRbEdJw (o novo assistente de voz que a Apple introduziu no iPhone 4S) pode trazer ao mercado de buscas e influenciar diretamente como as receitas deste mercado podem migrar do Google e de operadoras diretamente para as mão da Apple. Na opinião de um PhD da IBM: “Siri vai mudar o mundo”. Será? Vamos ver então.

No final dos anos 90, negócios tradicionais começaram a migrar para a internet não só como meio de divulgação da marca, mas para realizar negócios em si. Nesta época  se estabeleceu que as pessoas poderiam ter acesso a email, assistirem vídeos, acharem amigos, ter dicas de viagem sem a necessidade de pagar. O que sustentava e sustenta estes provedores de conteúdo são as receitas de publicidade nos sites (que em 2010 aportaram U$ 26 bilhões nesta indústria). Os sites por sua vez também criaram um novo mercado de venda de informações onde eles coletam dados de uso (em geral de cookies), sintetizam, categorizam, segmentam e finalmente vendem a informação para reuso. O Google, de longe, foi a empresa mais bem sucedida neste meio, passando de um site de buscas (que até hoje é seu ganha pão) para um provedor completo de serviços via internet, coletando petabytes de informações diárias sobre perfil de consumo, gostos, hábitos/vícios na rede além de nossas relações “inter” pessoais (embora virtuais). A coisa é tão escancarada que, você pode não saber, mas parte da propaganda que você vê hoje quando acessa o gmail é baseada no conteúdo do email que você recebeu recentemente...

Bem, o que ocorre agora é que toda esta estrutura de negócio e entretenimento está migrando para o mundo móvel na medida em que a penetração de smartphones , tablets e demais devices móveis aumentam também -  o gráfico ao lado mostra o aumento da penetração destes aparelhos no mercado americano. O mundo móvel tem várias particularidades mas a principal delas está ligada justamente a localização, pois agora além de saber seu perfil de consumo é possível saber onde você esteve, está e provavelmente estará ! Para uma operadora de Telecom ainda é possível saber com quem e quanto você fala ou troca mensagens.

E a Apple com isso? Pra quem não clicou, vá até http://youtu.be/L4D4kRbEdJw  e veja novamente como é a interação entre a pessoa e seu iPhone. O que a Apple está tentando fazer é mudar a maneira com que fazemos buscas hoje –na frente de um computador ou smartphone, teclando e vendo resultados – para uma interação onde você pergunta algo por voz e recebe a sugestão de resposta por voz... Sutil, mas faz toda a diferença! Se a Siri passar a responder para o usuário onde ele encontra coisas sem a necessidade dele teclar ou ver o resultado não fará mais sentido vender banners nos sites pois as pessoas passaram a perguntar e receber sugestões por voz. Esta mudança pode fazer com que haja um leilão entre os anunciantes para que a Siri dê sugestões relacionadas a um produto (restaurante, por exemplo) aumentando os custos de propaganda das empresas e trazendo mais lucros – para a Apple no caso. Há até uma vertente que aposta que a Apple passará a oferecer serviços de reserva (em restaurantes, vôos, hotéis, etc) e cobrará do anunciante por isso. Como toda a interação do usuário com a Siri passa pelos servidores da Apple o conhecimento que eles terão do cliente será cada vez maior e personalizado possibilitando praticamente um marketing 1 para 1. A Siri poderá ser levada onde a Apple tem produtos hoje como computadores, smartphones, tablets e TV (lembra do “De volta para o futuro 2” quando o filho do Martin conversava com a TV pedindo seus canais preferidos?), e no futuro para carros postos de informações (isso mesmo!) espalhados pela cidade. A Apple é craque em gerar receitas, no próximo gráfico é possível ver que com apenas 4% do share de celulares, eles conseguem abocanhar 52%, isso mesmo 52%, da receita da indústria.

Nas palavras de um dos “gurus” do evento: “Siri irá revolucionar o mundo que conhecemos hoje, especialmente o de propaganda na internet e sua extensão nos celulares”.

E as operadoras? Como ficam? Uma alternativa é gerar novos serviços aos seus clientes, fornecendo aplicações (seja entretenimento ou comercial – aqui vale a pena conferir a iniciativa do grupo Telefonica com a plataforma BlueVia (https://bluevia.com/en/) e tentando blindar o maior valor que elas possuem: seus milhões de clientes (fixo e móvel). Neste cenário, uma estrutura de BI pode fazer toda a diferença para entender comportamentos e necessidades dos clientes na mesma proporção 1 para 1 que a Apple se propõe a fazer.

*) BoF - É a sigla para a expressão birds of feather flock together, que designa grupos de interesse ou discussão em comum. No evento era o nome utilizado para estas discussões no horário do almoço.

Customer Experience Analytics Case Studies

Esta sessão começou como uma pergunta aberta: “O que seria uma boa experiência do cliente?” e após um breve debate outras perguntas se seguiram:

Seus clientes podem achá-los facilmente?

A primeira impressão que você causou foi memorável?

Você passa mensagens claras?

Seus produtos são intuitivos?

Você tem uma visão unificada do seu cliente?

Você entrega valor aos seus clientes mais importantes? Em especial foi discutido um caso do Steve Jobs num lançamento do iPhone 4 quando a conexão falhou quatro vezes seguida (http://youtu.be/l27SorIkBc0) e as pessoas passaram a reclamar da operadora...o gancho foi utilizado para dizer o seguinte: uma operadora sabe (assim como nós) identificar um cliente Premium e não podemos oferecer somente “pontos” ou “descontos” para atenuar caso de falhas como o ocorrido. Qual o impacto deste tipo de falha para causar churn de um cliente Premium? Então, como podemos monitorar este tipo de falha (que pode ser no operador, na rede ou mesmo no device)? É possível monitorar cada cliente e prover um serviço diferenciado para os melhores clientes?

Todas estas perguntas foram feitas para introduzir um conceito de “real-time decision” para análise de comportamento do cliente e tomada de decisão. Neste ambiente (um passo a frente de onde queremos chegar hoje), além de ter preferências mapeadas, propensões calculadas e ofertas programadas a fazer (seja para contatos ativos ou passivos), e necessário utilizar “as últimas experiências” do cliente para no momento de contato prover um serviço diferenciado.

A figura 1 mostra uma representação de como seria um ambiente como esse que o “Analytics” tradicional com análises de tempo real. A estruturação de um ambiente como esse deve obedecer a um ciclo de maturidade de coleta, análise e comunicação da informação possue vários estágios (figura 2) e que a IBM empacotou num produto chamado “Information Agenda”. O fato curioso é que o Arvind Sathi (criador do modelo) é da Carnegie Mellon University onde nasceu o CMM e CMMi e certamente uma fonte de “inspiração” para a criação dos níveis de maturidade do Information Agenda.

O trabalho do Information Agenda (figura 3) em si consiste em posicionar uma organização num dos estágios de maturidade do modelo (as is), definir em qual estágio ela deveria se posicionar (to be) e o que deve ser feito para tal. Sem dúvida um guia valioso para quem está implantando uma nova área ou quer reposicioná-la na organização.

O debate prosseguiu com um representante da AT&T comentando os desafios de tentar entender o cliente e como ofertar algo diferenciado para ele. De tudo que ele comentou o que chamou a atenção foi novamente o tema de “redes de relacionamento” e a tentativa de identificar os “nós” mais fortes das redes (figura 4) para fidelizá-lo e tentar fazer com que ele aumente a uso dos serviços de comunicação de sua própria rede. Neste sentido há até uma classificação destes “nós” em “disseminating leaders” e “ authority leaders” que requerem diferentes ofertas e relacionamento para a fidelização.

Desafios a serem vencidos

Muitas pessoas envolvidas no processo analítico da organização e como trabalham de maneira independente o conhecimento, o compartilhamento da informação e mesmo o resultado que pode ser alcançada fica limitado.

Os processos de negócio são muito complexos e a atividade de “Analytics” não pode ser isolada! Deve estar integrada e “orquestrada” com as áreas de negócio.

Muitos usuários precisam de informação de análise, então esta deve ter um meio eficiente e único de ser entregue para cada um dos usuários.

O controle operacional de analytics são enormes com muitas tarefas, dados e rotinas repetitivas que em geral consomem horas de recursos caros e limitados as silos de atuação.

Os modelos (propriedade intelectual) não são tratados como um ativo da empresa o que pode por em risco toda a operação comercial.

Social Network Analysis for IBM SPSS Modeler Premium - The Future of Customer Churn Prediction and a Lot More

Moçada, esta palestra foi a mais bacana até o momento. Há mais de um ano eu escuto falar de monitorar redes de relacionamento pode trazer bons resultados para satisfação do cliente e para sua fidelização e conseqüente redução do churn, mas NUNCA tinha visto uma simulação e um resultado real e consistente sobre o assunto. Pois bem, estes caras conseguiram. Na verdade a apresentação foi um “hands on” onde podemos participar do passo a passo (utilizando o SPSS) da “construção” do modelo (na verdade o algoritmo já está lá, a única coisa a ser feita era selecionar as variáveis J). Pois bem, relacionando simplesmente os números de telefone do “ligador”, do “receptor” e adicionando os minutos da conversa, você aperta um botão e... abracadabra: surge uma teia (ou alvéolos pulmonares) com os principais “nós” da rede (os influenciadores) identificados.

A partir daí, entra um conceito muito louco que há uns 15 anos não ouvia falar. Ele se chama “energia de difusão” (tem um ppt interessante aqui) e basicamente mede o impacto que um influenciador (o nó da rede) tem na sua rede – seja para comprar mais ou para deixar o seu provedor de serviços. Bacana, né!? Mas e na prática? Bem, por acaso, o grupo de indianos que estava apresentando tinha um exemplo de Telco e me disseram que a propensão de churn numa rede de relacionamento cujo influenciador sai é 37 vezes maior que qualquer outro membro desta rede!! Puta resultado. Vou parar de descrever a apresentação por aqui pois nada mais pode ser tão útil quanto esse resultado.

Bem procurei o pessoal da apresentação e o chefe de pesquisas do SPSS para saber se havia alguma coisa deste tipo para PJ, eles disseram que ainda mas tinham interesse em abrir uma linha de trabalho neste sentido.

Quando voltar converso com todos pessoalmente mas já adianto que esta será uma de nossas linhas de trabalho para o Mapa de Risco.

Driving Business to Business sales with predictive analytics

Esta sessão foi conduzida por uma empresa chamada ADP (http://www.adptotalsource.com ) uma das maiores empresas de outsourcing de serviços de RH (pagamentos, seguros, saúde, sistemas,..) dos EUA e que também é focada em B2B. Na sessão foi apresentada a estratégia de implementação de aplicações de Predictive Analytics para identificar oportunidades de vendas e propensões de compra de mais de 9.000.000 (nove milhões!!!) de itens de venda disponíveis para os seus clientes.

Uma discussão corrente que teve nessa e em outras sessões foi o tempo de base necessário para montar os modelos de propensão e todos (até o momento) dizem que 6 meses é um bom prazo pois como o comportamento do cliente está mudando, dados mais antigos tendem a piorar a previsão de curto e médio prazo.  Uma outra discussão que veio a tona é a necessidade de identificar e expurgar das análises comportamentos muito fora do padrão – por exemplo, uma pessoa costuma comprar livros de ficção científica num site de compras e no natal resolve comprar uma Barbie para sua sobrinha. Na maioria dos sites, quando esta pessoa volta, passa a oferecer produtos da Barbie para este cliente...

O apresentador acabou discutindo muito o SPSS (ferramenta de mining da IBM) e facilidades de drag-and-drop para fazer modelos (algo que o SAS 9.2 também tem), mas acabou não falando nada a respeito das campanhas em tempo real que eles realizam e os savings ($$) que a implementação trouxe.

Reducing Customer Churn Rates through Predictive Analytics an Proactive Communication

Esta foi uma tremenda sessão pois se tratava de um caso real de definição e implantação de um programa consistente de redução de churn na “XO Communications” (http://www.xo.com/) uma provedora de redes VOIP para o varejo e atacado nos EUA. Eles começaram mostrando como encaravam o problema do churn (figura 1) – no fundo de reduzir perdas e melhorar as margens da empresa propondo como indicador a seguinte equação: Vendas – Churn = razão de crescimento de receitas (com um detalhe: sempre olhando margem).

Como resultado eles mostraram a redução do churn para grandes e médios/pequenos clientes (figura 2) e depois passaram a explicar como conseguiram o resultado. Todo começa com a definição de uma estratégia de fidelização e retenção de clientes onde o grupo de Analytics mais segmentos de negócio e canais de atendimento definem uma única visão de ciclo de vida de clientes (figura 3) e o que deve ser oferecido a este cliente em cada uma destas etapas.

 Assim a cada contato com o cliente e independentemente do canal, o atendente sabe qual a propensão e oferta (de venda, retenção ou apenas de relacionamento) do cliente.

Na segunda parte da apresentação eles se concentraram nos modelos de propensão (figuras 4 e 5) mostrando parte das variáveis testadas e a estratégia de deploy.

Resultados:

Foram exibidos os lifts de cada modelo e em seguida o resultado financeiro medido (contra um grupo de controle – figuras 7 e 8). O Luiz vai ficar contente com esta parte, pois a equipe interna (in house) conseguiu melhorias expressivas. Também acho que conseguimos o mesmo mas o ponto é que é preciso primeiro atender a demanda (como eles fizeram com o parceiro) e depois buscar saltos qualitativos.

Eles também destacaram as seguintes lições aprendidas:

- Ter uma estratégia de fidelização de clientes é uma questão de sobrevivência. Para isso é necessário que os times de Analytic, Segmentos e Canais caminhem na mesma direção e estratégia;

- Você pode começar a implementar a estratégia com um parceiro de Analytics, Consultoria de Negócios e depois assuma o controle;

- Selecione uma plataforma consistente e meios de distribuir a informação aos segmentos e canais de atendimento. Socialize e discuta a informação com todos os envolvidos;

- 80% do esforço é preparação de dados e só o restante de Analytics;

- Disciplina: sempre use grupos de controle para provar seus resultados;

- Procure apoio da organização para implantar e priorizar a iniciativa

- Use uma metodologia consistente (CRISP-DM no caso) para implantar uma estratégia consistente de modelagem.

Predictive Analytics to improve customer insight, decision making and profitability

A palestra foi em ritmo de aquecimento, mas ressaltou a mudança de comportamento do consumidor (veja a figura 1) que vem obrigando as empresas a conhecerem mais os seus cliente e se relacionar com ele de maneira personalisada. Isto gera a necessidade das empresas terem uma estratégia de Business Analytics e assim conseguir vantagem competitiva, fornecendo agilidade para resolver os problemas de negócios mais críticos e dar a visão de valor imediato para depois, dinamicamente, posicionar o negócio para o crescimento e mudança destes clientes e do próprio mercado.

Na palestra foram discutidos meios de alinhar os dados operacionais com análise do negócio e soluções de data warehousing para satisfazer o uso crescente de analytics nas empresas “sem” onerar tanto os custos e complexidade de TI. Também foram discutidos alguns aspectos de priorização de seleção e monitoramento de dados (figura 2) e a necessidade básica de ter as principais informações de negocio estruturadas na organização.

Por último o "novo" ciclo de vida do cliente batizado de CEF (Customer Experience Framework) foi apresentado (figura 3) e dele decorre o monitoramente das ações do clientes e a avaliação em tempo real de suas propensões - o exemplo dado, foi de um cliente que passou a ligar para o Call Center várias vezes numa semana para reclamar e o seu "rating" de risco (cresceu 27 vezes) sendo necesária uma ação proativa para manter este cliente na base.

Baixar a apresentação inteira

Abertura

A primeira surpresa que tive ao chegar na abertura foi a infra-estrutura colossal que o hotel tem para realizar uma convenção pois são mais de 10.000 pessoas e nem momento houve grandes filas ou dificuldade de locomoção. A abertura foi num ginásio com a capacidade similar a do Ibirapuera (isso mesmo!!) e como toda abertura de um grande evento, os principais lideres da IBM estiveram no palco para motivar a todos que estavam presentes.

A primeira surpresa foi ver o logo da Vivo no telão principal. Eu conhecia o projeto, sabia que ele era importante mas não tinha idéia o tamanho do impacto que ele causou na operação e a importância dele para a IBM. A outra surpresa foi ver o tamanho do investimento que a IBM esta fazendo para criar toda uma suíte de hardware e software para cuidar especificamente de Analytics e seu uso em Campanhas, Call Center e demais canais de atendimento assim como para otimizar a operação (reduzir custos!)  da empresa como um todo. Note, não é apenas vender e reter, é usar melhor os recursos da empresa para entregar valor ao cliente.

Particularmente fiquei muito contente, pois vi que os projetos e iniciativas da área (MOVER, MAPA DE RISCO, DECISÃO BASEADA EM MARGEM DE CONTRIBUIÇÃO) estão entre as maiores recomendações da indústria para o mercado. Vou compartilhar algumas das palestras e colocar as minhas impressões com vocês ao longo dos dias.