De 24 horas para 15 minutos: O salto que colocou os dados nas mãos do negócio

Em uma jornada de 8 meses e 6.000 horas de engenharia, a Foursys modernizou a arquitetura de dados de uma grande instituição financeira Tier 1, unificando 12 sistemas legados em um Data Lakehouse com Databricks na AWS. 

A transformação reduziu a latência dos modelos de risco de 24 horas para apenas 15 minutos, deu autonomia analítica total ao time de negócios e desbloqueou R$ 45 milhões em otimização de provisões de crédito já nos primeiros 6 meses de plataforma.

O Desafio: Fragmentação de Dados Legados e Decisões de Risco Reativas

Operar com dados estratégicos de crédito, risco e operações dispersos em 12 sistemas legados distintos e sem integração nativa criava gargalos severos para a instituição financeira Tier 1.

A falta de unificação tornava análises cross-funcionais morosas e exigia semanas de trabalho manual para extração e reconciliação. Como consequência, as decisões de provisão e concessão de crédito operavam com uma defasagem de 24 horas, atuando de forma reativa em vez de preditiva.

Os principais desafios:

• Silos Operacionais e Alta Latência de Dados: Modelos de risco operando com dados defasados, limitando a capacidade de reação às mudanças do mercado.
• Gargalo de Atendimento na TI: Dependência integral do time de TI para a geração de consultas e relatórios de negócios, gerando filas de espera de semanas.
• Pressão Regulatória e Otimização de Capital: Exigências do Banco Central do Brasil (BACEN) por modelos de risco mais ágeis e a necessidade urgente de otimizar a alocação de provisões de crédito.

Por que a Foursys?

Para conduzir um projeto desse porte em uma instituição financeira de grande porte (Tier 1), o cliente buscava um parceiro com capacidade comprovada de engenharia de dados avançada e execução sem riscos à operação.

A Foursys foi selecionada com base nos seguintes diferenciais:

• Expertise Avançada em Data Lakehouse e Nuvem: Domínio consolidado na arquitetura Databricks sobre AWS S3 e Apache Spark para processamento de alto volume.
• Experiência em Ambientes Bancários Críticos Tier 1: Capacidade de atuar sob rígidas exigências regulatórias do BACEN e integrar sistemas legados sem impactos operacionais.
• Capacidade de Mobilização Técnica (6.000h em 8 meses): Estrutura e times multidisciplinares capazes de cumprir prazos desafiadores sem perda de qualidade.
• Foco na Autonomia do Negócio (Self-Service): Metodologia orientada à capacitação dos times do banco, garantindo que o valor da plataforma fosse extraído diretamente pelas áreas de negócio.

A Solução: Arquitetura Data Lakehouse na AWS com Databricks

A Foursys desenhou e implementou uma plataforma unificada de dados sob o conceito de Data Lakehouse, adotando a Arquitetura Medalhão (Bronze, Silver e Gold) para organização e governança dos fluxos:

• Ingestão em Tempo Real (Camada Bronze): Conexão contínua com as 12 fontes legadas por meio de streaming e transações ACID via Delta Lake.
• Padronização e Qualidade (Camada Silver): Limpeza, enriquecimento e reconciliação de dados em massa com Apache Spark e Python.
• Modelagem de Risco e Crédito (Camada Gold): Conjuntos de dados curados para alimentar modelos preditivos de risco e provisão de crédito com atualização a cada 15 minutos.
• Governança e Catálogo Unificado: Estruturação de catálogo centralizado, linhagem de dados e regras de compliance alinhadas ao BACEN.
• Self-Service Analytics & Dashboards Executivos: Integração com Power BI para relatórios gerenciais e capacitação técnica do time de negócios.

Tecnologias-Chave

• Databricks: Plataforma unificada para engenharia e inteligência de dados.
• AWS S3: Armazenamento escalável e seguro em camadas.
• Apache Spark: Processamento distribuído de alto desempenho.
• Delta Lake: Garantia de transações ACID e histórico de dados (time travel).
• Power BI: Camada de visualização executiva e analítica.
• Python: Linguagem para pipelines de ETL e engenharia de features.

Fatores de Sucesso e Desafios Superados

• Unificação de 12 Fontes Heterogêneas: Harmonização de dados vindos de sistemas com formatos, frequências e estruturas totalmente distintas.
• Garantia de Auditabilidade e Rigor BACEN: Governança ponta a ponta na esteira de dados para validação transparente dos cálculos de risco.
• Transformação Cultural para Autonomia: Treinamento das equipes de analytics, eliminando a dependência de TI e descentralizando o acesso a dados de negócio.

Resultados

A nova plataforma de dados transformou a capacidade analítica e financeira do banco:

• R$ 45 Milhões em Otimização: Identificação de eficiências na alocação de provisões de crédito nos primeiros 6 meses.
• Modelos de Risco a cada 15 Minutos: Redução do tempo de atualização de modelos de 24 horas para 15 minutos.
• 12 Fontes Centralizadas: Fim dos silos de dados entre as áreas de crédito, risco e operações.
• Independência do Time de Analytics: Eliminação da dependência da TI para consultas diárias e geração de relatórios.