Em uma jornada de 8 meses e 6.000 horas de engenharia, a Foursys modernizou a arquitetura de dados de uma grande instituição financeira Tier 1, unificando 12 sistemas legados em um Data Lakehouse com Databricks na AWS.
A transformação reduziu a latência dos modelos de risco de 24 horas para apenas 15 minutos, deu autonomia analítica total ao time de negócios e desbloqueou R$ 45 milhões em otimização de provisões de crédito já nos primeiros 6 meses de plataforma.
O Desafio: Fragmentação de Dados Legados e Decisões de Risco Reativas
Operar com dados estratégicos de crédito, risco e operações dispersos em 12 sistemas legados distintos e sem integração nativa criava gargalos severos para a instituição financeira Tier 1.
A falta de unificação tornava análises cross-funcionais morosas e exigia semanas de trabalho manual para extração e reconciliação. Como consequência, as decisões de provisão e concessão de crédito operavam com uma defasagem de 24 horas, atuando de forma reativa em vez de preditiva.
Os principais desafios:
- Silos Operacionais e Alta Latência de Dados: Modelos de risco operando com dados defasados, limitando a capacidade de reação às mudanças do mercado.
- Gargalo de Atendimento na TI: Dependência integral do time de TI para a geração de consultas e relatórios de negócios, gerando filas de espera de semanas.
- Pressão Regulatória e Otimização de Capital: Exigências do Banco Central do Brasil (BACEN) por modelos de risco mais ágeis e a necessidade urgente de otimizar a alocação de provisões de crédito.
Por que a Foursys?
Para conduzir um projeto desse porte em uma instituição financeira de grande porte (Tier 1), o cliente buscava um parceiro com capacidade comprovada de engenharia de dados avançada e execução sem riscos à operação.
A Foursys foi selecionada com base nos seguintes diferenciais:
- Expertise Avançada em Data Lakehouse e Nuvem: Domínio consolidado na arquitetura Databricks sobre AWS S3 e Apache Spark para processamento de alto volume.
- Experiência em Ambientes Bancários Críticos Tier 1: Capacidade de atuar sob rígidas exigências regulatórias do BACEN e integrar sistemas legados sem impactos operacionais.
- Capacidade de Mobilização Técnica (6.000h em 8 meses): Estrutura e times multidisciplinares capazes de cumprir prazos desafiadores sem perda de qualidade.
- Foco na Autonomia do Negócio (Self-Service): Metodologia orientada à capacitação dos times do banco, garantindo que o valor da plataforma fosse extraído diretamente pelas áreas de negócio.
A Solução: Arquitetura Data Lakehouse na AWS com Databricks
A Foursys desenhou e implementou uma plataforma unificada de dados sob o conceito de Data Lakehouse, adotando a Arquitetura Medalhão (Bronze, Silver e Gold) para organização e governança dos fluxos:
- Ingestão em Tempo Real (Camada Bronze): Conexão contínua com as 12 fontes legadas por meio de streaming e transações ACID via Delta Lake.
- Padronização e Qualidade (Camada Silver): Limpeza, enriquecimento e reconciliação de dados em massa com Apache Spark e Python.
- Modelagem de Risco e Crédito (Camada Gold): Conjuntos de dados curados para alimentar modelos preditivos de risco e provisão de crédito com atualização a cada 15 minutos.
- Governança e Catálogo Unificado: Estruturação de catálogo centralizado, linhagem de dados e regras de compliance alinhadas ao BACEN.
- Self-Service Analytics & Dashboards Executivos: Integração com Power BI para relatórios gerenciais e capacitação técnica do time de negócios.
Tecnologias-Chave
- Databricks: Plataforma unificada para engenharia e inteligência de dados.
- AWS S3: Armazenamento escalável e seguro em camadas.
- Apache Spark: Processamento distribuído de alto desempenho.
- Delta Lake: Garantia de transações ACID e histórico de dados (time travel).
- Power BI: Camada de visualização executiva e analítica.
- Python: Linguagem para pipelines de ETL e engenharia de features.
Fatores de Sucesso e Desafios Superados
- Unificação de 12 Fontes Heterogêneas: Harmonização de dados vindos de sistemas com formatos, frequências e estruturas totalmente distintas.
- Garantia de Auditabilidade e Rigor BACEN: Governança ponta a ponta na esteira de dados para validação transparente dos cálculos de risco.
- Transformação Cultural para Autonomia: Treinamento das equipes de analytics, eliminando a dependência de TI e descentralizando o acesso a dados de negócio.
Resultados
A nova plataforma de dados transformou a capacidade analítica e financeira do banco:
- R$ 45 Milhões em Otimização: Identificação de eficiências na alocação de provisões de crédito nos primeiros 6 meses.
- Modelos de Risco a cada 15 Minutos: Redução do tempo de atualização de modelos de 24 horas para 15 minutos.
- 12 Fontes Centralizadas: Fim dos silos de dados entre as áreas de crédito, risco e operações.
- Independência do Time de Analytics: Eliminação da dependência da TI para consultas diárias e geração de relatórios.