Ciência de Dados no Setor Público:

# <code>Ciência de Dados no Setor Público:</code>
## <code>cases de sucesso no Fundo Nacional de Desenvolvimento da Educação</code>
### Allan V. C. Quadros
### Estatístico 27 de novembro, 2019

---

layout: true
background-image: url(./img/logo/fnde_blue.jpg)
background-position: 0% 100%
background-size: 5%

---

background-image: url(./img/dollar1.jpg)
background-size: 80%
background-position: 50% 50%

---

## "In God we trust. All other must bring data."
W. Edwards Deming

---

## <code>Ciência de Dados no mundo hoje...</code>

---

### Data Science no mundo ...

![](./img/tesla.png)

]

![](./img/galaxies2.jpg)

]

---

### Data Science no mundo ...

![](./img/ML_med.png)

]

![](./img/jurimetria.png)

]

---

### Data Science no mundo ...

![](./img/facial_rec2.jpg)

![](./img/credit_card_fraud.jpg)

]

![](./img/bayes_babies.png)

]

---

## <code>O que é Data Science?</code>

---

## Data Science

### <code>É um campo **multidisciplinar** que utiliza métodos científicos, processos, algoritmos e sistemas para extrair conhecimento e insights tanto de dados estruturados quanto de não-estruturados.</code>

---

background-image: url(./img/ds_skillset2.jpg)
background-size: 95%
background-position: 50% 50%

#### Fonte: fusionanalytics.com

---

# o FNDE

---

# <code>$$$</code>

---

## Programas

---

## <code>Como o FNDE lida(va) com esse imenso volume de dados?</code>

---

---

---

---

---

<code>

- imensa quantidade de dados

- dados extramente sensíveis (financeiros, estratégicos)

</code>

]

<code>
**análise de dados pouco profissional:**

- projeções equivocadas;
- indicadores inócuos/imprecisos;
- controles falhos;
- retrabalho;
- desperdício de tempo;>
- desperdício de $$$$

</code>

]

---

## <code>O quê o FNDE tem feito?</code>

---

---

# FisFa - Fiscaliza Fatura
### **Aplicativo para fiscalização das faturas dos Agentes Financeiros do FIES**

- FNDE possui 3 contratos: 2 com CEF e 1 com BB

**mensalmente, por banco, recebe-se:**

- fatura do serviço de administração da carteira de financiamento

- base com dados dos alunos financiados (~ 1,7 milhão de linhas cada)

</code>

]

**Valores:**

- mensal: ~ R$ 40 milhões cada

- anual: ~ 1 bilhão de reais

**Implicações:**

- responsabilização do fiscal de contratos

- responsabilização dos gestores

- impossibilidade de identificar irregularidades nas bases de dados e na cobrança

</code>
]

---

<code> 
## **Cenário pré-FisFa:**

- não havia base "espelho" do MEC/FNDE para comparação

- retirava-se uma amostra (não-aleatória e minúscula) da base enviada pelo banco

- checava-se apenas inconsistências gritantes

- ex: banco cobrou pelo aluno que ele mesmo informou que já havia quitado o financiamento

- todo o processo tomava aproximadamente uma semana

]

- discussões constantes entre fiscais de contratos e os gestores da diretoria

- evasão de servidores

**responsabilização:**

- indagações e apontamentos constantes de TCU e CGU

**tentativas:**

- TI desenvolveria o sistema de "gestão da carteira do FIES" 💸

]

</code>

---

<code> 
## **Concepção do FisFa:**

**experiência como fiscal de contrato:**

- conhecimento sobre o problema

**conhecimentos do segundo semestre de Estatística:**

- queria aprimorar a parte de programação em **R**

**independência operacional:**

- tinha que ser algo para que outros pudessem operar

]

**desenho:**

- estruturar a base de dados do FNDE/MEC que serviria como referencial de comparação

- aplicativo *point & click*  de Windows desenvolvido totalmente em **R** e com alguns detalhes em _Python_

- simples "cruzador/comparador" de tabelas

- incorporando as regras específicas de cada um dos 3 contratos

]

</code>

---

---

<code> 
## **Resultados FisFa:**

**tempo de análise de uma fatura:**

- passou de uma semana para < 1 minuto

**maior confiabilidade e robustez na análise**

**economia direta:**

- acima de R$200 milhões até 2018 💰

- diversos contratos em situação irregular

**economia indireta:**

- sem contratação de empresa de TI 💰

- hora/trabalho de servidores 💰

- identificação de erros na própria base do FNDE/MEC

]

**Prêmios:**

]

---

---

# Malha-Fina FNDE
### **Análise de prestações de contas por meio de mineração de dados**

- FNDE é responsável pela descentralização de recursos de cerca de 33 programas

- são 5.570 municípios, 27 estados, e entidades como APAES, etc

**obrigação de prestar contas:**

- toda descentralização gera uma obrigação de prestar contas por parte do ente/entidade

- a obrigação do FNDE é analisar **TODAS**

</code>

]

**Números anuais:**

- entrada: ~ 35.000 prestações de contas no SIGPC

- capacidade de análise*: ~ 3.500 prestações de contas

- passivo: 290 mil prestações de contas

- $$$$: ~ R$90 bilhoes

</code>
]

---

<code> 
### **Contextualização:**

- gestores terminam mandatos sem contas analisadas

- eventuais danos ao erário são identificados tardiamente - não passíveis de recuperação 💸

]

- TI implementaria a "análise automática de prestações de contas"

**problemas:**

- cada programa tem sua normatização

- todo ano são lançadas portarias novas modificando algum aspecto
]

</code>

---

<code> 
## **Concepção do Malha-Fina:**

**reconhecer que o problema nunca seria resolvido de forma "ideal"**

- CGU sugere ao FNDE utilização de mineração de dados em 2016

**definição de programas-piloto:**

- PNAE, PNATE e PDDE

**contratação de consultores:**

- estudo e estruturação da base de dados

- definição de variáveis

- definição e testes dos modelos

]

**desenho:**

- aprendizagem de máquina supervisionada - classificação

- retorna uma probabilidade (nota de risco) de dano ao erário

- algoritmo seria incorporado ao ambiente de produção do SIGPC

**algoritmo escolhido:**

- XGBoost

]

---

<code> 
## **Resultados Malha-Fina:**

**Potenciais:**

- eliminação do passivo em ~ 5 anos

- economia de mais de R$ 3 bilhoes 💰

- economia de mais de meio século de trabalho 💰

- redução do ímpeto de fraude

]

**Taxa de acertos:**

- entre 75% e 85%

**Fase final de implementação**

**Expansão para os demais programas**

]

---

class: center, middle
# Estimativa da quantidade de livros a serem comprados no PNLD

---

# Programa Nacional do Livro Didático - PNLD
### **Séries temporais para estimar o número de alunos para cada série em todas as escolas do Brasil**

<code> 
### **Contextualização:**

.pull-left[
- Todo ano o FNDE realiza a compra centralizada e distribuição dos livros didáticos de todas as escolas públicas do país

- são 5.570 municípios, 27 estados

**padronização é "proibida"**

- as escolas tem liberdade para escolherem seu material didático

]

- as escolas não tem obrigação de informar número de alunos

**como era a feita a estimativa anteriormente:**
</code>

- `$Q_{2020} = Q_{2019} + x$`, `$x = 🧙$`

]

---

### **Contextualização:**
<code>

**Números:**

<table class="table" style="margin-left: auto; margin-right: auto;">
 <thead>
 <tr>
 <th style="text-align:left;"> Etapa de Ensino </th>
 <th style="text-align:left;"> Escolas Beneficiadas </th>
 <th style="text-align:left;"> Alunos Beneficiados </th>
 <th style="text-align:left;"> Total de Exemplares </th>
 <th style="text-align:left;"> Valor de Aquisição </th>
 </tr>
 </thead>
<tbody>
 <tr>
 <td style="text-align:left;"> Educação Infantil </td>
 <td style="text-align:left;"> 74.409 </td>
 <td style="text-align:left;"> 5.448.222 </td>
 <td style="text-align:left;"> 646.795 </td>
 <td style="text-align:left;"> R$ 9.826.136,60 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Anos Iniciais do Ensino Fundamental </td>
 <td style="text-align:left;"> 92.467 </td>
 <td style="text-align:left;"> 12.189.389 </td>
 <td style="text-align:left;"> 80.092.370 </td>
 <td style="text-align:left;"> R$ 615.852.107,23 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Anos Finais do Ensino Fundamental </td>
 <td style="text-align:left;"> 48.529 </td>
 <td style="text-align:left;"> 10.578.243 </td>
 <td style="text-align:left;"> 24.523.891 </td>
 <td style="text-align:left;"> R$ 224.516.830,94 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Ensino Médio </td>
 <td style="text-align:left;"> 20.229 </td>
 <td style="text-align:left;"> 6.962.045 </td>
 <td style="text-align:left;"> 20.835.977 </td>
 <td style="text-align:left;"> R$ 251.830.577,40 </td>
 </tr>
 <tr>
 <td style="text-align:left;"> Total Geral </td>
 <td style="text-align:left;"> 147.857 </td>
 <td style="text-align:left;"> 35.177.899 </td>
 <td style="text-align:left;"> 126.099.033 </td>
 <td style="text-align:left;"> R$ 1.102.025.652,17 </td>
 </tr>
</tbody>
</table>

</code>

---

<code> 
## **Resultados Estimativa PNLD**

### **Somente saberemos ano que vem**

- mas já temos uma metodologia científica de estimativa

- dados minimamente confiáveis - censo escolar

- possibilidade inclusive de estimar o erro

---

## <code>Outras iniciativas e projetos</code>

---

## <code>Desafios </code>

---

class: title-slide-final, middle
background-image: url()
background-size: 100px
background-position: 9% 15%

# Obrigado!!

## <code>Duvidas ou Perguntas?</code>

### .white[Contato:]

<a href="mailto:allan.quadros@fnde.gov.br"> allan.quadros@fnde.gov.br</a>

<div>
 Feito no
 <img src="./img/rball.png" style="float: center; width: 4%;"> com 
 <img src="./img/xaringan.png" style="float: center; width: 3.8%;"> e
 <img src="./img/plotlylogo.png" style="float: center; width: 4%;"> .
 
</div>

Apresentação disponível no <img src="./img/gitlogo1.png" style="float: center; width: 8%;">em:

<a href="https://allanvc.github.io/slide_WIDaT2019/" style="color:navyblue">https://allanvc.github.io/slide_WIDaT2019/</a>