Deteção de Fraude no Retalho com Data Mining
Deteção de Fraude no Retalho com Data Mining
NA INDÚSTRIA DO RETALHO
por
2015
Nota Biográfica
Em 2005 inicia funções numa empresa de retalho, como analista de dados. Desde então
as suas atividades principais têm sido: análise de informação de negócio, análise da
eficiência e eficácia dos processos, deteção de casos anómalos ou estranhos, possíveis
fraudes ou incumprimento de procedimentos.
i
Agradecimentos
Tendo chegado ao final deste trabalho, cabe-me agradecer a todas as pessoas que foram
importantes ao longo deste caminho:
À minha esposa Célia, pela paciência e compreensão ao longo destes dois anos do
curso.
Aos meus familiares, amigos e colegas de curso, pelo apoio e conselhos que me foram
transmitindo ao longo do tempo, levando-me a tomar as melhores decisões possíveis.
Por fim e não menos importante, o agradecimento aos professores João Gama e Rita
Ribeiro, pelo interesse demonstrado no tema escolhido, pela experiência, sugestões,
visão e melhorias ao longo do trabalho, tornando possível o seu resultado final.
Este trabalho foi apoiado pela Comissão Europeia, no âmbito do projeto MAESTRA
(Grant number ICT-2013-612944) a quem também envio o meu agradecimento.
Thanks to the support of project MAESTRA (Grant number ICT-2013-612944) funded
by European Commission.
ii
Resumo
A fraude é omnipresente a todas as organizações, sendo que nenhuma está imune à sua
ameaça. O seu custo é equivalente a um iceberg financeiro, onde as perdas financeiras
são visíveis, mas existem outros custos indiretos, como perdas de produtividade, danos
de imagem ou reputacionais.
Estima-se que todas as organizações possam perder 5% das suas receitas em cada ano,
devido à fraude. A taxa de crime económico reportada mundialmente tem vindo a
aumentar desde 2009, sendo que um terço das organizações reportou ter sido vítima de
crime económico. Recentemente, metade das organizações da indústria do Retalho
reportou ter sido vítima de crime económico.
A área de “Data Analytics” onde se inclui o Data Mining, foi considerada como o
método mais eficaz para a deteção da fraude, tendo sido destacada por 25% das
organizações que já sofreram crimes económicos.
Esta dissertação propôs-se desenvolver um modelo de aprendizagem a partir de dados
de devoluções de artigos, num universo de 40 lojas de um retalhista, na procura de
deteção de casos anómalos ou estranhos (designados por outliers), que possam ser
fraude ou não.
Esse modelo é criado através da aplicação de técnicas de Data Mining, sendo que a
deteção dos outliers é obtida através de representação gráfica (box-plot), através do
estudo das variáveis do conjunto de dados.
A análise das variáveis é realizada de forma individual (univariada) e em combinação
(bivariada e multivariada) entre as mesmas, produzindo resultados relevantes, mas
distintos entre si.
É destacada a importância das análises multivariadas, através do desenvolvimento de
árvores de regressão, pois permitem identificar outliers de contexto. Estes casos são
considerados de difícil deteção, sendo apenas observados num determinado contexto,
definido por um conjunto de regras associadas às variáveis.
iii
Abstract
Fraud is omnipresent to all organizations, and no one is immune to its threat. The cost
of fraud is equivalent to a financial iceberg, where the financial losses are visible, but
there are other indirect costs such as lost productivity, image or reputational damage.
It is estimated that every organization can lose 5% of their revenue each year due to
fraud. The economic crime rate reported worldwide has increased since 2009, with one
third of organizations reported have been victims of economic crime. Recently, half of
the retail industry organizations reported having been victims of economic crime.
The area of "Data Analytics" which includes Data Mining was considered the most
effective method for fraud detection, and was highlighted by 25% of organizations that
have suffered economic crimes.
This dissertation proposed to develop a learning model from returned items (to stores),
in a total of 40 stores from a retailer, trying to find and detecting abnormal or unusual
cases (called outliers), which can be fraud or not.
This model is created through the application of data mining techniques, and the
detection of outliers is obtained through graphical representation (box-plot), by studying
the data set variables.
This analysis of the variables is carried out individually (univariate) and in combination
(bivariate and multivariate) between them, to produce relevant results, but distinct from
each other.
It is highlighted the importance of multivariate analysis, through the development of
regression trees, that can lead to identifying context outliers. These cases are considered
of difficult detection, being observed only in a given context, defined by a set of rules
associated with the variables.
iv
Índice Geral
1.4 Organização........................................................................................................ 3
v
3.6 Deteção de outliers por análises multivariadas (árvores de regressão) ............ 47
Bibliografia ..................................................................................................................... 86
ANEXO III - Análises multivariadas: variável objetivo “Total artigos devolvidos” ..... 95
vi
Índice de Figuras
vii
Figura 3.17 – Box-Plot: “Unidade Negócio” (parte 2) vs “Valor médio artigos
devolvidos” ..................................................................................................................... 45
Figura 3.18 – Árvore regressão variável objetivo “Total artigos devolvidos” ............... 50
Figura 3.19 – Regras decisão da árvore variável “Total artigos devolvidos” ................. 51
Figura 3.20 – Box-Plot do Nó 12, variável “Total artigos devolvidos”.......................... 53
Figura 3.21 – Box-Plot do Nó 14, variável “Total artigos devolvidos”.......................... 54
Figura 3.22 – Box-Plot do Nó 18, variável “Total artigos devolvidos”.......................... 55
Figura 3.23 – Box-Plot do Nó 22, variável “Total artigos devolvidos”.......................... 56
Figura 3.24 – Box-Plot do Nó 26, variável “Total artigos devolvidos”.......................... 57
Figura 3.25 – Box-Plot do Nó 46, variável “Total artigos devolvidos”.......................... 58
Figura 3.26 – Box-Plot do Nó 55, variável “Total artigos devolvidos”.......................... 59
Figura 3.27 – Box-Plot do Nó 62, variável “Total artigos devolvidos”.......................... 60
Figura 3.28 – Árvore regressão variável objetivo “Valor médio artigos devolvidos” ... 62
Figura 3.29 – Regras decisão da árvore variável “Valor médio artigos devolvidos” ..... 63
Figura 3.30 – Box-Plot do Nó 5, variável “Valor médio artigos devolvidos” ................ 65
Figura 3.31 – Box-Plot do Nó 6, variável “Valor médio artigos devolvidos” ................ 66
Figura 3.32 – Box-Plot do Nó 9, variável “Valor médio artigos devolvidos” ................ 67
Figura 3.33 – Box-Plot do Nó 10, variável “Valor médio artigos devolvidos” .............. 68
Figura 3.34 – Box-Plot do Nó 11, variável “Valor médio artigos devolvidos” .............. 69
Figura 3.35 – Box-Plot do Nó 12, variável “Valor médio artigos devolvidos” .............. 70
Figura 3.36 – Box-Plot do Nó 13, variável “Valor médio artigos devolvidos” .............. 71
Figura 3.37 – Box-Plot do Nó 14, variável “Valor médio artigos devolvidos” .............. 72
Figura 3.38 – Box-Plot do Nó 15, variável “Valor médio artigos devolvidos” .............. 73
Figura 3.39 – Box-Plot do Nó 16, variável “Valor médio artigos devolvidos” .............. 74
Figura 3.40 – Box-Plot do Nó 30, variável “Valor médio artigos devolvidos” .............. 75
Figura 3.41 – Box-Plot do Nó 34, variável “Valor médio artigos devolvidos” .............. 76
Figura 3.42 – Box-Plot do Nó 60, variável “Valor médio artigos devolvidos” .............. 77
Figura 3.43 – Box-Plot do Nó 61, variável “Valor médio artigos devolvidos” .............. 78
Figura 3.44 – Box-Plot do Nó 62, variável “Valor médio artigos devolvidos” .............. 79
Figura 3.45 – Box-Plot do Nó 70, variável “Valor médio artigos devolvidos” .............. 80
Figura 3.46 – Box-Plot do Nó 122, variável “Valor médio artigos devolvidos” ............ 81
Figura 3.47 – Box-Plot do Nó 286, variável “Valor médio artigos devolvidos” ............ 82
viii
Figura A1.1 - Árvore da Fraude (versão completa) ........................................................ 90
Figura A2.1 – Box-Plot: “Zona País” vs “Total artigos devolvidos” ............................. 92
Figura A2.2 – Box-Plot: “Dia semana” vs “Valor médio artigos devolvidos” ............... 93
Figura A2.3 – Scatter-Plot: “Total artigos devolvidos” vs “Valor médio artigos
devolvidos” ..................................................................................................................... 94
Figura A3.1 – Box-Plot do Nó 2, variável “Total artigos devolvidos” ........................... 96
Figura A3.2 – Box-Plot do Nó 3, variável “Total artigos devolvidos” ........................... 97
Figura A3.3 – Box-Plot do Nó 4, variável “Total artigos devolvidos” ........................... 98
Figura A3.4 – Box-Plot do Nó 5, variável “Total artigos devolvidos” ........................... 99
Figura A3.5 – Box-Plot do Nó 6, variável “Total artigos devolvidos” ......................... 100
Figura A3.6 – Box-Plot do Nó 7, variável “Total artigos devolvidos” ......................... 101
Figura A3.7 – Box-Plot do Nó 8, variável “Total artigos devolvidos” ......................... 102
Figura A3.8 – Box-Plot do Nó 9, variável “Total artigos devolvidos” ......................... 103
Figura A3.9 – Box-Plot do Nó 10, variável “Total artigos devolvidos” ....................... 104
Figura A3.10 – Box-Plot do Nó 11, variável “Total artigos devolvidos” ..................... 105
Figura A3.11 – Box-Plot do Nó 13, variável “Total artigos devolvidos” ..................... 106
Figura A3.12 – Box-Plot do Nó 15, variável “Total artigos devolvidos” ..................... 107
Figura A3.13 – Box-Plot do Nó 19, variável “Total artigos devolvidos” ..................... 108
Figura A3.14 – Box-Plot do Nó 23, variável “Total artigos devolvidos” ..................... 109
Figura A3.15 – Box-Plot do Nó 27, variável “Total artigos devolvidos” ..................... 110
Figura A3.16 – Box-Plot do Nó 30, variável “Total artigos devolvidos” ..................... 111
Figura A3.17 – Box-Plot do Nó 31, variável “Total artigos devolvidos” ..................... 112
Figura A3.18 – Box-Plot do Nó 47, variável “Total artigos devolvidos” ..................... 113
Figura A3.19 – Box-Plot do Nó 54, variável “Total artigos devolvidos” ..................... 114
Figura A3.20 – Box-Plot do Nó 63, variável “Total artigos devolvidos” ..................... 115
Figura A3.21 – Box-Plot do Nó 94, variável “Total artigos devolvidos” ..................... 116
Figura A3.22 – Box-Plot do Nó 95, variável “Total artigos devolvidos” ..................... 117
Figura A3.23 – Box-Plot do Nó 190, variável “Total artigos devolvidos” ................... 118
Figura A3.24 – Box-Plot do Nó 191, variável “Total artigos devolvidos” ................... 119
Figura A3.25 – Box-Plot do Nó 382, variável “Total artigos devolvidos” ................... 120
Figura A3.26 – Box-Plot do Nó 383, variável “Total artigos devolvidos” ................... 121
Figura A3.27 – Box-Plot do Nó 766, variável “Total artigos devolvidos” ................... 122
ix
Figura A3.28 – Box-Plot do Nó 767, variável “Total artigos devolvidos” ................... 123
Figura A4.1 – Box-Plot do Nó 2, variável “Valor médio artigos devolvidos” ............. 125
Figura A4.2 – Box-Plot do Nó 3, variável “Valor médio artigos devolvidos” ............. 126
Figura A4.3 – Box-Plot do Nó 4, variável “Valor médio artigos devolvidos” ............. 127
Figura A4.4 – Box-Plot do Nó 7, variável “Valor médio artigos devolvidos” ............. 128
Figura A4.5 – Box-Plot do Nó 8, variável “Valor médio artigos devolvidos” ............. 129
Figura A4.6 – Box-Plot do Nó 17, variável “Valor médio artigos devolvidos” ........... 130
Figura A4.7 – Box-Plot do Nó 31, variável “Valor médio artigos devolvidos” ........... 131
Figura A4.8 – Box-Plot do Nó 35, variável “Valor médio artigos devolvidos” ........... 132
Figura A4.9 – Box-Plot do Nó 63, variável “Valor médio artigos devolvidos” ........... 133
Figura A4.10 – Box-Plot do Nó 71, variável “Valor médio artigos devolvidos” ......... 134
Figura A4.11 – Box-Plot do Nó 123, variável “Valor médio artigos devolvidos” ....... 135
Figura A4.12 – Box-Plot do Nó 126, variável “Valor médio artigos devolvidos” ....... 136
Figura A4.13 – Box-Plot do Nó 127, variável “Valor médio artigos devolvidos” ....... 137
Figura A4.14 – Box-Plot do Nó 142, variável “Valor médio artigos devolvidos” ....... 138
Figura A4.15 – Box-Plot do Nó 143, variável “Valor médio artigos devolvidos” ....... 139
Figura A4.16 – Box-Plot do Nó 246, variável “Valor médio artigos devolvidos” ....... 140
Figura A4.17 – Box-Plot do Nó 247, variável “Valor médio artigos devolvidos” ....... 141
Figura A4.18 – Box-Plot do Nó 287, variável “Valor médio artigos devolvidos” ....... 142
x
Índice de Tabelas
xi
Índice de Abreviaturas
xii
Capítulo 1: Introdução
Neste capítulo é realizado um enquadramento ao tema da deteção de indícios de fraude,
a motivação, o interesse pessoal e profissional pela sua escolha. É feita uma descrição
dos objetivos da dissertação em termos do que se pretende realizar e das metas a
alcançar, descrevendo as técnicas aplicadas, quer por referência e sugestão de autores,
quer também por aplicar outros métodos e análises diferentes e de certa forma
inovadoras. Por fim é referido como o trabalho pretende ser útil e contribuir para a
deteção de anomalias ou casos estranhos., podendo ser fraude ou não.
1.1 Motivação
Este trabalho de dissertação enquadra-se no âmbito do mestrado de Modelação, Análise
de Dados e Sistemas de Apoio à Decisão onde, durante o 1º ano letivo, se aprofundou e
desenvolveu o estudo de práticas de Data Mining para extração de conhecimento a
partir de dados. Desse modo, a escolha do tema para dissertação visou a colocação em
prática dos conhecimentos adquiridos durante o curso de mestrado, tendo essa escolha
recaído sobre como o Data Mining pode ser importante na deteção de anomalias ou
casos estranhos, constituindo-se como indícios de possível fraude nas organizações.
O meu interesse pessoal e profissional pela deteção de indícios de fraude, advém da
minha experiência e interesse profissional. Desde 2005 tenho desempenhado funções de
analista de dados numa empresa de retalho, com o foco na identificação de padrões e
criação de alarmísticas em cenários dinâmicos e que apresentam riscos elevados de
falhas de controlo interno, incumprimento de procedimentos ou deteção de situações
que possam indiciar fraude.
O tema da fraude sempre me despertou interesse e curiosidade, pelas suas diferentes
perspetivas de análise, quer pelo perfil e motivação do autor da fraude, bem como pelo
“modus operandi” levado a cabo, não tanto pelo interesse sociológico, mas mais pela
utilidade dessa informação para a prevenção, deteção e investigação da fraude.
1
1.2 Objetivos
De forma tradicional, a deteção de indícios de fraude no retalho tem sido efetuada (na
componente informática) através de pesquisas ad-hoc em base de dados ou através da
construção de relatórios que despoletem alarmísticas de situações “estranhas”. Trata-se
de técnicas que incidem muito sobre aspetos quantitativos e estatísticos dos dados, mas
que carecem de uma aprendizagem mais eficiente e eficaz sobre a extração de
conhecimento a partir dos dados, para além do seu processo ser de criação manual.
O objetivo desta dissertação passa por aplicar outro tipo de técnicas para obtenção de
padrões de fraude, mais concretamente técnicas de Data Mining e Machine Learning
que explorem e “aprendam” sobre os dados. Estas técnicas permitem a identificação de
diferentes tipos de outliers, designados casos raros ou estranhos.
Através de análise estatística e gráfica nas aplicações SPSS e R, pode-se obter uma
representação dos casos com uma maior probabilidade de serem anómalos ou estranhos,
que podem ser fraude ou não.
O conjunto de dados alvo de estudo nesta dissertação foi obtido a partir de transações de
devoluções de artigos, num universo de 40 lojas de um retalhista. Os dados
correspondem a três meses de transações, que ocorreram entre os meses de Dezembro-
2014 e Fevereiro-2015, com exceção dos dias 24-Dezembro e 01-Janeiro, em que as
lojas não estiveram abertas ao público.
Por se tratar de dados reais, informação como o número da loja e do supervisor
responsável pelo registo da devolução, foram mascarados como forma de garantir a
confidencialidade dos mesmos, não sendo neste trabalho referidos nomes de entidades
ou pessoas.
Os resultados que serão obtidos através da implementação de métodos de deteção
de outliers são considerados apenas indícios de possível fraude, carecendo de uma
investigação específica posterior para confirmação ou não dessa ocorrência. Nestes
casos deve sempre imperar o bom senso e uma restrição ao analista e investigador de
apenas resumir-se aos factos e não a julgamentos de caráter subjetivo.
2
1.3 Contribuições
Este trabalho visa desenvolver um modelo de aprendizagem semi-automático (não
supervisionado) sobre os dados em estudo e que permita a um analista identificar casos
anómalos, através da procura de outliers que possam revelar indícios de possível fraude.
Para além da realização de análises univariada e bivariada, o trabalho pretende
demonstrar como as análises multivariadas são muito importantes na obtenção de um
conhecimento mais profundo das variáveis, através da identificação de outliers de
contexto, que de outra forma não seriam detetáveis.
De uma forma global, pode-se dizer que o contributo principal passa pela demonstração
a auditores, investigadores ou analistas de fraude, sobre a importância do uso das
ferramentas e tecnologias de Data Mining no seu trabalho de investigação.
1.4 Organização
No capítulo 2 é desenvolvido o tema proposto, começando por uma descrição do
conceito de fraude, a estrutura da fraude em termos de categorias e subcategorias, a
explicação da teoria do triângulo da fraude e a apresentação do perfil mais comum dos
infratores que cometem fraude, através dos casos conhecidos e investigados por
especialistas, com a ilustração de estatísticas sobre esse mesmo perfil. Ainda neste
capítulo é apresentado como diversos autores consideram as técnicas e metodologias de
Data Mining como importantes na deteção de anomalias ou casos estranhos. No
capítulo 3 são desenvolvidas análises sobre um conjunto de dados de devoluções de
artigos, com análises estatísticas sobre as variáveis qualitativas e quantitativas. É
efetuada uma análise univariada para deteção de outliers do tipo global através de
gráficos “box-plot”. De forma complementar são realizadas análises bivariadas (duas
variáveis) pela combinação das várias variáveis entre si. Pretende-se aqui identificar
novos outliers, que não tivessem sido observados ou destacados na análise univariada.
Por fim e de forma mais aprofundada são realizadas análises multivariadas, onde são
construídas árvores de regressão como forma de estudar as duas variáveis quantitativas,
através da combinação das restantes variáveis qualitativas em simultâneo. Em cada
nó/folha da árvore são criados gráficos “box-plot” para observar a presença de novos
outliers (de contexto), ainda não identificados noutras análises.
3
Capítulo 2: A Fraude e o uso do Data Mining
2.1 A Fraude - introdução
Nas normas internacionais para a prática profissional de Auditoria Interna do The
Institute of Internal Auditors (IIA) encontra-se uma definição do conceito de fraude
(2012:19):
“Quaisquer atos ilegais caracterizados por desonestidade, dissimulação ou quebra de
confiança. Estes atos não implicam o uso de ameaça de violência ou de força física. As
fraudes são praticadas por partes e organizações a fim de se obter dinheiro, propriedade
ou serviços; para evitar pagamento ou perda de serviços; ou para garantir vantagem
pessoal ou em negócios.”
No relatório publicado pela Association of Certified Examiners (ACFE) em 2014
“Report to the Nations on Occupational Fraud and Abuse” a fraude é descrita como
algo omnipresente sendo que nenhuma entidade está imune à sua ameaça, embora ainda
haja muitas organizações com a convicção de pensamento de que a fraude só acontece
aos outros. Por isso e nesse sentido, a ACFE tem procurado combater este paradigma,
considerando relevante tornar público o custo da fraude, a sua natureza universal, bem
como as suas tendências (ACFE, 2014, p. 6).
Esta associação foi fundada em 1988 no Texas - Estados Unidos da América, e é a
maior organização mundial antifraude e a principal fornecedora de formação e educação
antifraude, estando a reduzir a mesma nas empresas a nível mundial e a ganhar a
confiança das pessoas na integridade e objetividade da profissão (Wells, J. T., 2009, p.
15). Segundo informação do seu sítio institucional (ACFE, 2014), atualmente a
associação beneficia da colaboração de cerca de 75 mil membros. O seu presidente
honorário e fundador - Joseph T. Wells, é criminologista e antigo agente do FBI,
investiga e dá conferências a grupos empresariais e profissionais acerca de temas
relacionados com fraudes, já obteve prémios máximos de literatura, e durante a última
década, já foi nomeado para a lista das 100 pessoas mais influentes na área da
contabilidade da Accounting Today (Wells, J. T., 2009, p. 15).
4
2.2 A Fraude Ocupacional
A fraude pode ser classificada como organizacional (funcionários de uma organização
que cometem fraude no interesse da organização) ou ocupacional (funcionários de uma
organização que cometem fraude contra ela própria).
Desde o ano de 1996 que a ACFE publica, de dois em dois anos, um estudo sobre a
compreensão e conhecimento da ocorrência da fraude ocupacional e os seus impactos
financeiros nas organizações por todo o mundo. A edição de 2014 é baseada em 1483
casos de fraudes ocupacionais, reportadas à ACFE por examinadores de fraude
certificados (membros da própria associação) que as investigaram (ACFE, 2014, p. 2)
em mais de 100 países. A análise destes casos fornece uma visão fundamental sobre
como a fraude é cometida, como pode ser detetada e como as organizações podem
reduzir as suas vulnerabilidades ao risco da sua ocorrência. Segundo este relatório, a
fraude ocupacional é descrita como o abuso ou má aplicação dos recursos ou ativos de
uma organização por parte de um indivíduo para proveito próprio (ACFE, 2014, p. 6).
Infelizmente, a própria natureza das fraudes leva a que os seus custos e a sua existência
não sejam revelados, mesmo que nalguns casos até sejam detetadas e investigadas. O
custo da fraude é equivalente a um iceberg financeiro onde as perdas financeiras são
claramente visíveis, mas existem outros custos indiretos, como perdas de produtividade,
danos de imagem ou reputacionais e custos de investigação (ACFE, 2014, p. 8).
Este relatório refere que se estima que todas as organizações possam perder 5% das suas
receitas em cada ano, devido à fraude (ACFE, 2014, p. 8). Esta percentagem aplicada ao
produto bruto mundial de 2013 pode corresponder a perdas projetadas de 3,7 triliões de
dólares (aproximadamente 3 triliões de euros). Este valor deve ser usado como
benchmark, mas não deve ser interpretado como o custo real da fraude.
Segundo o mesmo relatório (ACFE, 2014, p. 11), a fraude ocupacional pode ser
estruturada em 3 categorias principais: Apropriação Indevida de Ativos, Demonstrações
Financeiras Fraudulentas e Corrupção, em que cada uma pode ainda conter várias
subcategorias, conforme a figura 2.1 e 2.2.
O âmbito desta dissertação irá incidir o seu foco na deteção de indícios de fraude sobre
as subcategorias “Desembolsos fraudulentos” e “Furto”, conforme ilustrado na figura
2.2, dado estarem diretamente relacionadas com o processo de Devolução de artigos nas
5
lojas. As estatísticas apresentadas mais á frente serão mais focadas quer neste tipo da
fraude, quer em termos do tipo de indústria (neste caso, retalho) e uma visão sobre os
dados conhecidos nos países europeus (mais próximos da realidade portuguesa).
6
Numa análise à frequência dos esquemas mais comuns de fraude sobre a indústria do
retalho (“Retail”), verifica-se que são os Ativos não financeiros (“Non-Cash”) os mais
frequentes com 33,8% e o Furto de dinheiro (“Cash on Hand”) com 22,1%:
7
2.3 Perfil do(s) autor(es) da Fraude
Para melhor se compreender o perfil do autor de uma fraude, é importante considerar os
três drivers da fraude, conforme é descrito por um estudo realizado pela empresa
KPMG (KPMG, 2013, p. 5), sendo eles: oportunidade, pressão (ou motivação) e
justificação (ou racionalização).
Figura 2.4 – O triângulo da Fraude
Este estudo refere que “as pessoas cometem fraude quando os três elementos acontecem
em simultâneo”. Estes três drivers são parte de uma metodologia que foi desenvolvida
por investigadores de fraude na década de 50.
A KPMG descreve o seguinte cenário: “O potencial infrator vê uma porta aberta como
uma oportunidade. O motivo e o racional fazem-no mover-se em direção à porta e a
capacidade fá-lo atravessá-la” (KPMG, 2013, p. 5).
De acordo com a teoria do triângulo da fraude, aqueles que cometem fraude ocupacional
tendem a sentir necessidades financeiras, oportunidade e racionalização, sendo por esse
motivo que a deteção é um dos principais fatores de sucesso na prevenção da fraude por
eliminar a perceção de oportunidade por parte do fraudador (ACFE, 2014, p. 18).
Oportunidade
A KPMG refere que “As pessoas não cometem fraude sem surgir a oportunidade para a
cometer” (KPMG, 2013, p. 6). No seu estudo de 2013 verificou-se que na maioria dos
casos de fraude observados, o infrator já trabalhava na organização há mais de 6 anos, o
que significa que um infrator não entra para uma organização com o objetivo a priori de
8
cometer fraude. Porém mudanças em circunstâncias pessoais, como a pressão para
atingir objetivos considerados “irrealistas”, podem criar condições para a ocorrência da
fraude. A fraude pode ser cometida por pessoas que já se sentem confortáveis nas suas
funções e também em relação à própria organização (KPMG, 2013, p. 6)
Para a KPMG “não existe um perfil de personalidade que cometa fraude, mas todos os
tipos de pessoas podem cometer fraude se a oportunidade surgir“ (KPMG, 2013, p. 14)
A figura 2.5 mostra como essas oportunidades podem ser aproveitadas pelas pessoas,
sendo que no estudo realizado pela ACFE, verifica-se que em 1/3 dos casos observados
pelos CFEs foram observadas falhas ou fraquezas ao nível dos controlos internos para
prevenir a ocorrência da fraude. Este facto reforça a importância da existência de
controlos anti-fraude, sendo que, no caso particular de empresas de pequenas dimensões
ainda assume uma maior importância (ACFE, 2014, p. 39):
9
Porém, mesmo existindo um forte sistema de controlos internos nas organizações, isso
não previne a ocorrência de todas as fraudes (KPMG, 2013, p. 7).
Nalguns casos, o infrator pode ser alguém dentro da organização que perceba como
estão implementados os controlos internos e saber como os “ultrapassar” ou, até ser
conhecedor de uma falha de controlo, e explorar essa falha.
Pressão/Motivação
“A fraude como qualquer outro crime, requere um motivo, sendo a razão mais frequente
o financeiro” (KPMG, 2013, p. 8).
No inquérito realizado pela ACFE, foram analisados indicadores sobre o
comportamento exibido pelos infratores antes das suas fraudes serem detetadas. Pelo
menos um alerta vermelho foi identificado em 92% dos casos, sendo que em 64% dos
casos o infrator exibiu sinais estranhos em dois ou mais alertas vermelhos (ACFE, 2014,
p. 59).
A figura 2.6 mostra como sinais de uma vida para além das posses, ou dificuldades
financeiras, proximidade invulgar com fornecedores ou clientes, ou pessoas pouco
dadas a delegar tarefas, se tornam alertas importantes.
10
Figura 2.6 – Comportamentos “estranhos” demonstrados pelos infratores
Justificação/Racional
Os infratores encontram muitas vezes motivos racionais para as suas práticas, podendo
estas estar relacionadas com fúria, medo, sentimentos de injustiça (ex: salário abaixo do
expectável) (KPMG, 2013, p. 8).
Porém, tem sido observado por investigadores da KPMG que o motivo para a fraude é
muito determinado pelo contexto ético e cultural, variando bastante de país para país.
(KPMG, 2013, p. 9). As regulamentações governamentais, bem como políticas para
reforçar os padrões éticos são por isso importantes.
Verifica-se então que o valor da informação sobre o perfil do autor de uma fraude,
permite analisar, identificar e quantificar onde reside o maior risco de fraude dentro de
uma organização: qual a sua função/departamento, a sua idade, antiguidade na
organização, o seu passado criminal e comportamentos “estranhos” detetados (ACFE,
2014, p. 40).
11
Estes dados têm sido recolhidos pela ACFE ao longo dos anos, e permitem analisar de
uma forma consistente, a tendência e as evoluções dos padrões comportamentais da
pessoa que comete a fraude.
Começando pela análise ao cargo que o indivíduo fraudulento ocupa na organização,
verifica-se pela figura 2.7, que na Europa Ocidental, cerca de 45% dos casos observados
de fraude foram realizados por colaboradores da organização num nível mais baixo em
termos hierárquicos, de 30% por parte de chefias ou gestores, e de 22% pelos próprios
donos ou administradores:
Figura 2.7 – Posição hierárquica do indivíduo que comete a fraude
12
Figura 2.8 – Perda média estimada baseada na posição hierárquica do indivíduo
Numa outra análise, verifica-se que mais de metade das fraudes estudadas pela ACFE e
publicadas no seu último relatório são cometidas por apenas um indivíduo. No entanto,
quando as fraudes são cometidas por dois ou mais infratores, as perdas estimadas em
termos médios sobem consideravelmente, conforme se pode observar na figura 2.9:
13
Este facto está relacionado com a circunstância que advém da possibilidade de quando
pelo menos duas pessoas estão envolvidas num conluio entre si que envolve um
esquema de fraude, possuírem uma vantagem sobre “contornar” controlos internos e
verificações independentes, o que permite a realização de transações que envolvem
quantias de dinheiro mais elevadas (ACFE, 2014, p. 46).
A KPMG refere no seu estudo que muitos infratores preferem “atuar” sozinhos, porque
dessa forma, não têm de confiar noutras pessoas para manter silêncio, nem dividir
“lucros”, apesar de muitas fraudes requererem colaboração (KPMG, 2013, p. 14).
A fraude é muitas vezes complexa para poder ser executada por apenas uma pessoa. É
necessário muitas vezes que mais alguém possa “fechar os olhos”, ou fornecer uma
password, ou até falsificar documentos (KPMG, 2013, p. 14).
O conluio pode ocorrer dentro e fora das organizações, sendo que a fraude envolvendo
terceiras entidades são difíceis de detetar. Uma forma comum de conluio é ao nível de
compras de bens, como por exemplo, faturas “inflacionadas” (KPMG, 2013, p. 15).
A percentagem de infratores masculinos e femininos varia substancialmente conforme a
região/continente onde ocorre a fraude. Na Europa Ocidental, 85% das fraudes
observadas pela ACFE foram cometidas por indivíduos do sexo masculino:
14
A consultora KPMG publicou em 2013 um relatório relativo a uma análise de 596
infratores de empresas investigadas entre 2011 e 2013, em que procura responder à
pergunta sobre “Quem é o infrator típico nas organizações?” (KPMG, 2013, p.2).
Com base no perfil dos 596 casos estudados naqueles anos, as conclusões foram as de
que o infrator típico tem entre 36 e 45 anos de idade, atua contra a sua própria
organização e exerce funções executivas, financeiras, operações, marketing ou vendas, e
encontra-se em funções na organização há mais de 6 anos (KPMG, 2013, p. 2).
Um outro estudo sobre a fraude - “Global Economic Crime Survey 2014”, publicado em
2014 pela PricewaterhouseCoopers foi realizado a mais de 5 mil representantes de
organizações, de mais de 95 países de todo o mundo. Uma das suas conclusões é de que
a taxa de crime económico reportada tem vindo a aumentar, de 30% em 2009 para
37% em 2014, e que uma em cada três organizações reportou ter sido vítima de crime
económico.
Em 2014, praticamente metade (49%) das organizações da indústria do Retalho
reportou ter sido vítima de crime económico, sendo um dos tipos de indústria com
maior taxa. Em dois terços destes casos, o autor da fraude foi interno à organização.
Portugal surge como um dos países do mundo com menos casos de crimes económicos
reportados, com apenas 12% e ao nível de países como a Arábia Saudita e a Dinamarca.
Segunda a PWC isto pode significar falta de controlos ou meios que ajudem na deteção
da fraude.
15
Carlos Pimenta refere que “em Portugal existe um conjunto de fatores (institucionais,
culturais, cognitivos e outros) que impedem uma quantificação rigorosa da fraude”
(Pimenta C., 2009, p. 4).
16
Dinheiro
Sonegação
Wells refere ainda que as pessoas que lidam diretamente com os clientes, são as
candidatas mais prováveis a este tipo de fraude (Wells, J. T., 2009, p. 94), sendo que o
17
esquema mais básico de sonegação acontece quando um operador de caixa atende um
cliente, recebe o pagamento, mas não regista a venda.
Outro tipo de sonegação pode ocorrer quando o próprio operador de caixa sonega o
valor do desconto a que o cliente teria direito para proveito próprio (Wells, J. T., 2009,
p. 107). Porém, Wells refere que “os esquemas de sonegação são, por norma, mais
fáceis de ocultar do que a maioria de outros tipos de fraude ocupacional” (Wells, J. T.,
2009, p. 118). Wells conclui que os procedimentos de controlo interno são a chave para
evitar a ocorrência destes esquemas de fraude (Wells, J. T., 2009, p. 125).
De forma resumida pode-se referir que em 2013 a taxa de perda desconhecida (em %
das vendas) em Portugal foi de 1,18% situando-se abaixo da taxa global que é de
1,29%. A taxa de Portugal corresponde a 614 milhões de dólares de perda desconhecida
(Checkpoint Systems, Inc., 2014, p. 17).
Em Portugal a taxa de furto na loja é de 50%, sendo superior à média da Europa que é
de 39% (Checkpoint Systems, Inc., 2014, p. 27).
18
2.5 O uso do Data Mining na deteção de indícios de fraude
2.5.1 Definição de Data Mining e suas vantagens
“Fazer mais e melhor com menos recursos” tem sido uma das frases mais ouvidas nos
últimos anos, praticamente em todos os departamentos nas organizações, e também
entre os investigadores da fraude. O atual ambiente de negócio nas organizações exige
aumentos de produtividade em todas as áreas da organização (Codere, D., 2009, p. 41).
À medida que o uso das tecnologias de informação é cada vez maior, também maior
deverá ser o uso destas tecnologias na deteção da fraude, permitindo aos investigadores
um foco maior nas áreas de maior risco (Codere, D., 2009, p. 41).
Para ultrapassar estas limitações, deve ser desenvolvido um sistema de análise de dados
com recurso a conhecimentos de fundo, e que envolvam tarefas de raciocínio a partir
dos dados fornecidos. Para atingir este objetivo, pesquisadores têm-se focado na área de
Machine Learning, que é uma disciplina científica que explora a construção e o estudo
de algoritmos que “aprendem” a partir de dados. Esses algoritmos operam a partir de
modelos baseados nos inputs e usam-nos para criar previsões ou decisões.
Assim emergiu uma nova área frequentemente designada por Data Mining e descoberta
de conhecimento. Data Mining pode ser definido como o processo de descoberta de
padrões nos dados, podendo o processo ser automático ou semi-automático (mais
comum). Os padrões identificados devem ter significado por forma a trazerem
vantagens, principalmente económicas (Jans, M. et al., 2007, p. 6).
19
Data Mining é assim uma forma de descobrir conhecimento nas vastas bases de dados
que as organizações dispõem (Jans, M. et al., 2007, p. 6).
A deteção de fraude é uma área importante para a aplicação prática das técnicas de Data
Mining, tendo em conta as consequências económicas e sociais que estão normalmente
associadas a essas atividades ilegais (Torgo, L., 2010, p. 165).
A empresa SAS num artigo publicado sobre o uso de técnicas de Data Mining para
deteção de fraude, define alguns passos importantes neste processo (Kristin, R. N. et
al.,, 1999, p. 1):
1. Definição do problema
2. Extração de dados
3. Estratégia de modelação
4. Análise de resultados
A definição do processo de negócio a analisar é o primeiro e o passo mais importante na
utilização do Data Mining, devendo-se definir aqui quais os objetivos da análise de
forma clara e como os resultados vão ser medidos (Kristin, R. N. et al.,, 1999, p. 1).
Estando assim definido qual o processo de negócio a analisar para o plano de deteção de
fraude, deve-se então proceder à identificação dos dados necessários a essa análise, isto
é, quais as respetivas base de dados, campos pretendidos, devendo esta tarefa ser
executada com prudência, pois as ferramentas de Data Mining só são úteis caso os
dados estejam completos e não enviesados ou distorcidos (Kristin, R. N. et al.,, 1999, p.
2).
20
2.5.2 Aprendizagem Supervisionada vs Não Supervisonada
Em termos de estratégias de Data Mining, existem duas amplamente conhecidas:
aprendizagem supervisionada e não supervisionada.
Os métodos supervisionados são implementados quando existe uma variável “alvo”
através da qual se pretende efetuar previsões, a partir de outras variáveis de entrada.
Numa investigação de fraude, exemplos de registos com casos de fraude e de não-fraude
são necessários, ou seja, todos os registos disponíveis têm de ser classificados como
“fraudulento” ou “não-fraudulento” (Jans, M. et al., 2007, p. 7).
Depois de construído o modelo usando esses dados como o conjunto de treino, os novos
casos analisados devem ser classificados conforme os rótulos anteriores. Claro que isto
implica que haja uma confiança na correta classificação dos dados do conjunto de
treino, sendo esta confiança a sustentabilidade do próprio modelo.
Este método é apenas aplicável na deteção de fraude de um determinado tipo, se já
ocorreu e existem dados sobre a mesma ocorrência. Em contraste, os métodos não
supervisionados não usam registos já classificados (Singh, K. et al., 2012, p. 6).
Os métodos não supervisionados são aplicados nos casos em que não temos uma
variável “alvo”, apesar de existirem as variáveis de entrada (Kristin, R. N. et al., 1999,
p. 3).
Estes métodos buscam análises sobre contas, clientes, fornecedores, etc, que tenham
comportamentos considerados “estranhos” pela obtenção de outputs suspeitos ou de
anomalias gráficas.
Por fim, e para ambos os métodos, deve-se avaliar os resultados validando se os
objetivos definidos foram alcançados, sendo que no caso de não estarem a ser
alcançados, deve-se então efetuar uma reformulação ou ajustamento ao modelo de
forma a garantir resultados mais efetivos, como por exemplo, reduzir ou eliminar os
falsos positivos.
A utilização de qualquer um dos dois métodos, apenas dá uma indicação da
probabilidade de ocorrência de fraude, isto porque nenhuma análise estatística por si só,
pode assegurar que um objeto particular em análise é fraudulento. Apenas indica que o
objeto em estudo é mais provável de ser fraudulento do que outros objetos (Jans, M. et
al., 2007, p. 7). É impossível ter a certeza absoluta sobre a legitimidade da intenção de
quem efetua uma transação (Phua, C. et al., 2010, p. 1).
21
2.5.3 Deteção de Outliers
Na figura 2.11 é possível observar-se duas zonas consideradas normais (N1 e N2),
sendo que O1 e O2 representam duas observações remotas e O3 significa uma região
distante.
Os outliers estão fora das zonas consideradas normais. Para além disso, os outliers
existem em praticamente todos os conjuntos reais de dados (Chandola, V. et al., 2009,
p. 2).
22
Os outliers podem ser classificados em três categorias (Chandola, V. et al., 2009, p. 8):
23
2.5.4 Tipos de variáveis: qualitativas vs quantitativas
De seguida, e de forma mais pormenorizada, são descritas como podem ser analisadas
as variáveis, consoante sejam qualitativas (texto) ou quantitativas (numéricas):
Variáveis qualitativas são aquelas cujos resultados são possíveis de ser observados na
forma de categoria, qualidade ou característica. Estas variáveis podem ser analisadas
segundo a distribuição de frequências que consiste na organização dos dados de acordo
com as ocorrências dos diferentes resultados observados. A contagem de quantos
elementos existem em cada categoria forma uma distribuição de frequência dos dados
dessa variável, que pode ser apresentada em tabela ou gráfico. As frequências podem
ainda ser apresentadas em forma absoluta ou forma relativa.
24
d. Amplitude Interquartílica (AIQ): diferença entre o 3º quartil e o 1º quartil. A
AIQ engloba 50% das observações mais centrais.
Podem ser efetuados testes estatísticos para aferir a normalidade dos dados, sendo que
um deles é o teste não-paramétrico Kolmogorov-Smirnov. Este teste destina-se a
averiguar se as variáveis seguem uma distribuição normal, através da hipótese nula das
variáveis seguirem uma distribuição normal.
25
Através das estatísticas é possível analisar as diferenças inter-quartis e a presença de
outliers, através do gráfico “Diagrama de extremos e quartis” (box-plot), que se
representa por um retângulo e que evidencia o desvio inter-quartílico.
Este retângulo representa a faixa dos 50% dos valores mais típicos da distribuição. O
retângulo é dividido no valor correspondente à mediana, assinalando o quartil inferior
(Q1), a mediana (Q2) e o quartil superior (Q3). O valor de AIQ corresponde à diferença
entre o 3º quartil (Q3) e o 1º quartil (Q1).
Os outliers são aqueles cujo valor é superior ao valor da expressão (Q3 + 1,5*AIQ)
ou inferior ao valor da expressão (Q1 - 1,5*AIQ)
O outlier pode ser considerado de “moderado” se o seu valor estiver entre:
(Q3 + 1,5*AIQ) e (Q3 + 3*AIQ) ou (Q1 – 1,5*AIQ) e (Q1 – 3*AIQ)
O outlier pode ser considerado de “extremo” se o seu valor superior a: (Q3 + 3*AIQ)
ou (Q1 – 3*AIQ).
26
2.5.5 Metodologia usada em Data Mining
27
Figura 2.13 – Ciclo de vida da metodologia CRISP-DM
28
Capítulo 3: Deteção de indícios de fraude sobre
devoluções de artigos
O objetivo deste trabalho de dissertação visa implementar técnicas de Data Mining, para
detetar casos anómalos ou estranhos através da identificação de outliers, que possam
revelar indícios de possível fraude, sobre um conjunto de dados referente ao processo de
devoluções de artigos nas lojas.
Pelo recurso à metodologia CRISP-DM, a primeira fase do projeto deve ser o
conhecimento do negócio.
Dentro do prazo de satisfação do cliente após a compra de um artigo, é possível ao
cliente devolver o artigo, mediante apresentação do talão de compra desde o que artigo
se encontre nas devidas condições. A devolução é efetuada por um supervisor da loja
(chefia intermédia), que efetua o registo num POS (Point of Sales), reembolsando o
cliente, conforme fluxo do processo:
Figura 3.1 – Processo das devoluções de artigos
Supervisor
Cliente dirige- Análise da Devolução Fim
se à loja devolução pela loja no POS
Existem aqui dois riscos associados, sendo que um deles é o da devolução poder ser
fictícia e do supervisor realizar a devolução para efetuar um reembolso fraudulento em
proveito próprio, não havendo lugar a entrada de artigo em stock físico (havendo só em
stock teórico). Outro risco é o do furto do artigo devolvido, sendo que neste caso a
devolução foi efetuada por vontade do cliente, mas após o reembolso ao cliente, o artigo
devolvido pelo cliente embora dê entrada no stock teórico da loja, fisicamente
“desaparece”.
29
Embora existam outros esquemas de fraude possíveis de serem detetados, o âmbito
deste trabalho foi definido por uma proposta direcionada para a utilização das técnicas
de Data Mining na deteção de outliers, com recurso a um modelo de aprendizagem.
Será usada a técnica de aprendizagem do tipo não supervisionada, pelo facto de não
termos uma variável “alvo” como classificador de cada caso, e apenas existirem as
variáveis de entrada.
O conjunto de dados alvo aqui de análise, foi obtido através do desenvolvimento de uma
query no sistema de informação (datawarehouse) do retalhista. Este sistema recebe
diariamente as transações que ocorrem nos POS das lojas.
Em termos de arquitetura, estas transações são compostas por 3 níveis, sendo que o 1º
designa-se por “cabeçalho”, contendo informação como a data, hora, loja, pos, nº talão e
operador/supervisor. No 2º nível é referente aos dados das linhas dos artigos que
compõem a transação, e no 3º nível os meios de pagamento associados.
Transações
1) Criação de outras variáveis
2) Construção de queries
Nivel1: Cabeçalho 3) Extração e análise de dados
Transações
das lojas Nivel2: Artigos
Nivel3: Pagamentos
datawarehouse
Antes da extração dos dados, o 1º passo consistiu na proteção de duas variáveis a serem
analisadas, com a criação de uma “mascara” sobre os campos “Loja” e
30
“Nr_Supervisor”. Desta forma foi possível garantir a confidencialidade dos mesmos e a
não adulteração dos dados reais.
No 2º passo, com base na informação do cabeçalho da transação, foram criadas três
variáveis qualitativas:
Por fim, foi desenvolvida uma query onde foram selecionadas as 5 variáveis referidas
acima, e adicionadas outras já existentes no sistema corporativo como a “Unidade
Negocio”, “Total artigos devolvidos” e “Valor médio artigos devolvidos”.
Como filtros aplicados à query definiu-se que o âmbito seriam as transações de
devoluções de artigos, num universo de 40 lojas de um retalhista. O período de dados
extraído correspondeu a três meses de transações, que ocorreram entre os meses de
Dezembro-2014 e Fevereiro-2015, com exceção dos dias 24-Dezembro e 01-Janeiro, em
que as respetivas lojas não estiveram abertas ao público.
No quadro seguinte são apresentadas as 8 variáveis que compõem o conjunto de dados
que será a seguir alvo de análise:
SPSS
Tipo de
Variável Descrição da Variável Tipo Medida
Variável
Loja Código associado a cada loja (irrepetível / diferenciador) Qualitativa String Nominal
Nr Supervisor Código associado a cada supervisor (irrepetível / diferenciador) Qualitativa String Nominal
Zona País "Norte", "Centro" ou "Sul" Qualitativa String Nominal
Dia semana "Dias úteis" ou "Fds ou feriado" Qualitativa String Nominal
Horario registo "Manhã", "Tarde" ou "Noite" Qualitativa String Nominal
Descrição do tipo de artigo. Existem 18 unidades de negócio como:
Unidade Negocio Qualitativa String Nominal
- Peixaria, Talho, Bebidas, Congelados, Padaria, Cultura, Lazer, etc
Total artigos devolvidos Total de artigos devolvidos pelo supervisor no periodo analisado Quantitativa Numeric Scale
Valor médio artigos devolvidos Valor médio dos artigos devolvidos pelo supervisor no periodo analisado Quantitativa Custom Currency Scale
31
3.3 Análise estatística das variáveis
Depois de referido como foram obtidos os dados, a fase seguinte passa pela realização
das análises estatísticas sobre os dados. Os dados são observações de variáveis
qualitativas e quantitativas, porém as técnicas de análise são diferentes para cada tipo de
variável. Este conjunto de dados é composto por 43.206 observações e 8 variáveis,
sendo 6 qualitativas e 2 quantitativas.
32
Efetuando uma análise pela variável “Nr Supervisor” verifica-se que o conjunto de
dados é constituído por devoluções efetuadas por 887 supervisores distintos, das 40
lojas. Sendo impossível de representar graficamente a distribuição de frequências por
supervisor, optou-se por efetuar uma análise do nº de supervisores por loja:
Figura 3.4 – Gráfico do nº de Supervisores por Loja
Sendo a média de 22 supervisores por loja, observa-se no entanto que existe uma loja
“I” com 78 supervisores com devoluções efetuadas no período observado, e uma loja
com apenas 6 supervisores nessas condições. De referir que não existe uma política nas
lojas que estabeleça o nº mínimo ou máximo de devoluções, mas é recomendado que
esteja atribuído a colaboradores com a função de supervisor, e que os cartões não sejam
partilhados.
Efetuando agora uma análise à variável “Zona País” observa-se que as 40 lojas estão
distribuídas em 3 zonas geográficas, sendo que a zona Sul representa cerca de 45% do
total das lojas em estudo:
Tabela 3.3 – Nº de lojas por “Zona País”
Norte 11 28%
Centro 11 28%
Sul 18 45%
Total 40 100%
33
Analisando agora as frequências da variável “Zona País”, verifica-se que 50% das
observações são referentes às lojas da zona Sul:
Na tabela 3.6 é feita uma análise da distribuição de frequências sobre o horário onde é
feito o registo da devolução. Verifica-se que 42% das observações são referentes ao
período da tarde, podendo estar relacionado com o facto de ser o período com maior nº
de horas associado (das 13h às 19h):
Tabela 3.6 – Frequência da variável “Horario registo”
34
Na tabela 3.7 é efetuada uma análise de frequências à variável “Unidade de Negócio”,
que consiste na descrição do tipo de produto. Verifica-se que as unidades “Congelados”
e “TakeAway” representam menos de 4% de frequência relativa, o que indica que são
tipos de artigos menos suscetíveis de serem devolvidos.
Por outro lado, produtos do tipo “Higiene e Beleza” e “Mercearia Doce” são os que
apresentam frequências relativas mais altas, com 6,9%:
35
3.3.2 Variáveis quantitativas
Na tabela 3.8 apresenta-se o resultado das medidas de localização, dispersão e de forma,
aplicadas às variáveis quantitativas presentes no conjunto de dados: “Total artigos
devolvidos” e “Valor médio artigos devolvidos”.
36
Figura 3.6 – Histograma da variável “Valor médio artigos devolvidos”
37
3.4 Deteção de outliers por análises univariadas
Neste ponto dá-se início à identificação de outliers através da representação gráfica box-
plot na aplicação SPSS (também possível no R ou Knime). Nesta fase são realizadas
análises apenas sobre cada uma das variáveis quantitativas, e destacados apenas os
outliers extremos:
Observa-se que o grupo é pouco homogéneo, pelo que o número de outliers globais
extremos é muito elevado, dado existirem 1695 outliers de valores acima de 38, obtido
através da expressão (11 + 3 * (11-2)).
Desse modo, optou-se por destacar apenas 12 outliers globais extremos, visualmente
mais significativos, com total de artigos devolvidos superior a 200 unidades: dois do
supervisor “I21590”, sete do supervisor “D13030” e um de cada um dos supervisores
“B4820”, “B95960” e “L857770”.
38
Figura 3.9 – Box-Plot: “Valor médio artigos devolvidos”
Observa-se que o grupo é pouco homogéneo, pelo que o número de outliers globais
extremos é muito elevado, dado existirem 1467 outliers de valores acima de 30.5,
obtido através da expressão (9.5 + 3 * (9.5-2.5)). Desse modo, optou-se por destacar
apenas 11 outliers globais extremos, visualmente mais significativos, com valores
médios de artigos devolvidos superiores a 225€: supervisor “K778980”, “AB1101560”,
“AH1103390”, “AH1096150”, “AC1099270”, “Q23100”, “AF460920”, “A225280”,
“I870710”, “AH18540” e “C84400”.
Conclusão: Através das análises univariadas pelos gráficos box-plot foi possível
identificar outliers globais, sendo que cada uma das variáveis quantitativas revelou
outliers distintos. Contudo, estas análises podem ser consideradas muito “macro” por
darem apenas uma visão geral das variáveis, não revelando outliers de contexto. No
quadro seguinte é apresentado um resumo dos 23 outliers identificados até aqui:
Tabela 3.9 – Outliers extremos globais identificados nas análises univariadas
Outliers globais extremos identificados
Análises univariadas
Descrição Total
Total artigos devolvidos I21590 {2} | D13030 {7} | B4820 | B95960 | L857770 12
K778980 | AB1101560 | AH1103390 | AH1096150 | AC1099270 | Q23100
Valor médio artigos devolvidos 11
AF460920 | A225280 | I870710 | AH18540 | C84400
39
3.5 Deteção de outliers por análises bivariadas
O objetivo neste ponto passa pela criação de um modelo iterativo, onde se vai
realizando análises bivariadas (duas variáveis) pela combinação das várias variáveis
entre si. Essa iteração consiste na avaliação de cada gráfico, na perspetiva de qual o
valor acrescentado que o mesmo traz em termos de relevância de outliers novos, aos já
conhecidos pelas análises univariadas. Neste capítulo apenas serão ilustrados os gráficos
onde são observados novos outliers, sendo que os restantes gráficos podem ser
consultados no Anexo II.
Figura 3.10 – Box-Plot: “Zona País” vs “Valor médio artigos devolvidos”
40
Figura 3.11 – Box-Plot: “Dia semana” vs “Total artigos devolvidos”
Conclusão: esta análise revelou-se útil pela deteção de um novo outlier extremo, que
não foi identificado na análise univariada, para além de se observar os outliers globais
já conhecidos.
41
Figura 3.12 – Box-Plot: “Horario registo” vs “Total artigos devolvidos”
Conclusão: esta análise revelou-se útil pela deteção de um novo outlier extremo, que
não foi identificado na análise univariada, para além de se observar os outliers globais
já conhecidos.
42
Figura 3.13 – Box-Plot: “Horario registo” vs “Valor médio artigos devolvidos”
Conclusão: Nesta análise bivariada entre as variáveis “Horario registo” e “Valor médio
artigos devolvidos” observa-se que o número de outliers é muito elevado, pelo que de
forma mais nítida, é possível identificar três novos outliers extremos: na “Noite”
destacam-se dois novos casos no supervisor “I112020” e “AD1094390” e na “Tarde”
observa-se um outlier associado ao supervisor “B16540”.
43
Figura 3.14 – Box-Plot: “Unidade Negócio” (parte 1) vs “Total artigos devolvidos”
44
Figura 3.16 – Box-Plot: “Unidade Negócio” (parte 1) vs “Valor médio artigos
devolvidos”
45
Após a realização das análises bivariadas entre todas as variáveis, é importante resumir
os novos outliers extremos identificados, dado que não tinham sido observados nas
análises univariadas:
Conforme se verifica pela tabela 3.10, através das análises bivariadas, foram
identificados 34 novos outliers extremos.
Desvantagem: a realização das análises bivariadas requer algum esforço extra para
gerar graficamente todas as combinações entre as variáveis disponíveis. Em conjuntos
de dados com muitas variáveis pode ser bastante trabalhoso, e não trazer o retorno
esperado. Nesse caso a escolha das variáveis mais importantes torna-se um fator crítico
de sucesso.
46
3.6 Deteção de outliers por análises multivariadas (árvores de
regressão)
Neste ponto pretende-se estudar as duas variáveis quantitativas, através da combinação
das variáveis qualitativas em simultâneo (com exceção do “Nr Supervisor” por não se
tratar de uma variável descritiva). Dado o nº de variáveis e o nº de instâncias possíveis
de cada uma, o nº de combinações torna-se exponencial, o que seria humanamente
quase impossível efetuar a análise e teste a todas as combinações possíveis. Desse
modo, o recurso a um modelo de aprendizagem, torna-se fundamental para efetuar
análise a todas as possíveis combinações, e na seleção das mais relevantes.
A opção recaiu pela utilização de árvores de regressão, pela sua capacidade de
procurar possíveis soluções em problemas complexos, onde a estratégia passa por ir
dividindo em problemas mais simples (Gama, J. et al., 2012, p. 101).
As árvores de regressão são em tudo idênticas às árvores de classificação, sendo que a
grande diferença consiste no facto de as folhas da árvore de regressão conterem
previsões numéricas e não decisões.
Um dos algoritmos mais conhecidos para a indução de árvores de árvores de
classificação e regressão é o algoritmo CART (Breiman, L. et al., 1984). Este algoritmo
inicia a sua execução na raiz da árvore de regressão, começando por analisar o conjunto
completo dos dados, e calculada a variância da variável objetivo.
Para cada variável, e para cada possível teste no valor da variável, é calculada a redução
da variância associada a esse teste. O teste que provoca uma maior redução na variância
é escolhido como teste para o nó (Gama, J. et al., 2012, p. 110).
Em cada divisão da árvore, é efetuado esse teste, com a escolha da variável e respetivos
valores que melhor separam os dados em dois grupos, e que minimize a variância desse
grupo na procura de criar grupos mais homogéneos.
O objetivo passa por minimizar a variância da variável objetivo, à medida que se
expande a árvore. No início (na raiz da árvore), o grupo é heterogéneo e tem uma
variância elevada, mas á medida que se vai descendo de nível, os grupos vão ficando
mais homogéneos e a variância vai diminuindo.
O desvio (“deviance”) de um nó T é calculado através do total da soma dos quadrados
(SS_T):
47
Cada divisão é feita através da maximização entre: a impureza do nó atual T, menos a
soma da impureza dos dois nós filho (L e R):
O processo termina quando já não é possível dividir mais os nós da árvore, isto é, não
sendo possível diminuir mais a variância do respetivo grupo.
A obtenção das árvores de regressão pelo algoritmo CART está disponível na aplicação
R (R Core Team, 2014), através do pacote rpart (Therneau, T. et al., 2015) e
importando os dados a serem analisados.
Após a obtenção da cada uma das árvores, em cada nó/folha da árvore serão realizadas
análises gráficas box-plot, observando se o gráfico revela algum outlier até aqui
desconhecido, ou apenas os já conhecidos.
48
3.6.1 Árvore de regressão: variável objetivo “Total artigos devolvidos”
Através da função rpart é obtida a árvore de regressão para a variável objetivo “Total
artigos devolvidos”. A árvore da figura 3.18 é o resultado final de testes realizados na
função rpart, alterando o parâmetro “cp”, de forma a obter folhas da árvore com valores
para a variável objetivo o mais elevado possível. Após várias tentativas, o valor
“otimizado” do “cp” foi de 0.0019, obtendo-se uma folha da árvore com 16 observações
e o valor médio da variável objetivo de 88,81.
49
Nó1
Nó2 Nó3
Nó383
Nó190
Nó382
Nó766 Nó767
Figura 3.18 – Árvore regressão variável objetivo “Total artigos devolvidos”
50
Figura 3.19 – Regras decisão da árvore variável “Total artigos devolvidos”
51
Em termos de texto, a árvore representa-se conforme a figura 3.19, permitindo uma
leitura mais percetível dos nós e das folhas da árvore. Podemos assim transformar toda a
árvore em regras de decisão (não é normal denominar estas por regras de regressão).
Na figura 3.19, a 1ª linha indica que o nº de observações usadas para aprendizagem foi
de 43206. Abaixo cada linha está identificada com um número, que corresponde a uma
identificação do nó. Em cada uma dessas linhas é indicado o nº de casos, o valor do
desvio e o valor médio da variável objetivo.
Por exemplo no nó número 767) são classificados 16 casos, que seguem a regra –
(Dia=“Dias úteis” & Loja=”B” & Horario registo=”Manhã” & Unidade
Negocio=”Lacticinios”), prevendo-se um número de artigos devolvidos de 88,8 e com
um desvio de 98.
52
Regras de Decisão do Nó 12
N = 4835
Desvio = 515053,8
Conclusão: observam-se seis novos outliers extremos mais significativos, que não
foram detetados em análises anteriores. Aplicando a regra descrita acima, o total artigos
devolvidos é de cerca de 8.71, no entanto nos casos identificados, as devoluções
efetuadas são superiores a 75 unidades. Os valores são superiores em quase 9 vezes o
valor da média.
53
Regras de Decisão do Nó 14
N = 1364
Desvio = 351094,1
Conclusão: observam-se seis novos outliers extremos mais significativos, que não
foram detetados em análises anteriores. Aplicando a regra descrita acima, o total artigos
devolvidos é de cerca de 14.58, no entanto nos casos identificados, as devoluções
efetuadas são superiores a 85 unidades. Os valores são superiores em quase 6 vezes o
valor da média.
54
Regras de Decisão do Nó 18
SE Loja = A, AA, AB, AC, AD, AE, AF, AI, AJ, AK, AL, AM, AN, E, F, G, H, I, J, K,
M, N, O, P, R, S, T, U, V, W, X, Y, Z
E Unidade Negocio = Bebidas, Bricolage&Auto, Charcutaria&Queijos, Cultura,
Frutas&Legumes, Lacticínios, Limpeza
E Dia semana = Fim de semana ou feriado
ENTÃO Total artigos devolvidos = 5,83
N = 6302
Desvio = 265074,3
Conclusão: observam-se seis novos outliers extremos mais significativos, que não
foram detetados em análises anteriores. Aplicando a regra descrita acima, o total artigos
devolvidos é de cerca de 5.83, no entanto nos casos identificados, as devoluções
efetuadas são superiores ou iguais a 55 unidades. Estes valores são superiores em cerca
de 9 vezes o valor da média.
55
Regras de Decisão do Nó 22
N = 1886
Desvio = 261460,4
Conclusão: observa-se um novo outlier extremo mais significativo, que não foi
detetado em análises anteriores, no supervisor B4880. Aplicando a regra descrita acima,
o total artigos devolvidos é de cerca de 10.35, no entanto no caso identificado, as
devoluções efetuadas são de 112 unidades. Este valor é superior em quase de 11 vezes o
valor da média.
56
Regras de Decisão do Nó 26
N = 2131
Desvio = 272956,4
Conclusão: observam-se cinco novos outliers extremos mais significativos, que não
foram detetados em análises anteriores. Aplicando a regra descrita acima, o total artigos
devolvidos é de cerca de 10.19, no entanto nos casos identificados, as devoluções
efetuadas são superiores ou iguais a 65 unidades. Estes valores são superiores em cerca
de 6 vezes o valor da média.
57
Regras de Decisão do Nó 46
N = 1226
Desvio = 570995,2
Conclusão: observam-se quatro novos outliers extremos mais significativos, que não
foram detetados em análises anteriores. Aplicando a regra descrita acima, o total artigos
devolvidos é de cerca de 15.47, no entanto nos casos identificados, as devoluções
efetuadas são superiores ou iguais a 90 unidades. Estes valores são superiores em quase
6 vezes o valor da média.
58
Regras de Decisão do Nó 55
N = 1531
Desvio = 889838,2
Conclusão: observam-se cinco novos outliers extremos mais significativos, que não
foram detetados em análises anteriores. Aplicando a regra descrita acima, o total artigos
devolvidos é de cerca de 18.87, no entanto nos casos identificados, as devoluções
efetuadas são superiores a 130 unidades. Estes valores são superiores em quase 7 vezes
o valor da média.
59
Regras de Decisão do Nó 62
N = 248
Desvio = 160189,9
Conclusão: observa-se um novo outlier extremo, que não foi detetado em análises
anteriores, no supervisor AH1103120. Aplicando a regra descrita acima, o total artigos
devolvidos é de cerca de 22.34, no entanto no caso identificado, as devoluções efetuadas
são de 124 unidades. Este valor é superior em cerca de 5,5 vezes o valor da média.
60
3.6.2 Árvore de regressão: variável objetivo “Valor médio artigos devolvidos”
De forma idêntica à outra variável, a árvore da figura 3.28 é o resultado final de testes
realizados na função rpart, alterando o parâmetro “cp”, de forma a obter folhas da
árvore com valores o mais elevado possível. Neste caso o valor “otimizado” do “cp” foi
de 0.0013, obtendo-se uma folha da árvore com 10 observações e o valor médio da
variável objetivo de 92,02€.
61
Nó1
Nó2 Nó3
Nó8 Nó15
Nó71 Nó123
Nó34 Nó60 Nó62
Nó143
Nó70 Nó122 Nó126 Nó127
Nó286 Nó287
Figura 3.28 – Árvore regressão variável objetivo “Valor médio artigos devolvidos”
62
Figura 3.29 – Regras decisão da árvore variável “Valor médio artigos devolvidos”
63
Na figura 3.29 a árvore está representada em termos de texto, com indicação das regras
de decisão e valores dos nós e folhas da árvore.
Tal como na outra variável objetivo, pretende-se estudar a árvore, e em cada nó ir
realizando análises do tipo box-plot e identificar a presença de novos outliers extremos
em relação às análises univariada e bivariada. O processo é repetido até concluída a
análise a todos os nós e folhas da árvore. O topo da árvore corresponde ao total das
observações, pelo que é igual à análise univariada já realizada.
A 1ª divisão da árvore acontece com a variável “Unidade Negócio”, separando a árvore
em dois nós (2 e 3):
64
Regras de Decisão do Nó 5
N = 12254
Desvio = 2855521
Conclusão: observam-se quatro novos outliers extremos mais significativos, que não
foram detetados em análises anteriores. Nos produtos de Bebidas, Casa, Higiene,
Peixaria ou Pets&Plants, o valor médio dos artigos devolvidos é de cerca de 10,76€, no
entanto nos casos identificados, as devoluções efetuadas são superiores a 170€. Estes
valores são superiores em cerca de 16 vezes o valor da média.
65
Regras de Decisão do Nó 6
N = 2326
Desvio = 780794,7
Conclusão: observam-se três novos outliers extremos mais significativos, que não
foram detetados em análises anteriores. Nos produtos de Bricolage&Auto, o valor
médio dos artigos devolvidos é de cerca de 16,82€, no entanto nos casos identificados,
as devoluções efetuadas são superiores a 145€. Estes valores são superiores em cerca de
8 vezes o valor da média.
66
Regras de Decisão do Nó 9
N = 7344
Desvio = 225273,6
Conclusão: observam-se seis novos outliers extremos mais significativos, que não
foram detetados em análises anteriores. Nos produtos de Cultura, Limpeza ou Talho, o
valor médio dos artigos devolvidos é de cerca de 6,63€, no entanto nos casos
identificados, as devoluções efetuadas são superiores a 69€. Este valor é superior em
cerca de 10 vezes o valor da média.
67
Regras de Decisão do Nó 10
N = 7480
Desvio = 1105080
Conclusão: observa-se um novo outlier extremo mais significativo, que não foi
detetado em análises anteriores. Nos produtos de Bebidas, Higiene ou Pets&Plants, o
valor médio dos artigos devolvidos é de cerca de 9,37€, no entanto no caso identificado,
as devoluções efetuadas é igual a 173€. Este valor é superior em cerca de 18 vezes o
valor da média.
68
Regras de Decisão do Nó 11
N = 4774
Desvio = 1713273
Conclusão: observam-se quatro novos outliers extremos mais significativos, que não
foram detetados em análises anteriores. Nos produtos de Casa ou Peixaria, o valor
médio dos artigos devolvidos é de cerca de 12,94€, no entanto nos casos identificados,
as devoluções efetuadas são superiores a 170€. Este valor é superior em cerca de 13
vezes o valor da média.
69
Regras de Decisão do Nó 12
N = 1472
Desvio = 355707,1
Conclusão: observam-se sete novos outliers extremos mais significativos, que não
foram detetados em análises anteriores. Aplicando a regra acima descrita, o valor médio
dos artigos devolvidos é de cerca de 15,11€, no entanto nos casos identificados, as
devoluções efetuadas são superiores a 125€. Este valor é superior em cerca de 8 vezes o
valor da média.
70
Regras de Decisão do Nó 13
N = 854
Desvio = 413455,3
Conclusão: observam-se dois novos outliers extremos mais significativos, que não
foram detetados em análises anteriores. Aplicando a regra acima descrita, o valor médio
dos artigos devolvidos é de cerca de 19,76€, no entanto nos casos identificados, as
devoluções efetuadas são superiores a 145€. Este valor é superior em cerca de 7 vezes o
valor da média.
71
Regras de Decisão do Nó 14
N = 1973
Desvio = 486453
Conclusão: observam-se quatro novos outliers extremos mais significativos, que não
foram detetados em análises anteriores. Aplicando a regra acima descrita, o valor médio
dos artigos devolvidos é de cerca de 27,98€, no entanto nos casos identificados, as
devoluções efetuadas são superiores a 145€. Este valor é superior em cerca de 5 vezes o
valor da média.
72
Regras de Decisão do Nó 15
N = 371
Desvio = 759530,8
Outlier já identificado
na bivariada
Conclusão: observam-se três novos outliers extremos mais significativos, que não
foram detetados em análises anteriores. Aplicando a regra acima descrita, o valor médio
dos artigos devolvidos é de cerca de 35,76€, no entanto nos casos identificados, as
devoluções efetuadas são superiores a 145€. Este valor é superior em cerca de 4 vezes o
valor da média.
73
Regras de Decisão do Nó 16
N = 4937
Desvio = 24465,84
Conclusão: observam-se dois novos outliers extremos mais significativos, que não
foram detetados em análises anteriores. Nos produtos de “Frutas&Legumes” ou de
“Padaria”, o valor médio dos artigos devolvidos é de cerca de 2,55€, no entanto nos dois
casos identificados, as devoluções efetuadas são superiores a 35€. Estes valores são
superiores em cerca de 13,7 vezes o valor da média.
74
Regras de Decisão do Nó 30
N = 326
Desvio = 424464,8
Outlier já identificado
na bivariada
Conclusão: observam-se três novos outliers extremos mais significativos, que não
foram detetados em análises anteriores. Aplicando a regra acima descrita, o valor médio
dos artigos devolvidos é de cerca de 34,26€, no entanto nos casos identificados, as
devoluções efetuadas são superiores a 145€. Este valor é superior em cerca de 4 vezes o
valor da média.
75
Regras de Decisão do Nó 34
N = 13608
Desvio = 332110,1
Conclusão: observam-se cinco novos outliers extremos mais significativos, que não
foram detetados em análises anteriores. Aplicando a regra descrita acima, o valor médio
dos artigos devolvidos é de cerca de 3,94€, no entanto nos casos identificados, as
devoluções efetuadas são superiores a 95€. Estes valores são superiores em cerca de 24
vezes o valor da média.
76
Regras de Decisão do Nó 60
N = 231
Desvio = 111186,3
Conclusão: observam-se dois novos outliers extremos mais significativos, que não
foram detetados em análises anteriores. Nos produtos de “Lazer”, entre o horário da
tarde e noite, e nas lojas AD, AH, D, K, V, o valor médio dos artigos devolvidos é de
cerca de 31,92€, no entanto nos casos identificados, as devoluções efetuadas são
superiores ou iguais a 150€. Estes valores são superiores em cerca de 4,7 vezes o valor
da média.
77
Regras de Decisão do Nó 61
N = 95
Desvio = 308916
Conclusão: observa-se um novo outlier extremo, que não foi detetado em análises
anteriores. Aplicando a regra acima descrita, o valor médio dos artigos devolvidos é de
cerca de 39,97€, no entanto no caso identificado, as devoluções efetuadas são iguais a
180€. Estes valores são superiores em cerca de 4,5 vezes o valor da média.
78
Regras de Decisão do Nó 62
N = 25
Desvio = 8734,846
Conclusão: observa-se um novo outlier extremo, que não foi detetado em análises
anteriores, no supervisor AB1101990. Nos produtos de “Lazer”, nos dias úteis e na loja
AB, o valor médio dos artigos devolvidos é de cerca de 33,56€, no entanto no caso
identificado, as devoluções efetuadas são cerca de 90€. Este valor é superior em cerca
de 2,7 vezes o valor da média.
79
Regras de Decisão do Nó 70
SE Loja = K
E Unidade Negócio = Charcutaria&Queijos, Congelados, Mercearia Doce, Mercearia
Salgada, TakeAway
ENTÃO Valor médio artigos devolvidos = 3,51€
N = 316
Desvio = 2302,822
Conclusão: observam-se seis novos outliers extremos mais significativos, que não
foram detetados em análises anteriores. Aplicando a regra acima descrita, o valor médio
dos artigos devolvidos é de cerca de 3,51€, no entanto nos casos identificados, as
devoluções efetuadas são superiores ou iguais a 13€. Estes valores são superiores em
cerca de 3,7 vezes o valor da média.
80
Regras de Decisão do Nó 122
N = 71
Desvio = 38335,18
Conclusão: observa-se um novo outlier extremo, que não foi detetado em análises
anteriores, no supervisor V304510. Nos produtos de Lazer, durante o horário da manhã
e nas lojas AD, D, K e V, o valor médio dos artigos devolvidos é de cerca de 33,33€, no
entanto no caso identificado, as devoluções efetuadas são cerca de 178€. Este valor é
superior em cerca de 5,4 vezes o valor da média.
81
Regras de Decisão do Nó 286
SE Loja = K
E Unidade Negócio = Lacticinios
E Horario registo = Tarde
E Dia semana = Fins de semana ou feriado
ENTÃO Valor médio artigos devolvidos = 4,08€
N = 15
Desvio = 326,176
Conclusão: observa-se um novo outlier extremo, que não foi detetado em análises
anteriores, no supervisor K114610. Na loja K, nos produtos de “Lacticinios”, nos fins
de semana ou feriados e durante o horário da tarde, o valor médio dos artigos
devolvidos é de cerca de 4,08€, no entanto no caso identificado, as devoluções efetuadas
é cerca de 21€. Este valor é superior em cerca de 5 vezes o valor da média.
82
Após a realização das análises multivariadas para as duas variáveis objetivo, é
importante resumir os novos outliers extremos identificados, dado que não tinham sido
observados nas análises univariadas e bivariadas:
Conforme se verifica pelas tabelas 3.11 e 3.12, através das análises multivariadas, foram
identificados 90 novos outliers extremos, que não tinham sido observados nas análises
univariada e bivariada.
83
Capítulo 4: Conclusões e trabalho futuro
Destes três tipos de análise, a multivariada é sem dúvida a mais rica em termos de
extração de conhecimento, dado que para além de identificar outliers globais, consegue
descer a um nível de detalhe muito interessante, e revelar casos bem “escondidos”,
considerados como outliers de contexto.
84
Por exemplo, só assim foi possível identificar dois outliers extremos (ver figura 3.39),
num contexto de devoluções de produtos de “Frutas&Legumes” ou “Padaria”, cujo
valor médio ronda os 2,55€, mas no entanto dois supervisores realizaram devoluções a
um valor médio superior a 35€. Este valor é superior em cerca de 13,7 vezes o valor da
média. Este é um tipo de outlier de contexto, que dificilmente seria observado nas
análises univariada e bivariada, dai a importância das análises multivariadas.
Em termos de resumo final dos resultados alcançados, deve-se referir que foram
identificados cerca de 147 outliers extremos (total entre globais e de contexto, pelos três
tipos de análises), o que confirma o objetivo do trabalho de detetar casos anómalos ou
estranhos. Porém a confirmação de cada caso sobre a conclusão se é fraude ou não, só é
possível através de uma averiguação e investigação nas respetivas lojas, sendo que esse
processo pode envolver técnicas de investigação forense.
Desse modo o âmbito desta dissertação termina nesta fase de deteção de casos anómalos
ou estranhos.
85
Bibliografia
Abbott, D. (2014), “Applied Predictive Analytics: Principles and Techniques for the
Professional Data Analyst”, Wiley, 1ª Edição
Coderre, D. (2009), “Computer-Aided Fraud Prevention & Detection”, John Wiley &
Sons
Deloitte (2013), “Shrinking retail shrink: Using analytics to help detect fraud and grow
margins”, publicado no seu sítio institucional em 2013, acedido em 15 Novembro 2014
EY (2014), “Big risks require big data thinking”, publicado no seu sítio institucional em
2014, acedido em 11 Dezembro 2014
Gama, J., Carvalho, A., Faceli, K., Lorena, C. e M. Oliveira (2012), “Extração de
Conhecimento de Dados: Data Mining”, Edições Sílabo, 1ª Edição
86
Hodge, V. e J. Austin (2004), “A Survey of Outlier Detection Methodologies”,
Artificial Intelligence Review, Volume 22
IPAI (2014), “Auditoria interna: Contributo para a deteção e prevenção de fraude nas
organizações”, Auditoria Interna, Nº 5, pp. 13-24
Jans, M., Lybaert N. e K. Vanhoof (2007), “Data mining for fraud detection: Toward an
improvement on internal control systems ?”, 30º Annual Congress European
Accounting Association (EAA 2007), Lisboa
KPMG (2013), “Global profiles of the fraudster”, publicado no seu sítio institucional
em 11/04/2013, acedido em 15 Novembro 2014
Manish, G., Gao, J., Aggarwal, C. e H. Jiawei (2014), “Outlier Detection for Temporal
Data: A Survey”, IEEE Transactions on knowledge and data engineering, Vol. 25, Nº 1
PWC (2014), “Global Economic Crime Survey 2014”, publicado no seu sítio
institucional em 14/02/2014, acedido em 15 Novembro 2014
Phua, C., Lee V., Smith K. e R. Gayler (2010), “A Comprehensive Survey of Data
Mining-based Fraud Detection Research”, CoRR
87
R Core Team (2014), “R: A language and environment for statistical computing”, R
Foundation for Statistical Computing, Vienna, Austria, URL [Link]
Torgo, L. (2010), “Data Mining with R: Learning with Case Studies”, Chapman and
Hall/CRC, 1ª Edição
88
ANEXO I – Árvore da fraude
89
Figura A1.1 - Árvore da Fraude (versão completa)
90
ANEXO II - Análises bivariadas
91
Figura A2.1 – Box-Plot: “Zona País” vs “Total artigos devolvidos”
Conclusão: esta análise não revelou a existência de novos outliers, apenas se observa os
outliers já conhecidos nas análises univariada e bivariada do capítulo 3.
92
Figura A2.2 – Box-Plot: “Dia semana” vs “Valor médio artigos devolvidos”
Conclusão: esta análise não revelou a existência de novos outliers, apenas se observa os
outliers já conhecidos nas análises univariada e bivariada do capítulo 3.
93
Figura A2.3 – Scatter-Plot: “Total artigos devolvidos” vs “Valor médio artigos
devolvidos”
K778980
AB1101560
I21590 I21590
Conclusão: esta análise não revelou a existência de novos outliers, tendo detetado
outliers importantes, mas já conhecidos das análises univariadas.
94
ANEXO III - Análises multivariadas: variável objetivo
“Total artigos devolvidos”
95
Regras de Decisão do Nó 2
N = 29545
Desvio = 3525370
Nota: esta análise não revelou a existência de novos outliers extremos significativos,
apenas os já conhecidos.
96
Regras de Decisão do Nó 3
N = 13661
Desvio = 5314693
Nota: esta análise não revelou a existência de novos outliers extremos significativos,
apenas os já conhecidos.
97
Regras de Decisão do Nó 4
N = 22563
Desvio = 1400686
Nota: esta análise não revelou a existência de novos outliers extremos significativos,
apenas os já conhecidos.
98
Regras de Decisão do Nó 5
N = 6982
Desvio = 1979454
Nota: esta análise não revelou a existência de novos outliers extremos significativos,
apenas os já conhecidos.
99
Regras de Decisão do Nó 6
N = 10673
Desvio = 2977266
Nota: esta análise não revelou a existência de novos outliers extremos significativos,
apenas os já conhecidos.
100
Regras de Decisão do Nó 7
N = 2988
Desvio = 2142962
Nota: esta análise não revelou a existência de novos outliers extremos significativos,
apenas os já conhecidos.
101
Regras de Decisão do Nó 8
SE Loja = A, AA, AB, AC, AD, AE, AF, AI, AJ, AK, AL, AM, AN, E, F, G, H, I, J, K,
M, N, O, P, R, S, T, U, V, W, X, Y, Z
E Unidade Negócio = Congelados, Padaria, Peixaria, Pets&Plants, TakeAway, Talho
ENTÃO Total artigos devolvidos = 4,02
N = 8489
Desvio = 222951,4
Nota: esta análise não revelou a existência de novos outliers extremos significativos,
apenas os já conhecidos.
102
Regras de Decisão do Nó 9
SE Loja = A, AA, AB, AC, AD, AE, AF, AI, AJ, AK, AL, AM, AN, E, F, G, H, I, J, K,
M, N, O, P, R, S, T, U, V, W, X, Y, Z
E Unidade Negócio = Bebidas, Bricolage&Auto, Charcutaria&Queijos, Cultura,
Frutas&Legumes, Lacticinios, Limpeza
ENTÃO Total artigos devolvidos = 7,41
N = 14074
Desvio = 1116969
Nota: esta análise não revelou a existência de novos outliers extremos significativos,
apenas os já conhecidos.
103
Regras de Decisão do Nó 10
N = 2847
Desvio = 281338,7
Nota: esta análise não revelou a existência de novos outliers extremos significativos,
apenas os já conhecidos.
104
Regras de Decisão do Nó 11
N = 4135
Desvio = 1601965
Nota: esta análise não revelou a existência de novos outliers extremos significativos,
apenas os já conhecidos.
105
Regras de Decisão do Nó 13
N = 5838
Desvio = 2388991
Nota: esta análise não revelou a existência de novos outliers extremos significativos,
apenas os já conhecidos.
106
Regras de Decisão do Nó 15
N = 1624
Desvio = 1697310
Nota: esta análise não revelou a existência de novos outliers extremos significativos,
apenas os já conhecidos.
107
Regras de Decisão do Nó 19
SE Loja = A, AA, AB, AC, AD, AE, AF, AI, AJ, AK, AL, AM, AN, E, F, G, H, I, J, K,
M, N, O, P, R, S, T, U, V, W, X, Y, Z
E Unidade Negócio = Bebidas, Bricolage&Auto, Charcutaria&Queijos, Cultura,
Frutas&Legumes, Lacticinios, Limpeza
E Dia semana = Dias úteis
ENTÃO Total artigos devolvidos = 8,7
N = 7772
Desvio = 823273,8
Nota: esta análise não revelou a existência de novos outliers extremos significativos,
apenas os já conhecidos.
108
Regras de Decisão do Nó 23
N = 2249
Desvio = 1282552
Nota: esta análise não revelou a existência de novos outliers extremos significativos,
apenas os já conhecidos.
109
Regras de Decisão do Nó 27
N = 3707
Desvio = 2067837
Nota: esta análise não revelou a existência de novos outliers extremos, apenas os já
conhecidos.
110
Regras de Decisão do Nó 30
N = 953
Desvio = 993667,6
Nota: esta análise não revelou a existência de novos outliers extremos significativos,
apenas os já conhecidos.
111
Regras de Decisão do Nó 31
N = 671
Desvio = 686917,2
112
Regras de Decisão do Nó 47
N = 1023
Desvio = 696059,3
Nota: esta análise não revelou a existência de novos outliers extremos significativos,
apenas os já conhecidos.
113
Regras de Decisão do Nó 54
N = 2176
Desvio = 1158722
Nota: esta análise não revelou a existência de novos outliers extremos significativos,
apenas os já conhecidos.
114
Regras de Decisão do Nó 63
N = 423
Desvio = 505438,9
115
Regras de Decisão do Nó 94
N = 713
Desvio = 323440
Nota: esta análise não revelou a existência de novos outliers extremos significativos,
apenas os já conhecidos.
116
Regras de Decisão do Nó 95
N = 310
Desvio = 365549,7
Nota: esta análise não revelou a existência de novos outliers extremos significativos,
apenas os já conhecidos.
117
Regras de Decisão do Nó 190
N = 205
Desvio = 100228,4
Nota: esta análise não revelou a existência de novos outliers extremos, apenas os já
conhecidos.
118
Regras de Decisão do Nó 191
N = 105
Desvio = 254173,8
Nota: esta análise não revelou a existência de novos outliers extremos, apenas os já
conhecidos.
119
Regras de Decisão do Nó 382
N = 73
Desvio = 27327,04
Nota: esta análise não revelou a existência de novos outliers extremos, apenas os já
conhecidos.
120
Regras de Decisão do Nó 383
N = 32
Desvio = 190386
Nota: esta análise não revelou a existência de novos outliers extremos, apenas os já
conhecidos.
121
Regras de Decisão do Nó 766
N = 16
Desvio = 12311,44
122
Regras de Decisão do Nó 767
N = 16
Desvio = 153764,4
123
ANEXO IV - Análises multivariadas: variável objetivo
“Valor médio artigos devolvidos”
124
Regras de Decisão do Nó 2
N = 38536
Desvio = 5179937
Nota: esta análise não revelou a existência de novos outliers extremos significativos,
apenas os já conhecidos.
125
Regras de Decisão do Nó 3
N = 4670
Desvio = 2224964
Nota: esta análise não revelou a existência de novos outliers extremos significativos,
apenas os já conhecidos.
126
Regras de Decisão do Nó 4
N = 26282
Desvio = 1993308
Nota: esta análise não revelou a existência de novos outliers extremos significativos,
apenas os já conhecidos.
127
Regras de Decisão do Nó 7
N = 2344
Desvio = 1264886
Nota: esta análise não revelou a existência de novos outliers extremos significativos,
apenas os já conhecidos.
128
Regras de Decisão do Nó 8
N = 18938
Desvio = 1720307
Nota: esta análise não revelou a existência de novos outliers extremos significativos,
apenas os já conhecidos.
129
Regras de Decisão do Nó 17
N = 14001
Desvio = 1688006
Nota: esta análise não revelou a existência de novos outliers extremos significativos,
apenas os já conhecidos.
130
Regras de Decisão do Nó 31
N = 45
Desvio = 329036,5
Nota: esta análise não revelou a existência de novos outliers extremos, apenas o já
conhecido.
131
Regras de Decisão do Nó 35
N = 393
Desvio = 1353429
Nota: esta análise não revelou a existência de novos outliers extremos significativos,
apenas os já conhecidos.
132
Regras de Decisão do Nó 63
N = 20
Desvio = 310727
Nota: esta análise não revelou a existência de novos outliers extremos, apenas o já
conhecido.
133
Regras de Decisão do Nó 71
SE Loja = K
E Unidade Negócio = Lacticinios
ENTÃO Valor médio artigos devolvidos = 18,67€
N = 77
Desvio = 1336895
Nota: esta análise não revelou a existência de novos outliers extremos significativos,
apenas os já conhecidos.
134
Regras de Decisão do Nó 123
N = 24
Desvio = 258218,5
Nota: esta análise não revelou a existência de novos outliers extremos significativos,
apenas os já conhecidos.
135
Regras de Decisão do Nó 126
N = 10
Desvio = 3445,515
Nota: esta análise não revelou a existência de novos outliers extremos significativos,
apenas os já conhecidos.
136
Regras de Decisão do Nó 127
N = 10
Desvio = 290344,1
Nota: esta análise não revelou a existência de novos outliers extremos significativos,
apenas os já conhecidos.
137
Regras de Decisão do Nó 142
SE Loja = K
E Unidade Negócio = Lacticinios
E Horario registo = Manhã, Noite
ENTÃO Valor médio artigos devolvidos = 3,53€
N = 48
Desvio = 249,3271
138
Regras de Decisão do Nó 143
SE Loja = K
E Unidade Negócio = Lacticinios
E Horario registo = Tarde
ENTÃO Valor médio artigos devolvidos = 43,74€
N = 29
Desvio = 1307423
Nota: esta análise não revelou a existência de novos outliers extremos significativos,
apenas os já conhecidos.
139
Regras de Decisão do Nó 246
N=9
Desvio = 658, 4663
140
Regras de Decisão do Nó 247
N = 15
Desvio = 239393,9
Nota: esta análise não revelou a existência de novos outliers extremos significativos,
apenas os já conhecidos.
141
Regras de Decisão do Nó 287
SE Loja = K
E Unidade Negócio = Lacticinios
E Horario registo = Tarde
E Dia semana = Dias úteis
ENTÃO Valor médio artigos devolvidos = 86,22€
N = 14
Desvio = 1258243
Nota: esta análise não revelou a existência de novos outliers extremos significativos,
apenas o já conhecido.
142