Formation Python

Happy CodersAcademy
PYTHON & Algorithme
1. Développement d’algorithme ‘Greedy approach’
2. Développement d’algorithme ‘Divide-and-Conquer’
3. La programmation dynamique 'Dynamic Programming'
4. Backtracking
5. Modules classiques sur Python et modules personnalisés
6. Les interfaces graphique Sur Python
7. Base de données et Python ‘MySQL’
8. Traitement et visualisation de données
9. Projets
 Python & traitement de données - 2ème session
J1 J2 J3 J4 J5
Formation Code/Pédagogie Formation Code Formation Code Atelier projet 'Partie I' Atelier projet
* Développement d'algorithme * Découverte et manipulation des * Traitement et visualisation de * Projets encadré : * Projets fin de formation
glouton 'Greedy Approach' différents Modules et librairies sur données avec le module Pandas : - Analyse des données financières :
* Développement d'algorithme Python : 1. Séries. développer les compétences 1. Méthodologie de travail
'Divide-and-Conquer' 1. Module Standards (Math, time, 2. DataFrame. d'analyse de données financières afin 2. Choix des projets
* Résolution d'un problème Random et Turtle, numpy...) * Oraganisation des données par la de résoudre les divers problèmes 3. Elaboration et présentation du cahier
d'opimisation par la méthode 2. Module pesonnalisés. technqiue 'Tidy Data' sociaux du monde réel. des charges
algorithmique Programmation * Time Series Data 4. Développement du projet
dynamique 'Dynamic Programming'. Unit 34 Unit 39 5. Test, vérification et Validation
* Développement de la technique From unit 35 to unit 38 6. Présentation des projets.
algorithmique Le retour sur trace * Découverte Interface graphique (IHM) Atelier projet 'Partie II'
'Backtracking'. sur Python (Tkinter) Formation Créativité * Projets encadré :
* Manipulation et opérations sur les * Développement d'un mini-projet - Etude, Analyse et visualisation des Quiz Global et feedbacks
matrices. (III). données relatives à la pandémie
From unit 30 to unit 33 * Manipulation et administration des mondiale de Corona
base de données 'MySql'
Formation Créativité Unit 40
* Exercices et Challenge avancés
(Situations réelles) Formation Créativité
* Développement d'un mini-projet (II)
1. Développement d’algorithme ‘Greedy approach’ :
Dans cette partie, nous allons aborder la notion d'optimisation d'un problème.
Un problème d'optimisation est un problème pour lequel on cherche la meilleure solution (selon un critère défini)
dans un ensemble de solutions possibles.

Quelques exemples de problèmes d'optimisation :

• Rendre la monnaie avec un minimum de pièces.
• Ranger le maximum d'éléments : sac à dos, colis dans un camion, etc.
• Réservation de véhicules dans une société pour minimiser la taille du parc nécessaire.
• Parcourir un ensemble de lieux en minimisant le temps ou la distance nécessaire.
• Et d'autres.

Note :
On parle de solution optimale toute une solution qui fait partie des solutions possibles et qui est la meilleure des
solutions selon le critère défini.
1. Développement d’algorithme ‘Greedy approach’ :

Les algorithmes gloutons ‘Greedy approach’ sont souvent utilisés pour résoudre ces problèmes d'optimisation . On cherche une
solution optimale en effectuant le meilleur choix possible à chaque étape de l'algorithme. Dans ce type de résolution, il n'y a pas de retour en
arrière. Lorsqu'un choix est fait, il n'est pas modifié par la suite. On se retrouve donc à chaque étape, avec un problème de plus en plus petit à
résoudre.
Attention toutefois, cette méthode ne fournit pas systématiquement la solution optimale au problème proposé.

• Pour un rendu de monnaie, le critère pour la solution optimale sera le nombre de pièces et/ou billets.
• Pour un parcours de lieux, le critère peut être le nombre de lieux ou la distance parcourue (minimale, maximale).
• Pour un système de réservation, le critère peut être le nombre de réservations ou la durée de réservation.
• Etc.
1. Développement d’algorithme ‘Greedy approach’ :

Projet : Coin Chnage Problem

Nous allons étudier un problème d'optimisation classique : le problème du rendu de

monnaie de manière optimale. On cherche à rendre la monnaie avec un nombre minimal de
pièces et billets.

Voici notre système de monnaie (exprimé en euros) :

Rendus de monnaie Nombre de pièces et de billets

• Pièces : 0,01 ; 0,02 ; 0,05 ; 0,1 ; 0,2 ; 1 ; 2 . 5300×0,01€ 5 300

• Billets : 5 ; 10 ; 20 ; 50 ; 100 ; 200; 500. 53×1€ 53

On cherche par exemple à rendre 53 euros. On peut dans un 5×10+1×2+1×1€ 7

tableau énumérer quelques solutions possibles et choisir celle qui 2×20+3×5+1×2€ 6

minimise le nombre de pièces et de billets. 1×50+1×1+1×2€ 3

 1. Développement d’algorithme ‘Greedy approach’ :

Solution : Coin Change Problem

def coin_change(coins, amount): coins_client = list(map(int, input("Input coins : ").split()))

changes = [] a = sum(coins_client)
largest = 0 coins = [500, 100, 50, 10]
while amount > 0 : changes = coin_change(coins, a)
if amount < coins[largest]: print(changes, len(changes))
largest +=1 if (len(changes) == len(coins_client)):
else : print("Vous n'avez pas besoin de réduire le nombre de pièce")
[Link](coins[largest]) else :
amount -=coins[largest] print("Le nouveau nombre de pièces est ",len(changes),"au lieu de ",len(coins_client))
return changes print("Le nombre de pièce réduit est : ", len(coins_client) - len(changes))
1. Développement d’algorithme ‘Greedy approach’ :

Bilan

Un algorithme glouton consiste à effectuer des choix "locaux" (dans le cas du rendu de monnaie : rendre la plus grande valeur possible),
choix qui ne seront plus jamais remis en cause mais qui permettent de réduire le problème à un problème plus "simple" (dans le cas du rendu de
monnaie : rendre la somme diminuée de la valeur maximale)
Les algorithmes gloutons constituent une méthode algorithmique, parmi d'autres, pour résoudre des problèmes, en particulier
d'optimisation.
Lorsqu'un algorithme glouton permet d'obtenir une solution, celle-ci n'est pas forcément la solution optimale au problème.
Un algorithme glouton peut ne trouver aucune solution bien que des solutions existent.
2. Développement d’algorithme ‘Divide-and-Conquer’ :

Le diviser pour régner est une méthode algorithmique basée sur le principe suivant :
On prend un problème (généralement complexe à résoudre), on divise ce problème en une multitude de petits problèmes, l'idée
étant que les "petits problèmes" seront plus simples à résoudre que le problème original. Une fois les petits problèmes résolus, on
recombine les "petits problèmes résolus" afin d'obtenir la solution du problème de départ.
Le paradigme "diviser pour régner" repose donc sur 3 étapes :
• DIVISER : le problème d'origine est divisé en un certain nombre de sous-problèmes
• RÉGNER : on résout les sous-problèmes (les sous-problèmes sont plus faciles à résoudre que le problème d'origine)
• COMBINER : les solutions des sous-problèmes sont combinées afin d'obtenir la solution du problème d'origine.

Les algorithmes basés sur le paradigme "diviser pour régner" sont très souvent des algorithmes récursifs.
Nous avons étudié un de ces algorithmes basés sur le principe diviser pour régner : le tri-fusion
2. Développement d’algorithme ‘Divide-and-Conquer’ :

Projet : Minimum Triangle Path

Nous allons étudier un problème d'optimisation classique : le problème du rendu de monnaie de manière optimale. On cherche à rendre la
monnaie avec un nombre minimal de pièces et billets.

Étant donné une structure triangulaire de nombres, trouvez la somme minimale du chemin de haut en bas.
À chaque étape, vous pouvez vous déplacer vers des numéros adjacents sur la ligne ci-dessous.
2. Développement d’algorithme ‘Divide-and-Conquer’ :

Projet : Minimum Triangle Path

Traverser l’approche naïve en parcourant tous les chemins possibles. Mais, cela coûte cher. Il y a deux manières d’atteindre la solution :
1 - La Mémorisation.
2 - De bas en haut : Commencez à partir des nœuds de la rangée du bas ; la somme de chemin min pour ces nœuds sont les valeurs des
nœuds eux-mêmes. Et après cela, la somme de chemin minimale au ième nœud de la kème ligne serait le minimum de la somme de chemin de ses
deux enfants + la valeur du nœud, c’est-à-dire :
2. Développement d’algorithme ‘Divide-and-Conquer’ :

Solution : Minimum Triangle Path

def find_minimum(row, col, triangle):

if row == len(triangle):
return 0
else :
minimum = min (find_minimum(row+1, col, triangle), find_minimum(row+1, col+1, triangle))
return triangle[row][col] + minimum

triangle = [
[2],
[3,4],
[6,5,7],
[4,1,8,3]
]
minimum = find_minimum(0, 0, triangle)
print("The minimum cost is : ", minimum)
3. La programmation dynamique 'Dynamic Programming' :

La programmation dynamique permet de résoudre plus efficacement des problèmes d’optimisation.

La programmation dynamique consiste à résoudre un problème en le décomposant en sous-problèmes, puis à résoudre les sous-
problèmes, des plus petits aux plus grands en stockant les résultats intermédiaires.
Cette méthode a été introduite au début des années 1950 par Richard Bellman.

Le triangle de Pascal :
Principe
En mathématiques, le triangle de Pascal est une présentation des coefficients binomiaux dans un triangle. Il fut nommé ainsi en
l’honneur du mathématicien français Blaise Pascal. Il est connu sous l’appellation « triangle de Pascal » en Occident, bien qu’il fût étudié par
d’autres mathématiciens, parfois plusieurs siècles avant lui.
3. La programmation dynamique 'Dynamic Programming' :

Solution 1 : Algorithme récursif non optimisé

def pascal_recur(n,p):
if p==0:return 1
if p>n:
return 0
else:
return pascal_recur(n-1,p) + pascal_recur(n-1,p-1)

def pascal(n):
T = [[0] * (n+1) for p in range(n+1)]
for n in range(n+1):
for k in range(n+1):
T[n][k] = pascal_recur(n,k)
return T
3. La programmation dynamique 'Dynamic Programming' :

Solution 2 : Algorithme avec mémorisation

def trianglePascal(n):
T = [[0] * (n+1) for p in range(n+1)]
for n in range(n+1):
if n == 0:
T[n][0] = 1
else:
for k in range(n+1):
if k == 0:
T[n][0] = 1
else:
T[n][k] = T[n-1][k-1] + T[n-1][k]
return T
4. Backtracking :

Le retour sur trace (appelé aussi backtracking en anglais) est un algorithme qui consiste à revenir légèrement en
arrière sur des décisions prises afin de sortir d'un blocage. La méthode des essais et erreurs constitue un exemple simple de
backtracking. Le terme est surtout utilisé en programmation, où il désigne une stratégie pour trouver des solutions à des
problèmes de satisfaction de contraintes.
La résolution d’un problème par la méthode de backtracking repose sur la construction d’une solution partielle que
l’on va améliorer afin de s’approcher de plus en plus de la solution finale. Si une solution partielle ne peut pas être
améliorée, elle est abandonnée et l’on revient en arrière pour examiner d’autres solutions possibles.
4. Backtracking :

PRINCIPE
Dans l’utilisation du backtracking pour résoudre un problème particulier, nous avons besoin de deux choses :
✓ Une procédure pour examiner une solution partielle (notée SP par la suite) afin de déterminer si :
• Il s’agit d’une solution actuelle ACCEPTABLE.
• Il s’agit d’une solution actuelle à ABANDONNER (elle ne respecte pas la règle du jeu).
• Il faut poursuivre L’EXTENSION de la solution actuelle.
✓ Une procédure pour ETENDRE la SP, générant une ou plusieurs solutions qui se rapprochent de la solution finale.

Dans un algorithme de backtraking, on explore toutes les solutions possibles, quand une solution possible se termine
en impasse, on revient en arrière et on teste d’autres solutions.
4. Backtracking :

MISE EN ŒUVRE SUR LE PROBLEME DES N-REINES

Pour résoudre le problème des N-reines, il faut considérer le cas de N=4. Le
problème des 4 reines est le problème consistant à placer quatre reines sur un
échiquier 4*4.
Il s’agit de trouver la position de quatre reines sur un jeu d’échec de telle façon
qu’aucune des reines ne puisse en attaquer une autre. En d’autres termes, il ne peut
pas y avoir deux reines sur la même ligne, sur la même colonne et sur la même
diagonale. La figure ci-contre représente une solution possible.

Dans ce problème, il est assez facile d’examiner une SP : Si deux reines s’attaquent, il faut la rejeter. Si les huit quatre
ne s’attaquent pas, on l’accepte. Autrement, on continue la procédure.
4. Backtracking :

La méthode la plus simple consiste à placer la reine dans tous

les emplacements possibles.
Si une reine noire est placée à la position (0, 0) comme
indiqué ci-dessous, vous pouvez essayer de placer la reine rouge
dans toutes les positions possibles de la deuxième rangée.

Les première et deuxième cases de la deuxième ligne ne

peuvent pas être choisies.
Cela est dû au fait que la reine noire, qui a déjà été placée, ne
peut pas coexister avec une autre reine dans la même
ligne/colonne ou diagonale.
4. Backtracking :

On suit la même méthode, et on place les reines dans les bonnes cases jusqu’on trouve la bonne
solution. La figure ci-contre présente une solution particulière.

L'arbre de l'espace de recherche du problème des N-Queens peut être dessiné comme suit :
4. Backtracking :

Pour implémenter la solution, on aura besoin de deux fonctions.

La première fonction ‘promising()’ permet de vérifier si deux reines se trouvent dans la même ligne, colonne ou diagonale.

Supposons que col[i] est le numéro de la colonne dans la i-ème ligne.

Autrement dit, col = [1, 0, 2, 3] présente l'état suivant.

Comme nous ne placerons les reines que dans des rangées différentes,
nous pouvons alors éviter le chevauchement des reines.
Afin de vérifier si les deux reines existent dans la même colonne, il
faut vérifier la situation suivante.
Afin de déterminer si les deux reines peuvent exister en diagonale, il
faut vérifier la valeur absolue de la différence entre les rangées et les
colonnes comme suit.
4. Backtracking :
L'implémentation de la solution :

Étant donné une liste de colonnes et l'indice i comme paramètres d'entrée, vérifiez si la i-ième colonne est
prometteuse.
La ligne sur laquelle la reine est déjà placée est la branche 0 à i - 1, elle parcourt donc la boucle for de 0 à I – 1
Pour chaque indice k, on vérifie s'il y a déjà différentes reines dans la même colonne, ou s'il y a différentes reines sur la
diagonale.
S'il y a une reine dans la même colonne ou dans sa diagonale, on retourne False. Sinon, on retourne Vrai.
4. Backtracking :
L'implémentation de la solution :

Avec i et col comme paramètres d'entrée, si la i-ème colonne

n'est pas prometteuse, il retourne immédiatement une valeur.
Si la i-ème colonne est prometteuse et que i est la dernière
ligne, la solution a été trouvée, alors la liste col correspondante est
entrée.
Si la i-ème colonne est prometteuse et que i n'est pas la dernière
ligne, alors on continue la recherche en profondeur.

Avant de poursuivre la recherche en profondeur, placer la reine dans la colonne i+1ème.

Puis on continue la recherche de la ligne i + 1.
4. Backtracking :
L'implémentation de la solution :

Après avoir reçu la valeur de N comme entrée de l'utilisateur, la liste col initialise la i-ème ligne à -1, et les éléments de
la liste à -1 est donnée comme valeur de paramètre, puis on exécute la fonction n_queens().
4. Backtracking :
5. Modules classiques sur Python et modules personnalisés :

On appelle “module” tout fichier constitué de code Python (c’est-à-dire tout fichier avec l’extension .py) importé
dans un autre fichier ou script.
Les modules permettent la séparation et donc une meilleure organisation du code. En effet, il est courant dans un
projet de découper son code en différents fichiers qui vont contenir des parties cohérentes du programme final pour
faciliter la compréhension générale du code, la maintenance et le travail d’équipe si on travaille à plusieurs sur le projet.

En Python, on peut distinguer trois grandes catégories de module en les classant selon leur éditeur :
• Les modules standards qui ne font pas partie du langage mais sont intégrés automatiquement par Python ;
• Les modules développés par des développeurs externes qu’on va pouvoir utiliser ;
• Les modules qu’on va développer nous mêmes.
5. Modules classiques sur Python et modules personnalisés :

Pour installer les modules qui ne sont pas intégrés de base à Python, il faut commencer pour ouvrir
votre console. Attention, nous ne parlons pas ici de la console Python mais bien de celle de votre système lui-
même.
Pour installer un module, il suffit maintenant d'utiliser : pip install nom_du_module

pip install chart

5. Modules classiques sur Python et modules personnalisés :

Un programme Python va généralement être composé d’un script principal qui va importer différents
modules (c’est-à-dire différents fichiers Python) pour pouvoir les utiliser.
Pour importer un module, on utilise la syntaxe import nom-de-mon-module. Pour utiliser les éléments
du module dans notre script, il faudra préfixer le nom de ces éléments par le nom du module et un point.
Cela permet d’éviter les conflits dans le cas où on aurait défini des éléments avec le même nom que ceux
disponibles dans le module.
Parfois, nous n’aurons besoin que de certains éléments précis dans un module. On va alors pouvoir se
contenter d’importer ces éléments en particulier. Pou cela, on va utiliser l’instruction : from nom-du-module
import un-element.
5. Modules classiques sur Python et modules personnalisés :

5.1. Les modules standards :

Les modules Python standard à connaitre sont les suivants :

• Le module datetime fournit des classes pour manipuler de façon simple ou plus complexe des dates et des heures ;
• Le module json permet l’encodage et le décodage de données au format JSON ;
• Le module math fournit un ensemble de fonctions permettant de réaliser des calculs mathématiques complexes ;
• Le module os fournit une manière portable d’utiliser les fonctionnalités dépendantes du système d’exploitation ;
• Le module random implémente des générateurs de nombres pseudo-aléatoires pour différentes distributions ;
• Le module re fournit des opérations sur les expressions rationnelles similaires à celles que l’on trouve dans Perl ;
• Le module sys fournit un accès à certaines variables système utilisées et maintenues par l’interpréteur, et à des fonctions
interagissant fortement avec ce dernier ;
• Les modules [Link] et [Link] permettent d’ouvrir, de lire et d’analyser des URLs.
5. Modules classiques sur Python et modules personnalisés :

5.2. Les modules personnalisés :

En Python, la création d'un module est très simple. Il suffit d'écrire un ensemble de fonctions (et/ou de constantes)
dans un fichier, puis d'enregistrer ce dernier avec une extension .py (comme n'importe quel script Python).

Remarque :
La première fois qu'un module est importé, Python crée un répertoire nommé __pycache__ contenant un fichier avec
une extension .pyc qui contient le bytecode, c'est-à-dire le code précompilé du module.
 6. Les interfaces graphique Sur Python :

Tkinter est un module de base intégré dans Python. L'un des avantages de Tkinter est sa portabilité sur les OS les plus
utilisés par le grand public. Tkinter est installé par défaut.

Pour créer un logiciel graphique vous devez ajouter dans une fenêtre des éléments graphiques que l'on nomme
widget. Ce widget peut être tout aussi bien une liste déroulante que du texte.

Les boutons Les labels

Les boutons permettent de proposer une action à Les labels sont des espaces prévus pour écrire du

l'utilisateur. Dans l'exemple ci-dessous, on lui propose de texte. Les labels servent souvent à décrire un widget

fermer la fenêtre. comme un input.

label = Label(fenetre, text="Texte par défaut", bg="yellow")
bouton=Button(fenetre, text="Fermer", command=[Link])
[Link]()
[Link]()
 6. Les interfaces graphique Sur Python :

Entrée / input Boutons radio

value = StringVar()
Les boutons radio sont des cases à cocher qui sont dans
[Link]("texte par défaut")
entree = Entry(fenetre, textvariable=string, width=30) un groupe et dans ce groupe seul un élément peut être
[Link]() sélectionné.
value = StringVar()
bouton1 = Radiobutton(fenetre, text="Oui", variable=value, value=1)
bouton2 = Radiobutton(fenetre, text="Non", variable=value, value=2)
Case à cocher
bouton3 = Radiobutton(fenetre, text="Peu être", variable=value, value=3)
Les checkbox proposent à l'utilisateur de cocher une [Link]()
option. [Link]()
bouton = Checkbutton(fenetre, text="Nouveau?") [Link]()
[Link]()
 Les alertes
Pour pouvoir utiliser les alertes de votre os, vous pouvez
6. Les interfaces graphique Sur Python :
importer le module tkMessageBox (Python 2).
from tkMessageBox import *
Les listes
from [Link] import *
Les listes permettent de récupérer une valeur
sélectionnée par l'utilisateur. Exemple d'utilisation:

liste = Listbox(fenetre) def callback():

[Link](1, "Python") if askyesno('Titre 1', 'Êtes-vous sûr de vouloir faire ça?'):

[Link](2, "PHP") showwarning('Titre 2', 'Tant pis...')

[Link](3, "jQuery") else:

[Link](4, "CSS") showinfo('Titre 3', 'Vous avez peur!')

[Link](5, "Javascript") showerror("Titre 4", "Aha")

[Link]()
Voici les alertes possibles:
showinfo(), showwarning(), showerror()
askquestion(), askokcancel(), askyesno()
askretrycancel()
6. Les interfaces graphique Sur Python :
Projet : Jeu de Morpion (Tik Tak Toe)
Réaliser le projet suivant (cf image ci-dessous) :
6. Les interfaces graphique Sur Python :
Projet : Solution du Jeu de Morpion (Tik Tak Toe)
6. Les interfaces graphique Sur Python :
Projet : Solution du Jeu de Morpion (Tik Tak Toe)
6. Les interfaces graphique Sur Python :
Projet : Solution du Jeu de Morpion (Tik Tak Toe)
7. Base de données et Python ‘MySQL’ :

Une base de données, c'est quoi?

Une base de données ( database en anglais) est un conteneur dans lequel il est possible de stocker des données de
façon structurée. Cette structure permet au programme informatique connectée à celle-ci de faire des recherches
complexes .
Un langage standardisé -SQL- est dédié à cette structure et permet aussi bien de faire des recherches mais aussi des
modifications ou des suppressions.
Les logiciels de gestion de bases de données les plus utilisés aujourd'hui sont des SGBDR - Système de gestion de base
de données relationnelles -, c'est à dire que les données sont liées les unes aux autres.
Par exemple on peut établir que si on supprime une information, d'autres informations dépendantes de cette
dernière sont elles-aussi automatiquement supprimées. Cela garantit une cohérence de données .
 7. Base de données et Python ‘MySQL’ :

Quels sont les SGBDR les plus connus?

PostgreSQL PostgreSQL est la base de données à utiliser pour les gros projets. Stable et très puissant, il permet de gérer des Gigabytes de données sans problème.

Mysql est l'un des SGBDR les plus utilisés au monde. Il est gratuit et très puissant. Il possède la double licence GPL et propriétaire depuis son rachat par Sun
MySQL Microsystem eux-mêmes rachetés par Oracle (concurrent direct de MySQL). Le logiciel reste cependant entièrement gratuit et libre. Il répond à une logique
client/serveur , c'est à dire que plusieurs clients (ordinateurs distants) peuvent se connecter sur un seul serveur qui héberge les données.

MariaDB Le créateur de MySQL a crée MariaDB suite au rachat de MySQL pour continuer le projet en open source.

SQLite est une bibliothèque écrite en C . SQLite est parfait pour les petits projets. Sa particularité est d'être intégré directement à un programme et ne répond donc
pas à la logique client-serveur. Il est le moteur de base de données le plus distribué au monde puiqu'il est intégré à de nombreux logiciels grand public comme
SQLite
FireFox, Skype, Adobe, etc. Le logiciel pèse moins de 300 ko et peut donc être intégré à des projets tournant sur de petites supports comme les smartphones. Souvent
aucune installation n'est nécessaire pour l'utiliser.

Oracle Oracle Database est sous licence propriétaire, c'est à dire payant. Il est souvent utilisé pour les projets à gros budget nécessitant de réaliser des actions complexes.

Microsoft SQL Server Produit Microsoft ne tourne que sur un OS Windows, payant n'apporte rien de plus que les logiciels concurrents libre de droit. Si vous avez trop d'argent à la limite...
7. Base de données et Python ‘MySQL’ :

MySQL vs Postgre, Quel est le meilleur SGBDR entre postgre et mysql?

Il existe toujours des faux débats pour savoir quelle technologie est meilleure que l'autre. Dire que MySQL est
meilleur que Postgre n'a aucun sens, chacun est bon dans ce pour quoi il a été crée .
On préférera MySQL pour des projets plus limités avec un faible nombre d'utilisateurs et un petit volume de données.
Par contre pour des projets plus ambitieux avec des données dépassant la dizaine de téraoctets, on utilisera Postgre. Il
faudra alors optimiser la configuration, etc..
7. Base de données et Python ‘MySQL’ :

SQLite :
Notre premier exemple concernera SQLite.
SQLite a été conçu pour être intégré dans le programme même. Pour des projets plus ambitieux / projets
web le choix de MySQL serait plus judicieux.

Utiliser le module SQLite Créer une base de données avec SQLite

Pour importer le module SQLite: La aussi pour créer une base de données avec SQLite, rien de plus simple:
import sqlite3 conn = [Link]('ma_base.db')

Créer une table avec SQLite

7. Base de données et Python ‘MySQL’ :

SQLite : Supprimer une table avec SQLite

Voici un exemple de création de table :
Créer une table avec SQLite
cursor = [Link]()
Voici un exemple de création de table :
[Link]("""
cursor = [Link]()
DROP TABLE users
[Link]("""
""")
CREATE TABLE IF NOT EXISTS users(
[Link]()
id INTEGER PRIMARY KEY AUTOINCREMENT UNIQUE,
name TEXT, Insérer des données
age INTERGER Il existe plusieurs manières d'insérer des données, la plus
) simple étant celle-ci :
""")
[Link]("""
[Link]()
INSERT INTO users(name, age) VALUES(?, ?)""", ("olivier", 30))
7. Base de données et Python ‘MySQL’ :

SQLite :

Récupérer des données Modeifier des entrées/données

Vous pouvez récupérer la première ligne Pour modifier des entrées/données :
correspondant à votre recherche à l'aide de la [Link]("""UPDATE users SET age = ? WHERE id = 2""", (31,))

fonction fetchone.
[Link]("""SELECT name, age FROM users""")
user1 = [Link]()
print(user1)
7. Base de données et Python ‘MySQL’ :

MySQL:
MySQL est le logiciel idéal pour vos projets.

Installation de MySQL pour python

pip install mysql
pip install MySQL-python
pip install mysql-connector-python --allow-external mysql-connector-python

Connexion au serveur MySQL

import [Link]
conn = [Link](host="localhost",user="root",password="XXX", database="test1")
cursor = [Link]()
[Link]()
7. Base de données et Python ‘MySQL’ :

MySQL:

Insérer des données

Il existe deux manières d'ajouter des données dans une table:
user = ("olivier", "34")
[Link]("""INSERT INTO users (name, age) VALUES(%s, %s)""", user)

user = {"name": "olivier", "age" : "34"}

[Link]("""INSERT INTO users (name, age) VALUES(%(name)s, %(age)s)""", user)
7. Base de données et Python ‘MySQL’ :

MySQL:

Trouver des données avec mysql

La logique est la même que pour SQLite:
[Link]("""SELECT id, name, age FROM users WHERE id = %s""", ("5", ))
rows = [Link]()
for row in rows:
print('{0} : {1} - {2}'.format(row[0], row[1], row[2]))
8. Traitement et visualisation de données :

Python est un langage scientifique très mature. On y trouve des librairies pour de nombreuse applications,
notamment le Machine Learning et l’analyse de data. La visualisation de données est une partie importante pour explorer
nos données et pour communiquer les résultats.

Par exemple, on pourra récupérer des données stockées dans une base et appliquer des méthodes de machine
Learning avant d’exporter les résultats sous forme de fichiers csv pour être utilisés dans une application.
8. Traitement et visualisation de données :

1- L’importation des données et le prétraitement

Nous allons utiliser pour cela une bibliothèque très complète :
pandas : pour l’importation et le prétraitement des données. Il s’agit d’une bibliothèque qui vous permet de mettre
en œuvre des DataFrame.

import pandas as pd

On va donc récupérer les données et les stocker dans un DataFrame afin de les transformer. Pour cela, on fait une
requête directement dans la base de données et on remplit un DataFrame avec le résultat.

frame = pd.read_sql_query('SELECT * FROM mytable', engine)

8. Traitement et visualisation de données :
Bibliothèque « Pandas »:

Pandas fait partie des librairies de base pour la data science en Python. Pandas fournit des structures de données puissantes et simples
à utiliser, ainsi que les moyens d'opérer rapidement des opérations sur ces structures.
Dans ce chapitre, nous verrons l'intérêt de la librairie Pandas, ainsi que les opérations basiques sur l'objet phare de cette librairie, le
dataframe.
DataFrame est très similaire à certains concepts que l'on trouve en dehors du cadre du langage Python. Il est similaire aux tables des
bases des données relationnelles.
Pour installer la bibliothèque, on utilise : pip install pandas
Bibliothèque « Pandas »:

Pandas nous facilite la manipulation des tableaux de tableaux sous forme d’un DataFrame:

On importe pandas pour exploiter nos données:

On peut changer les noms sur le DataFrame:

Bibliothèque « Pandas »:

Pour accéder à une colonne, on a deux syntaxes :

Parcourir le DataFrame à l’aide d’une boucle For :

Bibliothèque « Pandas »:

Pour accéder à une position, par indice et par nom du ligne:

Testez si les colonnes ont les caractéristiques demandées:

Bibliothèque « Pandas »:

L’opération précédente est très pratique pour filtrer des lignes:

Pour inverser le résultat de l’opération, il suffit d’ajouter l’opérateur « ~ »:

Bibliothèque « Pandas »:

Pour ajouter des lignes à notre DataFrame:

On a dupliqué la ligne 1 et maman pour les dédoublonner:

Cette fonction renvoie juste un nouveau DataFrame, et il garde la source comme elle est.
Bibliothèque « Pandas »:

Pour afficher les noms des colonnes du DataFrame :

Pour ajouter une colonne au DataFrame :

Le nombre des lignes du DataFrame :

Pour obtenir les valeurs distinctes d’une colonne :

 Bibliothèque « Pandas »:

La fonction describe donne des statistiques diverses sur les

données dans le DataFrame:
L’argument include = « all », sert à inclure les colonnes non-
numériques dans l’analyse.
NaN une valeur définie pour représenter quelque chose
qui n'est pas un nombre (Not a Number) alors que son type
l'exige. Par exemple, on obtient NaN si on demande à Pandas de
calculer la moyenne d'une colonne de texte ou bien si les valeurs
de la colonnes sont manquantes.
Bibliothèque « Pandas »:

Pour renommer une colonne:

Pour renommer une ligne:

 Bibliothèque « Pandas »:

Supprimez une ligne, si inplace = false le DataFrame ne

change pas l’origine:

Supprimez une colonne, si inplace = false le DataFrame ne

change pas l’origine :
Bibliothèque « Pandas »:

Pandas peut manipuler les tableaux croisés dynamiques:

 Bibliothèque « Pandas »:

Créez un tableau croisé dynamique :

Calculez la somme comme une fonction d’agrégation :

Créez un tableau croisé dynamique avec une agrégation à

plusieurs niveaux :
 Bibliothèque « Pandas »:

Combinez deux dictionnaires de données

dans un DataFrame:

On peut exploiter des opérations de

l’algèbre relationnelle (sélection):
Bibliothèque « Pandas »:

On peut exploiter des opérations de l’algèbre relationnelle (Union):

On peut exploiter des opérations de l’algèbre relationnelle (Jointure) :

Bibliothèque « Pandas »:

On peut exploiter des opérations de l’algèbre relationnelle (Jointure):

Bibliothèque « Pandas »:

Lire un fichier csv:

Lire des colonnes d’un fichier csv:

8. Traitement et visualisation de données :
2- Les analyses en utilisant le machine Learning
Une fois les données nettoyées, stockées dans un DataFrame et prêtes à être analysées,
vous pouvez maintenant appliquer des outils de machine Learning (apprentissage automatique)
et représenter les résultats par des visualisations.
Les deux bibliothèques de référence pour cela sont scikit-learn et matplotlib. Elles sont
toutes les deux extrêmement complètes et possèdent de nombreuses fonctionnalités pour
python en data science.

3- L’exportation des données

Les informations importantes pour l’affichage en sortie sont les catégories de clients, on va
donc uniquement exporter les centres des classes dans un fichier csv grâce aux outils de pandas.

class_center.to_csv("[Link]")
Bibliothèque « Matplotlib »:

l'utilisation de Matplotlib comme outil de visualisation dans les notebooks Jupyter.

Pour commencer, mettons en place l'environnement de travail.
 Bibliothèque « Matplotlib »:

La variable Fig correspond à un conteneur qui contient tous les objets (axes, labels, données, etc). Les axes correspondent au carré
que l'on voit au-dessus, et qui contiendra par la suite les données du graphe.
Bibliothèque « Matplotlib »:

Maintenant, voyons un exemple un peu plus poussé.

Bibliothèque « Matplotlib »:
 Bibliothèque « Matplotlib »:

Dans la vie réelle, les données que nous sommes amenés à analyser sont souvent bruitées, c'est-à-dire qu'il existe une part
d'incertitude sur leur valeur réelle. Il est extrêmement important d'en tenir compte non seulement lors de l'analyse des données, mais aussi
quand on veut les présenter..
 Bibliothèque « Matplotlib »:

Données discrètes
Dans le cas de données discrètes (des points), nous utilisons souvent les barres d'erreur pour représenter, pour chaque point,
l'incertitude quant à sa valeur exacte. Souvent la longueur des barres correspond à l'écart type des observations empiriques. C'est chose
aisée avec Matplotlib.
 Bibliothèque « Matplotlib »:

Données continues
Parfois, comme quand on essaie
d'appliquer la régression par processus
gaussien, nous avons besoin de représenter
une incertitude sur une fonction continue.
On peut le faire en utilisant la
fonction plot conjointement avec la
fonction fill_between.
Mais nous allons voir plus tard dans
ce chapitre comment le faire plus
simplement avec la librairie Seaborn.
9. Projets :

9.1. Analyse des données financières :

Dans ce projet, on va explorer la bibliothèque Pandas qui a été

développer au départ pour organiser et analyser les données
financières.
L’analyse des données financières est considérée la pratique la
plus efficace dans l’analyse de données.
Grace à la pratique au traitement de données financières de
divers facteurs accumulés sur une période de temps, vous pouvez être
suffisamment préparés à la plupart des types de données que vous
verrez dans le travail du monde réel.
9. Projets :

9.1. Analyse des données financières :

Maintenant, utilisons toutes les compétences que nous avons apprises jusqu'à présent pour résoudre les tâches suivantes.
• Obtention de données financières à partir de référentiels de données distants.
• Visualisation des données sur le cours des actions sur la base de données de séries chronologiques.
• Visualisation des données de volume de transactions basées sur des données de séries chronologiques.
• Mesurer le taux journalier simple.
• Calcul du taux de rendement cumulatif quotidien simple.
• Calcul du taux de rendement en déplaçant la période par mois.
• Calcul de la moyenne mobile.
• Analyser la corrélation entre chaque facteur de données financières Calculer la volatilité du cours des actions.

Nous avons choisi les données financières du marché des états unis, à cause de son grand impact sur l’économie mondiale.
• SPY, il suit l’indice S&P 500.
• IYW, il suit l’indice de bourse des entreprises technologiques américaines.
• VT, il investit dans des entreprises de monde entier.
• DBA, il suit l’offre, la demande et les prix de produits agricoles.
• Taux obligatoire américain TLT.
• PDBC, il suit l’offre et la demande et les prix de matières premières.
• L’or IAU.
9. Projets :

9.1. Analyse des données financières :

1. Récupération des données:

• Créez une fonction get_stock_data, qui lit les données de stock à partir de Yahoo Finance, puis créez une colonne « Ticker » de l’indice 0 du
dataframe nommé « data », et mettez "ticker" comme nom pour l’élément de données, et enfin, demandez l’intervalle du temps [start, end].
• Pour tester la fonction, entrez le ticker de Disney, « DIS» et affectez les résultats à une dataframe.
• Étant donné que l'analyse sera basée uniquement sur le closing price « Close » de chaque ticker, pivotez dans la forme requise.
9. Projets :

9.1. Analyse des données financières :

1. Récupération des données:

9. Projets :

9.1. Analyse des données financières :

2. Création de dataframe:
• Créez un dataframe pour chaque ticker (SPY, IYW, VT, DBA, TLT, PDBC, IAU).
• Affichez les informations des dataframe créés.
9. Projets :

9.1. Analyse des données financières :

2. Création de dataframe:
• Pivotez les dataframes sur le closing price « Close ».
• Concaténez les dataframes.
9. Projets :

9.1. Analyse des données financières :

3. Visualisation des données:
• Présentez graphiquement les données concaténées en utilisant ‘ggplot’.
9. Projets :

9.1. Analyse des données financières :

3. Visualisation des données:
• Tranchez la période de Corona, [‘’2020-2-1, ‘2020-7-31’].
9. Projets :

9.1. Analyse des données financières :

3. Visualisation des données:
• Présentez graphiquement la période tranchée.
9. Projets :

9.1. Analyse des données financières :

3. Visualisation des données:
• Choisissez et comparez 3 types de personnalités en les présentant graphiquement.
9. Projets :

9.1. Analyse des données financières :

4. Visualisation des données de volume sous la forme d'un graphique à barres:
• Récupérez les données de matières premières (PDBC).
9. Projets :

9.1. Analyse des données financières :

4. Visualisation des données de volume sous la forme d'un graphique à barres:
• Supprimez tout les colonnes sauf celle du volume.
9. Projets :

9.1. Analyse des données financières :

4. Visualisation des données de volume sous la forme d'un graphique à barres:
• Présentez graphiquement le volume.
9. Projets :

9.1. Analyse des données financières :

5. Visualisation de deux ensembles de données sur le même graphique:
• En exploitant les étapes 2 et 4, présentez les graphiques en utilisant subplot2grid.
9. Projets :

9.1. Analyse des données financières :

6. Calcul de la variation quotidienne en pourcentage en utilisant [Link]():
• Décalez un jour pour obtenir le prix de clôture du jour de l’indice S&P 500.
• Calculez sa variation quotidienne en pourcentage.
9. Projets :

9.1. Analyse des données financières :

6. Calcul de la variation quotidienne en pourcentage en utilisant [Link]():
• Présentez les résultats graphiquement.
9. Projets :

9.1. Analyse des données financières :

6. Calcul de la variation quotidienne en pourcentage en utilisant [Link]():
• En décalant le jour, la première valeur est manquée, remplacez-la par 0.
• Affichez les résultat sur un histogramme.
9. Projets :

9.1. Analyse des données financières :

7. Analyse de la corrélation entre la variation quotidienne du prix des actions et les rendements cumulés:
• Calculez sa variation quotidienne en pourcentage de l’ensemble des actions.
• Calculez le rendement cumulé quotidien.
9. Projets :

9.1. Analyse des données financières :

7. Analyse de la corrélation entre la variation quotidienne du prix des actions et les rendements cumulés:
• Présentez graphiquement les rendements cumulés.
9. Projets :

9.1. Analyse des données financières :

8. Analyse de la dispersion:
• Calculez la corrélation entre les différentes actions.
• Présentez graphiquement la corrélation en utilisant heatmap.
• Présentez graphiquement la dispersion des deux actions (SPY, VT) en utilisant scatter.
9. Projets :

9.1. Analyse des données financières :

8. Analyse de la dispersion:
9. Projets :

9.1. Analyse des données financières :

9. Suivre l'évolution des actions sur une période donnée:
• Calculez l’écart type mobile des variations quotidiennes.
9. Projets :

9.1. Analyse des données financières :

9. Suivre l'évolution des actions sur une période donnée:
• Présentez graphiquement l’écart type de (SPY, TLT, DBA).
9. Projets :

9.2. Etude, Analyse et visualisation des données relatives au Covid19 :

Dans ce projet, on va exploiter les données de

vaccination contre le COVID-19, la base de données est
collectée en temps réel par [Link] .
Tout au long de ce projet, on va essayer d’obtenir
des statistiques descriptives de quelques pays avec le
plus grand nombre d'infections.
On va exploiter des package de python pour
afficher les infections de chaque pays sur la carte.
9. Projets :

9.2. Etude, Analyse et visualisation des données relatives au Covid19 :

1. Préparation des données:
▪ Importez les données.
▪ Affichez le résumé technique des données.
9. Projets :

9.2. Etude, Analyse et visualisation des données relatives au Covid19 :

1. Préparation des données:
▪ Convertissez la colonne « Day » à datetime et stockez-le dans une colonne « Date ».
▪ Donner l’indice à la colonne Date.
▪ Supprimer la colonne « Day ».
▪ Afficher DataFrame.
▪ Afficher le nombre de pays.
9. Projets :

9.2. Etude, Analyse et visualisation des données relatives au Covid19 :

2. Manipulation des données:
▪ Groupez les données par pays, et stockez les dans une nouvelle DataFrame.
▪ Séparez les informations du groupe crée par clé et afficher-les.
▪ Affichez le nom du groupe.
▪ Affichez le nombre des lignes de chaque groupe (pays).
▪ Affichez les 5 lignes de chaque group.

# Separate the information of the created group by key and print them.
9. Projets :

9.2. Etude, Analyse et visualisation des données relatives au Covid19 :

2. Manipulation des données:
▪ Stockez dans une nouvelle colonne le total de personnes vaccinées pour chaque pays.

# Separate the information of the created group by key and print them.
9. Projets :

9.2. Etude, Analyse et visualisation des données relatives au Covid19 :

On va visualiser par la suite les données sur la carte en

utilisant la bibliothèque folium.
Durant ce mini projet, on va essayer de représenter la
situation mondiale du COVID-19 en changeant les couleurs des
pays sur la carte en se basant sur le poids d’infections.
Mais avant, on va détailler comment exploiter les données
sur la carte en utilisant folium.
9. Projets :

9.2. Etude, Analyse et visualisation des données relatives au Covid19 :

1. Visualisation des données:
▪ Installez la librairie .
▪ Obtenir les données (latitude et longitude) a afficher d’après Google Maps.
▪ Entrez les coordonnées (latitude et longitude) de localisation choisie.
▪ Saisissez le zoom initial de la carte.
▪ Sauvegardez la carte dans un fichier html.
▪ Changez le style d’affichage de la carte, tiles = .
• stamenterrain
• stamentoner
• stamenwatercolor
• cartodbpositron
• cartodbdark_matter
• Openstreetmap (par défaut)
9. Projets :

9.2. Etude, Analyse et visualisation des données relatives au Covid19 :

1. Visualisation des données:
▪ Installez la libraire .
▪ Obtenir les données (latitude et longitude) a afficher d’après Google Maps.
▪ Entrez les coordonnées (latitude et longitude) de localisation choisie.

• pip install folium

• conda install folium -c conda-forge: It is recommended to install using conda.

9. Projets :

9.2. Etude, Analyse et visualisation des données relatives au Covid19 :

1. Visualisation des données:
▪ Saisissez le zoom initial de la carte.
9. Projets :

9.2. Etude, Analyse et visualisation des données relatives au Covid19 :

1. Visualisation des données:
▪ Marquez une position sur la carte en utilisant une icone et un libellé descriptif.
▪ Visualisez les données en colorant des zones sur la carte, au fur et à mesure que la valeur de l'information à délivrer augmente, la couleur peinte dans la
zone correspondante devient plus foncée.
9. Projets :

9.2. Etude, Analyse et visualisation des données relatives au Covid19 :

2. Visualisez les données groupées pendant data manipulation en suivant la méthode étudiée aux étapes précédentes.