АНАЛИЗ ДАННЫХ В Хишам Акрамович
Хайдар
PYTHON
ЦЕЛИ ОБУЧЕНИЯ
1. Описывать методы сбора и анализа данных Python
2. Анализ данных в Python с использованием набора данных
3. Определить три библиотеки Python и описать их
использование.
4. Чтение данных с помощью пакета Python Pandas
ПРОБЛЕМА
ПОЧЕМУ АНАЛИЗ
ДАННЫХ ?
• Данные везде
• Анализ данных/наука о данных помогает нам отвечать на
вопросы, связанные с данными.
• Анализ данных играет важную роль в:
1. Обнаружение полезной информации
2. Отвечать на вопросы
3. Предсказание будущего или неизвестного
ИВАН ХОЧЕТ ПРОДАТЬ СВОЮ
МАШИНУ
За сколько он должен продать свою машину?
Цену, которую он устанавливает, не должна быть слишком
высокой, но и не слишком низкой.
ОЦЕНИТЬ ЦЕНЫ НА ПОДЕРЖАННЫЕ
АВТОМОБИЛИ
•Как мы можем помочь Ивану определить лучшую цену на его
автомобиль?
•Есть ли данные о ценах на другие автомобили и их
характеристиках?
•Какие особенности автомобилей влияют на их цены?
Цвет? Бренд? Действует ли лошадиная сила также на продажную цену,
или, возможно, что-то еще?
• Задать правильный вопрос с точки зрения данных
ДАННЫЕ О ЦЕНАХ НА ПОДЕРЖАННЫЕ
АВТОМОБИЛИ
ПОНИМАНИЕ
ДАННЫХ
НАБОР ДАННЫХ - ПОДЕРЖАННЫЕ
АВТОМОБИЛИ (CSV)
КАЖДЫЙ ИЗ АТРИБУТОВ В НАБОРЕ
ДАННЫХ
ПАКЕТЫ PYTHON ДЛЯ
НАУКИ О ДАННЫХ
БИБЛИОТЕКИ НАУЧНЫХ
ВЫЧИСЛЕНИЙ НА PYTHON
Pandas
NumPy
SciPy
БИБЛИОТЕКИ
ВИЗУАЛИЗАЦИИ В PYTHON
Matplotlib
Seaborn
АЛГОРИТМИЧЕСКИЕ
БИБЛИОТЕКИ В PYTHON
Scikit-learn
Statsmodels
ИМПОРТ И ЭКСПОРТ
ДАННЫХ В PYTHON
ИМПОРТ ДАННЫХ
•процесс загрузки и чтения данных в Python из ресурсов
•два важных свойства
1. Формат ( csv, .json, .xlsx, .hdf)
2. Путь к файлу набора данных ( File path) : Компьютер, Интернет.
ПОЛУЧЕНИЕ ДАННЫХ
ИМПОРТ CSV В PYTHON
ИМПОРТ CSV БЕЗ
ЗАГОЛОВКА
• df печатает весь фрейм данных (не
рекомендуется для больших наборов данных)
•[Link](n) чтобы показать первые n строк
кадра данных
ПЕЧАТЬ •[Link](n) чтобы показать нижние n строк кадра
ФРЕЙМА данных
ДАННЫХ
В
PYTHON
ДОБАВЛЕНИЕ
ЗАГОЛОВКОВ
заменить заголовок по умолчанию
( [Link] = headers)
ЭКСПОРТ КАДРА ДАННЫХ
PANDAS В CSV
сохранить прогресс в любое время, сохранив измененный
набор данных, используя
Path = “C: /windows /…/[Link]”
df.to_csv(path)
ПРИСТУПАЕМ К
АНАЛИЗУ ДАННЫХ В
PYTHON
ОСНОВНЫЕ ВЫВОДЫ ИЗ
ДАННЫХ
•Прежде чем приступить к анализу, изучите свои данные.
•Следует проверить:
1. Типы данных.
2. Распределение данных.
•Найдите потенциальные проблемы с данными.
ТИПЫ
ДАННЫХ
Зачем проверять типы
данных?
Возможное
несоответствие
информации и типа.
Совместимость с
методами Python.
ТИПЫ ДАННЫХ
В Pandas мы используем [Link] чтобы проверить
типы данных
ОПИСАНИЕ ДАННЫХ
[Link]()
возвращает статистическую сводку
[Link]()
ОПИСАНИЕ ДАННЫХ
предоставляет полную сводную статистику (Summary statistics)
[Link](include=“all”)
ОПИСАНИЕ ДАННЫХ- INFO
[Link] Предоставляет краткую сводку вашего фрейма
данных
[Link]()
ДОСТУП К БАЗАМ ДАННЫХ
С ПОМОЩЬЮ PYTHON
ДОСТУП К БАЗАМ ДАННЫХ
С ПОМОЩЬЮ PYTHON
ЧТО ТАКОЕ SQL API
ЧТО ТАКОЕ DB-API?
КОНЦЕПЦИИ PYTHON DB-
API
Объекты соединения
соединения с базой данных.
Управляйте транзакциями.
Объекты курсора
Запросы к базе данных
КАКИЕ СПОСОБЫ
ПОДКЛЮЧЕНИЯ?
cursor()
commit()
rollback()
close()
НАПИСАНИЕ КОДА С
ИСПОЛЬЗОВАНИЕМ DB-API
РЕЗЮМЕ УРОКА
На этом уроке вы узнали, как:
•Определите бизнес-проблему: посмотрите на данные и примите решение на
высоком уровне о том, какой анализ следует провести.
•Импорт и экспорт данных в Python: как импортировать данные из нескольких
источников данных с помощью библиотеки Pandas и как экспортировать
файлы в разные форматы.
•Анализ данных в Python: как провести вводный анализ в Python, используя
такие функции, как [Link]() для просмотра первых нескольких строк
набора данных, [Link]() для просмотра имен столбцов и типов данных.