Polars
Python3.x
Prof. Jean Charly Ph. Joseph S
Apache Arrow es una plataforma de desarrollo para análisis de memoria. Contiene un conjunto de tecnología que permite a los sistemas de Grandes Data
almacenar, procesar y mover datos rápidamente.
Prof. Jean Charly Ph. Joseph S
Data Analytics
Introducción
P olars es
implementada en Rust. La arquitectura de
la manipulación de los datos esta dada en
una librería de Python
Apache Arrow.
Apache Arrow es una plataforma de desarrollo para análisis de memoria. Contiene un conjunto de tecnología que permite a los sistemas de Grandes Data
almacenar, procesar y mover datos rápidamente.
Apache Arrow es una plataforma de
desarrollo para análisis de memoria.
Contiene un conjunto de tecnología que
permite a los sistemas de Grandes Data
almacenar, procesar y mover datos
rápidamente.
Instalación
P roceso de instalación en versión de
Python 3.x
Apache Arrow es una plataforma de desarrollo para análisis de memoria. Contiene un conjunto de tecnología que permite a los sistemas de Grandes Data
almacenar, procesar y mover datos rápidamente.
POLARS
NO ES
PANDAS
P
olar posee dos API´s que la hace
eficiente a la hora de ejecutar un
conjunto de datos que son:
Apache Arrow es una plataforma de desarrollo para análisis de memoria. Contiene un conjunto de tecnología que permite a los sistemas de Grandes Data
Split
almacenar, procesar y mover datos rápidamente.
Joins
Query Optimization
Eager API
Lazy API
Aggreation
Parallet Execution
Grouping
Other Operations fuente
E ager API es utilizada para realizar
consulta de forma inmediata, como se
conoce tradicionalmente, de lo cual, no es la
excepción de otras librerías de manipulación
de volúmenes o conjuntos de datos como
Dark o Pandas.
Por lo tanto, la velocidad de esta es
satisfactoria para grandes cantidades de
datos, teniendo esta la capacidad, como
veremos a continuación, utiliza en la misma
consulta la API Lazy.
L azy API es la forma de optimizar la
consulta dada, de lo cual, mejora
considerablemente el rendimiento y la
presión de la memoria.
Este realiza un seguimiento de la consulta
en un Plano Lógico. Lo que significa, que el
plan se optimiza y reordena antes de ser
ejecutado, debido a que es trabajado en
paralelo y Polars no posee dependencia que la
ralentice.
Rendimiento
Según la prueba de rendimiento realizada en
el 2021 por h2oai's db-benchmark con una
100,000,000 de filas y 7 columnas, el
equivalente a 5GB.
Esta solución resultó ser la mas eficiente,
según el grafico a continuación.
fuente
Demostración
I importación de librerías y funciones
de la librería.
Apache Arrow es una plataforma de desarrollo para análisis de memoria. Contiene un conjunto de tecnología que permite a los sistemas de Grandes Data
almacenar, procesar y mover datos rápidamente.
Series &
DataFrame
S eries.
Apache Arrow es una plataforma de desarrollo para análisis de memoria. Contiene un conjunto de tecnología que permite a los sistemas de Grandes Data
almacenar, procesar y mover datos rápidamente.
D ataFrame.
Apache Arrow es una plataforma de desarrollo para análisis de memoria. Contiene un conjunto de tecnología que permite a los sistemas de Grandes Data
almacenar, procesar y mover datos rápidamente.
Expresiones
L as expresiones es un concepto poderoso
que esta integrado en la librería Polars. Esta
puede ser utilizada en varios contexto y no
menos importante, son un mapeo funcional
de cara a Entrada/Salida de una consulta o
funcionalidad, respectivamente.
El poder de dicha integración es que cada
expresión produce una nueva expresión que
puede ser canalizada juntos. Es importante
resaltar todas las expresiones se ejecutan en
paralelo, indistintamente sin están
separadas.
Expresiones
Select Filter GroupBy
Es importante resaltar, que estas
expresiones se puede superponer una con la
otra.
Apache Arrow es una plataforma de desarrollo para análisis de memoria. Contiene un conjunto de tecnología que permite a los sistemas de Grandes Data
almacenar, procesar y mover datos rápidamente.
Esta simple expresión intenta explicar lo
siguiente:
Del DataFrame selecciona la columna
“TemperaturaMinima” organízala de menor a
mayor y devuelve los 4 primero valores.
Expresiones -
Select
S
elecciona todas las columnas
S
eleccionar mediante Lista
C
alculo mediante expresiones.
M edidas de Dispersión y
Operación Aritmética mediante
expresiones.
Expresiones -
Filter
F
iltro a través de expresiones.
F iltro a través de expresiones -
Excluyendo columnas.
F iltro a través de expresiones –
Modificadores y Funciones Binarias
[when, then, Otherwise].
Agregar Columnas
Adicionales
E n muchos de lo casos
deseamos unificar varios conjuntos de
datos en solo DataFrame, la forma a
continuación de hacerlo es:
E xisten dos forma de unificar
un DataFrame o Series, estas son de
forma Vertical o de forma Horizontal.
Para nuestro ejemplo utilizaremos
la forma Horizontal.
Expresiones -
GroupBy
G roupBy es expresión que nos
permite agrupar según el criterio dada,
pudiendo a su vez, utilizar elemento
como Select o Filter para extender el
criterio.
fuente
A
grupación Simple.
A grupación por operación de
Esta Columna fue multiplicada
Matriz.
por 10
A grupación compleja mediante
filtro
“Compartir el conocimiento,
es de sabio.”
Jean Charly Ph. Joseph S.
¡Gracias!