[AFO028L5C] Curso de Data Mining, Data Analyst y Augmented Analytics
[MOD024H0Q] Data Mining, Data Analyst y Augmented Analytics
[UDI102532] Open data
Introducción
En esta unidad estudiaremos el concepto de Open Data, diferenciando con el término Big Data y
Business Intelligence, además de explicar los beneficios que tiene para una organización utilizar
datos externos y complementarlos con otros datos internos.
s
.e
em
es
.in
a te
or
rp
co
[Link]
1 / 19
[AFO028L5C] Curso de Data Mining, Data Analyst y Augmented Analytics
[MOD024H0Q] Data Mining, Data Analyst y Augmented Analytics
[UDI102532] Open data
Objetivos
Entre los principales objetivos de este capítulo nos vamos a encontrar con:
Entender el término Open Data.
Conocer los beneficios del Open Data en las organizaciones o empresas.
Aprender los ocho principios básicos que tiene el Open Data.
Comprender la relación que mantiene con el Linked Data.
s
Conocer SPARQL.
.e
em
es
.in
a te
or
rp
co
[Link]
2 / 19
[AFO028L5C] Curso de Data Mining, Data Analyst y Augmented Analytics
[MOD024H0Q] Data Mining, Data Analyst y Augmented Analytics
[UDI102532] Open data
Mapa Conceptual
s
.e
em
es
.in
a te
or
rp
co
[Link]
3 / 19
[AFO028L5C] Curso de Data Mining, Data Analyst y Augmented Analytics
[MOD024H0Q] Data Mining, Data Analyst y Augmented Analytics
[UDI102532] Open data
1. Definición, Beneficios y Características
Cuando queremos hablar del libre acceso a los datos tenemos que destacar la terminología Open
Data, término que en la actualidad es útil, ya que es raro encontrarse un dispositivo móvil o un
ordenador que no tenga multitud de aplicaciones accesible en cualquier momento, pensadas y
desarrolladas para su utilización.
Introduciremos el Open Data como los datos que se encuentran públicos o accesibles para todo
s
individuo que quiera usarlos en el desarrollo de sus competencias o destrezas como para sus
.e
habilidades con el fin comercial o también para otros fines como pueden ser la administración, la
educación, empresas, etc.
em
es
.in
a te
or
rp
El Open Data viene seguido de la definición de apertura, que su definición completa da detalles
co
precisos de lo que significa. Para resumir entre sus características más importantes están:
Disponibilidad y acceso: la información debe encontrarse disponible en todo momento y
siempre con un coste razonable, que se pueda descargar de forma fácil de internet. Además
dicha información debe poder encontrarse de forma conveniente y modificable.
Reutilización y redistribución: la información o los datos deben ser provistos bajo términos
que permitan reutilizarlos y redistribuirlos, además de poder integrarlos con otros conjuntos de
datos.
Participación universal: no debe existir discriminación de los datos en términos de esfuerzo,
[Link]
4 / 19
[AFO028L5C] Curso de Data Mining, Data Analyst y Augmented Analytics
[MOD024H0Q] Data Mining, Data Analyst y Augmented Analytics
[UDI102532] Open data
personas o grupos.
La Open Knowledge Foundation señala que el Open Data o los Datos Abiertos son datos que
pueden ser utilizados, reutilizados y redistribuidos libremente por cualquier persona, y que se
encuentran sujetos, cuando más, al requerimiento de atribución y de compartirse de la misma
manera en que aparecen.
Los datos abiertos deben ser puestos a disposición del público, como hemos dicho, sin restricciones,
s
pero también de forma libre. Así, tendremos que el Open Data o datos abiertos, significará promover
.e
la innovación usando los datos públicos para el desarrollo de nuevas aplicaciones y servicios.
em
Permitir a los ciudadanos el acceso a sus propios datos, para poder ser consultados y a su vez
reutilizados, creará un incremento de la transparencia y de la rendición de cuentas. Por tanto, el
uso de datos abiertos fortalece la transparencia aportando una orientación colaborativa, al ofrecer
es
datos sin transformación ni interpretación, de forma que sea la propia sociedad la que obtenga sus
.in
propias conclusiones.
Podemos afirmar que el principal objetivo del Open Data es que ciudadanos y empresas puedan
te
reutilizar los datos abiertos. Dichos datos son comúnmente facilitados por gobiernos, instituciones
públicas u organismos. El resultado a veces suele ser de valor económico y con ello construir sobre
a
esos datos nuevas ideas que produzcan a su vez nuevos datos, conocimientos e incluso la creación de
or
nuevos servicios que reporten beneficios económicos y sociales.
rp
La forma en que los datos son representados depende mucho del formato escogido. Entre los
sistemas habituales encontramos a JSON, XML, RDF y CSV. Una vez liberados los datos en cualquier
co
formato mencionado anteriormente, solo queda hacerlos visibles. Para eso, se tendrán que publicar
en una web propia o integrarlos dentro de un catálogo central de datos.
Los datos se pueden obtener tanto de fuentes públicas como privadas, aunque lo más común es que
sean de ámbito público. En ciertas ocasiones, se tiene un dataset con los datos que se ofrecen,
aunque es evidente que no todas ofrecen la misma cantidad de información, ni la misma calidad, ya
que es tarea imposible poner toda la información con la que cuenta la Administración pública. Lo
que se suele hacer es establecer prioridades para poder tener la apertura de unos datos sobre
otros, priorizar y dar más difusión.
[Link]
5 / 19
[AFO028L5C] Curso de Data Mining, Data Analyst y Augmented Analytics
[MOD024H0Q] Data Mining, Data Analyst y Augmented Analytics
[UDI102532] Open data
Principios Básicos del Open Data
A continuación, se vuelven a citar los ocho principios fundamentales que caracterizan al Open Data:
Completos
Importante
“Todos los datos públicos se ponen a disposición. Los datos públicos son datos que no están
sujetos a limitaciones de privacidad, seguridad o privilegios válidos.”
Este principio pretende que para tener una sociedad informada y participativa, es necesario recoger
s
y disponer de todos los datos que genera un gobierno. Así, es posible tomar decisiones como
.e
sociedad. Aquellos datos o recursos informativos que no estén en formato electrónicos, no pueden
em
estar sujetos a estos principios. Por lo que se recomiendan, en la medida de lo posible, convertir
dichos datos a formato digital.
Primarios
es
.in
Importante
“Los datos se recogen en la fuente, con el más alto nivel de granularidad, no hay agregaciones o
modificaciones.”
te
Los datos abiertos tienen que ser detallados y nuevos. Es decir, no tienen que haber pasado por
ningún filtro o procesado. Este principio se entiende en la objetividad y transparencia y exige que no
a
exista ninguna modificación sobre los datos para poder estudiarlos en profundidad.
or
Oportunos
rp
Importante
co
“Los datos se pondrán a disposición tan pronto como sea necesario para preservar el valor de los
datos.”
Se deben encontrar actualizados y a disposición de todos los usuarios. Dando prioridad a la difusión
de forma “time sensitive”, es decir, con frecuencia o dándole importancia al tiempo.
Accesibles
Importante
“Los datos están disponibles para la gama más amplia de usuarios con la más amplia gama de
propósitos.”
Esto significa que hay que tener en cuenta cómo afectan las opciones de preparación y publicación
[Link]
6 / 19
[AFO028L5C] Curso de Data Mining, Data Analyst y Augmented Analytics
[MOD024H0Q] Data Mining, Data Analyst y Augmented Analytics
[UDI102532] Open data
de los datos a las personas con cierta discapacidad y como pueden afectar a los usuarios de una
variedad de plataformas de software y hardware, por lo que los datos deben publicarse con los
estándares y protocolos actuales que marca la industria, a la vez que en formatos alternativos,
cuando así se requiera para la reutilización de los mismos.
Procesables por máquinas
Importante
s
“Los datos se estructuran razonablemente para permitir el procesamiento automatizado.”
.e
Los datos deben encontrarse debidamente codificados para poder utilizarse en cualquier máquina o
dispositivo.
em
No discriminatorios
Importante
es
“Los datos están disponibles a cualquier persona, sin necesidad de registro.”
.in
Los datos abiertos deben estar disponibles a cualquier persona sin necesidad de registrarse o
identificarse previamente. Además, el acceso anónimo está permitido incluyendo el acceso a través
te
de proxys anónimos.
a
No propietarios
or
Importante
“Los datos están disponibles en un formato sobre el cual ninguna entidad tiene el control
rp
exclusivo.”
Los formatos en que se presenten los datos deben ser preferiblemente abiertos o, al menos, incluir
co
entre los publicados formatos abiertos. Los formatos propietarios añaden restricciones innecesarias
a quienes los usan. Esto significa que si se van a ofrecer datos en formatos propietarios como Excel
o DWG por ejemplo, deberán al mismo tiempo ofrecerse los mismos en formatos abiertos como CSV,
ODF, XML, SVG, etc.
Libres de licencias
Importante
“Los datos no están sujetos a ningún derecho de autor, patentes, marcas o regulación. Se permiten
restricciones razonables de privacidad y seguridad.”
[Link]
7 / 19
[AFO028L5C] Curso de Data Mining, Data Analyst y Augmented Analytics
[MOD024H0Q] Data Mining, Data Analyst y Augmented Analytics
[UDI102532] Open data
Las administraciones públicas deben poner a disposición de los ciudadanos datos que estén en
formatos que faciliten la redistribución, reutilización y comercialización de estos datos. Además,
como principio básico adicional, la información incluida debe de cumplir una característica, la
veracidad. Si los datos que queremos analizar no son veraces no servirá de nada cualquier
conclusión extraída de ellos.
Los datos deben encontrarse debidamente codificados para poder utilizarse en
s
cualquier máquina o dispositivo.
.e
Verdadero.
em
Falso.
es
Beneficios del Open Data
.in
Como se vio en apartados anteriores, existen muchos beneficios en el Open Data, aunque nos
te
centraremos en los siguientes aspectos:
Mejoras en la eficiencia
a
or
La publicación de datos con forma Open Data puede ayudar a ahorrar dinero de varias formas, al
reducir el costo total en la atención de solicitudes de acceso a información pública y evitando el
rp
tiempo y trabajo del personal en el procesamiento manual del información de cada solicitud de los
ciudadanos.
co
Mejora en la toma de decisiones
La mayoría de sectores son dependientes del análisis de grandes volúmenes de datos, o lo que es lo
mismo el Big Data, para una mejor visión de sus actividades y negocios en las sociedades y las
comunidades donde trabajan. El Open Data permite ampliar el alcance y la profundidad de esa
visión.
Mayor desarrollo económico
El intercambio de información está inspirando el desarrollo económico de los ciudadanos dentro de
[Link]
8 / 19
[AFO028L5C] Curso de Data Mining, Data Analyst y Augmented Analytics
[MOD024H0Q] Data Mining, Data Analyst y Augmented Analytics
[UDI102532] Open data
las comunidades.
Transparencia y Participación
El Open Data se trata de un medio directo para informar a la ciudadanía y generar opinión pública y
de compromiso de los gobiernos. Para los gobiernos sirve de gran ayuda, ya que permite que los
ciudadanos sean más comprometidos y entiendan la gestión cuando tienen acceso a los datos reales.
Innovación
s
Se pueden beneficiar con la creación de soluciones y productos innovadores que respondan a las
.e
necesidades presentes y futuras, que de otro modo sería difícil de producir dentro de la
organización.
em
Relación Linked Data es
Podemos relacionar el Open Data con el Linked Data, ya que a menudo son términos confundibles,
.in
pero con la diferencia de que el Linked Data no implica que los datos sean gratuitos, libres o
abiertos, tal y como defiende el Open Data. Se entiende por Linked Data aquel método de
te
publicación de información de datos estructurados para que puedan ser interconectados y más
útiles. Se trata de referenciar los datos existentes de forma similar a como se realiza con los enlaces
a
de las páginas web.
or
Dicho lo anterior, y a modo de método para afianzar más los conceptos previamente definidos,
rp
vamos a ver la relación existente entre: Linked Data (datos entrelazados), Open Data (datos
abiertos) y Big Data (gran volumen de datos).
co
El Big Data nos ayuda a contestar a la pregunta: ¿qué hay en nuestros datos? Mientras que el Open
Data permite publicar dicha información previamente transformada en conocimiento, para su propio
beneficio, el Linked Data, por su parte, busca las relaciones entre los datos para mejorar los
procesos de búsqueda.
La relación se produce en función a las siguientes etapas:
Publicación de los datos en bruto (Open Data).
[Link]
9 / 19
[AFO028L5C] Curso de Data Mining, Data Analyst y Augmented Analytics
[MOD024H0Q] Data Mining, Data Analyst y Augmented Analytics
[UDI102532] Open data
Complementación de dichos datos con otras fuentes ya publicadas (Linked Data).
Recogida y análisis de los datos de forma automática (Big Analytics, Big Data).
Generación de evidencias estadísticamente contrastadas (Big Analytics, Big Data).
Publicación de la información más relevante en formato semántico (Linked Data).
Lenguaje de consulta
s
Un lenguaje conocido para el acceso de bases de datos abierto es el llamado SPARQL que se trata
.e
de una tecnología clave en el desarrollo de la Web Semántica y que se constituyó como una
em
recomendación de W3C.
es
.in
te
La importancia de conocer el SPARQL reside en que se trata del lenguaje que nos permitirá extraer
información y conocimiento de la Web semántica. Utiliza una sintaxis proveniente de SQL (por sus
a
siglas en inglés Structured Query Languaje, lenguaje de consulta estructurada), y que está
or
especialmente diseñada para recuperar datos partiendo de ontologías y documentos RDF.
rp
El SPARQL mantiene una estructura declarativa con la típica sintaxis basada en cláusulas SELECT,
FROM, WHERE y ORDER BY. Por supuesto, y siguiendo la equivalencia con SQL, también es
co
necesario distinguir entre lenguaje de consulta y motor para almacenar y recuperar los datos. Por
este motivo, existen múltiples implementaciones de SPARQL, generalmente ligadas a entornos
concretos de desarrollo y plataformas tecnológicas.
[Link]
10 / 19
[AFO028L5C] Curso de Data Mining, Data Analyst y Augmented Analytics
[MOD024H0Q] Data Mining, Data Analyst y Augmented Analytics
[UDI102532] Open data
En principio, SPARQL únicamente incorpora funciones para recuperar información. Sin embargo,
algunas propuestas también incluyen operaciones para la creación, modificación y borrado de datos.
El resultado que obtendremos de una ejecución SPARQL se define por una serie de pasos:
Consulta SPARQL como una cadena, convirtiendo dicha cadena en una forma de sintaxis
abstracta.
Convirtiendo esta forma de sintaxis abstracta en una consulta abstracta SPARQL que incluye
s
los operadores del álgebra de SPARQL.
.e
Esta consulta abstracta es evaluada sobre un conjunto de datos RDF.
em
es
.in
a te
or
rp
co
[Link]
11 / 19
[AFO028L5C] Curso de Data Mining, Data Analyst y Augmented Analytics
[MOD024H0Q] Data Mining, Data Analyst y Augmented Analytics
[UDI102532] Open data
2. Ejemplo de uso de Open Data
Antes de destacar un ejemplo concreto mencionaremos los tipos de Open Data que podemos
encontrar en la actualidad, estos son:
Cultural: los datos se tratan sobre las obras y bienes culturales.
Ciencias: los datos que se producen de la investigación científica.
Finanzas: datos como las cuentas del gobiernos o la información sobre los mercados.
s
Estadísticas: datos producidos por las oficinas de estadística.
.e
Tiempo: datos que se utilizan para predecir el tiempo y el clima.
em
Medioambiente: datos relativos al medio ambiente, como la contaminación, la calidad de
ciertos medios, etc.
Transporte: datos sobre horarios, rutas, estadísticas en tiempo real, etc.
es
En la actualidad, existe una gran cantidad de sitios web que emplean datos liberados como base
.in
para alimentar sus aplicaciones. Una vez integrados los datos en los sitios web, estos forman parte
de ellos, aportando valor a la información que se ofrece.
te
En algunos países, se utilizan datos proporcionados por el Ministerio de Economía para realizar
a
comparativas sobre ciertos gastos. Existe la aplicación Repostator que se encarga de localizar en un
or
mapa las gasolineras españolas indicando el precio del carburante, información proporcionada por el
Ministerio de Industria, Energía y Turismo de España.
rp
co
[Link]
12 / 19
[AFO028L5C] Curso de Data Mining, Data Analyst y Augmented Analytics
[MOD024H0Q] Data Mining, Data Analyst y Augmented Analytics
[UDI102532] Open data
s
.e
em
es
.in
te
Como dijimos en el punto anterior, los datos se pueden ofrecer en varios formatos, dependiendo del
a
tipo de formato, el procesado de la información podrá ser más o menos automatizable. Tenemos el
or
caso de ScraperWiki que recoge códigos aportados de forma gratuita por diferentes desarrolladores
para capturar datos con ciertas características. Para estas situaciones, es preferible el uso del
rp
scraping, técnica usada mediante programas para extraer información de sitios web.
co
Otro ejemplo a destacar es el Banco Mundial que provee datos abiertos sobre indicadores de
desarrollo. Estos datos permiten visualizar gráficos y mapas sobre educación, salud y otras
[Link]
13 / 19
[AFO028L5C] Curso de Data Mining, Data Analyst y Augmented Analytics
[MOD024H0Q] Data Mining, Data Analyst y Augmented Analytics
[UDI102532] Open data
variables. También ofrece la posibilidad de seleccionar datos específicos. Además, los datos pueden
ser descargados y leídos por otros sitios web mediante API, siendo posible el cruce de variables.
s
.e
Por su parte, la Unión Europea permite el acceso a una amplia variedad de datos e instituciones,
em
con el objetivo de que puedan ser utilizados con fines comerciales o no comerciales.
es
.in
a te
or
rp
co
En España, cada comunidad autónoma cuenta con su portal de datos abiertos. A continuación,
mostraremos el ejemplo de la Junta de Andalucía:
[Link]
14 / 19
[AFO028L5C] Curso de Data Mining, Data Analyst y Augmented Analytics
[MOD024H0Q] Data Mining, Data Analyst y Augmented Analytics
[UDI102532] Open data
s
.e
em
es
Pero hay que destacar que toda esta información se obtiene a través del portal que ofrece el
.in
Gobierno de España llamado [Link] .
a te
or
rp
co
En algunos países, se utilizan datos proporcionados por el Ministerio de
Economía para realizar comparativas sobre ciertos gastos. Existe la aplicación
Repostator que se encarga de localizar en un mapa las gasolineras españolas
indicando el precio del carburante, información proporcionada por el Ministerio
de Industria, Energía y Turismo de España.
[Link]
15 / 19
[AFO028L5C] Curso de Data Mining, Data Analyst y Augmented Analytics
[MOD024H0Q] Data Mining, Data Analyst y Augmented Analytics
[UDI102532] Open data
Verdadero.
Falso.
s
.e
em
es
.in
a te
or
rp
co
[Link]
16 / 19
[AFO028L5C] Curso de Data Mining, Data Analyst y Augmented Analytics
[MOD024H0Q] Data Mining, Data Analyst y Augmented Analytics
[UDI102532] Open data
Recuerda
[[[Elemento Multimedia]]]
s
.e
em
es
.in
a te
or
rp
co
[Link]
17 / 19
[AFO028L5C] Curso de Data Mining, Data Analyst y Augmented Analytics
[MOD024H0Q] Data Mining, Data Analyst y Augmented Analytics
[UDI102532] Open data
Autoevaluación
Responde verdadero o falso a la siguiente cuestión: "Se entiende por Linked
Data aquel método de publicación de información de datos estructurados para
que puedan ser interconectados y más útiles".
Verdadero.
s
.e
Falso.
em
La aplicación Respostator, ¿de dónde obtiene su información?
es
A través de los datos abiertos del Ministerio de Educación.
.in
A través de los datos abiertos del Ministerio de Industria.
te
A través de los datos abiertos del Ministerio de Economía.
a
or
Actualmente, se considera el Open Data, Linked Data y el Big Data como:
rp
Términos compatibles que nos ayudarán a contar con grandes bases de datos abiertas
co
e interrelacionadas.
Términos totalmente opuestos, cuya aplicación compuesta no es posible.
Conceptos independientes.
Responde verdadero o falso a la siguiente cuestión: “La importancia de conocer
el lenguaje SPARQL reside en que se trata del lenguaje que nos permitirá extraer
información y conocimiento de la Web Semántica. Además utiliza una sintaxis
[Link]
18 / 19
[AFO028L5C] Curso de Data Mining, Data Analyst y Augmented Analytics
[MOD024H0Q] Data Mining, Data Analyst y Augmented Analytics
[UDI102532] Open data
bastante diferente al SQL.”
Falso.
Verdadero.
Responde verdadero o falso a la siguiente cuestión: “En principio SPARQL
s
solamente incorpora funciones para recuperar información”.
.e
em
Falso.
Verdadero. es
.in
a te
or
rp
co
[Link]
19 / 19