See discussions, stats, and author profiles for this publication at: [Link]

net/publication/303698399

Aproximaciones a la validación en dinámica de sistemas

Article · June 2012

CITATIONS READS

8 2,266

1 author:

Alejandro Valencia-Arias

291 PUBLICATIONS 1,864 CITATIONS

SEE PROFILE

All content following this page was uploaded by Alejandro Valencia-Arias on 01 June 2016.

The user has requested enhancement of the downloaded file.

 APROXIMACIONES A LA VALIDACIÓN EN DINÁMICA DE
SISTEMAS
APROXIMACIONES A LA VALIDACIÓN EN DINÁMICA
DE SISTEMAS
A. Valencia1, L. Obando2, Facultad de Minas, Universidad Nacional de Colombia, Sede Medellín,
Colombia.
A. Valencia1, L. Obando2Recibido
, Facultad Junio 3, 2012
de Minas, – Aceptado
Universidad septiembre
Nacional 1 deSede
de Colombia, 2012Medellín, Colombia.
Recibido Junio 3, 2012 – Aceptado septiembre 1 de 2012

Resumen—El proceso de validación de modelos en I. INTRODUCCIÓN

dinámica de sistemas permite asegurar una mayor
confiabilidad en las estrategias y políticas planteadas a
L
a validación de un modelo no puede ser del todo
partir de ellos. El presente artículo identifica algunos
aspectos y herramientas básicas de validación en objetiva, cuantitativa y formal, puesto que la
modelos de dinámica de sistemas a través de un análisis validez refleja la utilidad con respecto a un objetivo
de información secundaria tomada de memorias de [1]. Además, la validez en dinámica de sistemas se
eventos y publicaciones académicas alrededor de la considera más compleja que la de un modelo de
temática. Como resultado, se observa que la validación “recuadro negro” ya que juzgar la validez de la
en dinámica de sistemas se apoya en una serie de estructura interna de un modelo resulta problemático
pruebas estructurales, técnicas y de comportamiento
que se conciben como un proceso de creación gradual [2], tanto filosóficamente como técnicamente, por lo
de confianza con respecto a la aplicación de un que no existe una definición o procedimiento único
respectivo modelo. Se concluye que la validez del establecido para la validación en la literatura de
modelo está ligada a la naturaleza, propósito, contexto dinámica de sistemas [3].
del problema y a sus usuarios, constituyéndose como
un proceso transversal al desarrollo del modelo con el Para el presente artículo se adoptará la definición dada
fin de facilitar la detección temprana de errores.
por Babuska quien concibe la validación como “la
Palabras clave— Dinámica de sistemas, validación,
evaluación de la exactitud de un resultado de un
confiabilidad, modelado modelo, respecto a la solución que se espera que el
modelo deba arrojar. La relación que tiene el modelo
Abstract— The models validation process in system con el sistema real que lo inspiró no es un insumo para
dynamics ensures better reliability in the strategies and esta evaluación” [4].
policies set from them. This article identifies some basic
aspects and validation tools in system dynamics models. Inicialmente se presentan algunos principios que se
The methodology has been a secondary information deben tener en consideración en todo el proceso de
analysis from proceedings and academic publications validación, así como la importancia de la
on the theme. As a result, is observed that the
replicabilidad para dar validez a los resultados. Luego
validation of system dynamics is based on a series of
structural, techniques and behaviors tests that are se exponen algunas opciones de análisis para la
structured as a gradual process of confidence building validación de variables blandas, las cuales son de vital
with respect to the application of a respective model. In importancia al modelar sistemas sociales.
conclusion, the validity of the model is related to the Posteriormente se exponen técnicas específicas
nature, purpose, problem context and users, utilizadas para la validación en dinámica de sistemas,
constituting as a transversal process to development las cuales representan mecanismos para dar fiabilidad
model to facilitate early errors detection. al modelo y finalmente, se expone la importancia de
aplicar las políticas de mejoramiento del sistema
Keywords— System dynamics, validity, reliability, después de haber aplicado diversas pruebas que
modeling permitan generar confianza en el modelo.

II. PRINCIPIOS PARA LA VALIDACIÓN DE UN

MODELO
Inicialmente, es importante exponer algunas
1 directrices expuestas por Balci (1995) quien a partir
A. Valencia es Ingeniero Administrador y aspirante a
Magister en Ingeniería de Sistemas de la Universidad Nacional de de varios principios para la validación de un modelo,
Colombia. Email: javalenca@[Link] brinda lineamientos importantes para llevar a cabo un
2
L. Obando es Ingeniera de Sistemas de la CUN y estudiante proceso de validación [5]:
de Maestría en Ingeniería de Sistemas de la Universidad Nacional
de Colombia. Email: lobandom@[Link]

Universidad Pontificia Bolivariana 61

 APROXIMACIONES A LA VALIDACIÓN EN DINÁMICA DE SISTEMAS

 El proceso de validación y verificación no debe  Sus resultados deben ser completamente

ser entendido como una fase del ciclo de replicables.
desarrollo de un modelo, sino que debe llevarse a  Asegúrese de que terceros independientes
cabo a través de todo el desarrollo de éste, con el puedan replicar todos los resultados utilizando
fin de facilitar la detección temprana de errores. sólo la documentación escrita.
 Los resultados de un proceso de validación y  Describir los supuestos del modelo: su
verificación nunca deben entenderse como estructura, límites, valores de los parámetros,
absolutos: un modelo no es ni absolutamente fuentes de datos y la lógica en general.
correcto, ni absolutamente incorrecto, sino que se  La documentación no es simplemente una copia
ubica en una escala de credibilidad. impresa de las ecuaciones del modelo.
 Un modelo se construye para unos fines  Organizar la documentación por el subsistema
específicos, y su credibilidad debe ser juzgada de modelo.
respecto a dichos objetivos. Es más correcto decir  Documentar el modelo para que otros puedan
“el modelo es suficientemente válido para”, en comprender, ejecutar y modificar sin tener que
lugar de “el modelo es válido”. hacer un montón de preguntas. Reclutar y
 El proceso de validación y verificación debe ser entrenar a otros que entienden y pueden usar el
guiado por personal diferente a los modeladores, modelo.
para evitar sesgos.
 El proceso de validación y verificación es difícil Es importante aclarar que como lo exponen
y requiere visión y creatividad. Para llevar a cabo Oberkampf & Trucano (2002) el proceso de
un proceso satisfactorio de validación y validación se lleva a cabo entre el mundo real y las
verificación, se requiere conocer plenamente el soluciones arrojadas por el modelo, comparando los
sistema real, tener experiencia en las resultados entre uno y otro y haciendo uso de datos
metodologías de modelado y experiencia en experimentales; a diferencia del proceso de
procesos de validación y verificación; sin verificación que se lleva a cabo entre el modelo
embargo, es muy difícil en muchos casos conceptual y las soluciones arrojadas por el modelo,
comprender el modelo completo. confirmando que la solución sí refleje lo que dicta el
 La credibilidad de un modelo sólo puede ser modelo conceptual [5]
afirmada bajo aquellas condiciones para las
cuales se desarrollaron las pruebas.
 Los errores en el modelo deben detectarse lo más III. METODOLOGÍA
pronto posible dentro del ciclo de vida del Para este artículo se ha realizado un análisis de
desarrollo del mismo. Lo anterior, para mejorar el información secundaria a partir de seminal papers y
proceso de validación y verificación y reducir su publicaciones académicas alrededor del proceso de
costo. validación en dinámica de sistemas. Entre los
 El hecho de que los sub modelos sean lo seminal papers se encuentran: “Tests for building
suficientemente creíbles, no implica que el confidence in system dynamics models” desarrollado
modelo completo sea lo suficientemente creíble. por Forrester y Senge (1978) en el System Dynamics
 La validación de un modelo de simulación no Group en el Massachusetts Institute of Technology
garantiza la credibilidad y aceptabilidad de los (MIT) y posteriormente los publicados por Barla y
resultados de la simulación. Carpenter (1990) “Philosophical roots of model
validation: Two paradigms” y Barlas (1996)
Otro de los aspectos importantes y comúnmente “Formal aspects of model validity and validation in
ignorados por la literatura se relaciona con el papel system dynamics” en la revista System Dynamics
de la replicabilidad como mecanismo de validación, Review. Más recientemente Sterman en su libro
ya que esto permite que otros investigadores “Business dynamics: systems thinking and modeling
mediante la comprobación, puedan revelar errores, for a complex world” dedica un capítulo entero a la
mejorar la transparencia y la utilidad del trabajo de temática.
modelado, siendo así una forma de dar credibilidad
y validez a determinados planteamientos a largo A partir de la revisión de los seminal paper
plazo. Algunas de las directrices que deben tenerse mencionados se consultó información de otros
en cuenta para la documentación de un modelo con centros investigativos que han trabajado en las
el fin de que se pueda asegurar su replicabilidad y pruebas y mecanismos de validación en dinámica de
mejora por parte de otros investigadores son las sistemas, entre estos se encuentran el School of
siguientes [6]: Information Science and Policy de la Universidad de

62 Puente Revista Científica

 A. Valencia, L. Obando.

Albania, Technology and Development Studies del Estructurales (SEM), el cual permite realizar un
National Institute of Science en New Delhi, School análisis de las relaciones causales y no causales entre
of Administrative Studies en la Universidad de York variables, incorporando técnicas de regresión, el
y el reconocido System Dynamics Group en el análisis factorial y el análisis Path. El SEM trata de
departamento de ciencias de la información de la comprobar si el modelo teórico es válido,
Universidad de Bergen en Noruega. verificando el ajuste de los datos al modelo
propuesto [9], [10]. Los modelos de medida
De la información recopilada en esta búsqueda y la comprueban si las escalas de medida propuestas son
incorporación de otros artículos de interés para la adecuadas teniendo en cuenta la fiabilidad y validez
temática, se identifican algunas de las principales de las escalas. La fiabilidad se define como el grado
pruebas y recomendaciones en el proceso de de consistencia entre las múltiples medidas de una
validación en dinámica de sistemas. variable.

La consistencia interna se refiere a que los ítems

IV. VALIDACIÓN DE VARIABLES BLANDAS individuales o indicadores de la escala deberían estar
midiendo las mismas cosas y por lo tanto deben estar
Frecuentemente al formular un modelo de dinámica altamente correlacionadas. La alternativa para
de sistemas se deben incorporar variables blandas y estudiar la fiabilidad de la escala es usar Análisis
cualitativas, lo cual representa una dificultad ya que Factorial Confirmatorio (AFC). El AFC es una
los modelos exigen un manejo cuasi-cuantitativo de técnica estadística de reducción de datos usada para
dichos conceptos, obstaculizando así la fiabilidad y explicar las correlaciones entre las variables
validez de su medición [7]. La inclusión de este tipo observadas en términos de un número menor de
de variables representa una de las ventajas de la variables no observadas llamadas factores. Las
utilización de dinámica de sistemas ya que permite variables observadas se modelan como
incorporar dichas variables y analizar sus combinaciones lineales de factores más las
fluctuaciones permitiendo estudiar las influencias expresiones de error. Existen dos enfoques para
mutuas con otras variables en el tiempo; sin estudiar análisis factorial: el enfoque exploratorio y
embargo, la incorporación de estas variables se el enfoque confirmatorio. El enfoque exploratorio no
enfrenta a problemas de medición sistemáticos y tiene restricciones en cuanto a normalidad,
aleatorios. Además, la vinculación causal entre las homocedasticidad o linealidad entre las variables, de
variables blandas no es fácil de determinar [3], por hecho, algunas veces, la multicolinealidad favorece
ejemplo, modelar la “motivación” incorpora un los resultados ya que se agrupan las variables en
sinfín de posibilidades, por lo que se debe hacer función de su correlación. Para la estimación usa el
claridad sobre los conceptos tomados y la teoría análisis de componentes principales. La perspectiva
social que se emplea para el análisis. confirmatoria sin embargo permite aplicar máxima
verosimilitud y se propone como una manera óptima
Desde las metodologías de modelado para variables de validar el análisis factorial confirmatorio [9].
blandas se deben tener presentes las limitaciones
causadas por la medición de variables en una escala La validez es la medida en que una escala o conjunto
no métrica, y tratar de evitar el uso de operaciones de medidas representa con precisión el concepto de
numéricas no admisibles en variables cualitativas. La interés. Es necesario evaluar tres aspectos [9]:
forma en que se incorporan las variables blandas en
estos modelos es mediante una variable  Validez de Contenido: proviene del análisis
multiplicadora con valores que van de 0 a un límite de la teoría.
superior que podría ser 1; sin embargo, la  Validez Convergente: grado en el que dos
comparación y naturaleza de dicho comportamiento medidas del mismo concepto están
debe justificarse claramente para evitar mayores correlacionadas (serán las cargas factoriales
incertidumbres sobre el modelo, ya que los del AFC).
problemas se agudizan con la utilización de varios  Validez Discriminante: cuando dos
multiplicadores debido a que el hecho de asumir que elementos conceptualmente parecidos
su comportamiento es equivalente como difieren.
“multiplicador” en el mundo real, es difícil de
mostrar [8]. En cuanto a la medición de los instrumentos de
recolección comúnmente usados para la
Para realizar esta validación de variables blandas se cuantificación de variables blandas o cualitativas
propone utilizar el Modelo de Ecuaciones vale la pena destacar que en la mayoría de ocasiones

Universidad Pontificia Bolivariana 63

 APROXIMACIONES A LA VALIDACIÓN EN DINÁMICA DE SISTEMAS

de utiliza una escala de Likert [11] (o método de Barlas (1994) este contraste podría llevarse a cabo
evaluaciones sumarias), la cual es una escala como una prueba de la estructura teórica, mediante la
psicométrica comúnmente utilizada en cuestionarios comparación de la estructura del modelo elaborado
para investigaciones sociales. Entre los pasos para su con los conocimientos existentes en la literatura [3].
construcción se encuentran la definición nominal de Basado en esto, lo primero que se recomienda revisar
la variable a medir, la recopilación de preguntas en son las relaciones causales en la hipótesis dinámica
forma de proposiciones frente a las cuales se estipula ya que sin una fundamentación teórica que la
el nivel de acuerdo o desacuerdo, la determinación respalde los puntos de vista así como el modelo
de las puntuaciones dadas a dichas preguntas donde generado serían poco confiables [14].
las respuestas a cada elemento se suman para obtener
la puntuación total de un grupo de elementos. En cuanto a las pruebas que respaldan la validez
Además, se considera una escala de tipo ordinal, ya estructural del modelo construido a partir de las
que no se puede asumir que los sujetos perciban las teorías y relaciones identificadas, se presentan cinco
respuestas como equidistantes. pruebas, que se observan en la Tabla 1 [15]. Estas
pruebas se ampliarán con detalle más adelante.
Luego de tener la escala de medida y recolección de
los datos se prosigue a realizar la validación de los TABLA I.
RESUMEN DE TEST PARA LA VALIDACIÓN
resultados en los cuestionarios utilizados. Esto se
ESTRUCTURAL EN MODELOS DE DINÁMICAS DE
puede realizar mediante el Alfa de Cronbach SISTEMAS
siguiendo la metodología propuesta por Gliem & Nombre de la
Propósito de la prueba
Gliem (2003) para medir la fiabilidad de una escala prueba
de medida de una variable que no se considera Si los conceptos y estructuras
importantes para abordar las
directamente observable (por ejemplo, la Adecuación de límites cuestiones políticas son endógenos al
motivación) en una población de sujetos, para lo cual modelo.
se miden n variables que sí son observables del Si la estructura del modelo es
público de interés, partiendo del hecho que las consistente con el conocimiento
Verificación de la
descriptivo relevante del sistema de
variables están relacionadas con la magnitud estructura
modelado inicial.
inobservable de interés, existiendo un elevado nivel Si cada ecuación en el modelo
Consistencia
de correlación entre ellas [12]. dimensional
dimensional corresponde al sistema
real.
Las medidas de confiabilidad expuestas permiten Si los parámetros en el modelo son
Verificación de
consistentes con el conocimiento
una menor incertidumbre sobre la capacidad de parámetros
relevante del sistema.
lograr resultados similares de los trabajos de diversos Si el modelo exhibe un
investigadores en la medición de variables blandas comportamiento lógico cuando a los
mediante el uso repetido de los instrumentos Condiciones extremas parámetros seleccionados se les
asignan valores extremos.
utilizados para la recolección de datos [3]. Fuente: Adaptación a partir de [16]

Por otro lado, en las pruebas de evaluación de la

V. ALGUNAS TÉCNICAS DE VALIDACIÓN EN estructura se cuestiona si el modelo es consistente
DINÁMICA DE SISTEMAS en su nivel de agregación, en la conformidad del
Con el fin de que la validación sea un proceso que modelo a las realidades físicas básicas (leyes de
genere confianza en un modelo, ésta no debe ser un conservación, valores reales negativos) y sobre el
evento de una sola vez sino un proceso apoyado por realismo de las reglas de decisión para los agentes,
una serie de pruebas con características estructurales además de examinar las externalidades y los
y de comportamiento, debido a que debe ser visto efectos secundarios que deben ser capturados de
como un proceso de creación gradual de confianza forma endógena. Mediante la inspección directa
con respecto al propósito de un modelo en particular de las ecuaciones se pueden analizar las claves de
[13]. En este sentido, se sostiene que el requisito de información utilizadas en cada decisión con ayuda
falsabilidad debe sustituir a la verificabilidad ya que de las relaciones causales establecidas. Otra
las teorías científicas deben ser obligadas a ser técnica para probar la idoneidad de los supuestos
falsables implicando así un proceso gradual de de agregación es mediante el desarrollo de un
corroboración que va fortaleciendo los modelos [1]. submodelo más detallado que permita comparar su
comportamiento con la formulación más agregada,
A. Evaluación de la estructura con el objetivo de analizar si el detalle adicional
Se inicia con la comparación de la estructura del es importante y afecta significativamente los
modelo frente a la estructura del sistema real. Según
64 Puente Revista Científica
 A. Valencia, L. Obando.

resultados del modelo y las implicaciones de las los valores de los parámetros con los datos
políticas implementadas en éste [6]. numéricos que se tengan, siendo éste el enfoque más
común. Por otro lado, dentro de los métodos
numéricos, el más utilizado es la regresión múltiple
B. Análisis de sensibilidad
por mínimos cuadrados, la cual no se considera
En el análisis de sensibilidad se pregunta si las adecuada en los modelos dinámicos debido a su
conclusiones cambian de manera importante cuando imprecisión ante la presencia de colinealidad,
se varían los supuestos en el rango posible de autocorrelación y heterocedasticidad [6].
incertidumbre. En este aspecto se busca probar la
solidez de las conclusiones teniendo en cuenta la D. Prueba de adecuación de los límites en las
incertidumbre en sus supuestos [6]. políticas sugeridas
Al evaluar la sensibilidad de los supuestos
paramétricos se debe identificar en primer lugar el Esta prueba se usa para estudiar las implicaciones de
rango plausible de incertidumbre en los valores de la adopción de una respectiva política en el modelo,
cada parámetro, a continuación, se debe comprobar examinando como al modificar los límites de éste, se
la sensibilidad a estos parámetros en un rango mucho pueden alterar las políticas recomendadas y las
más amplio. Sobre este análisis, la mayoría de sugerencias a las que se llega mediante el uso del
software en dinámica de sistemas incluyen modelo. En este sentido las pruebas de adecuación
herramientas automatizadas de análisis de de límites requieren la conceptualización de la
sensibilidad, especificando inicialmente los estructura adicional de comportamiento surgida a
parámetros para variar y proporcionando un rango de partir de la política [15].
valores para cada uno de ellos. Dado el escaso
tiempo y recursos en cualquier proyecto, el análisis
E. Reproducción del comportamiento
de sensibilidad debe centrarse en las relaciones y los
parámetros de los cuales se tenga sospecha de Bajo esta prueba se busca comparar los
incertidumbre y pueden ser influyentes; sin embargo, resultados del modelo de dinámica de sistemas
si un parámetro tiene poco efecto sobre la dinámica, formulado con datos reales de forma cuantitativa
no tiene que ser probado, incluso si su valor es muy y cualitativa, incluyendo modelos de
incierto debido a que los errores de estimación son comportamiento, la forma de las variables,
de poca importancia. Un método común para asimetrías, eventos inusuales, entre otros. Dado
examinar la sensibilidad es el de definir los mejores lo anterior, la capacidad de un modelo para
y peores escenarios previamente [6]. generar los patrones adecuados de conducta
puede ser evaluada mediante juicio cualitativo o
Las pruebas de políticas de sensibilidad pueden, estadístico.
además de revelar el grado de solidez de un modelo
de comportamiento, indicar el grado en que las En general, cuanto mayor es el grado de
recomendaciones de política podrían estar estructuración de variables exógenas en el
influenciadas por la incertidumbre en los valores de modelo entonces mayor es la correspondencia
los parámetros. Dichas pruebas podrían ayudar a punto por punto de sus datos; sin embargo las
mostrar el riesgo involucrado en la adopción de un medidas de error no son significativas, teniendo
modelo para sugerir políticas basándose en sus mayor relevancia la coherencia con las
resultados [15]. frecuencias y amplitudes, las relaciones de fase
(adelantos y retrasos), la variabilidad de
características tales como la amplitud y la
C. Pruebas de evaluación de parámetros frecuencia, las cuales también deben
Se parte de la pregunta ¿los parámetros del modelo corresponder a los datos [6]. Además, las pruebas
incorporan el conocimiento descriptivo y numérico estadísticas usualmente aceptadas en modelos
del sistema? [17]. Esta prueba evalúa la pertinencia económicos y sociales se plantean por medio de
de los parámetros constantes en contra del una comparación directa de modelos individuales
conocimiento del sistema real tanto conceptual como de ecuaciones y los datos estadísticos [15].
numéricamente [3].
Por otro lado, existen diversos problemas
Inicialmente, antes de decidir cómo estimar un involucrados en el uso de pruebas de
parámetro, se debe tener la seguridad de que cada significancia estadística en la validación de la
constante (y variable) tiene un significado en la vida dinámica del sistema debido a que al considerar
real, a partir de lo cual se realiza una estimación de algunos supuestos fundamentales que deben ser
Universidad Pontificia Bolivariana 65
 APROXIMACIONES A LA VALIDACIÓN EN DINÁMICA DE SISTEMAS

titulares de pruebas estadísticas se observa que la no se enunciaron en el artículo debido a que son las más
mayoría de las pruebas estadísticas asumen al reportadas y conocidas en la literatura académica,
menos que los datos son (i) independientes (no mientras que el propósito del artículo era dar a conocer
autocorrelacionados), (ii) no se correlacionan de otro tipo de pruebas y opciones metodológicas para
forma transversal, (iii) se distribuyen de forma evaluar la confiabilidad de un modelo. Estas técnicas se
normal. Se observa que los dos primeros presentan en la Tabla 2.
supuestos casi nunca se cumplen en un modelo
TABLA II.
de dinámica de sistemas ya que los datos
OTRAS TÉCNICAS DE VALIDACIÓN [6]
generados por dichos modelos se Técnicas de
Descripción
autocorrelacionan y correlacionan entre sí por su validación
Se debe especificar las unidades de medida para
propia naturaleza. Además, en los modelos de cada variable a lo largo de la construcción del
dinámica de sistemas no existe una única Consistencia
modelo. Problemas estructurales de dimensiones
dimensional
"variable de salida" donde deba concentrarse la revelan vacíos en la compresión del problema y de
su estructura.
validación del modelo, sino que normalmente
hay muchas variables de importancia para el Pruebas de
Se deben seleccionar diferentes métodos de
propósito del estudio [2]. integración numérica y cambios en el paso del
integración de
tiempo, lo cual dará una aproximación de la
error
dinámica subyacente continua y precisa.
F. Simplificación del modelo
TABLA II.
La simplificación del modelo es un enfoque semiformal OTRAS TÉCNICAS DE VALIDACIÓN [6]
(Continuación)
para extraer las estructuras esenciales de un modelo a
Técnicas de
gran escala, a fin de identificar sus dinámicas validación
Descripción

fundamentales y aumentar su comprensión. El modelo debe comportarse de una manera realista,

Inicialmente se identifican ciclos de retroalimentación sin importar lo extremo de las entradas o las
Condiciones políticas que puedan ser evaluadas. La salida de un
débil con el fin de suprimirlos, se busca así identificar Extremas respectivo modelo debe ser factible y razonable,
subestructuras que permitan generar el comportamiento aun cuando cada entrada a la ecuación toma su
dinámico previsto [18]. valor máximo y mínimo.
Evalúan la idoneidad de los límites del modelo a
partir de la problemática que aborda el problema
En la medida en que se lleva a cabo la simplificación planteado (evaluación de gráficos y diagramas del
del modelo se deben analizar las cuestiones relativas al Pruebas de modelo e inspección directa de ecuaciones del
adecuación de modelo) examinando la lista de variables exógenas
límite del modelo, su nivel de agregación, pertinencia límites y la pertinencia de incluirlas como variables
de la estructura simplificada, entre otras pruebas. La endógenas en caso de tener interés por su
simplificación del modelo y sus límites depende de las comportamiento en un horizonte de tiempo
determinado.
variables endógenas que se desean incorporar, los Permiten observar la importancia de las estructuras
factores que afectan este comportamiento en el tiempo o variables examinando los comportamientos
y el problema articulado que se busca abordar. El valor extraños que puedan darse cuando una relación se
elimina o modifica dando una idea de su
agregado en este punto es que ayuda a no dispersar a Pruebas de
importancia.
los analistas en variables que no son de interés y no caer comportamiento
Estas pruebas funcionan en conjunto con las
anormal
en detalles innecesarios que hacen poco útil y complejo pruebas de condiciones extremas cuando se da un
cambio en los parámetros, pero en estas se
el modelo [18]. profundiza la importancia de las relaciones causales
de un determinado constructo.
Otro de los objetivos de la simplificación puede ser Se refiere al momento en que se genera en el
crear modelos generales (enfoque teórico) a partir de modelo un determinado comportamiento,
previamente desconocido, pero que puede llegar a
casos más específicos, favoreciendo el enfoque ocurrir en el sistema real. Para detectar sorpresas en
Pruebas de
pedagógico y simplificado de los modelos, que puede comportamiento
las pruebas de comportamiento se debe analizar con
además agregar confianza en la simulación y la atención cada una de las implicaciones de cambios
sorpresivo
en el modelo, analizando el comportamiento de
estructura del modelo así como en sus parámetros, todo el modelo, no sólo de sus indicadores más
debido a la aplicación en diversos campos [18]. importantes, con el fin de registrar dichas
anomalías.
Se cuestiona si el modelo puede generar los mismos
G. Otras técnicas de validación comportamientos en otros casos similares al sistema
para el cual se construyó inicialmente.
Pruebas de
Finalmente se recopilan otras técnicas de validación en miembro de la
Enfatiza que se debe desconfiar de los modelos que
dinámica de sistemas propuesta por Sterman [6], [19] y puedan exhibir un único modo de comportamiento
familia
debido a que para cada caso los comportamientos
Forrester [15] que deben ser utilizadas para verificar la deben diferir aunque puedan tener puntos comunes
validez de un modelo en dinámica de sistemas pero que que permiten capturar los patrones del modelo.

66 Puente Revista Científica

 A. Valencia, L. Obando.

H. Pruebas y políticas de mejoramiento del sistema documentación que permita detallar la estructura,
Estas pruebas de mejora en el sistema permiten límites, los valores de los parámetros, las fuentes de
analizar si el proceso de modelado ayudó a cambiar datos y la lógica en general.
el sistema buscando así identificar las políticas que
conduzcan a su mejora; sin embargo, este proceso Al recopilar lo planteado por los estudios analizados
registra numerosas dificultades, ya que en la práctica se observa que el proceso se puede resumir en tres
la evaluación del impacto de un modelo es aspectos. En primera instancia, la validación de los
extremadamente difícil porque se necesita mucho modelos mentales verificando que la hipótesis causal
tiempo para que sus efectos se manifiesten y es refleje lo planteado a partir del estudio del problema
difícil cambiar las creencias y modelos mentales de abordado y la literatura disponible. Por otro lado, se
las personas. Además, muchas otras variables y sus debe verificar que el modelo de simulación cumple
condiciones cambian al mismo tiempo cuando las con los criterios técnicos en cuanto al
nuevas políticas se aplican y esto no implica que las comportamiento y coherencia del modelado y
políticas basadas en el modelo hayan sido las finalmente, la validación con el modelo de
responsables de las mejoras o empeoramiento en el simulación que examina las variaciones del
sistema ya que puede deberse a factores no comportamiento del modelo en comparación con el
relacionados con el proceso de modelado. En este mundo real.
sentido, se plantea que la clave para una evaluación
exitosa de una intervención del modelado es: (1) Una importante temática para futuras investigaciones
evaluación prospectiva, (2) el uso de múltiples se compone del estudio de validación de variables
fuentes de datos, y (3), en la medida de lo posible, la blandas debido a la dificultad que representa el
adhesión a los protocolos experimentales adecuados manejo cuantitativo del modelo de dinámica y los
[6]. Estas pruebas de sistemas evalúan el beneficio problemas de medición que pueden obstaculizar la
de los cambios y políticas encontradas en el modelo, fiabilidad de los parámetros estimados,
la forma en que se implementan y las mejoras en el constituyéndose en una temática fundamental que
comportamiento del modelo real [15]. permita fortalecer los procesos de modelamiento,
comprensión y validación de sistemas sociales.
Está claro que los modelos tienen la intención de
diseñar políticas para resolver un problema REFERENCIAS
específico, mejorar el rendimiento de un sistema o [1] Y. Barlas y S. Carpenter, «Philosophical roots of model
analizar las contingencias de un respectivo sistema validation: Two paradigms», System Dynamics Review,
vol. 6, no. 2, pp. 148–166, 1990.
para las cuales la experiencia no proporciona [2] Y. Barlas, «Formal aspects of model validity and
ninguna guía. Además, se debe tener en cuenta la validation in system dynamics», System dynamics review,
creación de mecanismos, tales como protocolos de vol. 12, no. 3, pp. 183–210, 1996.
entrevistas y encuestas para documentar los modelos [3] S. Roy y P. K. J. Mohapatra, «Causality and validation of
system dynamics models incorporating soft variables:
mentales de las personas, sus comportamientos y los Establishing an interface with structural equation
cambios en las políticas [6]. modelling», in Proceedings of the 2000 international
system dynamics conference, 2000.
VI. CONCLUSIONES [4] I. Babuska, «Verification and validation in computational
engineering and science: basic concepts», Computer
Los estudios coinciden en que los resultados Methods in Applied Mechanics and Engineering, vol. 193,
del proceso de validación nunca deben entenderse pp. 4057–4066, 2004.
[5] L. Cadavid y others, «Propuesta para la medición del
como absolutos ya que la credibilidad de un modelo ajuste entre las metáforas organizacionales y las
puede ser afirmada sólo bajo aquellas condiciones herramientas de modelado», Universidad Nacional de
para las cuales se desarrollaron las pruebas, siendo Colombia, 2010.
éste un proceso más confiable cuando la validación [6] J. D. Sterman, «Business dynamics: systems thinking and
modeling for a complex world. 2000», Boston et al: Irwin
se lleva a cabo en todo el ciclo de desarrollo del McGraw-Hill, vol. 110, 2000.
modelo con el fin de facilitar la detección temprana [7] L. F. Luna-Reyes y D. L. Andersen, «Collecting and
de errores. analyzing qualitative data for system dynamics: methods
and models», System Dynamics Review, vol. 19, no. 4, pp.
271–296, 2003.
Una de las formas que han sido parcialmente [8] G. Coyle y D. Exelby, «The validation of commercial
ignoradas en la validación de modelos ha sido el system dynamics models», System dynamics review, vol.
proceso de replicabilidad, lo cual se convierte en una 16, no. 1, pp. 27–41, 2000.
forma de dar credibilidad y validez a determinados [9] M. A. Ramón, «Introducción a los modelos de ecuaciones
estructurales. Metodología LISREL con EQS». 2007.
planteamientos a largo plazo, garantizando la [10] M. A. Ruiz, A. Pardo, y R. San Martín, «Modelos de
transparencia de los modelos a partir de una ecuaciones estructurales», Papeles del psicólogo: revista

Universidad Pontificia Bolivariana 67

 APROXIMACIONES A LA VALIDACIÓN EN DINÁMICA DE SISTEMAS

del Colegio Oficial de Psicólogos, vol. 31, no. 1, pp. 34–

45, 2010.
[11] R. Likert, «A technique for the measurement of
attitudes.», Archives of psychology, 1932.
[12] J. A. Gliem y R. R. Gliem, «Calculating, interpreting, and
reporting Cronbach’s alpha reliability coefficient for
Likert-type scales», in Midwest research to practice
conference in adult, continuing, and community
education, 2003, vol. 88.
[13] Ö. Pala, J. A. M. Vennix, y J. P. C. Kleijnen, «Validation
in soft OR, hard OR and system dynamics: A critical
comparison and contribution to the debate», in
Proceedings of the 17th International Conference of The
System Dynamic Society and the 5th Australian&New
Zealand Systems Conference, New York, United States of
America, The System Dynamics Society, 1999.
[14] H. Qudrat-Ullah, «On the validation of system dynamics
type simulation models», in Information Science and
Applications (ICISA), 2010 International Conference on,
2010, pp. 1–7.
[15] J. W. Forrester y P. M. Senge, Tests for building
confidence in system dynamics models. System Dynamics
Group, Sloan School of Management, Massachusetts
Institute of Technology, 1978.
[16] H. Qudrat-Ullah y B. S. Seong, «How to do structural
validity of a system dynamics type simulation model: The
case of an energy policy model», Energy Policy, vol. 38,
no. 5, pp. 2216–2224, 2010.
[17] H. Qudrat-Ullah, «Structural validation of system
dynamics and agent-based simulation models», in 19th
European Conference on Modelling and Simulation, Riga,
Latvia, 2005, vol. 94.
[18] A. K. Saysel y Y. Barlas, «Model simplification and
validation: Illustration with indirect structure validity
tests», 2004.
[19] J. D. Sterman y others, «A skeptic’s guide to computer
models», Managing a nation: The microcomputer
software catalog, vol. 2, pp. 209–229, 1991.

BIOGRAFÍA

Alejandro Valencia Arias, Ingeniero

Administrador, aspirante a Magister en
Ingeniería de Sistemas de la Universidad
Nacional de Colombia. Integrante del
grupo de investigación en “Innovación y
Gestión tecnológica” Universidad
Nacional de Colombia - Sede Medellín.

Lucero Obando Montoya, Ingeniera de

Sistemas. Aspirante a Magíster en
Ingeniería de Sistemas Universidad
Nacional de Colombia - Sede Medellín.

68 Puente Revista Científica

View publication stats