See discussions, stats, and author profiles for this publication at: [Link]

net/publication/348787855

Los textos digitales y multimodales

Chapter · January 2021

DOI: 10.1515/9783110335224-017

CITATIONS READS

3 445

1 author:

Francisco Yus
University of Alicante
164 PUBLICATIONS 3,448 CITATIONS

SEE PROFILE

All content following this page was uploaded by Francisco Yus on 25 June 2023.

The user has requested enhancement of the downloaded file.

Francisco Yus
16 Los textos digitales y multimodales
Resumen: Este capítulo ofrece un recorrido por diferentes aspectos que atañen a los textos
digitales y multimodales. Respecto a los textos digitales, se hace un especial hincapié en
las semejanzas o diferencias con los textos no comunicados por internet, es decir,
generados y consumidos fuera de la red, y las diferentes formas en las que los textos
digitales exhiben oralidad y la función de las estrategias usadas para obtener-las. En el
caso de los textos multimodales, se hace un recorrido por diferentes perspec-tivas
propuestas para esta cualidad de los discursos y se hace especial énfasis en los casos en los
que los diferentes sistemas semióticos (modos) se combinan para produ-cir significados
que no se pueden obtener de los significados parciales de esos modos tomados por
separado. También se hace un estudio especial de la metáfora multimo-dal.

Palabras clave: multimodalidad, texto escrito oralizado, ciberpragmática, deforma-ción

textual, metáfora multimodal

1 Introducción: lo digital, lo multimodal y sus

relaciones
En esta primera parte, se analizan las características generales de los textos digitales sobre
todo en comparación a los textos analógicos (no digitales y no ubicados en la red). Tras
una primera distinción general, en esta parte se describirán diferentes rela-ciones entre
estos textos analógicos y digitales, para pasar luego a cualidades más in-herentes de los
textos digitales como la oralidad del texto tecleado, estudiada desde la ciberpragmática
(Yus 2001; 2010; 2011). La segunda parte acometerá el estudio de los discursos
multimodales, muy típicos también en las comunicaciones digitales, donde texto, imagen,
video y sonido a menudo se combinan para generar interpretaciones que solo pueden
obtenerse de la combinación de dichos discursos, y no de las inter-pretaciones parciales
obtenidas de los mismos, como ocurre en muchos de los memes analizados en Yus
(2019a).

1.1 Textos analógicos frente a textos digitales

Acometer el estudio del texto digital conlleva diferenciarlo de los textos analógicos, por
ejemplo los que están impresos y existen, por lo tanto, fuera de la red. Ciertamen-te, todos
tenemos alguna intuición acerca de las diferencias entre los textos analógi-cos impresos y
los textos electrónicos, un tema no exento de debate y discusión y, por

[Link]
326 Francisco Yus

lo tanto, dado a matizaciones según las experiencias personales de los usuarios. En

general, hay bastante acuerdo en que el texto impreso no admite cambios, y al leerlo uno
«siente» el paso de las páginas, con una evidencia física de en qué punto de su lectura nos
hallamos, entre otras cualidades.
Respecto al texto electrónico, las intuiciones acerca de sus cualidades diferencia-les
incluyen que es más manejable, ocupa menos espacio, se puede modificar o corre-gir con
suma facilidad, se puede cortar, copiar y pegar en otros documentos electróni-cos, es más
fácil integrar en ellos otros discursos como fotos, gráficos o vídeos en una misma pantalla,
se ubica fácilmente en la red y se transfiere por ella de forma rápida.
El texto electrónico, como el analógico, se inscribe en un género determinado. Hay
muchas definiciones de género, entre las que destacan las siguientes: (a) Un gé-nero es un
acontecimiento comunicativo, cuyos propósitos son compartidos. Estos propósitos son
reconocidos por los miembros expertos de la comunidad discursiva y por ello constituyen
la razón de ser del género (Swales 1990); (b) el género se caracte-riza por tener un
contenido y forma similar. Es una estructura organizativa que mol-dea cómo los miembros
de una comunidad interactúan unos con otros mediante ese género (Yates/Orlikowski
2002).
Estas definiciones nos indican que una de las cualidades más inherentes del gé-nero es
la de facilitar la identificación de la forma y el contenido de un texto ahorran-do esfuerzo
mental en su procesamiento o interpretación. Esta identificación genera lo que se ha
denominado esquema mental interiorizado de los usuarios respecto a las cualidades y
propósitos del género (Yus 2010, 126). En efecto, como corroboran inves-tigaciones como
las de Santini/Mehler/Sharoff (2010), la identificación y convencio-nalización del género
reduce la carga de esfuerzo cognitivo y desencadena expectati-vas de forma y contenido,
es decir, de la estructura y organización del texto y del tipo de información aportada por el
género. Además, estas definiciones indican que el género se moldea y se asienta gracias al
uso compartido que del género hace una co-munidad de usuarios, que utilizan el género
como un exponente de cohesión grupal y especificidad discursiva.
 Los textos digitales y multimodales 327

Figura 1: Evolución de los géneros

Esta comunidad de usuarios es un motor de los cambios y ulterior estabilidad del gé-nero
de cualquier texto. En efecto, en internet la innovación y propuesta de cambios en el
género consolidado no solo proviene de las empresas que gestionan los conteni-dos en la
red y las interfaces que proponen para acceder a ellos, sino que son los pro-pios usuarios
los que, a menudo, encuentran deficiencias o limitaciones comunicati-vas en el género
supuestamente estabilizado desde las compañías que generan esas interfaces. Como ya se
ha apuntado, cuando existe un género consolidado, este se en-cuentra interiorizado en los
usuarios en forma de esquemas mentales, y genera prácti-cas comunes acordadas por la
comunidad, que se tornan repetitivas generando así un uso más eficaz del texto. Pero los
usuarios pueden introducir alteraciones e innova-ciones en el género que pueden llegar a
ser usadas de forma masiva y formar parte de un esquema mental más actualizado (figura
1). Es lo que ocurrió, por ejemplo, con Twitter en el uso de la almohadilla (#) para marcar
temas de conversación y el uso de la nomenclatura RT para re-enviar mensajes, ambas
innovaciones creadas por los pro-pios usuarios y que ahora son parte inherente del género
de ese micro-blog e incluso incentivado desde la propia compañía (por ejemplo, la interfaz
ahora convierte cual-quier texto con almohadilla en enlace hipertextual temático).

1.2 Textos reproducidos, adaptados, emergentes y autóctonos

La variabilidad de los textos digitales (y, en concreto, de los ubicados en internet) es una
interesante cualidad diferencial respecto a los textos analógicos impresos, que
328 Francisco Yus

cambian poco o muy lentamente (en paralelo a un esquema mental interiorizado muy
estable y poco dado a modificaciones entre sus lectores). Por el contrario, los textos
digitales continuamente están evolucionando con la incorporación de elementos nue-vos
que acaban siendo de uso común en la comunidad de usuarios y con la elimina-ción de
otros elementos obsoletos, a menudo por la presión de los avances en el dise-ño de las
interfaces.
Esta cualidad es especialmente interesante teniendo en cuenta que los géneros se
identifican y se convencionalizan por contraste y diferenciación con otros géneros de
cualidades similares. No en vano, las convenciones de género suelen definirse como
reiteradas similitudes de forma y contenido que hacen que un género no se solape con los
demás. En los géneros impresos, la diferenciación entre ellos suele ser fácil porque su
evolución es mucho más lenta y contamos con muchos años de asentamiento de géneros
muy consolidados. Por contra, en el caso de los géneros electrónicos, la iden-tificación y la
consolidación es mucho más dinámica y, a la vez, complicada, ya que muchos textos
provienen de los medios impresos y son colgados en la red sin cambio alguno de formato,
mientras que otros son adaptados al potencial de las interfaces de Internet, y otros surgen
de forma autónoma en la red, sin un correlato de género im-preso. Además, en la red
coexisten muchos tipos de género que exigen lecturas dife-renciadas y estas generan, a su
vez, resultados interpretativos diferentes.
En este sentido, es ya clásica la tipología de géneros electrónicos de internet, tam-bién
denominados ciber-géneros, propuesta por Shepherd/Watters (1998), que es apli-cable a
los textos digitales (figura 2). Según estos autores, los ciber-géneros se dividen
inicialmente en transferidos (extant) y autónomos (novel). Los primeros están basados en
géneros que ya existen fuera de la red, mientras que los segundos dependen por completo
de las cualidades digitales de la interfaz.
 Los textos digitales y multimodales 329

Figura 2: Tipología de ciber-géneros de Shepherd/Watters (1998)

Los géneros transferidos se dividen, a su vez, en reproducidos (replicated) y adapta-dos

(variant). Los primeros fueron muy abundantes en los primeros estadios del desa-rrollo de
internet, cuando se pensaba que solo era necesario escanear y «colgar» los textos en la red.
Hoy en día, aun se observan ejemplos de textos que son colgados en la red exactamente
con el mismo formato con el que estos fueron impresos. Ejemplos son los artículos de las
revistas académicas que son idénticas en su formato impreso y digital, o las interfaces para
leer en internet periódicos impresos con exactamente la misma paginación, el mismo texto
y las mismas secciones que en la versión impresa, para lo cual se han ideado interfaces
especiales bajo suscripción, como ocurre con el periódico The Guardian, por ejemplo. Los
géneros adaptados, por contra, aprovechan hasta cierto punto la especificidad de las
interfaces de internet, como por ejemplo la inclusión de enlaces, gráficos, etc., o el
troceado del texto para adaptarlo al nuevo marco de lectura de la pantalla. A menudo, se
trata del mismo texto que en la versión impresa, pero ya no se mantiene la fidelidad de
formato. De nuevo, aunque la infor-mación sea la misma, al alterar la presentación y
otorgar al lector más poder de deci-sión sobre dónde hacer clic y, sobre todo, si quiere o
no mantenerse en la lectura li-neal del texto o «saltar» hacia las sugerencias de enlaces
propuestos desde la interfaz, los resultados interpretativos resultantes pueden diferir entre
las versiones impresa y digital.

Siguiendo con el esquema, los géneros autónomos se dividen a su vez en emer-gentes

(emergent) y autóctonos (spontaneous). Los primeros son evoluciones de los gé-neros
adaptados hasta el punto de que apenas se parecen ya a su original impreso. Hay cambios
sustanciales de forma y contenido y, por lo tanto, también cambios sus-
330 Francisco Yus

tanciales en el procesamiento de la información contenida en ambas versiones. Final-

mente, los géneros autóctonos no poseen correlato impreso. Han nacido en el seno de la
red y aprovechan al máximo la tecnología y el diseño de interfaces para generar di-
ferentes modalidades de lectura e interacción en la red, como ocurre con los perfiles de las
redes sociales como Facebook.
Lo más destacable de estos textos digitales autóctonos es la total imprevisibilidad de
su lectura por parte de los usuarios, que pueden saltar de un enlace a otro a su vo-luntad.
Por el contrario, los géneros impresos poseen una «materialidad» que nos in-dica un
recorrido de lectura, una acumulación progresiva de información. Es cierto que algunos
textos impresos no imponen un procesamiento lineal de la información, como ocurre con
novelas como Rayuela de Julio Cortázar, donde el lector posee liber-tad para elegir dónde
empezar y desarrollar la lectura más allá del orden lineal proto-típico impuesto por las
páginas. Pero en general, el papel impreso nos indica una dirección de izquierda a derecha,
de arriba a abajo. Un ejemplo es el periódico impre-so, con el cual el lector va procesando
las diferentes partes de las que se compone el texto (titular, entrada o lead, primer párrafo,
resto de la noticia...) y se detendrá cuan-do sus expectativas de interés se vean satisfechas
(expectativas de relevancia, según la teoría de Sperber/Wilson (21995), seguida en la
ciberpragmática). Muchos lectores detendrán su procesamiento tras acceder solo a la
información del titular, ya que es-tos suelen ser suficientemente informativos como para
satisfacer esas expectativas. Entonces cerrarán el periódico, irán a otra sección, a otra
noticia, a otra página. Otros lectores, por su parte, leerán el artículo hasta el final por el
interés que, para ellos, suscita el mismo y con independencia del esfuerzo mental adicional
que exija su pro-cesamiento.

En los textos electrónicos, por contra, es el usuario quien decide, a menudo, el or-den
de los «trozos» de texto haciendo clic en enlaces y completando la información
proveniente del texto con fuentes alternativas de interés como videos, imágenes, grá-ficos,
formularios de búsqueda, etc. Esta cualidad exige tomar decisiones interpretati-vas que, en
el caso de los textos impresos, ya están tomadas de antemano por sus autores. Sin
embargo, hay que tener en cuenta que los usuarios de internet están cada vez más
acostumbrados a la cualidad no lineal y basada en enlaces de la información digital, típicas
del contenido de la red y estos usuarios exhiben una creciente desgana hacia formas
tradicionales de procesamiento de la información en forma lineal y codi-ficada solo como
texto. La multimodalidad y no linealidad de los contenidos de la red hacen que la lectura
de textos electrónicos sea más un abanico de opciones que una invitación a un patrón de
lectura determinado (cf. Yus 2015).
Otra cualidad destacable de los textos electrónicos ubicados en la red es que con-
llevan un cierto desdibujamiento de los papeles de autor y lector, tan delimitados en el
caso de los textos impresos. En efecto, conforme los textos electrónicos van adop-tando
todos los recursos y aprovechan todo el potencial del diseño multimodal e hi-pertextual de
la red, aumenta la responsabilidad del lector en la dirección que toma su lectura haciendo
clic en los diferentes enlaces, etc. El autor, de esta forma, se va di-
 Los textos digitales y multimodales 331

fuminando y a menudo ofrece contenidos, pestañas y enlaces, más que recorridos pre-
visibles de lectura o interpretaciones concretas de sus textos.
Por supuesto, el lector que se enfatiza en esta nueva forma de procesar la informa-ción
del texto electrónico es un nuevo lector, con nuevos retos a la hora de obtener re-
compensas al esfuerzo cognitivo suplementario que exige el nuevo diseño multi-di-
reccional no previsible de estos textos electrónicos. Se requiere, en suma, una nueva ciber-
alfabetización en el lector, un lector que no solo decide sus patrones y direccio-nes de
lectura, sino que a menudo incluso puede alterar el propio texto que está inter-pretando.
Como correctamente apunta Fernández Serrato (2011, 184), «en la Red so-mos una
dirección de correo electrónico, un nick, un password, imágenes de un álbum de fotos
editables en Facebook, escrituras provisionales que pueden ser modi-ficadas, borradas,
reescritas y no solo por el individuo que les dio origen, sino tam-bién por cualesquiera
otros que interactúan con él».
Una cualidad de los textos electrónicos que merece ser destacada es que estos
compiten por la atención del usuario. La pantalla del ordenador constituye un verda-dero
campo de batalla donde varias fuentes de información textual, visual y multimo-dal
compiten por la atención del usuario, como bien saben los creadores de anuncios para la
red, que intentan conseguir que el usuario les preste atención. Por contra, el lector de
textos impresos posee un menor abanico de posibilidades a la hora de aco-meter su
interpretación.
En la actualidad, múltiples textos electrónicos compiten por el usuario y evitan que
este se concentre en una sola tarea cognitiva, llegándose al extremo de que el ce-rebro se
ha vuelto ávido de satisfacción; y se queja cuando ha de acometer tareas cog-nitivas que
conllevan una recompensa a largo plazo, como ocurre, por ejemplo, con la lectura de una
larga novela. Esta es precisamente la teoría de autores como Carr (2010). Según este autor,
en la actualidad se lee mucho más que antes, pero sin duda de otra forma. Los géneros
electrónicos y, en concreto, los géneros ubicados en la red y transmitidos por esta,
favorecen un tipo de lectura que antepone la eficacia de lo instantáneo y la inmediatez del
estímulo por encima del sosiego y la reflexión. Y este hecho puede impedir la lectura
profunda que se inició con el advenimiento de la im-prenta y con la popularización de los
textos impresos. Al mismo tiempo, los que a me-nudo leen textos electrónicos en internet
tienden a fagocitar la información y, por lo tanto, a no formar esos niveles de
interpretación profunda que se asienta luego en for-ma de conocimiento adquirido y
almacenado.
Según Carr, este nuevo escenario de procesamiento de la información posee un claro
potencial para disminuir la capacidad de concentración, reflexión y contempla-ción, hasta
el punto de que quizás el cerebro se esté re-adiestrando para acometer esta nueva vía de
acceso al conocimiento, incluso a nivel físico, y adquiriendo ese hábito pernicioso de
recibir «fogonazos» de información de forma rápida, de múltiples fuen-tes y en pequeñas
porciones. Para este autor, lo que se ha perdido es nuestra capaci-dad para mantener una
línea de pensamiento concentrado y sostenido durante un lar-go periodo de tiempo.
332 Francisco Yus

Y existe cierta corroboración empírica de este hecho en experimentos que deter-

minaron que muchos usuarios solo «echan vistazos» a los textos digitales, en vez de
centrarse detenidamente en ellos. Saltan de un artículo a otro, como picoteando el tex-to
de la pantalla con el recurso del ratón y el clic en el enlace (ardilleando, como se le ha
llamado coloquialmente). Uno de los experimentos, citado recientemente en Grau (2008,
30), concluyó que

está claro que los usuarios no leen online en el sentido tradicional; de hecho, hay indicios de que
surgen nuevas formas de lectura a medida que los usuarios echan vistazos horizontalmente a tra-vés de
títulos, páginas y resúmenes en busca de satisfacciones inmediatas... Casi parece que se conectan a la
Red para evitar leer al modo tradicional.

Como apunta Elola (2008), estos nativos digitales no soportan la espera, huyen de la
secuencia lineal de información, quieren intervenir en el proceso, hacer clic para ir adonde
les interesa. No son consumidores pasivos de los textos digitales, sino activos: crean
contenidos, se mandan vídeos, fotos que retocan, que editan, y son muy creati-vos.

1.3 Los textos digitales y su contextualización: la ciberpragmática

y los textos escritos oralizados

Una cualidad inherente a los textos digitales tecleados que, a diario, se intercambian los
usuarios por plataformas de mensajería como WhatsApp, es que exhiben una cua-lidad
oral a pesar de su formato escrito, lo que desde la ciberpragmática (Yus 2001; 2010; 2011)
se ha denominado texto escrito oralizado. Se trata de usos textuales crea-tivos de los
signos de puntuación, repetición de letras, acortamiento de palabras y el recurso del
emoticón o emoji, para dotar a los diálogos de una carga de oralidad de la que carece el
simple texto tecleado (Yus 2005). Según una encuesta repartida en Yus (2014a), para los
usuarios el texto neutro no es lo suficientemente expresivo como pa-ra poder comunicar
determinados estados de ánimo, sentimientos, emociones, etc. Por ello recurren al uso
masivo de estrategias de oralización textual para connotar el texto con una mayor carga de
sentimiento y emoción, o para evitar algún malentendi-do (por ejemplo en el uso del emoji
para asegurar una interpretación correcta de la ironía). Además, esta oralización también
permite inferir otras informaciones no co-municables con el simple texto tecleado. Por
ejemplo, véase la diferencia entre las opciones (A) y (B) en (1–2).

(1) A: No he podido ir porque se me ha roto el coche.

B: Claro. Lo entiendo.
B: Claaaaaaaaaaro. Lo entiendo.
(2) A: Pronto empieza el curso.
B: jooooooo pronto empieza el curso.
 Los textos digitales y multimodales 333

El lector del enunciado (1b) infiere una información adicional referida a la actitud pro-
posicional que subyace a la emisión del enunciado. En este caso, el usuario deja en-trever
que no cree realmente la excusa que le han dicho. En (2a), el usuario puede sim-plemente
estar informando de que pronto empieza el curso. Por contra, con la interjección y
repetición de letras en (2b) el lector puede inferir que el usuario lamenta (actitud
proposicional) que el curso empiece.
Algo parecido ocurre con la repetición de signos de puntuación, como en (3b)
comparado con (3a). En general, todo enunciado comunica literalmente menos infor-
mación que la que pretende el emisor (lo que en pragmática se denomina teoría de la infra-
determinación). En principio, la interpretación de (3a), sabiendo que se trata de un
mensaje enviado a un canal de chat, sería (4). Aparte de este enriquecimiento infe-rencial
del enunciado, el usuario receptor inferirá también la información adicional que se
comunica con la repetición del signo de puntuación, tal y como se muestra en (5).

(3) A: ¿Alguien de Albacete?

B: Alguien de Albacete???????????
(4) El usuario [está preguntando] [si hay] alguien de Albacete [conectado a este canal de
chat] [que quiera charlar con él/ella].
(5) El usuario [está preguntando] [con insistencia y urgencia] [si hay] alguien de Alba-
cete [conectado a este canal de chat] [que quiera charlar con él/ella].

El texto oralizado permite también comunicar sentimientos y emociones asociados al acto

de emisión del enunciado. Por ejemplo, los enunciados (B) en (6–7) permiten al usuario
destinatario inferir, con más exactitud, lo que siente el otro usuario al decir que se aburre y
que lo/la quiere, respectivamente.

(6) A: Me aburro
B: Me aburroooooooooo
(7) A: Te quiero
B: t kieroooooooooo

Algo parecido ocurre con el uso de emoticonos (uniones de signos de puntuación para
generar expresiones faciales) y emoji (galerías de imágenes predeterminadas de ges-tos y
otros tipos de iconos). Estos pueden ayudar a obtener una interpretación más fe-haciente
del enunciado y de las posibles actitudes, sentimientos y emociones asocia-das al mismo.
En este sentido, en Yus (2014b) se propone una tipología de usos de estos
emoticonos/emoji, que ha sido ampliamente actualizada en Yus (2019b):

GRUPO A: Emoji dentro (del texto, es decir, imbricado en el texto)

(A.1) señalar la actitud proposicional que subyace al enunciado y que sería difícil de
identificar sin el emoticono/emoji, como en (8a);
334 Francisco Yus

(A.2) comunicar una mayor intensidad de una actitud proposicional que ya ha sido te-
cleada verbalmente, como en (8b);
(A.3) y (A.4) contradecir el contenido literal o explícito del enunciado, por ejemplo vía
humor o ironía, como en (8c) y (8d) respectivamente;
(A.5) añadir un sentimiento o emoción hacia el contenido del enunciado (a menudo
denominada actitud afectiva hacia el enunciado), como en (8e); y (A.6) reemplazar
elementos verbales dentro de un mensaje, como en (8f).

(8) a. No tengo tiempo de aburrirme, o leer :((

[‘lamento no tener tiempo para aburrirme o leer’].
b. Espero que siempre recuerdes mis clases de español :-)
c. [Texto comentando una foto de una tienda con el mismo nombre que la usuaria
destinataria]. No sabía que tuvieras una tienda en Alicante :)))))) Besos.
d. Qué vida más dura tienes!! xD [donde “x” remite a ojos cerrados y “D” remite a
una sonrisa amplia].
e. Sábado en casa :-)
[‘me alegro de pasar el sábado en casa’].
Suena genial!! Deseosa de verte! :-)
f. Nos [emoji de dos ojos] mañana?

GRUPO B: Emoji fuera (del texto, es decir, aislado o sin la función de modificar un texto
adyacente)
(B.1) El significado prototípico del emoji corresponde, sin demasiada distancia inter-
pretativa, a lo que el usuario desea comunicar con él, como en (9a);
(B.2) Comunicar una proposición completa, como en (9b); y
(B.3) Construir una historia (emojis en cadena);

(9) a. [El usuario A manda una foto de un termómetro que muestra una temperatu-ra muy
baja].
B: [emoji de sorpresa].
b. A: Nos vamos al cine?
B: [emoji de reloj]
[comunica ‘¿a qué hora quieres ir?’].

GRUPO C: Emoji más allá (del texto, es decir, calificando el acto comunicativo en su
conjunto, no el texto del mismo)
(C.1) Añadir colorido visual sin calificar el texto anexo de forma sustancial (se aña-de
para aportar colorido visual (especialmente en grupos de mensajería), como en (10a));

(C.2) Ayudar en la gestión de la conversación (manejo de turnos, indicar que se presta

atención, etc.), como en (10b), donde el emoji sirve para cerrar la conversación en curso;
 Los textos digitales y multimodales 335

(C.3) Añadir un sentimiento, emoción o actitud afectiva a todo el acto comunicativo en su

conjunto, como en (10c), donde el emoji en la respuesta de B califica todo el acto
comunicativo (‘B se alegra de informar a A de…’);
(C.4) Aumentar/reducir la fuerza (ilocutiva) de un acto de habla, como en (10d), don-de el
emoticono ayuda a suavizar el impacto del uso de un acto directivo en modo im-perativo;
y
(C.5) Connotar un acto comunicativo con una actitud de cortesía, como en (10e).

(10) a. Feliz cumpleaños!!! [emoji de tarta] [emoji de globo]. b.

B: Vale, hablamos el viernes si quieres.

A: Hablamos pronto [emoji de cara lanzando un beso].

c. A: que guapa!!! peazo fiestas que te pegas, no paras!!!!
B: La próxima t aviso a ver si te animas!!! [emoji de cara sonriente].
d. Deja de escribir sobre mi! Estás obsesionada! XDDDDDD. [la fuerza del impe-
rativo se ve suavizada por el emoticono].
e. Puedes hacer el informe por mi? [emoji de cara sonriente].

2 Los textos multimodales

2.1 Definición y tipología

Los mensajes cotidianos intercambiados a través de aplicaciones de mensajería ins-

tantánea exhiben una explícita cualidad multimodal, conviviendo el texto tecleado con
imágenes tomadas directamente desde la cámara del móvil, vídeos comentados, memes de
texto e imagen, enlaces de Twitter que también contienen texto e imagen, numerosos
emojis elegidos de las diferentes galerías, animaciones en formato GIF, etc., como se
observa en la conversación de la figura 3, donde emojis y texto se combi-nan en una
conversación claramente dinámica y amalgamada entre lo verbal y lo vi-sual.
336 Francisco Yus

Figura 3: Conversación entablada con texto y emojis

Esta multiplicidad semiótica nos indica la importancia de la multimodalidad en la co-

municación mediática actual, no circunscribiéndose, por supuesto, a la comunicación
digital, sino a otros medios como la publicidad, la televisión, la prensa, etc. Como co-
rrectamente señala Adami (2016), hoy en día la multimodalidad es la forma normal de
comunicación. Además, las formas potenciales de relación entre los modos discursi-vos se
van moldeando día a día conforme los usuarios de internet van generando con-tenidos para
otros usuarios y diferentes aplicaciones e interfaces van apareciendo pa-ra la gestión de
sus necesidades comunicativas.
Un texto puede definirse como multimodal cuando combina al menos dos siste-mas
semióticos que no son necesariamente dependientes el uno del otro (Dicerto 2018, 17),
como ocurre con la unión de texto e imagen, el texto verbal junto a la con-ducta no verbal,
etc. El término multimodal se refiere, por lo tanto, a la cualidad de discursos que
combinan varios sistemas sígnicos (modos) y cuya producción y recep-ción exigen de los
interlocutores interrelacionar de forma semántica y formal (e infe-rencial) todos los modos
presentes en ese discurso (Stöckl 2004, 9). Como campo de estudio, se centra en las
propiedades comunes y divergentes entre estos modos semió-ticos, o en la forma en que
estos se integran en discursos y acontecimientos comunica-tivos (van Leeuwen 22015,
447).
Varias disciplinas se han ocupado de la multimodalidad. Como apunta Jewitt (2017),
en sentido estricto la multimodalidad se refiere a un campo de aplicación, más que a una
teoría concreta, y durante los últimos años varias disciplinas y aproxima-ciones teóricas se
han ocupado de ella. Desde la psicología, se puede analizar cómo el lector o espectador
interpreta los diferentes modos o entender el impacto de un modo sobre otro. Teorías
sociológicas o antropológicas pueden analizar la multimodalidad centrándose en cómo las
comunidades usan convenciones para marcar y mantener identidades, etc.
 Los textos digitales y multimodales 337

Sin embargo, es la aproximación desde la lingüística la que más ha ahondado en el

análisis de la multimodalidad, sobre todo desde la orientación de corte sistémico-
funcional. En este sentido, destacan los estudios de Kress/van Leeuwen (1996; 2001). El
primero de ellos se ocupa de una gramática para cada uno de los modos semióticos
involucrados en el discurso multimodal, por ejemplo analizando una posible gramáti-ca
visual, si bien los discursos visuales no poseen la doble articulación que sí poseen las
lenguas (cf. Yus 1996 para un recorrido por diferentes propuestas de doble articu-lación
para la imagen). En cualquier caso, estos autores reconocen que el discurso vi-sual no
debería ser analizado en términos sintácticos o semánticos y no buscan simili-tudes entre
ambas «gramáticas», ya que para ellos cada sistema semiótico posee una organización
diferente y hay que ser cautos a la hora de establecer similitudes o sola-pamientos entre
estos sistemas. Sin embargo, como señalan Bezemer/Jewitt (22018), en la multimodalidad
la premisa es que existen diferencias entre los sistemas (o mo-dos) semióticos en lo que
respecta a las posibilidades que ofrecen para dar sentido, pero ello no implica que un
modo tenga más o menos potencial comunicativo que el otro. Por lo tanto, la
multimodalidad marca una desviación respecto a la oposición tradicional de la
comunicación entre verbal y no verbal, que sostiene que lo verbal es primario y que todos
los demás medios son comunicativamente inferiores en compa-ración.

En el segundo estudio, Kress/van Leeuwen (2001, 1s.) se proponen explorar los

principios comunes que subyacen en la comunicación multimodal, dejando de lado la idea
de que los diferentes modos en los textos multimodales poseen funciones clara-mente
delimitadas. Los autores analizan cada modo semiótico para establecer dife-rencias y
solapamientos entre los mismos.

2.2 Relaciones de medios en el discurso multimodal

Varios autores han propuesto tipologías de relaciones entre los diferentes sistemas se-
mióticos (modos) que forman para del discurso multimodal, por ejemplo respecto a
posibles relaciones entre texto e imagen en un discurso multimodal.
En este sentido, Barthes (1977) propone tres relaciones entre texto e imagen: (a)
ilustración, cuando el texto es el modo principal y la imagen lo interpreta para una au-
diencia concreta; (b) anclaje, cuando las imágenes poseen diferentes interpretaciones y
necesitan del texto para «anclar» su sentido; y (c) relevo, cuando no hay redundan-cia
entre texto e imagen, ya que ambos comunican su propio contenido, si bien ambos
dependen el uno del otro para comunicar la interpretación final deseada.
McCloud (1994), en el contexto concreto de los cómics, propone las siguientes re-
laciones: (a) específico de la palabra (word specific), donde las imágenes ilustran pero no
añaden significado importante a un texto ya completo; (b) específico de la imagen (picture
specific), donde la imagen es la dominante y el texto no añade contenido sig-nificativo a la
misma; (c) dual específico (duo specific), donde texto e imagen comuni-
338 Francisco Yus

can básicamente el mismo contenido; (d) aditivo (additive), donde las palabras ampli-fican
o elaboran el significado de la imagen o viceversa; (e) paralelismo (parallel), donde texto e
imagen proporcionan su propio contenido sin intersección entre ambos;
(f) montaje (montage), donde el texto se concibe como una parte integral de la ima-gen; y
(g) interdependiente (interdependent), donde el texto y la imagen comunican en su
conjunto un significado no obtenible del significado de cada modo por separado.
Una tercera propuesta es la de Martinec/Salway (2005). Como se resume en van
Leeuwen (22015), estos autores proponen cuatro tipos de relación: (a) Elaboración
(elaboration), en la que el texto «parafrasea», por así decirlo, a la imagen de algún modo
(parecido al «anclaje» de Barthes), o la imagen al texto (parecido a la «ilustra-ción» de
Barthes). Esta se divide en exposición (exposition), si la imagen y el texto es-tán al mismo
nivel; y ejemplificación (exemplification), si el texto está a un nivel más general que la
imagen o viceversa. (b) Extensión (extension), cuando un modo semió-tico posee más
relevancia que el otro (como en el «relevo» de Barthes), como ocurre en los textos que
acompañan a los cuadros de arte. (c) Realzamiento (enhancement), don-de el texto puede
añadir alguna información circunstancial a la imagen o viceversa.
(d) Proyección (projection), donde se establece una relación ente la imagen de un ha-
blante y sus palabras (cf. la figura 3 arriba, donde texto e imagen se mezclan en una
conversación de WhatsApp).

2.3 La metáfora multimodal

De las relaciones esbozadas en el epígrafe anterior, sin duda los casos más interesan-tes
son aquellos discursos multimodales en los que la interpretación final de los mis-mos no
puede obtenerse de la información aportada por cada uno de los sistemas se-mióticos
(modos) involucrados en el discurso multimodal tomada por separado, sino que es
necesaria la combinación de ambos para la interpretación correcta. Un ejemplo son
algunos memes de internet de la variedad imagen macro (que normalmente po-seen dos
enunciados textuales en la parte superior e inferior del meme y una imagen o fotografía en
la parte central), como en la figura 4, que pertenece a la serie de memes denominada First
World Problems (problemas del primer mundo), también conocida como White Whine
(quejas de blancos). En esta serie se describen las frustraciones ex-perimentadas por
personas privilegiadas en países ricos. Por lo general, se usan como una estrategia cómico-
irónica para enfatizar los triviales “inconvenientes” a los que se enfrentan los ricos.
 Los textos digitales y multimodales 339

Figura 4: Ejemplo de meme

A menudo, la imagen es redundante respecto al texto o viceversa, pero en otras oca-siones

texto e imagen han de combinarse para producir una interpretación nueva más allá de sus
interpretaciones parciales. En Yus (2019a) se analiza una serie de memes cuya imagen
central es siempre la misma: dos chicas juntas y riéndose, y esta imagen obliga a una
interpretación irónica de los textos que acompañan a dicha imagen, co-mo se observa en el
ejemplo que se muestra a continuación:

(11) Texto superior: Y entonces dije.

Imagen: Dos chicas riéndose, una susurra al oído de la otra el texto
del meme.
Texto inferior: Estaré lista en 5 minutos.

Sin duda, otro ejemplo de discurso multimodal donde los significados parciales de ca-da
medio han de combinarse para producir la interpretación pretendida es la metáfora
multimodal. En la metáfora, los significados literales comunicados no coinciden con los
pretendidos por el emisor, y el destinatario ha de realizar una transferencia (map-ping) de
algunos rasgos asociados al dominio fuente (source domain) y aplicarlos al dominio meta
(target domain). En el caso de una metáfora verbal como, por ejemplo, «No te preocupes,
a Ana le irá bien en el trabajo. Ella es un camaleón», donde el oyen-te ha de rastrear qué
rasgos del dominio fuente (camaleón) pueden ser transferidos al dominio meta (Ana).
340 Francisco Yus

Figura 5: Ejemplo de metáfora visual en un anuncio publicitario de neumáticos (de Abbott

Vickers/ SMS Ltd.)

En el caso de una metáfora visual o pictórica como la que se observa en la figura 5, el

espectador ha de rastrear qué rasgos del dominio fuente (flotador) son aplicables al
dominio meta (neumático).
Además, la selección de estos «rasgos transferibles» está influida por el contexto, de
forma que una misma metáfora puede comunicar interpretaciones diferentes en distintos
contextos.
Por ejemplo, en (12) y (13) se muestra la misma metáfora verbal, pero en dos con-
textos diferentes y por consiguiente con significados radicalmente diferentes.

(12) A: Te veo apagado, Antonio. Antes tenías planes y siempre estabas animado, pe-ro
ahora te veo apagado y desanimado.
B: Mi esposa es mi ancla.
(13) A: Qué bien te veo, Antonio. Antes estabas desorientado y desquiciado, pero ahora
te veo muy centrado y con muchos proyectos.
B: Mi esposa es mi ancla.

En el caso de la metáfora multimodal, esa transferencia (mapping) de rasgos también tiene

lugar, pero con sistemas semióticos (modos) diferentes. En Forceville (2006) se proponen
unos parámetros para el estudio de la metáfora multimodal, de entre los que destacamos:

(a) El orden en el que los dominios fuente y meta son presentados.

(b) El modo en el que dichos modos semióticos son presentados.
(c) El tiempo que exige procesar la metáfora.
(d) Familiaridad con el dominio fuente y selección de rasgos que pueden ser transfe-ridos
(mapped) al dominio meta.
(e) Verbalización de la metáfora multimodal, es decir, ha de ser posible expresar la
metáfora multimodal en el formato verbal «A es B».
 Los textos digitales y multimodales 341

Un caso prototípico de metáfora visual es aquella cuyos dominios son visual y verbal,
como ocurre en el cómic (Forceville 1996 la denominó metáfora verbo-pictórica). Otro
claro ejemplo es el uso de enunciados verbales y de la conducta no verbal en las con-
versaciones orales. En Tasić/Stamenković (2015) tenemos un ejemplo de análisis de
metáforas verbo-pictóricas en el cómic tomando como referencia la ya mencionada ta-
xonomía de relaciones propuesta por McCloud (1994). Estos autores proponen tres ca-
tegorías básicas:
(a) Aquellas metáforas multimodales en las que la imagen domina sobre el texto,
aunque el texto puede aportar matices a la información predominantemente comuni-cada
por la imagen, como ocurre en el ejemplo (14):

(14) Dos viñetas. En la primera viñeta se ve a un hombre andando cabizbajo y el texto

que acompaña a la imagen (la didascalia narrativa) dice «Él no miró hacia arri-ba».
En la segunda viñeta, se ve a un juguete robot-humano en la misma postura que el
hombre con una llave para darle cuerda pegada a la espalda. El texto que acompaña
a la imagen dice: «No habló con nadie, ir a alguna tienda o sonreír. No parecía ni
feliz ni triste».

En este ejemplo, se ve claramente qué metáfora se intenta comunicar (el personaje es un

robot), pero el texto ayuda a especificar más el sentido de las imágenes y la ulterior
metáfora comunicada.
(b) Aquellas metáforas multimodales en las que domina el texto, como en este
ejemplo:

(15) En una viñeta, se observa al villano Joker que le dice al superhéroe Batman: «No
importa dónde corras. El miedo te encontrará. Es innegable, imparable».

En este ejemplo, la metáfora «el miedo es una persona» es sobre todo comunicada de
forma verbal, pero la imagen del villano Joker acentúa la personificación metafórica del
mal.
(c) Aquellas metáforas multimodales donde texto e imagen se complementan de
forma más o menos equivalente, o bien porque la imagen y el texto comunican la mis-ma
metáfora, o bien porque texto e imagen han de colaborar para comunicar la metá-fora
multimodal deseada.
Respecto a las metáforas multimodales formadas por la conjunción de palabra y
conducta no verbal en la conversación, Müller/Cienki (2009) nos ofrecen un intere-sante
estudio con dos modalidades principales: aquellas metáforas donde el dominio fuente y
meta son iguales en ambos modos semióticos (palabra y conducta no verbal), y aquellas en
las que el dominio fuente y el dominio meta no coinciden. La primera modalidad se
ejemplifica en (16), donde la metáfora «mi relación es algo pegajoso» se expresa tanto
verbalmente como a través del movimiento de las manos. La segunda se ejemplifica en
(17), donde el dominio meta es solo expresado verbalmente (pensa-
342 Francisco Yus

miento sobre honestidad), mientras que el dominio fuente se expresa de forma no ver-bal
(movimiento de las manos).

(16) [Con las palmas de las manos tocándose una a la otra repetidamente] «Así que me di
cuenta de que esto [mi relación amorosa] es algo bastante intenso o pega-joso».

(17) [Poniendo las manos una cerca de la otra, como si cogieran un balón] «Por lo que
respecta a un pensamiento abstracto sobre la honestidad, este es...»

Finalmente, señalar que en Yus (2009) se hace una propuesta unitaria para el análisis de
metáforas verbales, visuales y multimodales. En toda interpretación, hay dos fases
esenciales: la descodificación y la inferencia. La primera de ellas es solo un paso ini-cial
no ligado al contexto, en la que se identifican los constituyentes del mensaje y se establece
una primera interpretación esquemática. En la segunda fase, inferencia, esa primera
interpretación es enriquecida según el contexto, de forma que la interpre-tación final
siempre difiere, de una forma más o menos notoria, de esa interpretación inicial
esquemática. Esta fase se ejerce a nivel conceptual, por lo que básicamente el formato del
texto (verbal, visual, multimodal) ya no conlleva diferencias drásticas en la interpretación
final inferida.
Aplicado al estudio de la metáfora verbal-visual-multimodal, tendríamos formas
diferentes de descodificación, ya que el texto no se descodifica de la misma manera que la
imagen, pero coinciden en el resultado de esa fase, que en ambos casos se tra-ta de
interpretaciones iniciales esquemáticas y desligadas del contexto. En el caso concreto de la
imagen, el espectador empareja la imagen con su referente mental prototípico y, además,
lleva a cabo una tarea inferencial de determinación de la sin-taxis visual de esa imagen en
relación con otras imágenes adyacentes, de nuevo con-trastándola con los esquemas
mentales ya almacenados en la mente del espectador. En el caso de la metáfora visual o
multimodal, a menudo hay alguna anomalía en esa sintaxis visual (por ejemplo, elementos
visuales unidos que normalmente no aparecerían de esa forma). Esta anomalía realiza la
función de señalador (pointer), indicando al espectador que no ha de detenerse
simplemente en la descodificación de las imágenes y ha de pasar a unas fases inferenciales
más conscientes y persona-les.

En la primera de estas fases inferenciales, llamada interfaz visual-conceptual (vi-sual-

conceptual interface), el espectador formula hipótesis acerca de posibles conexio-nes entre
las imágenes descodificadas y sus referentes directos, específicamente de-terminando:

(a) Los dos dominios que están relacionados en la metáfora visual o multimodal y
etiquetarlos como fuente y meta.
(b) Si las imágenes, tal y como son usadas en la metáfora, coinciden con sus refe-
rentes prototípicos o exigen una elaboración inferencial suplementaria, como ocurre
cuando las imágenes remiten metonímicamente a los referentes que realmente for-
 Los textos digitales y multimodales 343

man parte de la metáfora visual. Por ejemplo, en una viñeta de El Roto analizada en Yus
(2009), se ve una jeringuilla cuya aguja ha sido sustituida por una torre de televi-sión. En
este caso, sería un error decir que la metáfora visual es «La aguja es una torre de
televisión» o «La jeringuilla es una torre de televisión», si tomamos como válidos los
referentes directos de las imágenes. En realidad, la jeringuilla actúa metonímica-mente
respecto a las drogas en general, y la torre de televisión actúa metonímicamen-te respecto
a la televisión en general, generándose de este modo la metáfora pretendi-da por El Roto,
esto es, «La televisión es una droga».
(c) Qué tipo de relación existe entre los referentes de las imágenes y si alguno de ellos
(que ejerce de dominio fuente o meta) está ausente.
Tras esta fase, entramos en una fase inferencial en la que el espectador comprue-ba la
validez de las hipótesis interpretativas planteadas en la fase anterior, eligiendo rasgos
asociados al dominio fuente y aplicándolos (mapping) al dominio meta. En el ejemplo que
nos ocupa, la interpretación finalmente inferida es que «la televisión es una droga», donde
los referentes directos de las imágenes han sido «ampliados» infe-rencialmente para
obtener una interpretación metafórica adecuada.

3 Bibliografía
Adami, Elisabetta (2016), Multimodality, in: Ofelia Garcia/Nelson Flores/Massimiliano Spotti
(edd.), Oxford Handbook of Language and Society, Oxford, Oxford University Press, 451–472.
Barthes, Roland (1977), Image, Music, Text, London, Fontana.
Bezemer, Jeff/Jewitt, Carey (22018), Multimodality. A Guide for Linguists, in: Lia Litosseliti
(ed.), Research Methods in Linguistics, London, Continuum, 180–197.
Carr, Nicholas (2010), The Shallows. What the Internet is Doing to Our Brains, New York, Norton.
Dicerto, Sara (2018), Multimodal Pragmatics and Translation. A New Model for Source Text Analysis,
Cham, Palgrave Macmillan.
Elola, Joseba (2008), El tam-tam de los «nativos digitales», El País 21-12-2008, 36–37. Fernández
Serrato, Juan Carlos (2011), Imagen hipertextual, identidades problemáticas, Signa 20,
183–199.
Forceville, Charles (1996), Pictorial Metaphor in Advertising, London, Routledge.
Forceville, Charles (2006), A Course in Pictorial and Multimodal Metaphor, Semiotics Institute Online,
Toronto, E.J. Pratt Library/Victoria College. [Link]
modal-metaphor/ (consultado el 20/02/2020).
Grau, Abel (2008), Internet cambia la forma de leer... ¿y de pensar?, El País 10-10-2008, 30–31. Jewitt,
Carey (2017), Multimodal Discourses across the Curriculum, in: Steve May (ed.), Encyclopedia
of Language and Education, vol. 10, Berlin, Springer, 31–43.
Kress, Gunther/van Leeuwen, Theo (1996), Reading Images. The Grammar of Visual Design,
London, Routledge.
Kress, Gunther/van Leeuwen, Theo (2001), Multimodal Discourse: The Modes and Media of
Contem-porary Communication, London, Arnold.
Martinec, Radan/Salway, Andrew (2005), A system for image-text relations in new (and old) media,
Visual Communication 4/3, 337–372.
McCloud, Scott (1994), Understanding Comics. The Invisible Art, New York, Harper Collins.
 344 Francisco Yus

Müller, Cornelia/Cienki, Alan (2009), Words, Gestures, and Beyond. Forms of Multimodal Metaphor in
the use of Spoken Language, in: Charles Forceville/Eduardo Uriós-Aparisi (edd.), Multimodal
Metaphor, Berlin/New York, Mouton de Gruyter, 297–328.
Santini, Marina/Mehler, Alexander/Sharoff, Serge (2010), Riding the Rough Waves of Genre on
the Web. Concepts and Research Questions, in: Alexander Mehler/Serge Sharoff/Marina
Santini (edd.), Genres on the Web. Computational Models and Empirical Studies, Berlin,
Springer, 3–30.
Shepherd, Michael/Watters, Carolyn (1998), The Evolution of Cybergenres. Proceedings of the 31st
Annual Hawaii International Conference on System Sciences, Hawaii, IEEE Computer Society
Press.
Sperber, Dan/Wilson, Deirdre (21995), Relevance. Communication and Cognition, Oxford, Blackwell.
Stöckl, Hartmut (2004), In between Modes. Language and Image in Printed Media, in: Elija Ventola/ Cassily
Charles/Martin Kaltenbacher (edd.), Perspectives on Multimodality, Amsterdam/Phila-
delphia, Benjamins, 9–30.
Swales, John (1990), Genre Analysis, Cambridge, Cambridge University Press.
Tasić, Miloš/Stamenković, Dušan (2015), The Interplay of Words and Images in Expressing
Multimodal Metaphors in Comics, Procedia 212, 117–122.
Van Leeuwen, Theo (22015), Multimodality, in: Deborah Tannen/Heidi E. Hamilton/Deborah
Schiffrin (edd.), The Handbook of Discourse Analysis, Chichester, Wiley-Blackwell, 447–466.
Yates, JoAnne/Orlikowski, Wanda (2002), Genre systems. Structuring interaction through communi-
cative norms, Journal of Business Communication 39/1, 13–35.
Yus, Francisco (1996), Iconicidad y doble articulación. Dos proyectos infructuosos de la semiótica
respecto al arte, in: José Luis Caramés/Carmen Escobedo/Jorge Luis Bueno (edd.), La
interdisci-plinariedad en el discurso artístico: ¿Realidad o utopía?, vol. 2, Oviedo, Universidad de
Oviedo, 435–458.
Yus, Francisco (2001), Ciberpragmática. El uso del lenguaje en Internet, Barcelona, Ariel.
Yus, Francisco (2005), Attitudes and emotions through written text. The case of textual deformation in
Internet chat rooms, Pragmalingüística 13, 147–174.
Yus, Francisco (2009), Visual Metaphor versus Verbal Metaphor. A Unified Account, in: Charles
Force-ville/Eduardo Uriós-Aparisi (edd.), Multimodal Metaphor, Berlin/New York, Mouton de
Gruyter, 145–172.
Yus, Francisco (2010), Ciberpragmática 2.0. Nuevos usos del lenguaje en Internet, Barcelona, Ariel.
Yus, Francisco (2011), Cyberpragmatics, Amsterdam/Philadelphia, Benjamins.
Yus, Francisco (2014a), El discurso de las identidades en línea. El caso de Facebook, Discurso &
Sociedad 8/3, 398–426.
Yus, Francisco (2014b), Not all emoticons are created equal, Linguagem em (Dis)curso 14/3, 511–529.
Yus, Francisco (2015), The Role of Cognition and Relevance in New Digital Narratives, in: Elena Carpi
(ed.), Prospettive multilingue e interdisciplinari nel discorso specialistico, Pisa, Pisa University
Press, 81–107.
Yus, Francisco (2019a), Multimodality in Memes. A Cyberpragmatic Approach, in: Patricia Bou-
Franch/ Pilar Garcés-Conejos Blitvich (edd.), Analyzing Digital Discourse. New Insights and
Future Direc-tions, Cham, Palgrave Macmillan, 105–131.
Yus, Francisco (2019b), Pragmática del emoji. Dentro, fuera y más allá, conferencia impartida en las
III Jornadas «En torno a la comunicación digital: Interacción, turismo y discurso político»,
Segovia, Universidad de Valladolid.

View publication stats