Will BrainstormingUndMindMappingMultiDevice
Will BrainstormingUndMindMappingMultiDevice
Inhaltsverzeichnis
Abbildungsverzeichnis.........................................................................................................v
Abkürzungsverzeichnis........................................................................................................x
1 Einleitung..............................................................................................................................1
5 Anwendungskonzept.......................................................................................................82
5.1 Anforderungsbeschreibung................................................................................................. 83
5.1.1 Aufgabenanalyse........................................................................................................... 83
5.1.2 Funktionale Anforderungen......................................................................................84
5.2 Implementierungskonzept................................................................................................. 85
5.3 Designziele und Lösungsansätze....................................................................................... 88
5.3.1 Screenkonzept............................................................................................................... 88
5.3.2 Gestenalphabet............................................................................................................. 89
5.3.3 Benutzerschnittstellengestaltung ............................................................................92
5.4 Erweiterungsmöglichkeiten...............................................................................................96
5.5 Anwendungsskizzen und Papierprototyp .......................................................................99
5.5.1 Papierprototyp Tabletop.............................................................................................99
5.5.2 Skizzen Smartphone................................................................................................. 104
6 Implementierung............................................................................................................106
6.1 Technische Grundlagen...................................................................................................... 106
6.2 Anwendungsstruktur......................................................................................................... 110
6.2.1 Architekturmodell...................................................................................................... 110
6.2.2 Paket- und Klassenstruktur......................................................................................113
6.3 Konzeptänderungen und Probleme im Laufe der Implementierung........................138
7 Diskussion........................................................................................................................142
7.1 Erste Erfahrungen aus dem Testbetrieb..........................................................................142
7.2 Ausblick................................................................................................................................ 145
8 Fazit....................................................................................................................................147
Anhang.................................................................................................................................149
Literaturverzeichnis..............................................................................................................I
Abbildungsverzeichnis v
Abbildungsverzeichnis
Abbildung 1: Modell des kreativen Problemlösungsprozesses nach Tassoul und Buijs (Van
Boeijen & Daalhuizen 2010).............................................................................................................. 5
Abbildung 4: Benutzeroberfläche (Morris 2008) und Aufbau (Xerox 2011) des 1991 von
Wellner entwickelten DigitalDesk................................................................................................... 21
Abbildung 5: Benutzeroberfläche des metaDESK mit der Anwendung Tangible Geospace (Ull
mer 2002, S. 75)................................................................................................................................. 22
Abbildung 6: Erster Prototyp des InteracTable 1998 (Müller-Tomfelde & Fjeld 2010, S. 8)
und i-LAND-Roomware-Komponenten der zweiten Generation 1999 (Prante, Streitz &
Tandler 2004, S. 48).......................................................................................................................... 23
Abbildung 8: Schematischer Aufbau der Frustrated Total Internal Reflection (FTIR) Technik
(Roth 2008)......................................................................................................................................... 26
Abbildung 9: Schematischer Aufbau der Diffused Illumination (DI) Technik (Roth 2008).....26
Abbildung 10: Produktbild (Microsoft 2008) und schematischer Aufbau des Microsoft Sur
face (Tzounopoulos 2007): 1) Bildschirm 2) Infrarotquelle 3) CPU 4) Projektor ...................27
Abbildung 11: Schematischer Aufbau des FLATIR-Prototyps – Kombination von FTIR, LC-
Matrix und Infrarot-Sensoren (Hofer, Naeff & Kunz 2009, S. 319).........................................28
Abbildung 14: Abweichung zwischen Zielpunkt und erfasstem Berührungspunkt bei Ele
mentauswahl. a) Tatsächlicher Zielpunkt, b) Finger, c) Kontaktfläche, d) Erkannter Berüh
rungspunkt (Holz & Baudisch 2011, S. 2502)................................................................................38
Abbildung 15: Zustandsmodelle für Eingabe via Maus (3-stufig, links) und Touch-Interak
tion (2-stufig, rechts) (Benko & Wigdor 2010, S. 252 f.; adaptiert aus Buxton 1990)............41
Abbildung 16: Anteil der Übereinstimmung bei benutzergenerierten Gesten für 27 unter
schiedliche Aktionen am Tabletop in Prozent (Wobbrock, Morris & Wilson 2009 S. 1088)
.............................................................................................................................................................. 47
Abbildung 18: Stacked Half-Pie-Menü (o.l., Hesselmann, Flöring & Schmitt 2009, S. 173),
User Drawn Path-Menü (o.r., Leithinger & Haller 2007, S. 122), Multitouch Marker-Menü (u.l.,
Lepinski, Grossmann & Fitzmaurice 2010b) und globales Ring-Menü (u.r., Kammer, La
mack & Grohl 2010, S. 260)............................................................................................................. 53
Abbildung 19: Tangible Interaction am Tabletop am Beispiel des reacTable (Boldrin 2011)......55
Abbildung 20: Aufteilung in individuell, gemeinsam und zur Ablage genutzte Arbeitsbe
reiche beim kollaborativen Arbeiten an einem traditionellen Tisch (Habelski 2004, S. 24)
.............................................................................................................................................................. 57
Abbildung 21: Handgesten zur Schaffung von privaten Räumen zur Aus- (Wu & Balakris
hnan 2003, S. 199) und Eingabe (Kim et al. 2010, S. 1096) sensibler Informationen am
Tabletop.............................................................................................................................................. 59
Abbildung 23: BeachMap an der DynaWall (Prante, Magerkurth & Streitz 2002, S. 112) und
BrainStorm an Tabletop und Whiteboard (Hilliges et al. 2007, S. 140).....................................65
Abbildungsverzeichnis vii
Abbildung 25: Flexible Positionierung und Ausrichtung von Ideen bei WordPlay (Hunter &
Maes 2008, S. 2) und am cgTable (Meixner 2008).........................................................................68
Abbildung 26: Ideengenerierung und -strukturierung mit hybriden Medien und Tangibles
am AffinityTable (Geyer et al. 2011, S. 480).....................................................................................69
Abbildung 27: Iterative Projektschritte beim Wasserfallmodell (nach Royce 1987, S. 330).
.............................................................................................................................................................. 82
Abbildung 29: Visualisierung von Designideen für die Tabletop-Anwendung in Form ei
nes maßstabsgetreuen Papierprototyps.......................................................................................99
Abbildung 30: Skizzen zur Visualisierung von Ideen und Relationen auf dem Tabletop:
erste Ideen, 55 x 55 mm, 85 x 40 mm und 90 x 60 mm (links, v.o.n.u.) und finale Skizze 70 x
50 mm (rechts)................................................................................................................................. 100
Abbildung 31: Skizzen zur Visualisierung der Menüs am Tabletop: Allgemeines Funk
tionsmenü, Ø 80mm (links) und Fenstermenü, Ø 60mm (rechts)..........................................101
Abbildung 33: Skizzen zur Visualisierung des Laden- bzw. Bluetooth-Overlay (am Table
top: erste Idee für das Lade-Overlay, 125 x 95 mm (links), finale Skizze Bluetooth/Lade-
Overlay, 130 x 100 mm (rechts).................................................................................................... 103
Abbildung 34: Skizzen zur Visualisierung des Hilfe-Overlays am Tabletop: erste Idee, 140
x 110 mm (links) und finale Darstellung, 160 x 100 mm (rechts)............................................103
Abbildung 35: Skizzen zur Visualisierung von Ideen für die Benutzerschnittstelle am An
droid Smartphone: Tab-Layout mit Activity ‚Transfer‘ (links), Activity ‚Ideenverwaltung‘
(mittig) und Activity ‚Bluetooth‘ (rechts).....................................................................................104
Abbildung 41: Auszug aus dem UML-Klassendiagramm des Pakets model mit Verer
bungs- und Kompositionsbeziehungen.......................................................................................115
Abbildung 42: Auszug aus dem UML-Klassendiagramm des Pakets btServer mit Kompo
sitionsbeziehungen.......................................................................................................................... 117
Abbildung 43: Arbeitsfläche der Szene MindMapScene am Tabletop während einer Brain
storming/Mind-Mapping Sitzung................................................................................................ 119
Abbildung 45: Unistroke-Gesten zur Erstellung von Relationen (Pfeilgeste) und Löschen
von Ideen und Relationen (X-Geste)........................................................................................... 120
Abbildung 46: Feedback bei der Erkennung von Unistroke-Gesten: a) Rot – Geste nicht er
kannt, b) Grün – Geste erkannt, Aktion erfolgt c) Gelb - Geste erkannt, jedoch keine Ak
tion möglich (hier: bereits Elternknoten vorhanden)...............................................................121
Abbildung 47: Auszug aus dem UML-Klassendiagramm des Pakets view um die Klasse
IdeaNodeView.................................................................................................................................. 123
Abbildung 48: Auszug aus dem UML-Klassendiagramm des Pakets view um die Klassen
WindowMenu und MainMenu........................................................................................................... 124
Abbildung 49: Kreisförmige Menüs für grundlegende Funktionen (links) und Fensterak
tionen (rechts).................................................................................................................................. 125
Abbildung 50: Auszug aus dem UML-Klassendiagramm des Pakets view um die Overlay-
Klassen.............................................................................................................................................. 126
Abbildungsverzeichnis ix
Abbildung 51: Overlays zum Speichern der aktuellen Arbeitsoberfläche (links) und zum
Laden einer zuvor gespeicherter Ideensammlung (rechts).....................................................127
Abbildung 52: Hilfe-Overlay mit Erläuterung und grafischer Darstellung der möglichen
Gesten (links, Originalgrafiken bereitgestellt von [Link]) sowie Bluetooth-
Overlay zur Anzeige der aktuellen Bluetoothverbindungen und eines Links zur Smart
phone-Applikation als QR-Code und Text (rechts)..................................................................128
Abbildung 54: Auszug aus dem UML-Klassendiagramm des Pakets view um die Status
MessageDialog-Klassen................................................................................................................. 130
Abbildung 56: Auszug aus dem UML-Klassendiagramm der Android-Applikation des Mul
ti/Touch/Device MindMappers........................................................................................................... 132
Abbildung 57: Screenshots der IdeaCreationActivity: Eingabe einer neuen Idee (links)
und Ansicht ohne virtuelle Tastatur (rechts).............................................................................134
Abbildung 58: Screenshots der TransferActivity: Normale Ansicht (links) und Transfer
einer Idee über Drag and Drop auf einen bestimmten Bereich (rechts). ................................134
Abbildung 61: Stilisierte Grafik des Tabletops zur Kennzeichnung des Transferbereichs
bei der Smartphone-Anwendung: erste Version (links) und überarbeitete Version (rechts)
............................................................................................................................................................ 144
Abkürzungsverzeichnis x
Abkürzungsverzeichnis
Englisch Deutsch
API Application Programming Interface Programmierschnittstelle
CPS Creative Problem Solving Kreative Problemlösung
CSCW Computer Supported Cooperative Rechnergestützte Gruppenarbeit
Work / Computer Supported Collabo
rative Work
DI Diffused Illumination diffuse Beleuchtung
EMS Electronic Meeting System Elektronisches Meetingsystem
FTIR Frustrated Total Internal Reflection verhinderte Totalreflexion
GSS Group Support System Gruppenunterstützendes System
GUI Graphical User Interface Grafische Benutzerschnittstelle
HCI Human Computer Interaction Mensch-Computer-Interaktion
HD High Definition hochauflösend
LCD Liquid Crystal Display Flüssigkristallbildschirm
MDE Multi Display Environment
MVC Model View Controller
OLED Organic Light Emitting Diode Organische Leuchtdiode
PIN Personal Identification Number Persönliche Identifikationsnum
mer
QR Quick Response Code
Code
SDG Single Display Groupware
SDK Software Development Kit
SVG Scalable Vektor Graphics Skalierbare Vektorgrafiken
TUI Tangible User Interfaces Tangible Benutzerschnittstellen
UTF Universal Character Set Transforma
tion Format
XGA Extended Graphics Array
Abkürzungsverzeichnis xi
1 Einleitung
Am Anfang einer jeden Innovation, eines neuen Produkts oder einer Dienstleis
tung steht eine Idee. Die Generierung einzigartiger, neuer Gedanken ist essentiel
ler Bestandteil unserer Lebenswelt und Voraussetzung für Fortschritt jeglicher
Art, sei es in Wirtschaft, Politik, Forschung und Bildung oder in anderen kulturel
len Bereichen. Zur Anregung der Kreativität bei der Ideenfindung werden, insbe
sondere im Kontext von Firmen und Organisationen, unterschiedlichste Metho
den verwendet, so etwa Brainstorming und Mind-Mapping. Die elektronische
Unterstützung solcher Kreativitätstechniken steht bereits seit mehreren Jahr
zehnten im Interesse der Forschung. Dort hat sich gezeigt, dass der Einsatz von
Rechnertechnik Einfluss auf die Effektivität bei der Arbeit in Gruppen haben
kann. So können sogenannte Gruppenunterstützende Systeme (GSS) beispielsweise
Produktionsblockaden (production blocking), die durch die lineare Abfolge bei der
verbalen Äußerung von Ideen beim klassischen Brainstorming auftreten, durch
die Möglichkeit der parallelen Kommunikation verhindern helfen. Findet jedoch
dabei die Arbeit an individuellen Arbeitsstationen statt, wird wiederum die für
die Kollaboration so wichtige Face-to-Face-Kommunikation und das Bewusstsein
um die Aktionen anderer Gruppenteilnehmer, auch (Group) Awareness genannt,
gefährdet. An dieser Stelle zeigt sich das Potential von Tabletopsystemen. In den
letzten Jahren zunehmend ins Interesse der Forschung gerückt, ermöglichen in
teraktive Tische durch ihre großflächigen, in der Regel horizontal ausgerichteten,
berührungsempfindlichen Oberflächen die Unterstützung von kollaborativen Ar
beitsaufgaben. Aktuelle Modelle erlauben das gleichzeitige Interagieren mit An
wendungen über Touch-Gesten oder auch Tangibles (getaggte physikalische Ob
jekte), wobei durch die dabei stattfindende direkte Manipulation von
Bildschirmelementen die Handlungen der anderen Gruppenteilnehmer im Sinne
der Group Awareness in der Regel auch immer unmittelbar sichtbar sind.
Dieser Aspekt kann jedoch, je nach Zusammensetzung einer Gruppe, auch ne
gativen Einfluss auf die Produktivität einzelner Gruppenteilnehmer haben, bei
spielsweise, weil diese befürchten, dass sie von anderen Personen negativ bewer
tet werden und deshalb ihre Handlungen direkt am Tabletop reduzieren
(evaluation apprehension). Ein zentrales Problem stellt darüber hinaus immer noch
die Eingabe von Texten an interaktiven Tischen dar. In der Regel erfolgt diese
über virtuelle Tastaturen, welche durch die glatte Oberfläche des Tisches weder
den ergonomischen Komfort noch das haptische Feedback traditioneller Hard
ware-Tastaturen bieten können und somit insbesondere für textintensive Aufga
1 Einleitung 2
benstellungen nur eingeschränkt geeignet sind. Die Ergänzung einer solchen An
wendung um externe Geräte wie Smartphones, für welche im Gegensatz zu
Tabletops relativ einfach taktiles Feedback in Form von Vibration und personali
sierte Texteingabemethoden umgesetzt werden können, kann diesbezüglich eine
alternative Herangehensweise darstellen. In Bezug auf die Angst vor Bewertung
können externe Geräte zudem private Räume schaffen, in denen Benutzer unge
stört arbeiten können. Damit in Zusammenhang steht ein weiterer Aspekt, der
für die kollaborative Arbeit von hoher Relevanz ist: die Unterstützung von Grup
penarbeit (teamwork) und Individualarbeit (taskwork). Während Tabletops durch
die gemeinsam genutzte Arbeitsfläche in der Regel eingesetzt werden, um die
Gruppenarbeit zu fördern, sind Aufgaben, die einzelne Gruppenteilnehmer zur
Erreichung des Gruppenziels alleine durchführen, gegebenenfalls nur einge
schränkt am Tabletop möglich – man denke hier nur an die Anzeige weiterer Me
dien, wie digitaler Dokumente oder Bilder, welche Teilnehmer möglicherweise
im Rahmen einer Brainstormingsitzung zur Anregung von neuen Ideen heran
ziehen wollen, was auf einem Tabletop wertvollen Platz in Anspruch nehmen
würde und gegebenenfalls gar den Arbeitsprozess der anderen Benutzer stören
könnte. Der Einsatz von Smartphones kann somit an dieser Stelle zum Ziel ha
ben, Gruppen- und Individualarbeit in einem Brainstorming / Mind-Mapping-
Szenario gleichermaßen zu unterstützen. Aufbauend auf dieser Motivation und
bisherigen Kenntnissen zur Umsetzung von Benutzerschnittstellen an Tabletops
dokumentiert diese Arbeit die Konzeption und Implementierung der Anwendung
Multi/Touch/Device MindMapper zur elektronischen Unterstützung von Brainstor
ming und Mind-Mapping durch einen Tabletop und mehrere Smartphones.
Zielsetzung dieser Arbeit ist schließlich die Konzeption und prototypische
Umsetzung (proof of concept) einer multitouchfähigen Anwendung für den Table
top, mit Hilfe derer Ideen beispielsweise während Brainstorming-Meetings fest
gehalten und zusätzlich in Form von Mind-Maps strukturiert werden können.
Die Ideenerstellung wird dabei sowohl über den Multi-Touch-Tisch als auch über
Smartphones, welche via Bluetooth mit dem Tisch verbunden sind, möglich sein.
Um den kollaborativen Aspekt der Aufgabe nicht zu sehr in den Hintergrund zu
rücken, wird im Rahmen der Arbeit zunächst lediglich die Ideenerstellung über
die externen Geräte möglich sein, welche neben dem zusätzlichen Eingabekanal
primär zur Unterstützung von Individualarbeit dienen. Das Strukturieren der
Ideen zu Mind-Maps wird kollaborativ am Tisch erfolgen. Neben der prototypi
schen Umsetzung dieser Anwendung soll die Arbeit jedoch auch einen Überblick
über aktuelle Forschungs- und Problemfelder leisten, die für die Entwicklung von
1 Einleitung 3
Brainstorming dazu beitragen, eine große Anzahl von Ideen zu generieren. Dieser
unstrukturierten Sammlung von Ideen folgt schließlich b) eine Phase der Ord
nung und Strukturierung. Ziel dieses Subprozesses ist es, Gemeinsamkeiten
und/oder Zusammenhänge zwischen den einzelnen Ideen aufzuspüren und
sichtbar zu machen (inventorying, clustering, ordering).4
Dies kann durch die Bildung von Ähnlichkeitsmengen oder auch durch Verbin
dungen zwischen einzelnen Ideen geschehen. Das Mind-Mapping, welches aus
gehend von einer zentralen Idee Assoziationsstrukturen aufbaut und visualisiert,
umfasst somit sowohl die Phase der Ideengenerierung als auch die der Ideen
strukturierung, da gleichzeitig Ideen generiert und organisiert werden. Schließ
lich wird die Ideengenerierungsphase durch c) die Bewertung der gesammelten
Ideen und die Selektion jener als qualitativ überlegen erachteten Ideen, die zur
Lösung des Problems beitragen sollen, abgeschlossen (synthesis, selection). 5
Spätestens seit den 1980er Jahren befasst sich ein spezielles Forschungsgebiet
mit der Möglichkeit der Unterstützung derartiger Prozesse durch elektronische
Werkzeuge. Bei der daraus entstandenen Disziplin der Computer Supported Coopera
tive Work (CSCW) handelt es sich
um einen multidisziplinären Forschungsbereich, der sich mit dem Verste
hen sozialer Interaktion sowie der Gestaltung, Implementation und Evaluie
rung von technischen Systemen zur Unterstützung sozialer Interaktion be
schäftigt.6
Brainstorming
Brainstorming ist eine der bekanntesten und am häufigsten genutzten Kreativi
tätstechniken. Ziel dieser Methode, welche erstmals 1939 von dem in der Werbe
branche tätigen Alex F. Osborn definiert wurde, ist es, während einer Sitzung so
viele Ideen wie nur möglich zu generieren. Um dies zu ermöglichen, sind Kritik
und Selektion von Ideen während des Brainstorming nicht erwünscht. Die Teil
nehmer werden vielmehr dazu angehalten, alle Ideen spontan zu verbalisieren,
ohne dabei auf deren vermeintliche Qualität zu achten. 11 Demnach umfasst das
Brainstorming nach Osborn folgende vier Grundregeln:12
1. Kritik ist ausgeschlossen und sollte erst nach der Sitzung geübt
werden.
Mind-Mapping
Beim Mind-Mapping handelt es sich um eine Visualisierungstechnik, bei der,
ausgehend von einer zentralen Idee, Assoziationen in einer radialen Struktur
dargestellt werden. Dabei kann es sich um freie Assoziationen zu den jeweiligen
Begriffen handeln (siehe Abbildung 2); hierarchische Strukturen – mit der zen
tralen Idee als Oberbegriff und davon ausgehend Abzweigungen mit spezifische
ren Ideen oder Teil-Ganzes Beziehungen – sind jedoch als Sonderform des Mind-
Mapping ebenfalls denkbar. Bei der Bildung solcher semantischer Netze spricht
man auch von Konzept-Mapping.15 Es wird empfohlen, unterschiedliche Farben
und Linienstärken zur weiteren Organisation der Mind-Map zu verwenden. Skiz
zen oder Bilder können ebenfalls eingesetzt werden, um die visuelle Komponente
der Mind-Map zu verstärken.16
Mind-Mapping wurde erstmals 1974 von Tony Buzan im Rahmen seines Buches
Use Your Head zu Lern- und Gedächtnistechniken vorgestellt. Es kann einerseits
als Technik zur kreativen Ideenfindung angewandt werden, bei der durch (ver
schriftlichtes) Brainstorming und das spontane Bilden von Assoziationen Ideen
und deren Beziehungen zueinander kreativ erschlossen werden. Andererseits
wird Mind-Mapping auch zur Analyse und Strukturierung von Wissen sowie in
Lehr- und Lernsituationen eingesetzt, beispielsweise beim Schreiben von Noti
zen während Lehrveranstaltungen, als visuelle Zusammenfassung von Texten
17 Vgl. Buzan & Buzan (2005, S. 15), vgl. Svantesson (2001, S. 13), vgl. Mandl & Fischer (2000, S. 6 f.)
18 Vgl. Mandl & Fischer (2000, S. 7 f.).
19 Vgl. Buzan & Buzan (2005, S. 46 ff., S. 59 ff.).
20 Vgl. Paivio (1979, S. 207 ff.).
21 Vgl. Paivio (1979, S. 207 ff., S. 503 ff.)
22 Vgl. Davies (2011, S. 280).
23 Vgl. Isaksen (1998, S. 5 ff.), vgl. Paulus & Yang (2009, S. 77), vgl. Taylor, Berry & Block (1958).
24 Vgl. Isaksen (1998, S. 12 f.).
2 Brainstorming und Mind-Mapping im Kontext der CSCW 10
Als grundlegender Einflussfaktor auf die Produktivität ist somit neben der Struk
tur des Brainstorming insbesondere die Zusammensetzung der Gruppe zu nen
nen, beispielsweise die Anzahl der Teilnehmer, die Expertise der einzelnen Mit
glieder, deren Bekanntheits- und Vertrautheitsgrad untereinander oder auch die
Ausprägung von Hierarchien innerhalb der Gruppe. 31 Bei großen Unterschieden
bezüglich der fachlichen Kompetenz der Teilnehmer sind ebenso wie in Gruppen,
deren Teilnehmer sich wenig bis gar nicht kennen, höhere Verluste durch die zu
vor beschrieben sozialpsychologischen Mechanismen zu beobachten. 32 Zudem
kann davon ausgegangen werden, dass mit steigender Teilnehmeranzahl, insbe
sondere beim klassischen Brainstorming, auch die Wahrscheinlichkeit steigt,
dass Produktionsblockaden auftreten.33
Neben diesen Faktoren, die häufig als Argumente gegen die Effektivität von
Gruppenarbeit und speziell Brainstorming in der Gruppe angeführt werden,
kann jedoch ebenso angenommen werden, dass das dabei stattfindende Teilen ei
ner in der Regel großen Anzahl von Ideen in einem kollaborativen Szenario ko
gnitiv stimulierend wirkt und in Kombination mit sozialer Interaktion und Dis
kussion neue Assoziationen und Ideen produzieren kann, die außerhalb des
Gruppenkontextes so nicht entstanden wären.34
Darüber hinaus zeigen zahlreiche Studien, dass das Brainstorming restrikti
veren Kreativitätstechniken, welche beispielsweise eine Selektion der Ideen be
reits während deren Generation vorsehen, in Bezug auf Quantität und Qualität
von Ideen überlegen ist.35 Für den Erfolg der Technik ist jedoch die Einhaltung der
Regeln des Brainstorming essentiell – insbesondere der Führung der Gruppe
durch einen Moderator, dessen Aufgabe es ist, im Laufe einer Sitzung die Teilneh
mer zur Ideengenerierung anzuregen, für eine ausgeglichene Beteiligung der ein
zelnen Teilnehmer sowie die Einhaltung der weiteren Regeln zu sorgen, wird in
vergleichenden Studien ein nachweisbar positiver Einfluss auf die Produktivität
der Gruppe während der Ideengenerierung zugeschrieben.36
Die Erkenntnisse, die sich aus der Brainstorming-Forschung ziehen lassen,
sind in eingeschränktem Maße auch auf das letztendlich auf dem Prinzip des
Brainstorming basierenden Mind-Mapping anwendbar, wenn dieses in der Grup
pe zur Ideenfindung stattfindet. Neben Produktionsblockaden bei der Ideengene
31 Vgl. Isaksen (1998, S. 11), vgl. Mullen, Johnson & Salas (1991, S. 5 ff.).
32 Vgl. Isaksen (1998, S. 11), vgl. McFadzean (1997, S. 219), vgl. Collaros & Anderson (1969).
33 Vgl. Diehl & Stroebe (1987, S. 498), vgl. Mullen, Johnson & Salas (1991, S. 5 f.).
34 Vgl. Dugosh et al. (2000), vgl. Shih et al (2009, S. 140).
35 Vgl. Parnes & Meadow (1959), vgl. Isaksen (1998, S. 12), vgl. Isaksen & Gaulin (2005, S. 316).
36 Vgl. Isaksen (1998, S. 14 f.), vgl. Offner, Kramer & Winter (1996), vgl. Isaksen & Gaulin (2005).
2 Brainstorming und Mind-Mapping im Kontext der CSCW 12
rierung besteht laut Prante, Magerkurth und Streitz beim Mind-Mapping zudem
die Gefahr der sogenannten Strukturierungsblockaden (structure blocking), wenn
sich die Teilnehmer bei der Strukturierung von Ideen abwechseln müssen.37
Im Zuge der Diskussion um die Effektivität des Brainstorming sind einige Va
rianten der Technik entstanden, die versuchen, die Prozessverluste in der Grup
pensituation zu reduzieren. Das Brainwriting beispielsweise basiert auf dem
schriftlichen Festhalten von Ideen und verzichtet auf deren verbale Äußerung,
um sowohl sozialpsychologisch als auch strukturell bedingte Effekte zu verrin
gern.38 Als Weiterentwicklung des Brainwriting wird schließlich in der elektroni
schen Unterstützung von Meetings ein großes Potential für die Minimierung von
Produktionsverlusten gesehen, wie in der Folge noch zu erläutern sein wird (sie
he Kapitel 2.3).39
Infolgedessen lässt sich festhalten, dass Brainstorming als Kreativitätstechnik
bezüglich seiner Effektivität, speziell im Gruppenkontext, durchaus umstritten
ist, jedoch die Regeln des Brainstorming selbst einen positiven Effekt auf die Pro
duktivität bei der Ideenfindung in Gruppen haben können. 40 Die zuvor angeführ
ten Effekte, die zu Produktivitätsverlusten führen können, sind nicht von der
Hand zu weisen, bieten jedoch ebenso einen Ansatzpunkt für die Weiterentwick
lung dieser weitverbreiteten und häufig angewandten Kreativitätstechnik. Mit
der Vorstellung von GSS zur Ideengenerierung und -strukturierung sollen in der
Folge Varianten der klassischen Brainstorming- und Mind-Mapping-Techniken
näher beleuchtet sowie deren Potentiale im Rahmen der Motivation zu dieser Ar
beit erläutert werden.
41 Vgl. Gallupe, Bastianutti & Cooper (1991), vgl. McFadzean (1997), vgl. Nunamaker et al. (1991),
vgl. Reinig & Shin (2002).
42 Vgl. Nunamaker et al. (1991, S. 47 ff.).
43 Vgl. Nunamaker et al. (1991, S. 49).
44 Vgl. Nunamaker et al. (1991, S. 48 f.).
2 Brainstorming und Mind-Mapping im Kontext der CSCW 14
45 Für einen Überblick über Gruppenunterstützende Systeme, die zur Ideenfindung und -strukturie
rung eingesetzt werden können und sich weder in einen Tabletop- noch in einen Multi-
Device-Kontext einbetten lassen, sei an dieser Stelle auf Forster (2010, S. 40 ff.) verwiesen. Für
die Konzipierung der Anwendung relevante Systeme werden in den späteren Kapiteln zur
Tabletop- und Multi-Device-Interaktion vorgestellt.
2 Brainstorming und Mind-Mapping im Kontext der CSCW 15
enden Studien teilweise sehr heterogen sind, und demzufolge deren Ergebnisse
bezüglich der Produktivität oder auch der Zufriedenheit im Umgang mit GSS aus
den verschiedensten Gründen voneinander abweichen.46 McLeod versucht diese
Erkenntnisse im Rahmen einer Metaanalyse von Studien zur elektronischen Un
terstützung von Gruppenarbeit dennoch wie folgt zusammenzufassen:
It appears that GSS use leads to increased task focus and more equal particip
ation and influence among group members. Groups produce higher quality
decisions with GSS than without, but they take longer to reach those de
cisions. It seems that GSS may make consensus reaching more difficult,
which would be consistent with the increased time to decision. The effects of
GSS on user satisfaction with task processes seem to be the least clear. Field
studies and some controlled laboratory studies have reported increased sat
isfaction, whereas other controlled laboratory studies have reported de
creased satisfaction.47
Es kann jedoch festgehalten werden, dass zahlreiche Studien zeigen, dass Grup
pen, die GSS in Meetings und speziell in Brainstorming-Sitzungen einsetzen,
produktiver arbeiten als Gruppen mit nicht-elektronischen Methoden, was in der
Regel auf die Reduzierung der zuvor angeführten Produktivitätsverluste durch
das elektronische Medium zurückgeführt wird.48 Dass darüber hinaus der Einsatz
von gruppenunterstützender Software, speziell auch im Kontext von Tabletops,
Zugewinne für die kollaborative Arbeit birgt, wird in der Folge näher erläutert.
51 Vgl. Rogers & Lindley (2004, S. 16 ff.), vgl. Inkpen et al. (2005, S. 2, S. 8), vgl. Stewart, Bederson &
Druin (1999, S. 288 f.), vgl. Stanton & Neale (2003).
52 Vgl. Scott, Grant & Mandryk (2003, S. 10), vgl. Rogers & Lindley (2004, S. 29 ff.).
53 Vgl. Dourish & Bellotti (1992, S. 107, S. 112).
54 Vgl. Dourish & Bellotti (1992), vgl. Gutwin & Greenberg (1998b).
2 Brainstorming und Mind-Mapping im Kontext der CSCW 18
Dennoch zeigen sich auch Nachteile bei der Arbeit an einem Tabletop. Im Ver
gleich zu vertikalen Displays können weniger Teilnehmer gleichzeitig die Inhalte
auf dem Bildschirm wahrnehmen, da die meisten Tische für zwei bis sechs Perso
nen konzipiert sind und Bildschirmelemente aus der Distanz nur schwer erkenn
bar sind.
Das Arbeiten mehrerer Personen an einem multitouchfähigen Tabletop er
möglicht somit einerseits die individuelle Kontrolle einzelner Teilnehmer über
Inhalte, andererseits birgt ein derartiges Setting ebenso Potential bezüglich der
interpersonellen Kommunikation und der Awareness – grundlegende Anforde
rungen, die für erfolgreiche Gruppenarbeit als essentiell betrachtet werden, aber
in traditioneller Groupware oftmals miteinander konkurrieren.56
Nach intensiver Beschäftigung mit bisherigen Forschungsarbeiten aus dem
Bereich ‚Brainstorming und Mind-Mapping am Tabletop‘ und zu kollaborativem
Arbeiten in diesem Kontext im Allgemeinen entstand schließlich die Idee, eine
derartige Anwendung um private Displays - in diesem Fall Smartphones – zur
Unterstützung der Individualarbeit im Rahmen eines Ideenfindungsszenarios zu
erweitern. Die anschließenden Kapitel werden neben der Entwicklung der Table
toptechnologie, den relevanten Problem- und Forschungsfeldern und den bishe
rigen Forschungsarbeiten rund um das Brainstorming und Mind-Mapping am
Tabletop schließlich auch die Motivation für die Erweiterung derartiger Anwen
dungen im Sinne einer Multi-Device Interaktion skizziert.
werden müssen. PaperPaint bietet schließlich eine einfache Möglichkeit der Über
tragung von papierbasierten Skizzen in das elektronische Medium.62
Abbildung 4: Benutzeroberfläche (Morris 2008) und Aufbau (Xerox 2011) des 1991
von Wellner entwickelten DigitalDesk.
Im Gegensatz zur Projektion von oben beim DigitalDesk wird bei dem 1995 im
Rahmen der Forschungsaktivitäten rund um Graspable bzw. Tangible Interfaces von
Fitzmaurice, Ishii und Buxton entwickelten ActiveDesk die grafische Benut
zeroberfläche von unten auf die Tabletop-Oberfläche projiziert (Projektionsflä
che etwa 46 Zoll Diagonale).63 Darüber hinaus erlaubt der ActiveDesk neben Stylus
eingaben die „direkte Kontrolle elektronischer oder virtueller Objekte durch
physikalische Artefakte, welche als Bedienelemente fungieren“ 64. Motivation für
diese Form von Interaktion, auch Tangible Interaction genannt, ist die dabei ange
nommene „Natürlichkeit“ der Interaktion, da hier lediglich bereits erlernte Fä
higkeiten, wie das Greifen und Absetzen von physikalischen Elementen, abgeru
fen werden müssen.65 Derartige Elemente in Form von Klötzchen (Bricks) erlauben
am ActiveDesk beispielsweise die Auswahl oder das Bewegen und Rotieren von
virtuellen Elementen in einem Zeichenprogramm. Durch die Verwendung von
zwei solcher tangibler Elemente können virtuelle Objekte zusätzlich skaliert und
transformiert werden. Die Erkennung der Position der Tangibles auf dem Tisch er
folgt in diesem Fall noch über elektromagnetische Sensoren in den Klötzchen, zu
sätzliche Berührungseingaben sind jedoch nicht möglich. 66
Ein ähnliches Prinzip verfolgt der 1997 von Ullmer und Ishii im Rahmen des
TangibleBits Projektes vorgestellte metaDESK.67 Neben einer ebenfalls leicht ange
winkelten horizontalen Oberfläche mit Rückprojektion (Auflösung 1280 x 1024
Pixel) besteht der interaktive Tisch zusätzlich aus einer „aktiven Linse“ in Form
eines an einem Greifarm montierten Flachdisplays zur Darstellung zusätzlicher
Inhalte (640 x 480 Pixel) in 3D sowie einer „passiven Linse“, die als transparentes
Tangible je nach Position auf dem Tisch den jeweils selektierten Bildausschnitt in
einer alternativen Ansicht projiziert (Abbildung 5).
Wie bereits beim ActiveDesk ist hier ebenso die Interaktion mit Hilfe von physika
lischen Artefakten möglich, welche durch eine Kamera im Tisch sowie elektro
magnetische Feld- und Kontaktsensoren erfasst werden. Einzelne Phicons (physical
icons) sind jedoch allein durch ihre Form mit unterschiedlicher Semantik belegt
und können unterschiedliche Aktionen auslösen. Im Falle der Anwendung Tangi
ble Geospace kann beispielsweise ein Phicon in Form eines bestimmten Gebäudes
des Massachusetts Institute of Technology (MIT)-Campus auf den Tisch gesetzt wer
den, um dadurch eine entsprechende Karte anzuzeigen. Zusätzlich lässt sich die
Karte durch ein oder mehrere Phicons manipulieren.68
Während diese frühen, in der Regel nicht vollständig horizontal ausgerichte
ten Prototypen primär für die Benutzung durch eine Person intendiert sind – sei
es durch Berührungsinteraktion oder über physikalische Objekte – wurde im
Rahmen des Projekts i-LAND ab 1998 erstmals auch das kollaborative Potential
der Tabletoptechnologie realisiert und somit die von Müller-Tomfelde und Fjeld
identifizierte Schlüsseltransition weg von reinen Forschungsprototypen hin zu
kollaborativen Anwendungen in reellen Kontexten eingeleitet. 69 Motiviert von
der Vision, dass weniger der klassische Meetingraum die Kreativität der Zukunft
fördere, sondern vielmehr flexible Umgebungen, die insbesondere den spontanen
Informationsaustausch und informelle Begegnungen unterstützen, setzt i-LAND
auf den Einsatz von Roomware, welche sich dadurch auszeichnet, dass digitale
Technologie in bestehende Raumelemente wie Wände, Tische oder Stühle inte
griert wird, um eine „flexible und dynamische Kooperationslandschaft“ 70 zu reali
sieren.71
Abbildung 6: Erster Prototyp des InteracTable 1998 (Müller-Tomfelde & Fjeld 2010,
S. 8) und i-LAND-Roomware-Komponenten der zweiten Generation 1999 (Prante,
Streitz & Tandler 2004, S. 48).
i-LAND kombiniert somit verschiedene in den Raum integrierte, teils mobile di
gitale Komponenten, wie ein Whiteboard (DynaWall), interaktive Stühle (Comm
Chairs) und schließlich auch einen Tabletop mit horizontaler Oberfläche (Interac
Table).72 Diese Komponenten sind über ein drahtloses Netzwerk miteinander
Darüber hinaus wird durch die kapazitive Funktionsweise verhindert, dass auf
dem Tisch abgestellte oder abgelegte Gegenstände, wie Tassen oder Schreibuten
silien, versehentlich Aktionen auslösen.76 Das DiamondTouch-System wurde in der
Folge zusammen mit dem auf Java basierenden Entwicklungsframework Dia
mondSpin an mehrere Universitäten und Forschungseinrichtungen verteilt, wo
durch eine Vielzahl von Prototypen und Studien speziell zum kollaborativen Ver
halten an Tabletops entstanden sind.77 Ab 2006 ist der DiamondTouch schließlich
auch käuflich zu erwerben, seit 2009 wird er von Circle Twelve Inc in zwei Größen
(32 oder 42 Zoll Bildschirmdiagonale) vertrieben.78
Obwohl der DiamondTouch die gleichzeitige Interaktion durch mehrere Perso
nen verarbeiten kann und bisher der einzige kommerziell erhältliche Tabletop
ist, der die Berührungen einzelner Benutzer unterscheiden kann, hat der System
aufbau auch entscheidende Nachteile. So kann das Erfassen von physikalischen
Objekten im Sinne der Tangible Interfaces an dieser Art von Tabletop nicht erfolgen.
Durch die Projektion der Benutzeroberfläche kommt es darüber hinaus bei der
Interaktion zu Okklusion von Elementen durch Schattenwurf. Zudem wird die
Anzahl der Personen, die mit dem Tisch interagieren können, von der Anzahl der
Stühle bzw. Receiver bestimmt.
2005 stellt Jefferson Han mit der Frustrated Total Internal Reflection (FTIR)-Tech
nik eine kostengünstige und einfach umzusetzende Alternative zu den bisher in
der Regel relativ kostspieligen und komplexen Forschungsprototypen vor. FTIR
ermöglicht die gleichzeitige Interaktion mehrerer Benutzer an einem Tabletop
durch Multi-Touch-Interaktion und erreicht dies, im Gegensatz zum Diamond
Touch oder zu ähnlichen Lösungen wie SmartSkin, nicht durch einen (kapazitiven)
Touchscreen, sondern auf der Basis von optischen Verfahren. 79 Dabei wird die Be
nutzeroberfläche von unten auf eine Platte aus Acryl projiziert, welche von Infra
rot-LEDs kantenbeleuchtet wird. Berührt ein Benutzer die Oberfläche, werden
die Infrarotstrahlen an dieser Stelle abgelenkt und können von einer unter der
Platte angebrachten Infrarotkamera erfasst werden (Abbildung 8).80
81 Vgl. Schöning et al. (2008, S. 5), vgl. NUI Group Authors (2009, S. 13 f.).
3 Interaktive Tabletops und Multi-Touch-Interaktion 28
Die dritte Schlüsseltransition der Tabletoptechnologie von der Projektion zur di
rekten Displaytechnologie zeigt sich schließlich in den Entwicklungen der letzten
Jahre. Während projektor- und kamerabasierte Systeme aufgrund ihrer massiven
Bauweise oft schwer und wenig mobil sowie hochauflösende Projektoren sehr
teuer sind, bietet die Kombination von Flüssigkristallbildschirmen (Liquid Crystal
Displays, LCDs) und Multi-Touch-Erkennung Potentiale für mehr Mobilität und
bessere Darstellungsqualität bei Tabletopsystemen.
Hofer, Naeff und Kunz zeigen beispielsweise anhand ihres 2009 vorgestellten
FLATIR-Prototyps, inwiefern sich LCDs mit der FTIR-Technik kombinieren las
sen.82 Da die Flüssigkeitskristallmatrix von LCDs teilweise durchlässig für Infra
rotlicht ist, kann diese zwischen die kantenbeleuchtete Oberflächenplatte eines
FTIR Systems und einen Infrarotsensorarray gesetzt werden um somit anhand
der durch die Matrix hindurch reflektierten Infrarotstrahlen Berührungspunkte
zu erfassen (Abbildung 11). Da dadurch sowohl Projektor als auch Infrarotkame
ras überflüssig werden, kann der dafür benötigte massive Unterbau wegfallen
und das Arbeiten an Tabletops nahezu wie an einem normalen Tisch ermögli
chen.83
Eine Annäherung an diese Methodik findet sich auch in bereits kommerziell er
hältlichen Systemen. So verzichtet das 2010 veröffentlichte multitouchfähige
Tabletopsystem Evoluce ONE, für welches auch der im Rahmen dieser Arbeit kon
zipierte Prototyp implementiert wurde, zugunsten eines hochauflösenden LC-
Bildschirms (Full HD LCD mit 47 Zoll Bildschirmdiagonale, maximale Auflösung
1920 x 1080 Pixel) auf Projektortechnik (Abbildung 12). Das Erfassen von Berüh
rungspunkten erfolgt jedoch bei der Evoluce Integrated Through Screen Optics (ITSO)
Technologie, ähnlich wie auch bei der DI-Technik, weiterhin durch unter der
Oberfläche angebrachte Kameras. Neben dem Erkennen von Byte-Tags zur Erfas
sung von physikalischen Objekten ermöglicht der Evoluce ONE zudem einen be
rührungslosen Modus.84
Das seit 2011 erhältliche Nachfolgesystem Evoluce TWO, welches in Größen von
32 bis 55 Zoll Bildschirmdiagonale erhältlich ist, umfasst schließlich nur mehr
einen 18,5 cm flachen LC-Bildschirm auf einem VESA-Standfuß. Multi-Touch-
Gesten und Objekte auf und über der Tischoberfläche werden mit Hilfe eines über
dem Tabletop angebrachten 3D-Tiefensensors erkannt (Abbildung 12).85
tion mit Samsung entwickelte Samsung SUR40 bzw. Microsoft Surface 2.0.86 Dieser
multitouchfähige Tabletop umfasst einen knapp 10 cm flachen 40 Zoll Flüssig
kristallbildschirm (maximale Auflösung 1920 x 1080 Pixel) mit integrierter Rech
nertechnik auf vier Tischbeinen, der Berührungseingaben und getaggte Objekte
mit Hilfe der PixelSense-Technologie erkennt (Abbildung 13). Durch Abmontieren
der Beine soll sich der Samsung SUR40 auch als vertikales Display einsetzen las
sen. Die PixelSense-Technik ähnelt der durch Hofer et al. vorgestellten FLATIR-
Technik insofern, als hier ebenfalls eine LC-Matrix mit Infrarotsensoren kombi
niert wird – die Infrarotquelle sitzt jedoch zusammen mit den Lichtquellen für
das LCD unter den Sensoren zur Erfassung der Reflexionen, die durch Kontakt
mit der Oberfläche entstehen.87
Die Entwicklung der Tabletoptechnologie in den letzten zehn bis zwanzig Jahren
skizziert somit womöglich nur die Anfänge einer zunehmenden Verbreitung von
großen, horizontalen interaktiven Oberflächen. Insbesondere die rasante Ent
wicklung der Displaytechnologien im allgemeinen und die zunehmend standard
mäßige Integration von grundlegender Multi-Touch-Funktionalität in Betriebs
systeme (Beispiel Windows 7) und Software-Anwendungen (Beispiel Firefox
Mozilla) dürfte einen stimulierenden Einfluss auf die Weiterentwicklung von
Tabletopsystemen haben. So könnten neben der LCD-Technologie insbesondere
auch Organic Light Emitting Diodes (OLEDs) für interaktive Oberflächen von Inter
esse sein, da diese noch dünnere Bildschirme, die zudem flexibel und biegsam
sind, ermöglichen. Bisher wurden OLEDs jedoch nur in kleinen Displays umge
setzt.88
3.2.1 Tabletopdesign
Zunächst hat das allgemeine Design eines Tabletop und damit unter anderem die
gewählte Anzeige- und Tracking-Technologie, der dadurch bedingte Tischaufbau
sowie die Form und Dimension der Tischoberfläche Einfluss auf die damit umge
setzten Anwendungen und die daran stattfindende Arbeit.
97 Vgl. Schöning et al. (2010, S. 34), vgl. Koike et al. (2010, S. 131 f.).
98 Vgl. Wellner (1993), vgl. Wu & Balakrishnan (2003, S. 198 f.).
99 Vgl. Ryall et al. (2006a, S. 94 f.), vgl. Wallace & Scott (2008, S. 61).
3 Interaktive Tabletops und Multi-Touch-Interaktion 35
Scott ebenso in Betracht gezogen werden, dass je nach kulturellem Kontext die
für diese Aufgaben übliche Höhe eines Tisches schwanken kann. 100 Um mehrere
Aufgabentypen und kulturelle Kontexte unterstützen zu können, wäre ein Table
topsystem, das eine flexible Anpassung der Tischhöhe erlaubt, wünschenswert.
Zum aktuellen Zeitpunkt sind jedoch weder Prototypen noch kommerzielle Sys
teme dieser Art bekannt. Eine Annäherung an ein derartiges System findet sich
jedoch beispielsweise in Form der im i-LAND Projekt umgesetzten ConnecTables,
die jeweils aus einem 13,3 Zoll großen Touchdisplay auf einem flexiblen Standfuß,
welcher sowohl das Arbeiten im Sitzen als auch im Stehen erlaubt, bestehen; so
wie in Form des Evoluce ONE-Tabletopsystems, das durch einen zusätzlichen Un
terbau prinzipiell das Arbeiten sowohl im Stehen als auch im Sitzen unterstützen
kann.101
Während eine völlig horizontal ausgerichtete Oberfläche kollaborative Arbeit
mit gleichberechtigtem Einsatz aller Teilnehmer unterstützt, können angewin
kelte Oberflächen die Nutzung von Anwendungen, die lediglich von einer oder
wenigen Personen bedient werden, erleichtern.102 Runde Tabletops können die
gleichberechtigte Arbeit bei kollaborativen Aufgaben am Tisch fördern, da diese
Face-to-Face-Kommunikation, im Gegensatz zu quadratischen Tischen, an denen
Personen auch nebeneinander arbeiten können bzw. müssen, optimal unterstüt
zen. Kreisförmige interaktive Oberflächen wurden jedoch in der Vergangenheit
nur selten in Forschungskontexten verwendet.103
Bei der Interaktion mit dem Tabletop kann darüber hinaus beobachtet werden,
dass sich Benutzer vor allem in Szenarios, welche das Sitzen am Tabletop erfor
dern, oftmals mit ihrem Oberkörper oder Armen auf den Tisch lehnen, weshalb
Tabletopsysteme in der Regel über eine Randeinfassung verfügen. Diese kann zu
sätzlich zum Abstellen von Objekten, die nicht direkt auf die berührungs
empfindliche Oberfläche platziert werden sollen, oder von zusätzlichen Eingabe
geräten genutzt werden. Je nach Aufgabenkontext kann die optimale Breite für
eine solche Randeinfassung schwanken – je mehr zusätzliche Objekte wie Papier
oder externe (Eingabe-) Geräte Teil des Arbeitsprozesses am Tabletop sind, desto
wichtiger wird auch eine entsprechend breite, nicht-interaktive Fläche, welche
die eigentliche interaktive Oberfläche einrahmt. Laut Ryall und anderen hat sich
hier bei Benutzerstudien zu kollaborativen Aufgaben eine Breite von 5-6 cm als
Obwohl die Eingabe über Maus oder Tastatur an vielen Tabletopsystemen mög
lich ist, liegt der Fokus klar auf der haptischen Interaktion über direkte Berüh
rung der Oberfläche. Aus den Charakteristika von Berührungseingaben ergeben
sich einige Problemfelder, die im Rahmen der Entwicklung von Tabletops sowie
für diese konzipierte Anwendungen beachtet werden müssen. Inkonsistenzen
und mangelndes Feedback bei der Erkennung von Berührungen können Benutzer
verunsichern und so schließlich auch negativen Einfluss auf die Benutzerzufrie
denheit haben. Ein Großteil dieser Problemfelder findet sich bei Benko & Wigdor
in einer Übersicht zu den Einschränkungen am Tabletop durch Berührungseinga
ben, welche in der Folge neben weiteren Aspekten vorgestellt werden.108
lige Aktion auslöst. Holz und Baudisch konnten im Rahmen einer Studie zeigen,
dass Benutzer den Kontaktpunkt einer Berührung auf einer horizontalen Ober
fläche in der Regel falsch antizipieren, da sie diesen Punkt nur aufgrund der von
oben sichtbaren geometrischen Eigenschaften des Fingers kalkulieren, beispiels
weise durch Ausrichtung am horizontalen Mittelpunkt des Fingers sowie am ver
tikalen Mittelpunkt des Fingernagels. Der vom System erfasste Berührungspunkt
entspricht jedoch in der Regel dem Mittelpunkt der Kontaktfläche (Abbildung
14).110
Darüber hinaus kann auch der Berührungswinkel zwischen Fingerspitze und
Oberfläche, insbesondere auf horizontalen Oberflächen, schwanken – je weiter
ein ausgewähltes Element von dem Benutzer entfernt ist, desto wahrscheinlicher
ist es, dass der Finger weniger senkrecht auf die Oberfläche trifft und damit die
Kontaktfläche vergrößert wird, was wiederum zu Fehleingaben aufgrund einer
falschen Abschätzung des Kontaktpunktes durch den Benutzer führen kann.111
Um das Problem der Okklusion und der unsicheren Auswahl von Elementen durch
Berührung abzumildern, sollten auswählbare Bildschirmelemente, wie zum Bei
spiel Buttons oder Menüelemente, eine gewisse Mindestgröße und einen Min
destabstand voneinander aufweisen. Laut einer Studie durch Wang und Ren soll
ten quadratische Elemente eine Mindestbreite von 11,52 mm, kreisförmige
Elemente einen Radius von mindestens 5,76 mm besitzen. 112 Microsofts User Experi
ence Guidelines zur Entwicklung von Anwendungen am Tabletopsystem Surface
prägungen von Festigkeit für die Oberfläche zu ermöglichen und somit für die
einzelnen Berührungen unmittelbares taktiles Feedback umzusetzen.125
Abbildung 15: Zustandsmodelle für Eingabe via Maus (3-stufig, links) und Touch-
Interaktion (2-stufig, rechts) (Benko & Wigdor 2010, S. 252 f.; adaptiert aus Buxton
1990).
Da bei Tabletopsystemen, die auf der DI-Technologie basieren, auch das Erken
nen von Gesten über der Oberfläche möglich ist, wäre ein zusätzlicher Hover-Zu
stand durchaus vorstellbar. Das 2011 von Annett und anderen vorgestellte Table
topsystem Medusa, das auf einem mit 138 Näherungssensoren ausgestatteten
Microsoft Surface-Tabletop basiert, ermöglicht als eines der ersten Systeme seiner
Art die Realisierung eines Hover-Zustandes zur Anzeige von Interaktionshilfen
noch vor der Aktivierung eines Elements. 127 Alternative softwarebasierte Lösun
gen zur Annäherung an ein dreistufiges Eingabemodell schlagen zum Beispiel
vor, das Auslösen einer Berührungsaktion auf den Zeitpunkt, zu dem der Benut
zer den Finger wieder von der Oberfläche wegnimmt, zu setzen. Somit kann der
vorherige Zustand des Kontaktes mit der Oberfläche als eine Art Hover-Zustand
verstanden werden, der unter anderem für Vorschauen und erweitertes visuelles
Feedback verwendet werden kann, beispielsweise durch das Vergrößern von Ele
menten. Zusätzlich erlaubt dies dem Benutzer, im Gegensatz zu einem zweistufi
gen Zustandsmodell, das Revidieren von Selektionsentscheidungen noch vor ei
ner Auswahl.128
Weitere Ansätze zur präzisen Auswahl von Bildschirmelementen beinhalten
ebenfalls das Konzept eines dritten Eingabezustandes. So erfolgt bei Shen und an
deren die Positionierung des Cursors durch das Platzieren und Bewegen von zwei
Fingern auf der Oberfläche, wobei die Cursorposition dem Mittelpunkt zwischen
beiden Fingern entspricht. Die Auswahl erfolgt analog zu einem Mausklick je
doch erst durch das Tappen mit dem Zeigefinger.129 Gleichfalls denkbar sind
Techniken wie das von Forlines, Chen und Buxton vorgestellte Glimpse, die diese
verschiedenen Zustände durch ein unterschiedliches Ausmaß an Druck auf eine
druckempfindliche Oberfläche unterscheiden.130
ment zeigen, berührt dieses jedoch (versehentlich) und löst somit eine ungewollte
Aktion aus.133 Dieses Problem kann vor allem auch an Tischen auftreten, die mit
optischen Verfahren wie DI arbeiten, welche Berührungen oftmals bereits kurz
über der Oberfläche registrieren, worauf in der Diskussion der ersten Erfahrun
gen mit der im Rahmen dieser Arbeit entwickelten Anwendung noch eingegan
gen werden wird. Derartige Handlungen, die von O'Hara als „nicht-interaktive“ 134
Handlungen bezeichnet werden, sind jedoch essentieller Bestandteil eines übli
chen (kollaborativen) Szenarios an einem Tisch. Eine Einschränkung eines sol
chen nicht-interaktiven Verhaltens durch das Systemdesign des verwendeten
Tabletop kann nicht zuletzt deshalb, weil Benutzer ungewollte Eingaben vermei
den wollen und infolgedessen ihre üblichen Interaktionshandlungen einschrän
ken, Einfluss auf das Verhalten der Teilnehmer in einer Gruppe nehmen oder gar
zu einer Verringerung interaktiver Handlungen mit dem eigentlichen System
führen. 135
Ein spezielles Problem ist die Unterscheidung von Berührungseingaben nach
Intention bei der handschriftlichen Eingabe von Text oder bei der Interaktion mit
einer virtuellen Tastatur. Sofern das Schreiben auf dem Tisch mit Hilfe eines digi
talen Stiftes erfolgt, kann dessen Eingabe von gegebenenfalls auftretenden Be
rührungen auf der Oberfläche durch die schreibende Hand prinzipiell differen
ziert werden. Soll die Eingabe jedoch auch mit dem Finger erfolgen können,
erweist sich diese Unterscheidung als schwierig, was den Benutzer womöglich in
eine unnatürliche Schreibhaltung zwingt, weil ansonsten fehlerhafte Eingaben
durch Handgelenk oder -fläche erfolgen würden. Das selbe Problem stellt sich
beim Schreiben von Texten mit virtuellen Tastaturen, wo das Tippen „in der Luft“
erfolgen muss, da die Unterarme in der Regel nicht wie an einer traditionellen
Tastatur üblich auf die Oberfläche abgelegt und durch diese gestützt werden kön
nen, ohne als weitere Berührungspunkte erkannt zu werden.136
Neben diesen Herausforderungen, die aus der Verwendung von berührungs
empfindlichen Oberflächen bei Tabletops resultieren, stellen sich bei der Ent
wicklung von Anwendungen für Tabletopsysteme weitere Fragen in Bezug auf die
Gestaltung von Benutzerschnittstellen, welche in der Folge diskutiert werden
sollen.
137 Wigdor & Wixon (2011, S. 10), Übersetzung durch die Autorin.
3 Interaktive Tabletops und Multi-Touch-Interaktion 45
tion.138 Wenn die Benutzer die Ausrichtung dieser Objekte jedoch selbst nicht
mehr verändern können, kann dies die Interaktion und Kollaboration am Tisch
negativ beeinflussen. Scott, Grant und Mandryk empfehlen deshalb im Rahmen
ihrer Guidelines zur kollaborativen Arbeit an Tabletops einen hybriden Ansatz,
welcher die automatische Ausrichtung von Elementen auf Basis gewisser Annah
men über die Position des Benutzers und den Aufgabenkontext beinhaltet, jedoch
den Teilnehmern ebenso die Option lässt, einzelne Bildschirmelemente nach ih
rer bevorzugten Ausrichtung zu rotieren.139
Die Möglichkeit der individuellen Ausrichtung der Elemente durch die Benut
zer ist insbesondere in kollaborativen Szenarien in den Fokus zu stellen. Neben
der Tatsache, dass dadurch die Lesbarkeit und Verständlichkeit von Inhalten im
mer gewährleistet werden kann, hat die manuelle Ausrichtung von Elementen
koordinative und kommunikative Funktion. 140 Kruger und andere haben im Rah
men von Benutzerstudien ermittelt, dass das Ausrichten und Bewegen von Ele
menten dabei hilft, Arbeitsaufgaben zu koordinieren, beispielsweise durch das
Schaffen von individuellen Arbeitsbereichen (siehe auch Kapitel 3.2.4). Durch die
Ausrichtung eines Elements (hin zu einem individuellen Benutzer versus hin zu
den restlichen Teilnehmern) können dabei zudem Besitzverhältnisse vermittelt
werden. Ebenso kann der manuellen Ausrichtung von Elementen eine kommuni
kative Funktion zukommen: richtet ein Benutzer ein Element zu sich hin aus,
kommuniziert er damit die Absicht, alleine mit diesem Objekt zu interagieren.
Orientiert er es jedoch in Richtung eines anderen Teilnehmers oder der Gruppe,
fungiert die manuelle Ausrichtung des Elements als kommunikativer Akt, der
idealerweise weitere Kommunikation anstößt und die Kollaboration anregt.141
138 Vgl. Shen et al. (2006, S. 37), vgl. Ryall et al. (2006a, S. 93 f.).
139 Vgl. Scott, Grant & Mandryk (2003, S. 12).
140 Vgl. Kruger et al. (2003, S. 371).
141 Vgl. Kruger et al. (2003, S. 371 ff.).
142 Im Rahmen der Arbeit wird der Begriff der „Geste“ vereinfacht synonym zu „Berührungsgeste“
verstanden. Zur Unterscheidung von Gesten in Berührungs- und Freihandgesten siehe Saffer
2009, S. 2 ff.
3 Interaktive Tabletops und Multi-Touch-Interaktion 46
sung von einzelnen Berührungseingaben, die zudem meist mit nur einer Hand
bzw. einem Finger ausgeführt werden können. Die dadurch ermöglichten Gesten
bilden in der Regel die gängigen Mausaktionen ab – ein Klick entspricht einem
einmaligen Tap auf den Bildschirm, ein Doppelklick wird durch zweimaliges Tap
pen realisiert und die Drag and Drop-Geste (Ziehen und Loslassen) gleicht dem
Auswählen, Bewegen und Loslassen von Elementen durch die Maus. In den letz
ten Jahren findet jedoch vermehrt die Möglichkeit der gleichzeitigen Erfassung
mehrerer Berührungspunkte Verbreitung, welche wiederum Voraussetzung für
sogenannte Multi-Touch-Gesten ist, die durch den gleichzeitigen Einsatz mehre
rer Finger oder Hände gekennzeichnet sind und die neben zahlreichen Smartpho
nes und Tablet-PCs inzwischen auch von der Mehrheit der aktuell verfügbaren
Tabletopsystemen unterstützt werden.143 Für komplexere Aktionen, wie das Ska
lieren und Rotieren von Elementen, finden sich hier häufig Mehr-Finger-Gesten,
die meist den Anspruch erfüllen sollen, natürliche Bewegungsabläufe aus ge
wohnten Alltagskontexten abzubilden (siehe auch Kapitel 3.2.3). So wird bei der
inzwischen in vielen Kontexten verwendeten Rotationsgeste das jeweilige Objekt
mit zwei Fingern berührt, woraufhin eine bogenförmige Bewegung der Finger in
der Rotation des Objektes resultiert, ähnlich der Vorgehensweise beim Rotieren
von Papier auf einer Oberfläche. Derartige Gesten, die im Gegensatz zu „symboli
schen Gesten“ (wie das Tippen auf den Bildschirm oder das Zeichnen von Symbo
len und Buchstaben) keine einzelnen Aktionen auslösen, sondern eine kontinu
ierliche Veränderung des Systemzustandes bewirken, werden auch
„Manipulationsgesten“ genannt.144
Während eine derartige Steuerung von Geräten über Berührungsgesten be
reits seit einigen Jahren in kommerziellen Produkten zum Einsatz kommt und
sich einzelne Gesten wie jene zum Auswählen, Bewegen, Rotieren und Skalieren
von Elementen bereits etabliert zu haben scheinen, stellt sich insbesondere im
Kontext der Tabletoptechnologie die Frage, ob diese Gesten in der Tat immer pas
send für die ihnen zugewiesenen Aufgaben sind, ob sie von den Benutzern ver
standen werden und – vor allem aus der Perspektive einer Langzeitnutzung –
einfach in der Durchführung sind. Wobbrock, Morris und Wilson haben hierzu
im Rahmen einer Studie versucht, ein Gestenset für gängige Aktionen an hori
zontalen Oberflächen auf der Basis von Benutzervorschlägen zusammenzustel
len. Dafür wurde die Wirkung einer Geste (Element ist ausgewählt, Element wur
de vergrößert etc.) präsentiert und die zwanzig Teilnehmer der Studie nach ihrer
Präferenz bezüglich der diesem Zustand vorangehenden Ursache, das heißt der
eigentlichen Geste, befragt. Dabei zeigte sich, dass Benutzer meist einfache Ges
ten präferieren, die mit einem Finger und einer Hand durchgeführt werden kön
nen sowie Gesten, die Handlungen in der realen Welt entsprechen. 145 Auch wenn
auf Basis der Benutzervorschläge ein allgemeines Gestenset abgeleitet wurde,
kann diesbezüglich ebenso argumentiert werden, dass die Varianz der dabei von
den Benutzern vorgeschlagenen Gesten zu hoch ist, um die Fokussierung auf be
stimmte Gesten zu begründen. Abbildung 16 zeigt hierzu den Anteil übereinstim
mender Gesten für einzelne Aktionen in Prozent.146
Wigdor und Wixon argumentieren an dieser Stelle, dass diese Ergebnisse zeigen,
dass eine auf der Interaktion mit Gesten basierende Benutzerschnittstelle nicht
rein auf der Basis von system- und anwendungsunabhängigen Benutzervorschlä
gen entwickelt werden kann. So etwas wie eine konsensfähige, „natürliche Ges
te“147 für eine bestimmte Aktion gäbe es (bis auf einfache Manipulationen von Ob
jekten, wie Bewegen) nicht, da diese auch immer vom individuellen
Anwendungskontext abhinge. Hinrichs und Carpendale führen darüber hinaus,
aufgrund der Ergebnisse einer ähnlichen Studie, die Relevanz allgemeiner Kon
textfaktoren, wie des jeweiligen Interaktionskontextes sowie des sozialen Kon
textes, für die Präferenz für bestimmte Gesten an.148 Zudem übernehmen Benut
zer, die mit einer neuen Technologie konfrontiert werden, häufig lediglich ihr
bisheriges Wissen in die neue Domäne, ohne die Möglichkeiten, die innovative
Interaktionstechniken bereitstellen, zu nutzen.149
Wigdor und Wixon sehen deshalb in erster Linie den Entwickler verantwort
lich für das Design eines für eine bestimmte Anwendung geeigneten Gestenin
ventars, wobei verallgemeinerte Gestensets, ähnlich des bei Morris, Wobbrock
und Wilson abgeleiteten Inventars, sowie bereits etablierte Gesten für einfache
Aktionen durchaus Hilfestellung geben können. Der Miteinbezug der Nutzer er
folgt für sie jedoch erst im Nachhinein im Rahmen der (inkrementellen) Evaluie
rung und Anpassung einer konkreten Anwendung. Ziel sei vielmehr, die Affor
danz150 der möglichen Gesten insofern zu steigern, als die digital manipulierbaren
Objekte durch Form und Verhalten bereits genügend Hinweise auf mögliche Ges
ten geben.151 Dabei stünde nicht die Vorhersehbarkeit von Gesten ohne jegliche
Hilfestellung im Fokus, sondern das langfristige Ziel der Erlernbarkeit und siche
ren Durchführung einer Gestensprache durch die Kombination solcher Affor
danzen mit entsprechendem Feedback.
Demzufolge lässt sich festhalten, dass die Art und Weise, wie angemessene
Gesten für berührungsempfindliche Oberflächen konzipiert und umgesetzt wer
den können und wie stark der Benutzer in diesen Prozess miteinbezogen werden
soll, durchaus noch kontrovers diskutiert wird. Auch wenn die Abbildung von
Aktionen auf Berührungsgesten stark von der jeweiligen Anwendung abhängt,
können verallgemeinerte Gestensets in Ermangelung allgemein anwendbarer
Design-Patterns (Entwicklungsmustern) grundlegende Hinweise auf passende
Metaphern geben.
Texteingabemethoden
Eine weitere Herausforderung stellt die Eingabe von Texten an Tabletops dar.
Werden keine externen Geräte verwendet, erfolgt diese in der Regel mit Hilfe ei
ner virtuellen Tastatur, die auf (einzelne) Berührungseingaben reagiert und übli
cherweise in Form und Dimension einer traditionellen Tastatur entspricht. Das
Schreiben von Texten ist damit jedoch oftmals umständlich und langsam. Hand
schriftliche Eingaben und symbolbasierte Eingabemethoden sind häufig ebenfalls
am Tabletop möglich, jedoch insbesondere für die Eingabe längerer Texte nicht
zu empfehlen.152 Ryall und andere sehen dies als äußerst problematisch und argu
mentieren für den Einsatz externer Geräte speziell zur Eingabe längerer Texte:
Bare fingers are insufficient for text input. Our experiences with the table
have shown that text input is particularly challenging. Providing virtual
keyboards on the tabletop has proved a feasible, but tedious, solution. Graf
fiti-style input using “finger-ink” […] is also not a practical solution for large
amounts of text entry, because people draw large, clumsy shapes with fin
gers. Auxiliary input sources, such as wireless keyboards or PDAs with styli
might be a promising solution to incorporating serious text-entry into table
top groupware.153
Externe Geräte zur Eingabe von Text, wie beispielsweise traditionelle Tastaturen,
verfügen im Gegensatz zum Tabletop in der Regel über haptisches Feedback. De
ren Einsatz erfordert jedoch, vor allem bei mehreren Personen, zusätzlichen
Platz am Tabletop und kann sich gegebenenfalls störend auf das Arbeiten am
Tisch auswirken, wenn häufig zwischen normaler Texteingabe und Berührungs
interaktion gewechselt werden muss. Mobile Geräte wie PDAs oder Smartphones
benötigen weniger Platz und bieten unter anderem das Potential der Personalisie
rung von Texteingabemöglichkeiten, wie im Rahmen der Argumentation für den
Einsatz von Smartphones an Tabletops in Kapitel 4.2 noch weiter erläutert wer
den wird. Die Eingabe von Text über Spracherkennungssoftware stellt eine weite
re Option dar, jedoch ist zu vermuten, dass die ständige sprachliche Interaktion
mit dem System durch mehrere Personen, speziell in einem kollaborativen Sze
nario, eher störend ist.154 Auch hier zeigt sich erneut, dass eine angemessene
Form der Eingabe von der Art der Anwendung und weiteren Kontextfaktoren ab
hängig ist. Grundsätzlich lässt sich jedoch festhalten, dass Anwendungen, die die
Eingabe von umfangreichen Texten erfordern, zum aktuellen Zeitpunkt prinzipi
ell eher ungeeignet für die Umsetzung an einem Tabletop sind. Letztlich fehlen an
dieser Stelle bisher aussagekräftige Studien, die unterschiedliche Eingabemetho
den bezüglich ihrer Effektivität, Effizienz und Benutzbarkeit vergleichen. Ein
weiteres Forschungsdesiderat stellt die Verbesserung und Anpassung von virtu
ellen Tastaturen für Tabletops dar, die neben den offensichtlichen Problemen
Benutzerschnittstellendesign
Innovative Benutzerschnittstellen zwingen zu einem Umdenken nicht nur hin
sichtlich der damit umsetzbaren Interaktionsmöglichkeiten, sondern auch in Be
zug auf die konkrete Oberflächengestaltung. Die horizontale Ausrichtung sowie
die Möglichkeit von Berührungseingaben erfordern andere Benutzerschnittstel
lenelemente (UI-Widgets) als das traditionelle WIMP-Paradigma. Generell soll
ten Tabletop-Anwendungen so einfach wie möglich aufgebaut sein und das Po
tential der Gesteninteraktion nutzen, um platzaufwändige (Steuer-) Elemente
vermeiden und die eigentlichen Inhalte in den Fokus stellen zu können.156
Bereits erläutert wurde die Relevanz der flexiblen Ausrichtung von Objekten
im Hinblick auf die Nutzung von Tabletops von jeder Position um den Tisch her
um. Grafische Elemente sollten möglichst von allen Seiten erkennbar sein. 157 Eine
flexible Ausrichtung setzt auch die Möglichkeit voraus, Elemente frei auf der
Oberfläche zu bewegen und zu positionieren, was insbesondere bei textuellen In
halten von Relevanz ist. Generell wird deshalb empfohlen, beispielsweise Menüs
oder andere Elemente, die von allen Benutzern bedient werden können, nicht wie
bei herkömmlichen GUIs fest an einer Stelle, sondern frei auf der Oberfläche zu
platzieren.158
Durch das kollaborative Potential von Tabletopsystemen stellt sich darüber
hinaus die Frage, ob gemeinsam genutzte Elemente lediglich einmal oder in Form
von Duplikaten auf der Oberfläche zur Verfügung gestellt werden sollen. Morris
und andere sehen für duplizierte Widgets in Mehrbenutzerszenarien dahinge
hend Potential, dass Kollision zwischen einzelnen Benutzern bei der Interaktion
Kann jeder Benutzer individuell auf personalisierte Menüs zugreifen oder kom
men Kontextmenüs zum Einsatz, spielt eine perspektivenunabhängige Ausrich
tung eventuell eine geringere Rolle. Dennoch stellt sich sowohl die Frage nach der
optimalen Ausnutzung des auf der Oberfläche verfügbaren Platzes, insbesondere
wenn das Menü mehrere Einträge oder Ebenen umfasst, als auch nach der Anpas
sung an die Touch-Interaktion. Hesselmann, Flöring und Schmitt schlagen mit
ihren Stacked Half-Pie Menus eine für den Tabletop optimierte halbkreisförmige
Abwandlung des klassischen hierarchischen Menüs vor (Abbildung 18). 167 Bei ei
nem von Leithinger und Haller vorgestellten Prototypen hingegen werden ein
zelne Menüelemente auf der Basis eines vom Benutzer gezeichneten Pfades auf
der Oberfläche angeordnet, um den auf dem Bildschirm oftmals knapp be
messenen Platz optimal ausnutzen zu können (Abbildung 18). 168 Während diese
beiden Prototypen lediglich einzelne Berührungen erfordern, zeigen Kammer,
Lamack & Grohl eine Lösung, die zum Aufschalten eines ringförmigen globalen
Menüs eine fünf Finger umfassende Multi-Touch-Geste erfordert (Abbildung 18).
Abbildung 18: Stacked Half-Pie-Menü (o.l., Hesselmann, Flöring & Schmitt 2009, S.
173), User Drawn Path-Menü (o.r., Leithinger & Haller 2007, S. 122), Multitouch Mar
ker-Menü (u.l., Lepinski, Grossmann & Fitzmaurice 2010b) und globales Ring-Menü
(u.r., Kammer, Lamack & Grohl 2010, S. 260).
Kontextmenüs zu einzelnen Elementen können darüber hinaus über eine Tap and
Hold-Geste aufgeschaltet werden.169 Lepinski, Grossmann und Fitzmaurice zeigen
schließlich im Rahmen einer Studie zu Marking Menus, dass der Einsatz von
Multi-Touch-Gesten auch direkt bei der Menübedienung zum Einsatz kommen
kann. In diesem Falle können über gerichtete Mehrfingergesten einzelne Menü
punkte in einem versetzt radial angeordneten Menü ausgewählt und durch unter
schiedliche Hierarchien navigiert werden. Durch die indirekte Interaktion mit
dem Menü kann an dieser Stelle zudem Clutter vermieden werden (Abbildung
18).170 Der Einsatz insbesondere von tief verschachtelten Menüs am Tabletop ist
jedoch prinzipiell in Frage zu stellen, nicht zuletzt deshalb, da ein langfristiges
Ziel sein soll, dieses aus dem WIMP-Paradigma stammende Konzept durch inno
vative Interaktionsmethoden abzulösen.
Tangible Interaction
Ein großer Teil der Forschungsarbeiten zur Tabletoptechnologie entspringt dem
Bereich der Tangible Interaction, welche sich mit der physikalischen Darstellung di
gitaler Informationen und der Interaktion mit diesen tangiblen Elementen (Tan
gibles) auseinandersetzt. Die horizontale Oberfläche von Tabletops bietet ein viel
versprechendes Einsatzgebiet für Tangibles im Kontext diverser Anwendungen.
Elemente zur Kontrolle und Manipulation von Bildschirmelementen sind hier
ebenso denkbar, wie die Erkennung und/oder Augmentierung von am Tisch ver
wendeten Objekten, wie Papier oder Mobiltelefonen. Zentrales Argument für den
Einsatz von Tangibles auf dem Tabletop ist deren inhärente Physikalität und Greif
barkeit, die, im Gegensatz zu in der Regel zweidimensional dargestellten virtuel
len Objekten, eine „natürlichere“ Interaktion im Raum ermöglichen soll, da sie
neben haptischem Feedback ein reiches Manipulationsvokabular bereitstellen,
für das auf grundlegende mentale Modelle und Fähigkeiten aus dem Alltag zu
rückgegriffen werden kann.173 Für kollaborative Szenarien wird davon ausgegan
gen, dass der Einsatz von Tangibles die Awareness (siehe auch Kapitel 2.4) innerhalb
der Gruppe fördern kann, da die Manipulation von physikalischen Objekten zur
Sichtbarkeit der von den einzelnen Gruppenmitgliedern am Tisch ausgeführten
Handlungen beiträgt.174
Bereits zahlreiche der frühen Tabletopsysteme, wie der DigitalDesk, der ActiveDesk
oder der metaDESK (siehe Kapitel 3.1), machen sich diese Eigenschaften von Tan
gibles zu Nutze. Der bekannteste Tabletop, der Microsoft Surface, kann ebenfalls mit
Persönliche Bereiche
Um den Prozess des kollaborativen Arbeitens an Tabletopsystemen besser verste
hen und unterstützen zu können, lohnt ein Blick auf das Verhalten von Gruppen
teilnehmern beim gemeinsamen Arbeiten an traditionellen, nicht-interaktiven
Tischen. Neben der kommunikativen Funktion der manuellen Ausrichtung von
Objekten (siehe auch Kapitel 3.2.3) zeigen Beobachtungen derartiger Szenarien
insbesondere die Relevanz von „Territorialität“ (territoriality) für Koordination
und Kollaboration durch die Aufteilung des Arbeitsbereiches in persönliche und
geteilte Bereiche.178 Scott, Carpendale und Inkpen konnten diese Beobachtungen
im Rahmen einer 2004 veröffentlichten Studie zur Kollaboration an traditionel
len Tischen bestätigen: bei der gemeinsamen Arbeit bilden die Teilnehmer ohne
explizite Absprache unterschiedliche Bereiche auf dem Tisch, um ihre Interakti
on mit für die Aufgabe relevanten Objekten und den anderen Teilnehmern zu or
ganisieren. Scott und andere unterscheiden dabei persönliche Bereiche (personal
areas), Gruppenbereiche (group areas) und Bereiche zur (temporären) Ablage von
Objekten (storage areas) (Abbildung 20).179 Der Bereich unmittelbar vor einem Teil
nehmer bildet dabei in der Regel den persönlichen Bereich, welcher üblicherwei
se nur von der jeweiligen Person für individuelle Aufgaben, die unabhängig von
der Gruppe ausgeführt werden können, sowie Lese- und Schreibaufgaben, ver
wendet wird. Soziale Normen hindern andere Teilnehmer in der Regel daran, mit
Abbildung 20: Aufteilung in individuell, gemeinsam und zur Ablage genutzte Ar
beitsbereiche beim kollaborativen Arbeiten an einem traditionellen Tisch (Habel
ski 2004, S. 24).
Für das Design digitaler Tabletops folgern Scott, Carpendale und Inkpen, dass Be
nutzer in ihrer Intuition, eine Oberfläche im Rahmen von kollaborativen Aufga
ben in diese einzelnen Bereiche zu separieren, unterstützt werden müssen. Das
heißt, interaktive Oberflächen müssen groß genug sein, um sowohl Individual-
als auch Gruppenarbeit zu ermöglichen und das Ablegen von gerade nicht benö
tigten Elementen zu erlauben. Um das individuelle Arbeiten zu unterstützen,
sollten Objekte einfach in persönliche Bereiche transportiert werden können und
Werkzeuge für individuell durchgeführte Aufgaben leicht erreichbar sein. 181 Da
die Grenzen der einzelnen Bereiche fließend sind und, je nach Position eines Be
nutzers am Tisch sowie Aufgabenfortschritt, wechseln können, wird eine feste
Aufteilung der Tabletopoberfläche in individuell und gemeinsam genutzte Berei
che nicht empfohlen, da dies die Benutzer in einer speziell dem Aufgabenkontext
angepassten Aufteilung der Oberfläche behindert.182
Abbildung 21: Handgesten zur Schaffung von privaten Räumen zur Aus- (Wu & Ba
lakrishnan 2003, S. 199) und Eingabe (Kim et al. 2010, S. 1096) sensibler Informa
tionen am Tabletop.
Darüber hinaus stellt sich die Frage, wie nach einer erfolgreichen Identifizierung
die Interaktion einzelner Benutzer am Tabletop aussehen kann. Die Wahrneh
mung unterschiedlicher Benutzerrollen und die Anzeige personalisierter Infor
mationen setzen in der Regel voraus, dass der Tisch die Interaktionshandlungen
nach Benutzer unterscheiden kann, was jedoch, wie in der Folge noch erläutert
wird, bisher kaum ein Tabletopsystem unterstützt. Eine derartige Unterschei
dung ermöglicht der ebenfalls von Schmidt, Chong und Gellersen vorgestellte
Prototyp IdLenses insofern, als für jeden durch seine Handform identifizierten Be
nutzer ein personalisiertes Linsen-Widget aufgeschaltet wird, das, je nach Kon
text, personalisierte Informationen anzeigen sowie individuelle Funktionen be
reitstellen kann. Als ein Anwendungsfall im Kontext Sicherheit ist hier
beispielsweise die automatische Authentifizierung bei Webportalen durch Posi
tionieren des personalisierten Widgets auf den Login-Bereich einer Webseite ge
nannt, wodurch die direkte Eingabe sensibler Daten umgangen werden kann.188
Eine weitere Möglichkeit zur Erhöhung von Privatsphäre und Sicherheit stellt
die Ergänzung des Tabletops um externe Geräte wie PDAs, Laptops oder Smart
phones dar.189 Diese können einerseits private Räume schaffen, in denen Benutzer
ungestört individuellen Arbeitsaufgaben nachgehen können, sowie anderseits
einen zusätzlichen Kanal für den Austausch von Informationen bereitstellen. 190
Eine Vielzahl von Projekten und Forschungsarbeiten beschäftigt sich im Kontext
von Single Display Groupware (SDG) und Multi Display Environments (MDE) mit der
Erweiterung von öffentlichen Displays um private Ein- und Ausgabegeräte, wie
in Kapitel 4 beschrieben werden wird.
Eine weitere Möglichkeit ist das Erfassen von einzelnen Benutzern über Byte
codes, welche üblicherweise zur Erkennung von Tangibles verwendet werden. Das
von Marquardt und anderen entwickelte System TouchID setzt dafür mit mehre
ren Bytecodes versehene Handschuhe ein, die es ermöglichen, bei der Interaktion
an einem Microsoft Surface Berührungen und Gesten einzelne Finger und Hände
sowie schließlich auch Benutzer zu unterscheiden (Abbildung 22).195
spielsweise nicht in der Lage sein, eine Ansicht, die alle Benutzer teilen, zu verän
dern, sei es durch Hineinzoomen in einen Bereich oder durch Verschieben der
Ansicht, da dadurch der Arbeitsprozess der anderen Benutzer gestört werden
kann.196 Bei einer von Shen und anderen für den Tabletop entwickelten Anwen
dung zur Exploration von räumlich-geographischen Daten können Benutzer zum
Beispiel über eine individuelle Auswahl in einzelne Bereiche hineinzoomen und
diese verschieben, ohne Einfluss auf die allgemeine Ansicht zu nehmen. 197 Weite
re kritische globale Aktionen, die alle Benutzer betreffen, wie das Schließen einer
Anwendung oder das Entfernen von mehreren Objekten, sollten die Zustimmung
aller Teilnehmer erfordern. Dies kann beispielsweise durch kollaborative / ko
operative Gesten erfolgen, die von mehreren Benutzern gleichzeitig ausgeführt
werden müssen.198 Eine weitere Möglichkeit ist der Einsatz von Voting-Widgets,
welche die Zustimmung aller Benutzer bezüglich der Ausführung einer globalen
Aktion erfassen.199
Während globale Aktionen und Systemmeldungen, die alle Benutzer betref
fen, so gestaltet werden sollten, dass sie die Aufmerksamkeit aller Benutzer erfor
dern, sollten von einzelnen Benutzern angestoßene Aktionen und dabei erfolgen
de Systemrückmeldungen den Arbeitsprozess der anderen Personen am Tisch so
wenig wie nötig stören.200 Dialoge und Systemmeldungen, die sich auf eine be
stimmte Interaktionshandlung eines Benutzers beziehen, sollten demnach, wenn
möglich, auch nur für diesen Benutzer angezeigt werden, beispielsweise als Ein
blendung an der Stelle der letzten bzw. maßgeblichen Interaktion dieses Benut
zers.
Somit lässt sich festhalten, dass es noch eine Vielzahl von unbeantworteten Fra
gen bezüglich der (kollaborativen) Interaktion an digitalen Tabletops sowie der
konkreten Gestaltung und Umsetzung von Anwendungen für derartige Systeme
gibt. Dabei sollte neben dem konkreten Anwendungskontext schließlich auch im
mer ein besonderes Augenmerk auf die bisher für horizontale interaktive Ober
flächen identifizierten Problemfelder gelegt werden und Aspekte wie die flexible
Ausrichtung von Bildschirmelementen, das Design von adäquaten Gesten oder
die Unterstützung der Benutzer bezüglich flexibler Segmentierung der Arbeitso
berfläche in die Konzeption mit einfließen. So sind einige der hier identifizierten
Problem- und Forschungsfelder selbstverständlich auch für die im Rahmen die
196 Vgl. Wigdor & Wixon (2011, S. 35).
197 Vgl. Shen et al. (2006, S. 41 f.).
198 Vgl. Morris et al. (2006b).
199 Vgl. Morris et al. (2004, S. 264).
200 Vgl. Apted, Collins & Kay (2009, S .2).
3 Interaktive Tabletops und Multi-Touch-Interaktion 63
201 Vgl. Prante, Magerkurth & Streitz (2002), vgl. Baraldi, Bimbo & Valli (2006), vgl. Kim (2006),
vgl. Altorfer (2007), vgl. Buisine et al. (2007), vgl. Wang, Ghanam & Maurer (2008), vgl. Hunter
& Maes (2008), vgl. Donker & Meixner (2009), vgl. Oppl & Stary (2009), vgl. Da Luz et al. (2010),
vgl. Forster (2010, S. 111, S. 115), vgl. Cowie (2010), vgl. Geyer et al. (2011).
202 Vgl. Prante, Magerkurth & Streitz (2002).
3 Interaktive Tabletops und Multi-Touch-Interaktion 65
gen die mit dem Tabletop verbundenen vertikalen Displays Kopien aller Post-Its
an und ermöglichen das Erstellen von Clustern aus mehreren Post-Its sowie de
ren Verbindung durch Linien zur Strukturierung des Ideenraums. 203 Im Rahmen
einer vergleichenden Benutzerstudie, bei der das System mit einer papierbasier
ten Brainwriting-Technik verglichen wurde, zeigte sich kein signifikanter Unter
schied in Bezug auf die Quantität der Ideen oder die Anzahl und Länge von wäh
rend des Brainwritings entstandenen Assoziationsketten. Den subjektiven
Bewertungen der Benutzer nach zu urteilen wurde hingegen das elektronische
Brainwriting bevorzugt und die damit erstellten Ideen als qualitativ hochwertiger
bewertet. Die verwendeten Funktionen wurden überwiegend als „einfach zu er
lernen“ erachtet.204 Ein entscheidender Nachteil des BrainStorm Systems ist je
doch, dass es nur zwei Berührungspunkte gleichzeitig erkennen kann, weshalb
die Interaktion auf Single-Touch-Gesten und zwei Personen an fixen Positionen
am Tabletop beschränkt bleiben muss. Die Orientierung der Post-Its ist dabei ab
hängig von der Position des Benutzer und kann nicht verändert werden.205
Abbildung 23: BeachMap an der DynaWall (Prante, Magerkurth & Streitz 2002, S.
112) und BrainStorm an Tabletop und Whiteboard (Hilliges et al. 2007, S. 140).
Der 2007 an der Universität Freiburg (Schweiz) für den DiamondTouch entwickelte
Prototyp TableMind ermöglicht darüber hinaus die gleichzeitige Interaktion von
vier Benutzern mit einer Mind-Mapping Anwendung. Die Erstellung von Ideen
erfolgt, ähnlich wie bei BrainStorm, durch das direkte Beschreiben bzw. Bemalen
von digitalen Post-Its mit dem Finger, die Interaktion mit den einzelnen Ideen
erfolgt gleichermaßen durch Single-Touch-Gesten. Durch das Übereinander
schieben von zwei Post-Its, die nach ihrer Erstellung in die Mitte des Tabletops
bewegt wurden, können Verbindungen zwischen einzelnen Ideen erstellt und so
mit eine Mind-Map aufgebaut werden. Die Orientierung der einzelnen Post-Its
ist hier ebenfalls auf eine bestimmte Perspektive festgelegt, jedoch lässt sich die
Ansicht der gesamten Mind-Map drehen. Darüber hinaus besitzt jeder der vier
Benutzer einen privaten Bereich, in dem bereits beschriebene Post-Its temporär
abgelegt werden können. TableMind unterstützt somit alle drei der von Scott und
Carpendale identifizierten Arbeitsbereiche (siehe Kapitel 3.2.4), wenn auch nicht
mit dem geforderten Maß an Flexibilität, da die einzelnen Bereiche fest definiert
sind (Abbildung 24).206 Im Rahmen einer Benutzerstudie, bei der TableMind unter
anderem mit papierbasiertem Mind-Mapping verglichen wurde, konnte bestätigt
werden, dass eine Anwendung wie TableMind laut der subjektiven Bewertungen
der Benutzer intuitiv und einfach zu benutzen ist und das kollaborative Mind-
Mapping positiv unterstützen kann.207
In Bezug auf die Benutzerzufriedenheit können Buisine und andere für eine 2007
ebenfalls für den DiamondTouch entwickelte Anwendung namens Tabletop Mind
Maps ähnlich positive Ergebnisse im Vergleich zum papierbasierten Mind-Map
ping vorweisen. Zudem wurde eine erhöhte Kollaboration am Tabletop in Form
von kommunikativen Gesten beobachtet. Bezüglich der Quantität und Qualität
von Ideen konnte zwischen elektronischem und papierbasiertem Mind-Mapping,
wie bereits auch schon bei der Evaluation von TableMind, kein signifikanter Un
terschied festgestellt werden.208 Dies lässt sich möglicherweise auch auf das kon
krete Design der Anwendung zurückführen. Die in der Mitte des Bildschirms po
206 Vgl. Altorfer (2007).
207 Vgl. Altorfer (2007, S. 34 ff.).
208 Vgl. Buisine et al. (2007, S. 28 ff.).
3 Interaktive Tabletops und Multi-Touch-Interaktion 67
Abbildung 25: Flexible Positionierung und Ausrichtung von Ideen bei WordPlay
(Hunter & Maes 2008, S. 2) und am cgTable (Meixner 2008).
Während all diese Prototypen lediglich die Erstellung textueller Ideen sowie ge
gebenenfalls von Skizzen erlauben, ermöglichen Prototypen für das Brainstor
ming und Mind-Mapping am Tabletop wie MindFlow (2009) oder der AffinityTable
(2011) darüber hinaus auch die Einbindung von weiteren Medien wie Videos oder
digitalen Bildern.213 Am AffinityTable erfolgt die Erfassung von Ideen mit einer hy
briden Methodik: Während der Ideengenerierungsphase werden wie bei einem
traditionellen Brainwriting Notizzettel aus Papier beschriftet. Da dies mit digitalen
Stiften geschieht, wird durch das nachfolgende Auflegen eines Post-Its auf die
Tabletopoberfläche eine digitale Kopie der Inhalte des Notizzettels erzeugt. Eine
duplizierte Ansicht des gesamten Arbeitsbereichs wird dabei an einem zusätzli
chen vertikalen Display dargestellt, um eine weitere Visualisierung der Ideen so
wie einen Bereich, in dem einzelne Teile der Arbeitsfläche vergrößert dargestellt
werden können, zur Verfügung zu stellen. Hierfür unterstützt das System die In
teraktion mit Tangibles, die zum Hineinzoomen in einen bestimmten Teil der Ar
Zusammenfassend lässt sich somit feststellen, dass in den letzten Jahren bereits
zahlreiche prototypische Anwendungen zum Brainstorming und Mind-Mapping
am Tabletop umgesetzt worden sind, die jeweils unterschiedliche Lösungen für
allgemein an horizontalen Oberflächen auftretende Probleme, wie die Eingabe
von Texten oder die Unterstützung der Interaktion von allen Seiten, vorschlagen
und neben der Erfassung, Manipulation und Strukturierung von Ideen zusätzli
che Funktionalität zur Unterstützung von Gruppenarbeit bereitstellen können.
Sofern für die einzelnen Systeme Benutzerstudien durchgeführt wurden, zeigt
sich in der Regel, dass sich bezüglich der Quantität und Qualität von Ideen sowie
der subjektiven Benutzerzufriedenheit ähnliche Ergebnisse erzielen lassen wie in
traditionellen Brainstorming-/Brainwriting- und Mind-Mapping-Szenarien, was
im Hinblick auf die zusätzlichen Vorteile des digitalen Mediums durchaus positiv
bewertet werden kann.
Während bei der Mehrzahl der vorgestellten Systeme eine Art Notizzettelme
tapher zum Einsatz kommt und Aspekte wie die freie Positionierung und Aus
richtung von Bildschirmelementen sowie die Unterstützung von Multi-Touch-
Gesten in der Regel unterstützt werden, unterscheiden sie sich doch häufig in den
Bereichen Texteingabe sowie der Segmentierung in Areale unterschiedlicher
Funktion (beispielsweise Bereiche zur Individual- und Gruppenarbeit) und der
damit verbundenen Unterstützung unterschiedlicher Arbeitsprozesse innerhalb
kollaborativer Szenarien. So arbeiten Systeme wie Tabletop Mind Maps oder Fire
Storm mit zusätzlichen Tastaturen, um die Eingabe von Texten in gewohnter Art
zur unterstützen, während andere Prototypen wie TableMind, der AffinityTable
oder BrainStorm die handschriftliche Eingabe von Text erlauben. Wieder andere
setzen auf virtuelle Tastaturen oder gar wie das System WordPlay auf Sprachein
gabe. Ebenso heterogen zeigt sich die Unterstützung von privaten Räumen und
Individualarbeit. Systeme wie Brainstorm oder TableMind stellen feste Bereiche für
Individual- und Gruppenarbeit zur Verfügung, während Prototypen wie Word
Play oder der cgTable die von Scott und Carpendale geforderte Flexibilität bezüg
lich der Segmentierung der Benutzeroberfläche in derartige Bereiche unterstüt
zen. Am AffinityTable oder bei FireStorm sind die persönlichen Bereiche der
Benutzer darüber hinaus größtenteils außerhalb des Tabletops lokalisiert.
An dieser Stelle soll die vorliegende Arbeit ansetzen. Die Ergänzung um zu
sätzliche Eingabegeräte, die neben der Eingabe von Texten auch weitere Funktio
nen bereitstellen können, kommt bisher in keinem der prototypischen Anwen
dungen zum Einsatz. Die Erweiterung von horizontalen Oberflächen um private
Eingabegeräte, beispielsweise in Form von Smartphones, ist darüber hinaus nicht
nur für den problematischen Bereich der Texteingabe interessant, sondern birgt
ebenso Potential zur Unterstützung von Individualarbeit und privaten Räumen,
wie in der Folge näher erläutert wird.
4 Multi-Device-Interaktion mit Tabletop und Smartphones 71
Stewart, Bederson und Druin sprechen bei der Kombination von großen, gemein
sam genutzten Displays mit externen Eingabegeräten für jeden Benutzer von Sin
gle Display Groupware (SDG).215 Als „single display“ wird dabei ein gemeinsam ge
nutzter Computer mit einem entsprechenden Ausgabebildschirm (beispielsweise
ein Desktoprechner oder auch ein digitales Whiteboard) bezeichnet. Dieses Dis
play kann von allen Benutzern gleichzeitig bedient werden, beispielsweise mit
Hilfe mehrerer Mäuse, Tastaturen oder auch durch damit verbundene externe
Geräte wie PDAs. Diese externen Geräte sind jedoch in der Regel nur als vonein
ander unabhängige Eingabekanäle gedacht, die Ausgabe von zentralen Informa
tionen erfolgt üblicherweise für alle Benutzer am gemeinsam genutzten Display.
Eine kollaborativ genutzte Anwendung für einen digitalen Tabletop ließe sich
demnach prinzipiell auch bereits ohne weitere Eingabekanäle als SDG verstehen,
da es sich hier um ein gemeinsam genutztes Display mit mehreren parallelen Ein
gabekanälen handelt. SDG wurde als Alternative zu verteilter Groupware vorge
schlagen, da sie im Gegensatz zu Groupware, die verteilt auf mehreren einzelnen
Rechnern läuft, die Kollaboration dadurch fördern soll, dass alle Gruppenteilneh
mer an einem gemeinsamen Bildschirm arbeiten und direkt miteinander kom
munizieren können.216
Spätestens mit der Verbreitung von Roomware und der Integration mehrerer
unabhängiger digitaler Geräte in kollaborative Umgebungen (siehe Kapitel 3.1)
taucht neben Single Display Groupware ein weiterer Begriff auf: Multi-Display En
vironments (MDEs). Während bei SDG der Fokus auf einem gemeinsam genutzten
Rechner bzw. Bildschirm liegt, der als alleiniges Ausgabemedium dient, steht bei
MDEs die Einbettung mehrerer digitaler Geräte (und deren Displays) in eine spe
zielle (kollaborative) Umgebung im Fokus. Die Ausgabe von relevanten Informa
tionen muss nicht mehr nur auf dem zentralen Display erfolgen, da die externen
Eingabegeräte (wie PDAs, Laptops, Tablet-PCs) in der Regel über einen eigenen
Bildschirm verfügen und so ebenfalls als Ausgabedisplays genutzt werden kön
nen. Die Kombination von privaten, mobilen Geräten mit großen, gemeinsam ge
nutzten Displays ist hier dennoch häufig anzutreffen. An dieser Stelle ist jedoch
weniger die individuelle Kontrolle eines Cursors auf einem gemeinsam genutzten
Bildschirm, sondern vielmehr die Kommunikation zwischen mehreren Displays
und der damit stattfindende (möglichst bidirektionale) Transfer von digitalen In
formationen von zentraler Bedeutung.217
Eine allgemeinere Bezeichnung derartiger Systeme, welche den Aspekt der In
tegration in eine bestehende Umgebung außer Acht lässt, ist Coupled Displays (dt.
gekoppelte Anzeigen).218 Terrenghi, Quigley und Dix klassifizieren einzelne Sys
teme an dieser Stelle unter anderem anhand einer Skala, die von losen bis hin zu
eng gekoppelten Displays reicht. Während unter „eng gekoppelten Displays“ hier
solche Systeme zu verstehen sind, für welche die Verbindung zwischen den ein
zelnen Anzeigen fest und damit nicht frei konfigurierbar ist (wie Videoleinwände
aus mehreren Bildschirmen oder eine Ansammlung von fest an bestimmten Plät
zen installierten Desktoprechnern), werden Systeme, die die Existenz und Ver
bindung zwischen einzelnen Displays nicht voraussetzen, sondern je nach Ver
fügbarkeit und Notwendigkeit einsetzen, als lose gekoppelt bezeichnet.219
Im Fall von lose gekoppelten Anzeigen und von MDEs lässt sich schließlich
auch erstmals von wirklicher Multi-Device-Interaktion sprechen, da die einzel
nen Geräte in der Regel voneinander unabhängig als eigenständige Systeme be
trachtet werden können, und nicht nur als zusätzlicher Eingabekanal für ein ge
meinsam genutztes Display fungieren. An dieser Stelle wird der im Rahmen
dieser Arbeit verwendete Begriff der Multi-Device-Interaktion wie folgt verstan
den: Multi-Device-Interaktion bezeichnet die Möglichkeit oder Notwendigkeit
der Interaktion von Benutzern mit mehreren, in der Regel eigenständigen, mit
einander verbundenen Geräten im Kontext einer spezifischen Anwendung. 220 Die
Kombination von Tabletop und Smartphones im Rahmen der Anwendung
Multi/Touch/Device MindMapper kann somit ebenfalls als ein Beispiel für Multi-De
vice-Interaktion verstanden werden. In der Folge seien einige bisherige Prototy
pen vorgestellt, welche diese Form der Interaktion gleichermaßen versuchen um
setzen.
zer über einen eigenen Cursor verfügt, der über den PDA gesteuert werden kann.
Die Ausgabe von Informationen auf dem PDA ist nicht vorgesehen.221
Ein 1998 von Rekimoto vorgestellter Prototyp verbindet ein digitales White
board mit mehreren PDAs. Im Gegensatz zu Pebbles wird hier nicht nur ein Cursor
kontrolliert, sondern der PDA stellt weitere Funktionalität zur Verfügung. Da die
Texteingabe am vertikal ausgerichteten Whiteboard als umständlich empfunden
wird, ermöglicht der Prototyp die Eingabe von Texten an den Palmtops. Diese
Textobjekte können ebenso wie andere digitale Objekte mit Hilfe der Pick-and-
Drop-Technik auf das Whiteboard übertragen werden. Hierbei selektiert der Nut
zer mit dem Stylus ein Objekt am PDA und transferiert es durch Selektion des
Zielbereichs am vertikalen Display auf das Whiteboard. Als ein Anwendungsfall
wird hier auch das Brainstorming in Gruppen genannt.222
Die Kombination von Laptops mit einem gemeinsam genutzten Display kann
darüber hinaus einen Zugewinn an Funktionalität auf Seite des Eingabekanals
bieten. Der Systemprototyp Note&Share, 2010 von Streng und anderen vorgestellt,
verbindet beispielsweise Laptops und ein vertikales Display zur gemeinsamen
Problemlösung. Benutzer können zunächst auf ihren persönlichen Rechnern, die
als private Räume fungieren, Vorschläge sammeln und diese schließlich im Rah
men des Meetings auf dem vertikalen Display zur öffentlichen Diskussion stellen
und dort weiter ordnen und strukturieren. Der Transfer von Ideen auf das digitale
Whiteboard erfolgt an dieser Stelle mit einer Drag and Drop-Geste auf einen be
stimmten Bereich der persönlichen Arbeitsfläche am Laptop. 223 Während sich
hier der Austausch auf Textobjekte beschränkt, erlaubt das 2003 von Everitt vor
gestellte Tabletopsystem UbiTable den Austausch von diversen digitalen Objekten
wie Dokumenten oder digitalen Bildern mit dem Tisch gekoppelten Laptops. Be
nutzer verbinden sich über ihren Laptop mit dem Tabletop und können sich über
ein frei positionierbares Icon am interaktiven Tisch einen persönlichen Bereich
reservieren, in dem die vom Laptop transferierten Objekte angezeigt werden. Der
Austausch erfolgt hier, ebenso wie bei Note&Share, über das Positionieren von Ob
jekten in einen bestimmten Bereich der Anwendung am Laptop.224
Roomwareumgebungen wie i-LAND oder der NiCE Discussion Room verbinden
schließlich mehrere unterschiedliche digitale Geräte miteinander.225 So können
räumlich auf den Bereich des Tabletop beschränkte Zusammenarbeit, bei der alle
Aktionen eines Benutzers von den anderen Gruppenmitgliedern beobachtet wer
den können, kann darüber hinaus auch aufgrund von sozialen Effekten negativen
Einfluss auf die Kollaboration nehmen, wie bereits zuvor ausgeführt wurde (siehe
Kapitel 3.2.1).
An dieser Stelle zeigt sich das Potential externer Geräte, wie privat genutzter
Smartphones in Kombination mit interaktiven, öffentlichen Oberflächen. Als
Smartphone wird ein
Mobiltelefon mit erweitertem Funktionsumfang [bezeichnet]. Dazu zählen
neben der Telefonie und Short Message Service (SMS) üblicherweise Zusatz
dienste wie Electronic Mail (E-Mail), World Wide Web (WWW), Terminka
lender, Navigation sowie Aufnahme und Wiedergabe audiovisueller Inhalte.
Auf Smartphones laufen gegenüber herkömmlichen Mobiltelefonen kom
plexere Betriebssysteme wie etwa Symbian OS, Blackberry OS oder das
iPhone OS. Die hierdurch geschaffene Möglichkeit zur Installation weiterer
Applikationen durch den Endnutzer verleiht Smartphones einen erweiter
baren und individualisierbaren Funktionsumfang.232
Obwohl die meisten aktuell auf dem Markt befindlichen Smartphones zur Einga
be von Texten lediglich virtuelle Tastaturen bereitstellen, deren Bedienung eben
falls problematisch sein kann, kann die Texteingabe über ein Smartphone statt
direkt am Tabletop dennoch in Bezug auf unterschiedliche Aspekte von Vorteil
sein. Zum einen kann angeführt werden, dass die Verbreitung von Smartphones
in den letzten Jahren, nicht zuletzt durch die Popularität des Apple iPhone, stark
zugenommen hat und viele Personen als Benutzer von Mobiltelefonen mit
Touchscreens bereits Erfahrungen hinsichtlich der Texteingabe an solchen Gerä
ten gesammelt haben dürften, was von Tabletops nicht unbedingt behauptet wer
den kann. McAdam und Brewster argumentieren an dieser Stelle zusätzlich, dass
mobile Geräte im Gegensatz zu Tabletops mehr Möglichkeiten zur Verbesserung
und persönlicher Anpassung der Texteingabe bieten. Neben den klassischen
Hardwaretastaturen von Mobiltelefonen gibt es inzwischen je nach Präferenz
eine Vielzahl unterschiedlicher Texteingabemethoden an mobilen Geräten mit
Touchscreens, darunter zahlreiche Varianten der klassischen virtuellen Bild
schirmtastatur und unterschiedliche Interaktionstechniken zur Selektion von
einzelnen Buchstaben, sowie alternative Texteingabemöglichkeiten wie gesten-
und symbolbasierte Texteingabe, Handschriftenerkennung oder Spracheinga
be.233 Darüber hinaus ist die Umsetzung von zusätzlichen taktilen und akusti
schen Rückmeldungen bei der Texteingabe an mobilen Geräten – beispielsweise
in Form von Vibrationen und Tastaturgeräuschen – einfacher und mit weniger
Auswirkungen auf die Arbeit anderer Gruppenteilnehmer umzusetzen als an ei
nem von mehreren Personen genutzten Tabletop.234 Ein weiteres Argument für
die Texteingabe über mobile Geräte am Tabletop ist die Möglichkeit, dadurch
Clutter zu verhindern (siehe Kapitel 3.2.3). Wenn mehrere Personen an einem
Tabletop gleichzeitig Text über virtuelle Tastaturen eingeben wollen, kann es
schnell zu Platzproblemen kommen. Die Verlagerung der Texteingabe auf exter
ne Geräte kann somit zur Reduzierung von Benutzerschnittstellenelementen ge
nutzt werden, wodurch eventuell auch mehr Benutzer als üblich an einem Table
top arbeiten könnten.235 Neben der Möglichkeit der Texteingabe kann dieser
zusätzliche Eingabekanal selbstverständlich auch für den Transfer weiterer für
den Problemlösungsprozess relevanter Daten (wie Dokumente, digitale Bilder
oder Videos) auf den Tabletop genutzt werden. Chehimi und Ruzkio zeigen dies
anhand eines Prototyps, der den Transfer von digitalen Fotos von Smartphones
auf einen Tabletop über eine einfache Flick-Geste erlaubt.236
Neben den Möglichkeiten, die sich bezüglich der Eingabe von Text am Table
top mit Smartphones sowie für den mobilen Datenaustausch ergeben, können ex
terne Geräte in einem Brainstorming- bzw. Mind-Mapping-Szenario die Indivi
dualarbeit unterstützen.237 Man stelle sich vor, dass während der Phase der
Ideengenerierung zusätzliche Informationen benötigt werden, die lediglich über
das Internet zugänglich sind. Sofern dieser Beschaffungsprozess nicht in die ei
gentliche Tabletop-Anwendung integriert ist, hat das Erwerben dieser Informa
tion über den Tabletop in der Regel disruptiven Charakter, da eventuell die pri
märe Anwendung minimiert oder geschlossen werden muss, um an die
Informationen zu gelangen. Ein externes Gerät mit Internetzugang ermöglicht
hingegen parallele Informationsbeschaffung, ohne die Arbeit der restlichen
Gruppenteilnehmer zu beeinflussen.238 Ein weiterer Aspekt ist die Möglichkeit,
einzelne Aufgaben auch außerhalb der eigentlichen kollaborativen Arbeitszeit
auf dem externen Gerät auszuführen und die dabei erzielten Ergebnisse zum
Zeitpunkt des Zusammentreffens in der Gruppe mit anderen Teilnehmern zu tei
len. Hier wäre es vorstellbar, bereits vor einer Brainstormingsitzung Ideen mit
Hilfe eines externen Gerätes festzuhalten und diese schließlich im Rahmen der
kollaborativen Arbeit auf ein gemeinsam genutztes Display zum Zwecke der Dis
kussion und Organisation zu transferieren.239
An dieser Stelle wird durch das externe Gerät zudem ein privater Raum ge
schaffen, in dem der Benutzer gegebenenfalls weniger gehemmt interagieren
kann. Fehler oder Zögern einzelner Personen sind an großen Displays wie Table
tops für alle anderen Benutzer sichtbar, was wiederum negative Effekte, wie die
Angst vor Bewertung, fördern kann (siehe Kapitel 2.2). Ein privates Eingabegerät
ermöglicht hier einen persönlichen Bereich, in dem der Benutzer ungestört inter
agieren kann, und welcher gegebenenfalls sogar eine Form von gewünschter An
onymität im Aufgabenkontext schaffen kann. Dies ermöglicht zusätzlich das un
beobachtete Navigieren in privaten Daten sowie einen sicheren Eingabekanal,
beispielsweise für sensible Authentifizierungsinformationen.240 Ist der Aspekt
der Anonymität von Eingaben über externe Geräte jedoch weniger relevant für
einen bestimmten Aufgabenkontext, kann ein derartiges Multi-Device-Szenario
auch die Unterscheidung bestimmter Eingaben nach Benutzer erleichtern (siehe
Kapitel 3.2.4).
Der Einsatz von externen, mobilen Geräten fördert darüber hinaus die Mobili
tät der Benutzer am Tabletop und in der Arbeitsumgebung, da sie nicht mehr ge
zwungen sind, lediglich am Tabletop selbst und womöglich gar an nur einer be
stimmten Stelle zu arbeiten. Schließlich sind auch auf den ersten Blick triviale
Aspekte, die sich aus der (gemeinsamen) Interaktion mit berührungsempfind
lichen Displays ergeben, anzuführen. Ryall und andere sowie Kray und andere
berichten im Rahmen ihrer Untersuchungen zur Interaktion an Tabletops mit
und ohne externe Geräte von Benutzern, die bei der mit öffentlichen Displays
durch mehrere Personen stattfindenden Berührungsinteraktion Bedenken be
züglich der Hygiene solcher Systeme haben und demnach die Interaktion über in
direkte Eingabemethoden, wie ein eigenes Eingabegerät, bevorzugen würden.241
Die Erweiterung von Tabletops um externe Eingabegeräte wie Smartphones
kann jedoch auch negative Effekte auf die Kollaboration haben. In erster Linie be
steht an dieser Stelle die Gefahr, dass sich die Konzentration der einzelnen Be
nutzer zu sehr auf ihr persönliches Eingabegerät richtet und die kollaborative Ar
beit am Tabletop dadurch vernachlässigt wird. Des Weiteren kann die
239 Vgl. Greenberg, Boyle & Laberge (1999, S. 55 f.), vgl. Prante, Magerkurth & Streitz (2002, S. 112).
240 Vgl. Wallace & Scott (2008, S.59), vgl. Finke et al. (2010, S. 19).
241 Vgl. Ryall et al. (2006a, S. 92 f.), vgl. Kray et al. (2010, S. 246).
4 Multi-Device-Interaktion mit Tabletop und Smartphones 81
242 Vgl. Scott, Grant & Mandryk (2003, S. 6), vgl. Wallace et al. (2009, S. 576), vgl. Shoemaker & Ink
pen (2001, S. 522), vgl. Hinrichs et al. (2007, S. 106).
243 Vgl. McAdam & Brewster (2009, S. 509 f.).
5 Anwendungskonzept 82
5 Anwendungskonzept
Die im Rahmen dieser Arbeit konzipierte und prototypisch umgesetzte Anwen
dung Multi/Touch/Device MindMapper soll als proof-of-concept für das Brainstorming
und Mind-Mapping in einem Multi-Touch- und Multi-Device-Kontext dienen,
wobei ein besonderes Augenmerk auf bestimmte Designziele, die im Kontext von
Tabletop-Anwendungen und Multi-Device-Interaktion von Relevanz sind, gelegt
werden soll. Dieses Kapitel beschreibt die Entwicklung des Anwendungskonzepts
von der Aufgabenanalyse über die konkreten Anforderungen, die das System er
füllen soll, bis hin zu tatsächlichen Lösungsansätzen für bestimmte Designziele
und Implementierungsdetails. Das Kapitel wird durch die Vorstellung eines ers
ten Prototyps in Form von papierbasierten Skizzen für einzelne Screens und Be
nutzerschnittstellenelemente abgeschlossen. Im nachfolgenden Kapitel 6 folgen
schließlich Details zur Implementierung, wie die Architektur des Systems und
die Beschreibung zentraler Programmklassen sowie die visuelle Umsetzung von
Programmelementen. Die Strukturierung der folgenden Erläuterungen orientiert
sich demnach grob an dem im Rahmen des Projekts eingehaltenen Software-En
gineering-Prozess, welcher sich wiederum auf ein allgemeines Wasserfallmodell,
bestehend aus den iterativen Phasen Anforderungserhebung, Analyse, Entwurf,
Codieren, Testen und Betrieb abbilden lässt (Abbildung 27).
5 Anwendungskonzept 83
5.1 Anforderungsbeschreibung
Ziel der Arbeit ist es, eine Anwendung zu konzipieren und umzusetzen, die das
Brainstorming und Mind-Mapping in einem Multi-Device-Kontext an einem
multitouchfähigen Tabletop in Kombination mit Smartphones ermöglicht. Zu
nächst stellt sich die Frage, welche Aufgaben eine derartige Anwendung unter
stützen soll und welche Anforderungen dieses System in der Folge erfüllen kön
nen muss.
5.1.1 Aufgabenanalyse
Aus dieser ersten, groben Aufgabenanalyse lassen sich sowohl für die Anwen
dung am Multi-Touch-Tisch als auch für die Smartphone-Applikation bereits
grundlegende funktionale Anforderungen ableiten. Die Tabletop-Anwendung
sollte demnach folgende grundlegenden Anforderungen erfüllen:
5.2 Implementierungskonzept
Über die von einer konkreten Umsetzung unabhängigen Funktionsanforderun
gen hinaus wird in der Folge die Wahl der jeweiligen Entwicklungsframeworks
konkretisiert sowie die Kommunikation zwischen Tabletop und Smartphones nä
her erläutert.
koll arbeitet. Eine nennenswerte Ausnahme stellt an dieser Stelle das Microsoft
Surface SDK248 dar, welches lediglich Windows 7-Multi-Touch-Events unter
stützt.249 Sowohl das Surface SDK (WPF/C#, proprietär) als auch auf dem TUIO-
Protokoll aufbauende Frameworks wie PyMT (Python, GNU LGPL), libTISCH (C++,
GNU LGPL), MT4j (Java, GNU GPL) oder GestureWorks (Flash, proprietär)250 stellen
meist bereits grundlegende Gesten zur Manipulation von Objekten sowie einfa
che Benutzerschnittstellenelemente, wie virtuelle Tastaturen oder Buttons, zur
Verfügung und erlauben somit eine effiziente Entwicklung von prototypischen
Anwendungen für Tabletops.
Für die Entwicklung der im Rahmen dieser Arbeit umgesetzten Brainstorming
und Mind-Mapping-Anwendung am Tabletop soll schließlich das MT4j-Frame
work zum Einsatz kommen. Dieses unterstützt bereits die Erkennung grundle
gender Berührungsaktionen wie Single und Double Tap sowie Manipulationsgesten
wie Drag and Drop oder das Skalieren und Rotieren von Elementen. Darüber hin
aus ermöglicht das Framework die Erkennung von symbolischen Unistroke-Ges
ten und stellt einige Multi-Touch-Widgets, wie eine virtuelle Bildschirmtastatur,
scrollbare Listen oder Buttons, zur Verfügung. Eigene Widgets können unter Zu
hilfenahme bestehender Multi-Touch-Primitive wie Rechtecke, Ellipsen und Li
nien ebenso wie eigens definierte Gesten entwickelt werden. Weitere Aspekte des
Frameworks sollen schließlich in Kapitel 6 im Rahmen der Erläuterung der für
die Anwendung relevanten technischen Grundlagen vorgestellt werden. Basie
rend auf Java ermöglicht es letztlich auch eine prinzipiell plattformunabhängige
5.3.1 Screenkonzept
Screenkonzept Tabletop
Das für den Tabletop umgesetzte Screenkonzept folgt dem Designziel einer einfa
chen und intuitiv bedienbaren Benutzeroberfläche, welche die Interaktion mit
Berührungsgesten erlaubt. Die Arbeitsoberfläche soll dabei von einer einzigen
Ansicht ohne weitere Fenster gebildet werden, auf der alle Elemente mit Multi-
Touch-Gesten frei positioniert und rotiert werden können. Weitere, auf einzelne
Inhalte bezogene Funktionen, wie das Erstellen und Löschen von Ideen (die durch
Notizzettel repräsentiert werden) und Relationen, sollen mit Hilfe von symboli
schen Gesten ausgeführt werden, um die direkte Interaktion mit dem System zu
fördern. Funktionen, die sich auf die gesamte Anwendung beziehen (Hilfe, Spei
chern, Laden, Schließen etc.), sollen in kreisförmigen Menüs repräsentiert und
selektiert werden. Die Darstellung der einzelnen Menüelemente erfolgt dabei
nicht über Text, sondern über grafische Icons. Die radiale Ausrichtung und Dar
stellung mittels Icons unterstützt an dieser Stelle das Designziel, Bildschirmele
mente für die flexible Interaktion aus allen Perspektiven zu optimieren. Zusätzli
che Informationen, wie Erläuterungen zu den möglichen Interaktionsgesten,
werden in eigenen Overlays dargestellt, die ebenfalls frei positioniert und rotiert
werden können. Für die Erläuterungen zu den einzelnen Gesten soll es die Mög
251 Vgl. Scott, Grant & Mandryk (2003), vgl. Wallace & Scott (2008), vgl. Apted, Collins & Kay
(2009), vgl. Microsoft (2009), vgl. Remy, Weiss & Borchers (2010).
5 Anwendungskonzept 89
lichkeit der mehrfachen Anzeige geben, damit sie auch von mehreren Nutzern
gleichzeitig rezipiert werden können. Das Design der einzelnen Bildschirmele
mente sollte zudem auf unterschiedliche Bildschirmauflösungen anpassbar sein.
Screenkonzept Smartphone
Die Bildschirmoberfläche an Smartphones ist, im Gegensatz zur Oberfläche an
Tabletops, durch die variable Hardware und der generell geringeren Dimensio
nen mobiler Geräte stark eingeschränkt, weshalb die einzelnen Funktionen auf
unterschiedliche Screens aufgeteilt werden müssen. Da sich die Funktionen am
Smartphone auf das Erstellen und Verwalten von Ideen, deren Transfer und das
Herstellen einer Verbindung zum Tabletop beschränken, bietet sich hier die Auf
teilung in a) Ideentransfer, b) Ideenverwaltung und c) Funktionen zur Verbin
dung mit dem Tabletop an. Für einzelne Benutzerschnittstellenelemente kann
und wird an dieser Stelle auf standardisierte Widgets der gewählten Zielplattform
Android zurückgegriffen werden.
5.3.2 Gestenalphabet
Sowohl für die Interaktion am Tabletop als auch am Smartphone sollen Single-
und Multi-Touch-Gesten angewandt werden, um das Designziel der direkten In
teraktion mit der Benutzeroberfläche zu ermöglichen. In den Entwurf eines ge
eigneten Gestenalphabets sind unterschiedliche Aspekte einzubeziehen. So sollte
zum einen gewährleistet sein, dass Aktionen, die sowohl am Tabletop als auch am
Smartphone ausgeführt werden können, an beiden Systemen durch die gleichen
Gesten repräsentiert werden. Für die Interaktion mit Smartphones haben sich be
reits bestimmte Gesten durchgesetzt, wie der Single Tap zur Auswahl von Elemen
ten oder eine Flick-Geste zum Scrollen durch Listen. Häufig angewandt werden
vor allem Gesten, welche bisherige Mausaktionen abbilden, wie Single Tap, Double
Tap oder Drag and Drop. Neben dem Blick auf jene Gesten, die bis zu einem gewis
sen Grad als bereits etabliert betrachtet werden können, lohnt sich, in Ermange
lung eigener Feldstudien, ein Blick auf bisherige Tabletopsysteme im Kontext von
Brainstorming und Mind-Mapping und die dabei umgesetzten Berührungsgesten
sowie auf gegebenenfalls bereits existierende Studien zu geeigneten Gesten, spe
ziell bei Erstellung und Manipulation von baumartigen Strukturen. Letztlich
hängt die konkrete Umsetzbarkeit auch vom gewählten Anwendungsframework
ab.
5 Anwendungskonzept 90
Gestenalphabet Tabletop
Während bei zahlreichen der bereits vorgestellten Tabletop-Anwendungen zum
Brainstorming und Mind-Mapping lediglich Mausaktionen auf Berührungsges
ten abgebildet wurden, kommt bei Kims Brainstorm-System auch eine Vielzahl
weiterer Gesten zum Einsatz:252 Die Erstellung einer neuen Idee in Form eines
Notizzettels erfolgt über das Zeichnen eines Rechtecks bzw. eines Kreises auf der
Tabletopoberfläche. Das Beschreiben eines neuen Notizzettels kann nach Tippen
in dessen Mitte erfolgen. Neben dem üblichen Bewegen von Notizzetteln über
Drag and Drop können Ideen auch mit Hilfe einer Flick-Geste über den Tisch „ge
worfen“ werden. Mehrere Ideen lassen sich zu Ideenclustern zusammenfassen,
indem sie mit einer Lasso-Geste (Zeichnen eines kreisförmigen Bereichs um
mehrere Elemente) selektiert werden. Diese Ideencluster können wiederum mit
einander verbunden werden, wenn eine Linie zwischen zwei Clustern gezeichnet
wird. Das Löschen dieser Verbindung geschieht durch eine Zick-Zack-Geste über
der Verbindungslinie.
Einige dieser Gesten finden sich auch in einer 2009 von Frisch, Heydekorn
und Dachselt veröffentlichten Studie zu Finger- und Stiftgesten zum Editieren
von Diagrammen an interaktiven Oberflächen.253 Ziel der Untersuchung war es,
ein Gestenset für das Editieren von Knoten-Kanten Diagrammen auf der Basis
von Benutzervorschlägen zu erstellen. Für diverse Aufgaben, wie das Erstellen,
Bewegen, Selektieren und Löschen von Knoten sowie die Verbindung einzelner
Knoten mit gerichteten und ungerichteten Kanten sollten die Testpersonen geeig
nete Gesten vorschlagen. Diese durften mit einer oder zwei Händen sowie mit ei
nem Stift ausgeführt werden. Bei der Mehrheit der dabei erfassten Gesten han
delte es sich schließlich um mit einer Hand ausgeführte Gesten, wobei auffiel,
dass die Benutzer kaum zwischen der Interaktion mit dem Finger oder mit dem
Stift unterschieden und überwiegend gleiche Gesten in beiden Konditionen aus
führten. Das daraus abgeleitete Gestenset umfasst für die einzelnen Aufgaben un
ter anderem folgende Gesten:254
Gestenalphabet Smartphone
Für das Gestenalphabet am Smartphone wird in erster Linie auf die bereits in der
Plattform integrierte Gesteninteraktion zurückgegriffen. Diese umfasst unter an
derem den Single Tap, der ebenso wie am Tabletop zur Auswahl von Objekten
und zur Funktionsauslösung und Texteingabe dient, sowie die Wisch- bzw.
Flick-Geste zum Scrollen durch Listeneinträge. Für den Transfer einer Idee auf
den Tabletop bietet sich an dieser Stelle in Anlehnung an die am Tisch umgesetzte
Notizzettelmetapher ebenfalls der Einsatz direkter Manipulation in Form einer
Geste an, weshalb der Transfer einer Idee vom Smartphone auf den Tabletop
schließlich über eine Dragging-Geste auf einen designierten Bereich der Benut
zeroberfläche am Smartphone realisiert werden soll.256
5.3.3 Benutzerschnittstellengestaltung
256 Vgl. Prante, Streitz & Tandler (2004, S. 50 f.), vgl. Streng et al. (2010, S. 790).
5 Anwendungskonzept 93
257 Der Einsatz von Farben zur Unterscheidung von Zuständen ist selbstverständlich aufgrund von
kulturellen Konventionen sowie der Möglichkeit der Farbenblindheit von Benutzern nicht ganz
unproblematisch, jedoch konnte im Rahmen der Arbeit keine umfangreichere Feedbackfunktio
nalität umgesetzt werden. Zu möglichen Erweiterungen sei an dieser Stelle auf die Ausführun
gen in Kapitel 5.4 verwiesen.
5 Anwendungskonzept 94
tiert werden können.258 Schließlich soll die Anwendung dem Benutzer diesbezüg
lich insofern entgegenkommen, als bei der Erstellung einer neuen Idee am Table
top diese je nach ihrer Position auf der Oberfläche automatisch ausgerichtet wird
(siehe Kapitel 3.2.3). Genauso sollen Overlays bei deren Aufschalten nach der Po
sition des aufrufenden Menüs auf der Arbeitsfläche ausgerichtet werden. Neue
Ideen werden nach dem Transfer von einem Smartphone auf den Tabletop in der
Mitte der Arbeitsfläche positioniert, da hier keine Annahmen über die Position
des Benutzers am Tisch getroffen werden können.
Funktionen, die sich auf die gesamte Anwendung beziehen und somit nicht
von dem vorgestellten Gestenalphabet abgedeckt werden, können in kreisförmi
gen, frei positionier- und rotierbaren Menüs selektiert werden. Neben der in den
Anforderungen definierten Funktionalität zum Laden und Speichern von Ideen
sammlungen / Mind-Maps sowie zum Schließen und Minimieren der Anwen
dung soll auch eine rudimentäre Hilfe zu den verwendbaren Gesten zur Verfü
gung gestellt werden und ein Informationsoverlay zu aktuellen
Bluetoothverbindungen eingeblendet werden können. Die Darstellung dieser
einzelnen Menüpunkte erfolgt über Icons, um auch hier die Bedienung aus allen
Perspektiven zu erleichtern. Die Eingabe von Texten wird schließlich über in
MT4j bereits vordefinierte virtuelle Tastaturen ermöglicht, die jeweils an das zu
bearbeitende Textfeld gekoppelt sind.
Neben diesen Aspekten zur generellen Gestaltung der Benutzerschnittstelle
und einzelnen Elementen sollen auch Designziele realisiert werden, die Einfluss
auf die kollaborative Arbeit nehmen. So scheint es sinnvoll, zur Förderung von
Awareness innerhalb der Gruppe (siehe Kapitel 2.4) zusätzliches visuelles Feed
back bei der Erstellung einzelner Notizzettel sowie insbesondere beim Transfer
von Ideen von externen Geräten zu realisieren, weshalb die neuen Ideen mit einer
Animation auf dem Bildschirm dargestellt werden sollen, wobei der Transfer ei
ner Idee von einem Smartphone auf den Tabletop stärker hervorgehoben wird als
die Erstellung eines neuen Notizzettels direkt am Tisch. Die freie Positionierung
und Ausrichtung von Elementen unterstützt darüber hinaus die individuelle Seg
mentierung der Arbeitsoberfläche durch die Benutzer im Sinne der von Scott,
Carpendale und Inkpen vorgestellten Theorie zur Territorialität an Tabletop
schnittstellen, wobei die Smartphones diesbezüglich zusätzliche persönliche Be
reiche zur Verfügung stellen.259 Letztlich wird auf globale Aktionen, die den Sta
tus der gesamten Anwendung verändern, so weit wie möglich verzichtet und vor
dem Ausführen von Aktionen, die – wie das Schließen der Anwendung – Einfluss
auf alle Benutzer haben, eine erneute Bestätigung in einem Dialog-Overlay ver
langt. Dialoge bilden die einzige Ausnahme bezüglich der freien Positionierung
und Ausrichtung auf der Benutzeroberfläche – da sie die Aufmerksamkeit aller
Benutzer erfordern, sollen sie zentral und mit fester Ausrichtung in der Mitte der
Anwendung eingeblendet werden und dabei einen Großteil der Bildschirmober
fläche einnehmen. Um dennoch Lesbarkeit aus mehreren Perspektiven zu ge
währleisten, sollen der Informationstext und etwaige Buttons hier ebenfalls an
der Achse gespiegelt werden. Derartige Dialoge können zusätzlich zur Anzeige
von die gesamte Anwendung betreffenden Informationen, wie dem Bluetooth-
Status oder dem Erfolg beim Laden oder Speichern einer Ideensammlung, ver
wendet werden.
Diese Designziele, welche die grundlegenden funktionalen Anforderungen un
terstützen, können im Rahmen der Arbeit umgesetzt werden – selbstverständlich
wären an dieser Stelle zahlreiche zusätzliche Erweiterungen denkbar. Einige die
ser Möglichkeiten sollen schließlich im folgenden Kapitel 5.4 kurz skizziert wer
den.
5 Anwendungskonzept 96
5.4 Erweiterungsmöglichkeiten
Neben den zuvor angeführten funktionalen Anforderungen sowie den darüber
hinaus gehenden Designzielen sind im Rahmen einer Anwendung zum Brain
storming und Mind-Mapping am Tabletop mit Smartphones weitere Erwei
terungsmöglichkeiten denkbar, die jedoch im Rahmen dieser Arbeit, nicht zuletzt
aus zeitlichen Gründen, nicht umgesetzt werden können.
Zunächst wäre neben der Erstellung und Verwaltung von Ideen sowie deren
Transfer über Bluetooth weitere Funktionalität am Smartphone denkbar. An die
ser Stelle müsste jedoch darauf geachtet werden, dass die Möglichkeiten der In
teraktion mit dem externen Gerät das Arbeitsszenario nicht derart dominieren,
dass die eigentliche Kollaboration und Kommunikation um den Tisch herum dar
unter leiden. Als minimale Ergänzung wäre hier eine Anzeige der bisher transfe
rierten Ideen in Relation zu allen Ideen auf dem Tabletop denkbar, um dem Be
nutzer Rückmeldung zu seiner Beteiligung an der Sitzung zu geben und ihn
gegebenenfalls zu einer aktiveren Teilnahme anzuregen. Neben der grundlegen
den Anforderung, einzelne Ideen auf den Tabletop übertragen zu können, stellt
sich die Frage, ob nicht auch der Transfer mehrerer (selektierter) Ideen auf einmal
sinnvoll wäre. Des Weiteren wäre vorstellbar, dass jeder Benutzer auch eine Ko
pie der gesamten Ideensammlung / Mind-Map auf seinem Smartphone speichern
kann, um diese in einem nachfolgenden Meeting auf den Tabletop transferieren
zu können. Weitere Editiermöglichkeiten der gesamten Mind-Map am Smart
phone wären an dieser Stelle vermutlich bereits der Kollaboration am Tisch ab
träglich, was jedoch auch im Rahmen einer evaluativen Studie von Interesse sein
könnte.
Sowohl am Smartphone als auch am Tabletop wären neben der Erstellung von
Ideen in Form von Text auch das Anfertigen von Skizzen denkbar. Über die Tex
teingabe an der virtuellen Tastatur hinaus könnte auch die handschriftliche Ein
gabe von Text einen Mehrwert bieten. Schließlich sind bezüglich der allgemeinen
Kommunikation zwischen Smartphone und Tabletop einige weitere Szenarien
denkbar – so ist in dem im Rahmen dieser Arbeit vorgestellten Anwendungskon
zept zunächst nur eine unidirektionale Kommunikation von Smartphone zum
Tabletop in Form des Transfers von kurzem Text vorgesehen. Um das Potential
der Multi-Device-Interaktion voll auszuschöpfen, wäre vorstellbar, dass Ideen
auch wieder zurück auf ein Smartphone transferiert werden können. Hierfür
müssten jedoch einzelne externe Geräte am Tabletop identifizierbar sein, was
beispielsweise durch einen personalisierten Bereich, das heißt einen mit dem ex
5 Anwendungskonzept 97
ternen Gerät assoziierten Bereich, in den Objekte zum Transfer gezogen werden
können, erreicht werden könnte.260 Wenn es zudem möglich wäre, einzelne No
tizzettel dem jeweiligen Smartphone, von dem diese Ideen transferiert wurden,
zuzuordnen, könnten bei weiterer Manipulation eines Zettels (Löschen, Editie
ren, Verbinden mit einem weiteren Notizzettel) Rückmeldungen an den jeweili
gen Benutzer über sein Smartphone gegeben werden.261 Eine derartige Zuordnung
würde schließlich auch erlauben, einzelne Zettel beispielsweise farblich zu mar
kieren um die Kontribution einzelner Benutzer hervorzuheben und so gegebe
nenfalls den bei Gruppenarbeit auftretenden Trittbrettfahrereffekt (siehe Kapitel
2.2) zu verhindern.
Eine weitere unmittelbar mögliche Erweiterung wäre zudem die Möglichkeit
der Skalierung von Bildschirmelementen durch eine entsprechende Geste. Diese
Funktionalität wurde im Rahmen des vorgestellten Gestenalphabets zunächst
nicht definiert, da dies für die grundlegenden Anforderungen an die Anwendung
als zunächst nicht relevant und womöglich auch als störend in dem speziellen
Aufgabenkontext „Ideengenerierung und -strukturierung“ erachtet wird. Die Er
weiterung der Anwendung um die Möglichkeit der Skalierung von Ideen, Menüs
oder Overlays ist jedoch jederzeit möglich.
Ebenfalls relativ einfach umsetzbar wäre erweitertes Feedback bei der Erken
nung von Unistroke-Gesten. Im Rahmen der Arbeit soll durch Farbfeedback zu
mindest eine Art von Rückmeldung bezüglich des Erfolgs der Gestenausführung
umgesetzt werden, an dieser Stelle wären jedoch gegebenenfalls zusätzliche In
formationen sinnvoll, um den Benutzer darüber in Kenntnis zu setzen, warum
eine Funktion, wie zum Beispiel das Erstellen einer Relation, nicht ausgeführt
wird. Sei es aufgrund der Tatsache, dass die ausgeführte Geste vom System nicht
erkannt wurde oder weil bestimmte Vorbedingungen zur Ausführung der Aktion
nicht erfüllt sind, zum Beispiel, weil eine Idee innerhalb einer Mind-Map nur mit
einer weiteren übergeordneten Idee verbunden werden darf. Dies könnte durch
zusätzliche Overlays mit textueller oder ikonischer Information an der Position,
an der der Benutzer die Geste ausgeführt hat, realisiert werden.
Obwohl die Ausführung von globalen Systemaktionen in der Regel in einem
Dialog bestätigt werden muss, könnte hier der Aspekt der Kollaboration weiter
fokussiert werden, indem eine globale Aktion nur dann ausgeführt werden kann,
wenn alle Benutzer am Tisch dies bestätigen. Die Umsetzung einer derartigen
Mechanik könnte jedoch problematisch sein, da ohne die Identifizierung von Be
nutzern oder das Wissen um die genaue Anzahl der Teilnehmer die Bedingung
zur letztendlichen Ausführung einer Aktion schwer zu definieren sein dürfte.
Ein weiterer Aspekt ist das Löschen von Ideen. Die im Rahmen dieser Arbeit
definierte Anforderung sieht letztlich das endgültige Löschen von Ideen mit nur
einer Geste vor, ein Rückgängigmachen einer Löschaktion ist nicht möglich. Die
Ergänzung der Anwendung um eine Art „Papierkorb“, in dem gelöschte Ideen ge
sammelt werden und bei Bedarf wieder auf die Arbeitsfläche transferiert werden
können, könnte hier zur allgemeinen Benutzbarkeit des Systems beitragen. Al
ternativ wäre auch ein Warndialog vor dem endgültigen Löschen einer Idee denk
bar. Während der Multi/Touch/Device MindMapper das Speichern einer Ideensamm
lung / Mind-Map am Tabletop ermöglichen soll, wäre ebenso eine Exportfunktion
in Form einer Grafikdatei oder in Form von strukturierten Daten (XML) denkbar
– letzteres könnte auch den Import von bereits strukturierten Daten ermögli
chen.
Die prototypische Umsetzung der im Rahmen der Arbeit konzipierten An
wendung wird sich jedoch auf die in Kapitel 5 beschriebenen Anforderungen und
Designziele beschränken. Diese erste konzeptuelle Beschreibung des Systems
wurde in Form eines ersten Prototyps in Form von papierbasierten Skizzen um
gesetzt, um erste Designlösungen für die Benutzerschnittstellen vorzuschlagen
und im Kontext der durch die eingesetzten Frameworks und Plattformen umsetz
baren Möglichkeiten sowie im Rahmen des durch die jeweilige Hardware gegebe
nen Kontextes darzustellen. Das folgende Kapitel soll kurz auf die Umsetzung
dieser Skizzen eingehen.
5 Anwendungskonzept 99
262 Abmessungen des Bildschirms des Evoluce ONE: 1034 mm x 585 mm.
5 Anwendungskonzept 100
Abbildung 30: Skizzen zur Visualisierung von Ideen und Relationen auf dem Table
top: erste Ideen, 55 x 55 mm, 85 x 40 mm und 90 x 60 mm (links, v.o.n.u.) und fina
le Skizze 70 x 50 mm (rechts).
5 Anwendungskonzept 101
Menüs
Für die Menüs wurde eine kreisförmige Darstellung gewählt, in denen die einzel
nen Menüpunkte in Form von mit Icons versehenen Buttons radial um den Mit
telpunkt des Menüs angeordnet werden. Da sich die Menüaktionen grob in allge
meine Anwendungsfunktionen (Laden, Speichern, Hilfe, Bluetooth) und
Aktionen, die zur Manipulation des Anwendungsfensters dienen (Schließen, Mi
nimieren und Verkleinern/Maximieren), einteilen lassen, scheint eine Separation
in zwei Menüs sinnvoll, um einerseits eine gewisse Mindestgröße für die einzel
nen Buttons in den Menüs zu ermöglichen und andererseits zu gewährleisten,
dass die Menüs nicht so groß werden, dass die eigentlichen Inhalte der Anwen
dung optisch in den Hintergrund treten. Das Hauptmenü wird dabei größer
(Durchmesser 80 mm) als das weniger häufig benutzte Fenstermenü dargestellt
(Durchmesser 60 mm). Da die Buttons bereits den Großteil der Fläche der Menüs
einnehmen, ist es nötig, zusätzlich Bereiche zu definieren, die zur Bewegung und
zum Rotieren des Menüs verwendet werden können. Hierzu dienen schließlich
der mittlere Bereich sowie an den Rändern befindliche ‚Griffe‘, welche durch die
explizite Visualisierung der Möglichkeit des freien Platzierens und Rotierens des
Menüs zusätzlich die Affordanz dieses Benutzerschnittstellenelements erhöhen
sollen (Abbildung 31). Bei den Icons wurde versucht, allgemein verständliche
bzw. etablierte Darstellungen für die einzelnen Aktionen zu wählen.
Overlays
Neben den eigentlichen Ideen und deren Verbindungen sowie den Menüs werden
auch diverse Overlays Teil der Benutzerschnittstelle am Tabletop sein. Jede der
vier Menüoptionen im Hauptmenü öffnet ein entsprechendes Overlay – beim
Speichern einer Ideensammlung / Mind-Map soll beispielsweise ein Textfeld die
Eingabe eines Dateinamens erlauben (Abbildung 32). Das Laden einer zuvor ge
speicherten Sitzung erfolgt an dieser Stelle durch die Auswahl einer bestimmten
Datei aus einer Liste (Abbildung 33). Darüber hinaus soll das Erlernen der im
Rahmen der Anwendung umgesetzten Gesten dahingehend unterstützt werden,
dass ein Overlay, das die Funktionen der Anwendung sowie die dazu eingesetzten
Gesten erklärt und visualisiert, aufgeschaltet werden kann. Die Dimensionen und
die Orientierung dieses Overlays wurde im Laufe der Entwicklung des Prototypen
geändert, um zu jeder Aktion mehr Text darstellen zu können (siehe Abbildung
34). Schließlich soll ein weiteres Overlay zumindest minimale Informationen be
züglich der aktuell über Bluetooth mit dem Tabletop verbundenen externen Ge
räte bereitstellen (siehe Abbildung 33). Neben einem Button zum Schließen des
Overlays beinhalten alle dieser Elemente ebenso wie die Menüs extra definierte
Bereiche zum Bewegen und Rotieren.
Abbildung 33: Skizzen zur Visualisierung des Laden- bzw. Bluetooth-Overlay (am
Tabletop: erste Idee für das Lade-Overlay, 125 x 95 mm (links), finale Skizze Blue
tooth/Lade-Overlay, 130 x 100 mm (rechts).
Im Gegensatz zur Tabletopschnittstelle lassen sich die Anforderungen, die für die
Smartphone-Anwendung im Rahmen des Konzepts definiert wurden, nicht auf
einem einzelnen Screen umsetzen. Da sich die Funktionen grob in das Erstellen
und Verwalten von Ideen, deren Transfer sowie das Herstellen einer Bluetooth-
Verbindung und diesbezüglich relevanter Informationen zum Tabletop einteilen
lassen, bietet sich die Umsetzung über das in Android bereits verfügbare Tab-Lay
out-Widget263 an. Dies stellt für jede Funktionsgruppe einen globalen Reiter mit
Icon und Beschreibung zur Verfügung, über das jederzeit zwischen den damit
verknüpften Activities264 gewechselt werden kann. Die Aufteilung der Benutzer
schnittstelle in ‚Ideentransfer‘, ‚Ideenverwaltung‘ und ‚Bluetooth‘ ist auch durch
die Tatsache motiviert, dass die Kombination von Ideenerstellung und -transfer
(über eine Drag and Drop-Geste) in einer Activity durch den sehr beschränkten
Platz, den mobile Geräte auf ihrem Bildschirm zur Verfügung stellen, kaum prak
tikabel umsetzbar wäre. Die jeweiligen Inhaltsbereiche der Activities bestehen da
bei primär aus Listen-Widgets (Abbildung 35).
Abbildung 35: Skizzen zur Visualisierung von Ideen für die Benutzerschnittstelle
am Android Smartphone: Tab-Layout mit Activity ‚Transfer‘ (links), Activity ‚Ideenver
waltung‘ (mittig) und Activity ‚Bluetooth‘ (rechts).
Die Activity ‚Ideentransfer‘ umfasst, neben einer Liste der bereits erstellen Ideen,
einen Bereich, der den Tabletop visualisieren soll. Das Ziehen und Loslassen eines
Listenelements in diesen Bereich resultiert schließlich in dem Transfer der Idee
auf den Tabletop, sofern eine Bluetoothverbindung zwischen den beiden Geräten
besteht. Die Activity ‚Ideenverwaltung‘ ermöglicht die Erstellung einzelner Ideen
texte, die durch Bestätigung über einen Button persistent in einer Liste gespei
chert werden. Durch das Ausführen der Tap and Hold-Geste auf einer bereits er
stellten Idee kann diese wieder aus der Liste gelöscht werden. Für die Activity
‚Bluetooth‘ ist schließlich in dieser Phase der Konzeption zunächst nur eine Lis
tenübersicht der verfügbaren Bluetooth-Geräte angedacht, die das Verbinden mit
einzelnen Geräten ermöglichen soll. Zusätzlich zum Tab-Layout soll darüber hin
aus eine Statusleiste Informationen über den aktuellen Bluetooth-Verbindungs
status bereitstellen.
Durch die Umsetzung von Ideen für die Gestaltung der Benutzerschnittstellen
an Tabletop und Smartphone in Form eines Papierprototyp und zusätzlichen
Skizzen konnten somit ohne zusätzlichen Entwicklungsaufwand bereits erste Lö
sungsansätze visualisiert und konkretisiert und darüber hinaus iterativ unter Be
rücksichtigung der jeweiligen Anforderungen, Möglichkeiten und Grenzen der
eingesetzten Hardware und Entwicklungsplattformen weiterentwickelt werden.
Dieser technische Kontext der Anwendung soll schließlich im Rahmen des fol
genden Kapitels, das die konkrete Umsetzung des zuvor beschriebenen Anwen
dungskonzeptes erläutert, ebenso kurz skizziert werden.
6 Implementierung 106
6 Implementierung
Dieses Kapitel widmet sich der konkreten technischen Umsetzung des zuvor defi
nierten Anwendungskonzepts und den in dessen Rahmen vorgeschlagenen De
signlösungen. Neben den für die Ausführung des Systems relevanten technischen
Grundlagen und den jeweils verwendeten Entwicklungsumgebungen liegt hier
der Fokus vor allem auf der Dokumentierung des strukturellen Aufbaus der An
wendung.
Grundlegende Ziele des Frameworks sind somit die Optimierung von Portabili
tät, der Abstraktion von Eingaben und Performanz sowie der allgemeine Abbau
von Barrieren bei der schnellen Entwicklung von Anwendungen mit Multi-
Touch-Funktionalität.268 MT4j stellt eine Abstraktionsschicht für unterschied
lichste Hardware (Maus, Tastatur, Multi-Touch-Hardware etc.) bereit, welche die
Rohdaten in einheitliche Eingabeevents konvertiert. Diese werden schließlich
durch eine Verarbeitungsschicht in Form von Gestenevents an die Präsentations
schicht weitergereicht. Die Darstellung in MT4j erfolgt in Form von einzelnen
Szenen (Scenes), die jeweils eine (abstrakte) Arbeitsfläche (Canvas) sowie die darin
enthaltenen sichtbaren und unsichtbaren (Multi-Touch-) Komponenten (Com
ponents) umfassen.
267 Laufs, Ruff & Weisbecker (2010, S. 58), Übersetzung durch die Autorin.
268 Vgl. Laufs, Ruff & Zibuschka (2010, S. 2).
6 Implementierung 108
Das Rendering der grafischen Ausgabe erfolgt über die in MT4j integrierte Open
Source-Entwicklungsumgebung Processing269 sowie die darin verwendeten OpenGL-
Bibliotheken270 (Abbildung 36).271
MT4j stellt bereits einige häufig verwendete Multi-Touch-Gesten (wie Single
und Double Tap, Drag and Drop und Gesten zum Rotieren und Skalieren von Objek
ten) sowie die Erkennung von Unistroke-Gesten mit Hilfe einer Implementierung
des 1$ Unistroke Recognizer272 zur Verfügung. Letzterer erkennt auf die Tabletop
oberfläche gezeichnete Symbole wie Kreise, Rechtecke, Dreiecke, Pfeile etc. sowie
Lettern wie X und V. Darüber hinaus bietet MT4j bereits einige Multi-Touch-Wid
gets an, die beliebig erweitert werden können – darunter geometrische Primitive
(Rechteck, Ellipse, Linie) sowie komplexere Objekte wie Textfelder, Buttons,
scrollbare Listen und virtuelle Tastaturen.
Durch die Entwicklung mit Java sind mit MT4j umgesetzte Anwendungen
prinzipiell plattformunabhängig.273 Bezüglich der mit der Anwendung kompati
blen (Erkenner-) Hardware wird lediglich die Unterstützung des TUIO-Protokolls
und eine OpenGL-fähige Grafikkarte vorausgesetzt.
6.2 Anwendungsstruktur
In der Folge soll schließlich die strukturelle Infrastruktur der Multi/Touch/Device
MindMapper Anwendung erläutert werden. Diese wurde im Rahmen des Soft
wareengineeringprozesses zunächst in Form eines allgemeinen Systemmodells
definiert, das die Interaktion der einzelnen Hardwarekomponenten untereinan
der im Anwendungskontext beschreibt (Abbildung 37). Darauf aufbauend wurde
ein Architekturmodell jeweils für Tabletop und Smartphone erstellt und erste
zentrale Klassen in UML modelliert. Die darauffolgende konkrete Imple
mentierung sowie die dabei umgesetzte Paket- und Klassenstruktur soll schließ
lich im Fokus dieses Unterkapitels stehen.
6.2.1 Architekturmodell
Die im Rahmen der Arbeit umgesetzte Anwendung lässt sich in zwei grundlegen
de Komponenten unterteilen: Zum einen jener Teil der Anwendung, der auf dem
Tabletopsystem läuft (MT4j, Java) sowie der Teil, welcher auf zusätzlichen Smart
phones (Android, Java) ausgeführt wird. Für beide Komponenten wurde versucht,
die grundlegende Architektur in Form des Model-View-Controller-Modells (MVC)
umzusetzen. Dieses Architekturmodell, das sich inzwischen im Bereich der Soft
6 Implementierung 111
Aus dem allgemeinen Architekturmodell lässt sich eine Paketstruktur für die An
wendung ableiten, welche zusammen mit den für die einzelnen Pakete zentralen
Klassen vorgestellt wird. Bezeichnungen von Klassen, die vom MT4j-Framework,
der Java-API oder anderen Bibliotheken außerhalb der eigentlichen Projektdaten
bereitgestellt werden, werden in der Folge zur einfacheren Unterscheidung un
terstrichen dargestellt. Methodenparameter werden der Übersichtlichkeit halber
durch ‚…‘ ersetzt.
Paket mindMapper
Das Paket mindMapper enthält mit der Klasse MindMapperMain die main-Metho
de der Anwendung. Darüber hinaus stellt das Paket mit den Klassen ToolsGene
ral und ToolsTimestamp paketübergreifende Werkzeuge sowie mit der Klasse
ObserverNotificationObject ein Objekt für die erweiterte Kommunikation
zwischen Observer und Observable-Klassen bereit (Abbildung 40).
Paket model
Das Paket model umfasst die Definition aller im Rahmen der Anwendung (persis
tent) genutzten Daten und zugehöriger Methoden sowie die Logik zur Serialisie
rung und Deserialisierung dieser Daten. Bei Instanziierung der Klasse AppModel
wird eine Instanz der Klasse MindMapCollection (abgeleitet von Observable)
erzeugt (Anwendung des Singleton-Pattern)278.
MapScene im Paket view). Das jeweils aktuell geladene bzw. deserialisierte Mind
Map-Objekt repräsentiert an dieser Stelle die aktuelle Sitzung bzw. Arbeitsfläche.
Eine MindMap besteht wiederum aus einer Liste von 0 bis n einzelnen Ideenkno
ten (Klasse IdeaNode, abgeleitet von Node<NodeData>) sowie einer Liste 0 bis n
Mind-Maps (Klasse Map, abgeleitet von Tree<NodeData>)279, welche die Verbin
dungen zwischen einzelnen Ideenknoten in Form einer Baumstruktur beschrei
ben (Abbildung 41). Die Methode saveMindMap() ermöglicht schließlich das
Speichern der aktuellen MindMap-Instanz in einer Datei in Form einer Java-Seria
lisierung über die Klasse MindMapSerializer (nicht abgebildet).
Abbildung 41: Auszug aus dem UML-Klassendiagramm des Pakets model mit Ver
erbungs- und Kompositionsbeziehungen.
279 Implementierung einer generischen Baumstruktur durch die von Pal (2006) adaptierten generi
schen Klassen Node<T> und Tree<T>.
6 Implementierung 116
für die Darstellung von miteinander verbundenen Ideenknoten in Form von Ide
aNodeViews und RelationViews (Paket view) nicht benötigt wird, da hier bereits
die Assoziation zwischen Eltern- und Kindknoten ausreicht, kommt die durch die
Map-Klasse bereitgestellte Methode toList() über die ebenfalls in Map enthalte
ne Methode containsIdeaNode(...) zum Einsatz, welche im Rahmen der
Überprüfung von Einschränkungen beim Hinzufügen von Kindknoten zu einer
IdeaNode durch die Methode addIdeaChild(...) aufgerufen wird, um rekursi
ve Baumstrukturen zu verhindern.
Paket btServer
Die Klassen des Pakets btServer stellen einen Bluetooth-Server bereit, der auf
Verbindungsanfragen von externen Geräten wartet, bei Eingehen einer neuen
Anfrage eine Verbindung zwischen den beiden Geräten herstellt und die von den
verbundenen Smartphones transferierten Ideentexte aus einem Bytestream aus
liest, um schließlich im Datenmodell das Erstellen einer neuen IdeaNode anzu
stoßen. Die Umsetzung dieses Bluetooth-Servers erfolgt mit Hilfe der Java-Bi
bliothek BlueCove280 und stellt größtenteils eine Modifikation des von Luu Gia
Thuy entwickelten Remote Bluetooth Android-Projekts, dem auch große Teile des
Quellcodes für den Bluetooth-Client auf Android-Seite entnommen wurden,
dar.281
Abbildung 42: Auszug aus dem UML-Klassendiagramm des Pakets btServer mit
Kompositionsbeziehungen.
Die Klasse BluetoothServer startet bei Instanziierung einen Thread der Klasse
WaitBtThread (abgeleitet von Observable, implementiert Runnable), welcher
zunächst das lokale Bluetooth-Gerät in den Modus discoverable versetzt, damit es
für externe Geräte bei einem Scan sichtbar ist (Abbildung 42). In der Folge wird
Paket view
Das Paket view umfasst alle Klassen zur Präsentation der Daten sowie der Verar
beitung von Benutzereingaben am Tabletop. Die Klasse StartMindMapView (ab
geleitet von MTApplication) ist für die Initialisierung dieser Komponente zu
ständig. Es wird zunächst eine neue MTApplication-Instanz (MT4j-Applikation)
mit den in der [Link] angegeben Parametern erzeugt. In der Folge wird
ein Ladescreen aufgeschaltet, während in einem separaten Thread Bluetooth-Ser
ver, Datenmodellkomponenten und schließlich die eigentliche MT4j-Szene initia
lisiert werden. Nach vollständiger Instanziierung der Szenen-Klasse Mind
MapScene wird vom Ladescreen zur eigentlichen Szene gewechselt, in der
zunächst nur die beiden Menüs sichtbar sind (Abbildung 43). Darüber hinaus sind
zahlreiche eigene (unter Zuhilfenahme der bereits bestehenden Komponenten
klassen aus MT4j entwickelte) Widgets Teil des Pakets view. Für die gewünschte
Umsetzung bestimmten Verhaltens, wie beispielsweise die Anforderung, dass
Widgets nur bis zu einem gewissen Punkt über den Bildschirmrand hinaus ge
schoben werden können oder sich Relationen bei Bewegen und Rotieren von
Kindelementen flexibel mitbewegen, mussten darüber hinaus die in MT4j stan
dardmäßig implementierten Gestenprozessoren und -aktionen erweitert und an
gepasst werden.
6 Implementierung 119
MindMapScene
Die für das Paket view zentrale Klasse MindMapScene (abgeleitet von Ab
stractScene, implementiert Observer) übernimmt die Initialisierung der Ar
beitsfläche sowie die Instanziierung der einzelnen Widgets und stellt Event-Lis
tener für das Erkennen der Unistroke-Gesten sowie weitere zentrale Methoden
bereit. Beim Erzeugen der MindMapScene-Instanz werden zunächst abhängig von
der aktuellen Auflösung Werte für die Größen einzelner Benutzerschnittstellen
elemente berechnet. Die Darstellung der einzelnen Widgets erfolgt somit über re
lative und nicht über absolute Werte, um auch eine passende Darstellung für al
ternative Auflösungen ermöglichen zu können. Dies wird zudem durch den
ausschließlichen Einsatz von Vektorgrafiken (SVG-Format) für die einzelnen
Widgets unterstützt.282
Darüber hinaus wird die Arbeitsfläche der Szene in vier Bereiche aufgeteilt,
um die automatische Ausrichtung von neuen Ideenknoten sowie von über das
Hauptmenü aufgeschalteten Overlays zu bestimmen. Die durch die mit dem
Tabletop verbundenen Smartphones erstellten Ideen erscheinen nach dem
Transfer mit einer Animation in der Mitte der Arbeitsfläche (Abbildung 44).
282 Bisher konnte keine Lösung für die Anpassung von Schriften abhängig von der Auflösung um
gesetzt werden, weshalb die Anwendung primär für die Auflösung 1920 x 1080 Pixel optimiert
ist. Widgets und ihre einzelnen Komponenten werden somit zwar abhängig von der Auflösung
(nach dem Start) skaliert, Schriftgrößen können jedoch derzeit noch nicht angepasst werden.
6 Implementierung 120
Abbildung 45: Unistroke-Gesten zur Erstellung von Relationen (Pfeilgeste) und Lö
schen von Ideen und Relationen (X-Geste).
6 Implementierung 121
Je nach Erfolg der Erkennung einer solchen Geste und der Möglichkeit einer Ak
tion an dieser Stelle der Arbeitsoberfläche erfolgt eine Rückmeldung vom System
durch Einfärben der gezeichneten Unistroke-Geste (Abbildung 46). Wird die Ges
te nicht erkannt, wird sie in rot dargestellt. Wird sie erkannt und kann an dieser
Stelle die damit verknüpfte Aktion auch ausgeführt werden, wird sie grün darge
stellt. Die gelbe Darstellung der Unistroke-Geste dient schließlich zur Visualisie
rung des Falles, dass zwar die Geste selbst korrekt erkannt wurde, die Aktion an
dieser Stelle jedoch nicht möglich ist, beispielsweise das Verknüpfen zweier Ide
enknoten aufgrund bestimmter Einschränkungen, die sich durch die Baumstruk
tur ergeben.
Abbildung 46: Feedback bei der Erkennung von Unistroke-Gesten: a) Rot – Geste
nicht erkannt, b) Grün – Geste erkannt, Aktion erfolgt c) Gelb - Geste erkannt, je
doch keine Aktion möglich (hier: bereits Elternknoten vorhanden).
Schließlich wird das Szeneobjekt vom Typ MindMapScene als Observer bei der
MindMapCollection-Instanz, der aktuell geladenen MindMap und der Instanz
des WaitBtThreads registriert, um Änderungen im Datenmodell und bezüglich
Bluetooth-Verbindungen kommuniziert zu bekommen.
Weitere Kommunikation mit dem Datenmodell erfolgt über diverse Metho
denaufrufe. Die Interaktion zwischen Präsentation und Datenmodell soll an die
ser Stelle anhand der Erstellung einer neuen Idee am interaktiven Tisch exempla
risch vorgestellt werden: Wenn eine Rechteck-Geste auf der Oberfläche erkannt
wurde, wird über die Methode createModelIdeaNode(...) eine neue IdeaNode
für die aktuell geladene MindMap-Instanz im Datenmodell erstellt. Sofern diese
Änderung des Datenmodells erfolgreich durchgeführt werden konnte, wird diese
Zustandsänderung der MindMapScene-Instanz als registriertem Observer erneut
kommuniziert, woraufhin erst über createIdeaNodeView(...) eine entspre
chende View-Instanz der Klasse IdeaNodeView für die neue IdeaNode erzeugt
und angezeigt wird. Ähnlich erfolgt die Kommunikation bei anderen Aktionen
6 Implementierung 122
am Tabletop, wie dem Löschen von Ideen und Relationen oder dem Verknüpfen
von einzelnen Ideen – zunächst erfolgen die Änderungen nach Prüfen bestimm
ter Bedingungen immer erst im Datenmodell, welches diese Änderungen den je
weiligen Observern kommuniziert, woraufhin die entsprechenden Anpassungen
in der Präsentation vorgenommen werden. Einzige Ausnahme bilden die Eigen
schaften Text, Rotation und Position eines IdeaNodeView bzw. einer IdeaNode,
welche aufgrund der unmittelbar sichtbaren und sehr häufigen Änderungen
durch die Präsentationskomponente immer erst beim Speichern einer aktuellen
Sitzung im Datenmodell synchronisiert werden.
283 Bisher nicht implementiert ist eine automatische Wort- und Silbentrennung, das heißt, ist die
maximale Breite pro Zeile erreicht, wird nach dem Zeilenumbruch lediglich das nächste Zeichen
in die folgende Zeile versetzt.
6 Implementierung 123
Abbildung 47: Auszug aus dem UML-Klassendiagramm des Pakets view um die
Klasse IdeaNodeView.
Abbildung 48: Auszug aus dem UML-Klassendiagramm des Pakets view um die
Klassen WindowMenu und MainMenu.
Typ MTSvgButton) und der Griffe am Rand des Menüs durch einen MenuHandle
Container (abgeleitet von MarkerContainer). Durch die Implementierung die
ser abstrakten Klassen in Form von einzelnen Menüs (hier: WindowMenu und
MainMenu) können schließlich die individuellen Aktionen, die bei der Auswahl
einzelner Menüpunkte bzw. Buttons ausgeführt werden, spezifiziert werden (Ab
bildung 48). Gemäß der während der Konzeptionsphase abgeleiteten Anforde
rungen und den ersten mit Hilfe des Prototyps umgesetzten Designideen erfolgt
die Aufteilung der über die Menüs repräsentierten Funktionen in zwei getrennte
Menüs sowie die Kennzeichnung einzelner Menüpunkte über Icons (Abbildung
49). Das MainMenu enthält vier Buttons, die das Speichern und Laden einer Sit
zung sowie das Anzeigen von Informationen zur Verbindung über Bluetooth und
einer Übersicht über die im System genutzten Unistroke-Gesten ermöglicht. Das
WindowMenu enthält zwei Buttons zum Schließen und Minimieren der Anwen
dung.284
Abbildung 49: Kreisförmige Menüs für grundlegende Funktionen (links) und Fens
teraktionen (rechts).
Vor dem Ausführen der Fenster-Aktionen wird jedoch zunächst ein Dialog aufge
schaltet, in dem der Benutzer die gewählte Aktion bestätigen muss oder auch ab
brechen kann, um ein ungewolltes und den Arbeitsprozess störendes Schließen
oder Minimieren der Anwendung zu verhindern.
Durch das Erben der Methoden und Eigenschaften der MT4j-Frameworkklasse
MTEllipse lassen sich die Menüs ebenfalls frei bewegen und rotieren. Hierfür
284 Die Funktion ‚Verkleinern/Maximieren‘, die noch Teil des Papierprototypen ist, ließ sich im
Rahmen des MT4j-Frameworks nicht umsetzen und musste deshalb gestrichen werden. Hierzu
und zu weiteren Anpassungen des Anwendungskonzept während der Implementierung siehe
Kapitel 6.3.
6 Implementierung 126
sollen primär die Bereiche in der Mitte und die Griffe an den Rändern dienen.
Durch die Art, wie MT4j Gesten verarbeitet, ist es jedoch auch möglich, die Menüs
über die Buttons zu bewegen und zu rotieren, sofern dadurch das Absetzen der
Finger an einer anderen Stelle auf der Oberfläche passiert. Die Auswahl der
Menüpunkte erfolgt hier schließlich durch einen Single Tap, die Buttons vom Typ
MTSvgButton signalisieren eine registrierte Berührung dabei durch Verkleinern
der Buttonfläche.
Overlays
Zur Anzeige von zusätzlichen Informationen und der Eingabe von Daten werden
in der Anwendung Overlays eingesetzt. So wird durch die Auswahl jeder der vier
Menüpunkte im MainMenu ein eigenes Overlay aufgeschaltet. Die Position des
Overlays entspricht dabei der Position des Menüs; die Ausrichtung erfolgt je nach
Zugehörigkeit zu einem der vier definierten Bereiche auf der Arbeitsfläche (Ab
bildung 44). Alle dieser Overlays sind indirekt von der Klasse AbstractOverlay
(abgeleitet von MTRectangle) abgeleitet, welche die grundlegende Gestenverar
beitung definiert (Abbildung 50).
Abbildung 50: Auszug aus dem UML-Klassendiagramm des Pakets view um die
Overlay-Klassen.
6 Implementierung 127
Abbildung 51: Overlays zum Speichern der aktuellen Arbeitsoberfläche (links) und
zum Laden einer zuvor gespeicherter Ideensammlung (rechts).
Das Bestätigen über den OK-Button des Speichern-Overlays stößt die Serialisie
rung des aktuell geladenen MindMap-Objekts über das Datenmodell an und zeigt
für die (in der Regel sehr kurze) Dauer des Speichervorgangs ein kleines Informa
tions-Overlay vom Typ OverlayPlain auf dem Bildschirm an. Während des
Speicherns werden die Arbeitsfläche und die darauf befindlichen Elemente für
alle Benutzereingaben gesperrt. Je nach Erfolg der Serialisierung wird schließlich
6 Implementierung 128
Abbildung 52: Hilfe-Overlay mit Erläuterung und grafischer Darstellung der mögli
chen Gesten (links, Originalgrafiken bereitgestellt von [Link]) sowie
Bluetooth-Overlay zur Anzeige der aktuellen Bluetoothverbindungen und eines
Links zur Smartphone-Applikation als QR-Code und Text (rechts).
6 Implementierung 129
Die Menüoption ‚Bluetooth‘ öffnet schließlich ein Overlay der Klasse Overlay
ListBluetooth. Bestandteile dieses Overlays sind eine MTList, in der alle aktu
ell mit dem Tabletop über Bluetooth verbundenen Geräte angezeigt werden, so
wie die URL zur Smartphone-Applikation des Multi/Touch/Device MindMappers in
Form eines Quick Response (QR)-Codes, welcher durch Abfotografieren mit dem
Smartphone und entsprechender Decodierungs-Applikation in einen Textlink
umgewandelt werden kann (Abbildung 52). Für den Fall, dass der Link nicht kor
rekt erkannt werden kann, ist er zusätzlich in textueller Form angegeben.
Dialoge
Um zusätzliches Feedback über den Erfolg von Aktionen anzuzeigen und die Be
nutzer vor dem Ausführen von kritischen Aktionen erneut um Bestätigung zu
bitten, werden, wie bereits angedeutet, Dialoge verwendet. Diese bestehen letzt
lich aus einem semi-transparenten Overlay, das in der Mitte der Anwendung
über die Arbeitsfläche gelegt wird und das nicht verschoben oder rotiert werden
kann. Die jeweiligen Informationen werden dabei in einem an der horizontalen
Achse gespiegelten Textfeld anzeigt. Die Art des Dialogs (Warnung, Fehlermel
dung, Information, Frage) wird durch ein Icon visualisiert. Darüber hinaus wird
beim Aufschalten eines Dialogs die Arbeitsfläche für weitere Benutzereingaben
gesperrt, um zu gewährleisten, dass der Fokus aller Benutzer auf die durch den
Dialog dargestellte Information gerichtet wird.
Abbildung 54: Auszug aus dem UML-Klassendiagramm des Pakets view um die
StatusMessageDialog-Klassen.
Dass die Bestätigung eines Dialogs auch durch nur einen Benutzer erfolgen kann,
läuft zugegebenermaßen dem in Kapitel 3.2.4 vorgestellten Designziel der kollek
6 Implementierung 131
Weitere Klassen des Pakets view umfassen schließlich einige an die Anforderun
gen der Anwendung angepasste Klassen zur Verarbeitung von Gesten und zur
Ausführung von Aktionen durch bestimmte Gesten sowie diverse Hilfsklassen
wie Aufzählungstypen, Farbdefinitionen und Sammlungen von allgemein ge
nutzten Methoden. Anschließend wird auch die Paket- und Klassenstruktur der
Anwendung für das Smartphone vorgestellt.
6 Implementierung 132
Das Paket phone umfasst dabei zum einen die Klassen der drei zentralen Activities,
welche die im Rahmen des Anwendungskonzept separierten Funktionsbereiche
‚Ideentransfer‘, ‚Ideenverwaltung‘ und ‚Bluetooth‘ repräsentieren. In jeder dieser
Activities lässt sich zudem über die Menü-Taste des Smartphones ein Hilfedialog
aufschalten. Systemmeldungen wie der erfolgreiche Transfer, das Speichern oder
das Löschen einer Idee werden über Toasts, kleine für eine kurze Zeit sichtbare
Overlays, angezeigt. Zum anderen definiert die Activity TabBarActivity an die
ser Stelle das diesen drei Ansichten übergeordnete Tab-Menü. TabBarActivity
stellt darüber hinaus die Verbindung mit der Datenbank über die Klasse DBAdap
ter und dem im Hintergrund der Anwendung laufenden Bluetooth-Service
BluetoothCommandService her (Abbildung 56).
Das Erstellen und Löschen von Ideen geschieht über die IdeaCreationAc
tivity, welche durch Auswahl des Tabs mit der Bezeichnung ‚Ideenmanager‘ an
gewählt werden kann. Die Activity beinhaltet ein Texteingabefeld, einen Button
zum Speichern des eingegebenen Texts und ein Listen-Widget, das alle bisher ge
speicherten Ideentexte anzeigt. Durch Tippen auf das Texteingabefeld wird die
virtuelle Bildschirmtastatur aufgeschaltet (Abbildung 57). Der Benutzer kann
daraufhin einen Text mit einer Maximallänge von 30 Zeichen eingeben. Durch
die Bestätigung über den Button wird die neue Idee, sofern sie nicht bereits vor
handen ist, in der Datenbank gespeichert und erscheint als neuer Eintrag zu Be
ginn der Liste. Die Verbindung mit der Datenbank wird dabei durch einen von der
TabBarActivity instantiierten DBAdapter hergestellt (Abbildung 56). Die Ver
bindung zwischen Datenmodell (Datenbank) und Präsentation (Listen-Widget)
erfolgt über einen SimpleCursorAdapter.287 Durch ein langes Tippen (Tap and
Hold) auf einem Listeneintrag kann die entsprechende Idee wieder aus der Daten
bank gelöscht werden.
Der Transfer von gespeicherten Ideen kann anschließend über die Trans
ferActivity erfolgen, welche durch Auswahl des Tabs ‚Ideentransfer‘ ausge
wählt wird. Dieser Screen besteht ebenfalls aus der Liste der gespeicherten Ideen
sowie einem dedizierten Bereich, in den einzelne Ideen via Drag and Drop gezogen
werden können, um den Transfer auf den Tisch anzustoßen.
287 Adaption der Klassen DBAdapter und DBOpenHelper aus Übungsmaterialien des Kurses Ein
führung in die Softwareentwicklung mit Android im Sommersemester 2011 an der Universität Regens
burg.
6 Implementierung 134
Visualisiert wird dieser Bereich durch eine stilisierte Darstellung des Tabletop,
welche durch zwei Pfeile signalisiert, wohin der Benutzer eine Idee ziehen kann,
um einen Transfer zu erwirken (Abbildung 58). 288 Durch die Übertragung eines
Ideentextes wird dieser schließlich aus der Datenbank und den entsprechenden
Listen entfernt. Da das durch die Android-API zur Verfügung gestellte Listen-
Widget keine Drag and Drop-Funktionalität unterstützt und darüber hinaus Drag
and Drop-Gesten erst ab Android 3.0 Honeycomb Teil des Android API sind, wurde
hier ein von Eric Harlow modifiziertes Listen-Widget eingesetzt, welches das
Verschieben einzelner Einträge innerhalb einer Liste erlaubt.289 Im Rahmen des
Multi/Touch/Device MindMapper Projekts kommt schließlich mit DragAndDrop
ListViewMod (abgeleitet von ListView) eine an die Anforderungen der Anwen
dung angepasste Version dieses Widgets zum Einsatz (Abbildung 56). Während
der rechte Bereich der Liste für das Scrollen reserviert ist, ermöglicht das Berüh
ren des restlichen Bereichs eines Listeneintrages dessen Verschieben in vertikale
Richtung. Der Transfer erfolgt erst bei Loslassen der Idee über dem dedizierten
Transferbereich.
Voraussetzung für eine erfolgreiche Übertragung ist dabei eine bestehende
Verbindung mit der Anwendung auf dem Tabletop. Diese muss zunächst manuell
über die BluetoothActivity hergestellt werden. Die hierfür nötigen Mechanis
men sowie einige Elemente der Activity wurden analog zur Funktionalität des
Bluetooth-Servers am Tabletop aus dem von Luu Gia Thuy entwickelten Remote
Bluetooth Android-Projekt adaptiert.290 Die BluetoothActivity enthält somit ne
ben der Anzeige eines gegebenenfalls verbundenen Gerätes eine Liste der gekop
pelten sowie anderer in Reichweite befindlichen Geräte. Letztere wird erst durch
Auswahl des Buttons ‚Nach verfügbaren Geräten suchen‘ dynamisch befüllt. An
dieser Stelle kommt der von Mark Murphy entwickelte MergeAdapter (über eine
Bibliothek eingebunden) zum Einsatz, wodurch die Listen-Widgets für gekoppel
te und weitere Geräte sowie deren Titel als eine Liste behandelt werden. 291 Der
Einsatz einer der beiden Listen übergeordneten Liste ist hier nötig, da es bei der
Darstellung über die üblichen ListView-Widgets vorkommen kann, dass die ers
288 Eine erste Version dieser Grafik umfasst nur einen Pfeil, der in Richtung des stilisierten Table
tops zeigt. Diese wurde jedoch im Zuge erster Beobachtungen der Interaktion mit der Smart
phone-Anwendung durch die aktuelle Grafik mit zwei Pfeilen ausgetauscht, um die missver
ständliche Signalwirkung von nur einem Pfeil zu verringern. Siehe dazu ausführlicher Kapitel
7.1.
289 Vgl. Harlow (2010).
290 Vgl. Thuy (2010).
291 Vgl. Murphy (2011).
6 Implementierung 136
te Liste so viele Einträge hat, dass die Items der zweiten Liste nicht mehr erreich
bar sind.
Durch die Auswahl eines Gerätes aus einer dieser beiden Listen kann schließ
lich eine Verbindung hergestellt werden. Bei einer ersten Verbindung des Smart
phones mit dem Tabletop muss dabei zunächst die Bestätigung einer Passphrase
zum Koppeln der Geräte erfolgen (Abbildung 59). Das Trennen eines bereits ver
bundenen Gerätes erfolgt durch Auswahl des Gerätenamens unter ‚Verbundenes
Gerät‘ oder durch Beenden der Anwendung. Zusätzlich wird in jeder Activity über
eine Zustandsleiste oben rechts der aktuelle Verbindungsstatus angezeigt.
Die Kommunikation mit dem lokalen BluetoothAdapter des Geräts und das
Starten des BluetoothCommandService, der für das Herstellen einer Verbindung
und den Transfer der Daten über einen OutputStream verantwortlich ist, erfolgt
dabei ebenfalls über die TabBarActivity bei deren Start. Das Auslagern der
Bluetooth-Funktionalität in einen Service gewährleistet hier, dass der Benutzer
die Anwendung minimieren und parallele Aufgaben, wie die Informationssuche
im Internet, durchführen kann, ohne dass die Verbindung zum Tabletop getrennt
wird.
6 Implementierung 137
Neben dieser Erläuterung der Paket- und Klassenstruktur sowie der dabei umge
setzten Benutzerschnittstellenelemente der einzelnen Anwendungsteile des Mul
ti/Touch/Device MindMappers wird dieses Kapitel abschließend auf diverse Proble
me und Konzeptänderungen im Laufe der Implementierungsphase eingehen.
6 Implementierung 138
die Kopplung von Smartphones mit dem Tabletop benötigte Möglichkeit des Mi
nimierens des Fensters dennoch umsetzen zu können. Bei Auswahl des Menü
punkts wird aktuell die Tastenkombination ALT+TAB ausgeführt, um aus der An
wendung auf den Desktop (oder zu einer anderen offenen Anwendung) zu
wechseln, um Zugriff auf das Bluetooth-Icon in der Windows-Symbolleiste zu er
langen.
Eine zentrale Einschränkung, die sich jedoch aus dem zeitlichen Rahmen der Ar
beit ergibt, ist, dass keine umfangreiche Evaluation des Systems durchgeführt
werden kann. Dies wäre jedoch sowohl in Hinblick auf die allgemeine Interaktion
mit dem System als auch für ein Brainstorming und Mind-Mapping-Szenario in
der Gruppe interessant, wobei speziell der Einfluss der zusätzlichen Interaktion
über ein externes Gerät mit dem Tabletop zu untersuchen wäre. Dennoch konn
ten erste Erfahrungen mit dem System aus dem Testbetrieb gesammelt werden,
welche im die Arbeit abschließenden Kapitel diskutiert werden.
7 Diskussion 142
7 Diskussion
Im folgenden Kapitel wird das Ergebnis der Konzeption und Implementierung
diskutiert. An dieser Stelle werden zunächst erste Erfahrungen mit dem System
aus dem Testbetrieb in der praktischen Anwendungen zur Sprache kommen. Ein
Ausblick auf die mögliche Weiterentwicklung der Anwendung, potentielle Pro
blembereiche sowie Evaluationsmöglichkeiten schließt das Kapitel ab.
dere die Pfeilgeste erforderte häufig mehrere Versuche, bis sie korrekt erkannt
wurde. Zudem wird die Pfeilgeste manchmal als X-Geste erkannt, was zum unge
wollten Löschen von Ideenknoten führen kann. Schließlich kam es auch gelegent
lich zur ungewollten Erstellung von Ideen auf dem Tabletop, weil manchmal be
reits ein Single Tap oder eine versehentliche Berührung der Oberfläche vom
Unistroke-Erkenner als Rechteck bzw. Kreis erkannt wird.
Bezüglich der Texteingabe am Tabletop über die virtuelle Tastatur gab es keine
unmittelbar negativen Rückmeldungen, jedoch wurde zum Beispiel die Frage ge
stellt, warum man nicht einfach direkt auf der Oberfläche schreiben könne. Auf
fällig war hingegen, dass dadurch, dass die Tastaturen unabhängig vom zugehöri
gen Textfeld frei verschiebbar sind, teilweise nicht mehr klar war, welche
Bildschirmtastatur zu welcher Idee gehört. Hier wäre gegebenenfalls eine visuelle
Assoziation zwischen Tastatur und Textfeld, sei es durch farbliche Kennzeich
nung oder eine dünne Verbindungslinie, denkbar.294 Ein Benutzer äußerte sich
zudem kritisch bezüglich der gespiegelten Texte innerhalb der Ideenknoten – die
doppelte Darstellung wäre eher verwirrend als hilfreich und dadurch, das die Ide
en sowieso frei rotiert werden können, sei auch nur eine Ausrichtung der Texte
ausreichend.
Eine weitere interessante Beobachtung konnte bezüglich der Interaktion mit
dem Fenstermenü gemacht werden: Benutzer betätigten häufig – sowohl aus
Neugier als auch versehentlich – den Button zum Minimieren der Anwendung.
Da zu diesem Zeitpunkt keine weitere Bestätigung der Aktion über einen Dialog
erfolgen musste, wurde dadurch der Arbeitsprozess der anderen Benutzer erheb
lich gestört. In der Folge wurde hier ein Dialog zur Bestätigung der Aktion hinzu
gefügt. Dennoch ist das Minimieren der Anwendung beim Koppeln eines neuen
Geräts mit dem Tabletop nötig, was den Arbeitsprozess der Benutzer grundsätz
lich negativ beeinflusst. An dieser Stelle ist zudem die Interaktion mit der Maus
nötig, da außerhalb der Anwendung durch Windows 7 keine Touch-Events verar
beitet werden. Hier zeigte sich, wie bereits in der Implementierungsphase, dass
die Randeinfassung des Evoluce ONE-Tabletop mit 5 cm für das Abstellen und Be
dienen von externen Eingabegeräten wie Maus oder Tastatur und das Ablegen
von Smartphones definitiv zu schmal ist.
Schließlich wurde die Möglichkeit des Skalierens von Bildschirmelementen,
die aus Komplexitäts- und Zeitgründen im Multi/Touch/Device MindMapper nicht
umgesetzt wurde, von einigen Benutzern vermisst. Dies weist darauf hin, dass
einzelne Benutzer, vermutlich aufgrund von Vorerfahrungen, bereits bestimmte
294 Vgl. Cowie (2010, S. 21).
7 Diskussion 144
Darüber hinaus stellten einige Benutzer die Frage, ob man die Ideen auf dem
Smartphone auch bearbeiten könne, analog zur Möglichkeit des Editierens auf
dem Tabletop. Nicht zuletzt in Hinblick auf die Konsistenz der Interaktionsmög
lichkeiten an Smartphone und Tabletop wäre dies eine sinnvolle Ergänzung einer
zukünftigen Version des Prototyps. Eine weitere Frage, die häufiger von den Per
sonen, die mit dem Smartphone interagierten, gestellt wurde, bezog sich auf die
7 Diskussion 145
Möglichkeit des Transfers einer Idee zurück auf das Smartphone. Derartige bidi
rektionale Interaktion mit dem Smartphone ist im aktuellen Prototyp bisher
nicht umgesetzt, wäre jedoch, wie bereits in Kapitel 5.4 angedeutet, unter der Vor
aussetzung der Identifizierung einzelner Smartphones durch den Tisch durchaus
denkbar.
Die Präsentation des Multi/Touch/Device MindMappers im Rahmen des World
Usability Day 2011 konnte somit einige wertvolle Anregungen und Hinweise für die
iterative Verbesserung und potentielle Problembereiche der Anwendung liefern.
In der Folge sei somit zusammenfassend einer kurzer Ausblick auf Möglichkeiten
der Weiterentwicklung, potentielle Problembereiche und Möglichkeiten der Eva
luation gegeben.
7.2 Ausblick
Die vorliegende Arbeit zeigt, dass unter anderem mit Hilfe des Frameworks MT4j
eine effiziente Umsetzung von prototypischen Anwendungen für multitouch
fähige Tabletops möglich ist. Darüber hinaus wurde mit Hilfe der Android API und
weiteren, bereits bestehenden Projekten und Komponenten eine Ergänzung der
Anwendung durch Smartphones als zusätzliche Eingabemodalität und zur Schaf
fung von privaten Räumen ermöglicht. Zentrale Funktionen wie das Erstellen,
Bearbeiten und Manipulieren von digitalen Notizzetteln sowie deren Verknüp
fung zu Mind-Maps konnten erfolgreich umgesetzt werden. Über diese grundle
genden Anforderungen hinaus ist natürlich neben den in Kapitel 7.1 skizzierten
offenen Punkten und unmittelbar umsetzbaren Erweiterungsmöglichkeiten für
die bestehende Anwendung weitere Funktionalität denkbar. Kapitel 5.4 be
schreibt einige weitere Möglichkeiten, wie der Multi/Touch/Device MindMapper in
Hinblick auf Usability und Funktionsumfang verbessert werden könnte. Diese Ide
en lassen sich unter folgende allgemeine Punkte zusammenfassen:
8 Fazit
Im Rahmen dieser Arbeit konnte neben der Konzeption einer Anwendung zum
Brainstorming und Mind-Mapping am Tabletop mit Smartphones zusätzlich auf
Basis des Frameworks MT4j und der API des Smartphone-Betriebssystems Andro
id erfolgreich ein funktionaler High-Level-Prototyp umgesetzt werden. Der Be
schreibung des Entwurfs und der Implementierung des Multi/Touch/Device Mind
Mappers vorangestellt, gibt die Arbeit ebenso einen umfangreichen Überblick über
die Entwicklung der Tabletoptechnologie der letzten zwanzig Jahre und die dabei
für die Entwicklung von Tabletopbenutzerschnittstellen aktuell relevanten Pro
blem- und Forschungsfelder sowie über Aspekte der Multi-Device-Interaktion.
Die in Kapitel 5 definierten Anforderungen sowie speziell auf den Anwen
dungskontext bezogene Designziele – darunter beispielsweise die Umsetzung ei
ner einfachen, auf die eigentlichen Inhalte fokussierten Benutzerschnittstelle am
Tabletop, die durch geeignetes Feedback zudem die Group Awareness zu fördern
versucht – konnten, bis auf wenige Ausnahmen, implementiert werden. Neben
der Erstellung, dem Editieren, freien Positionieren und Ausrichten von Ideen so
wie deren Verknüpfung in Form von Mind-Maps durch Multi-Touch-Gesten am
Tabletop ermöglichen mit dem interaktiven Tisch über Bluetooth verbundene
Smartphones eine alternative Möglichkeit der textuellen Eingabe von Ideen, wel
che schließlich mit Hilfe einer Drag and Drop-Geste auf den Tabletop transferiert
werden können. Ein Smartphone stellt an dieser Stelle zusätzlich einen privaten
Arbeitsbereich dar, in dem ein Benutzer neben der Gruppenarbeit am Tabletop
(teamwork) der für das Erreichen des Arbeitsziels nötigen Individualarbeit
(taskwork) nachgehen kann, ohne die anderen Gruppenmitglieder in ihrem Ar
beitsprozess zu stören.
Motivation für die Umsetzung einer Anwendung zur Generierung und Struk
turierung von Ideen in einem Multi-Device-Kontext war dabei unter anderem die
Annahme, dass die Ergänzung einer Tabletopanwendung zum Brainstorming
und Mind-Mapping um zusätzliche Geräte in Form von Smartphones Potential
für das kollaborative Arbeiten in der Gruppe birgt. So wird beispielsweise ange
nommen, dass der Einsatz von privaten Eingabegeräten die gegebenenfalls in ei
ner Gruppe auftretende Angst vor Bewertung (evaluation apprehension) reduzieren
helfen kann und zusätzlich einen Ausgleich zwischen der für das Erreichen der
Arbeitsaufgabe gleichermaßen wichtigen Gruppenarbeit (teamwork) und Indivi
dualarbeit (taskwork) schaffen kann. Ebenso lässt sich anführen, dass von den un
terschiedlichen Möglichkeiten der Individualisierung der Texteingabe am Smart
8 Fazit 148
phone profitiert werden kann. Eine Überprüfung dieser Annahmen durch Evalu
ierung der Anwendung im praktischen Einsatz konnte im zeitlichen Rahmen der
Arbeit leider nicht geleistet werden, dennoch stellt die Umsetzung des
Multi/Touch/Device MindMapper einen funktionalen Prototyp dar, der als Basis für
die Beantwortung zukünftiger Fragestellungen dieser Art herangezogen werden
kann.
Anhang 149
Anhang
A – Daten CD
Dieser Arbeit ist eine CD beigefügt, die zusätzliche relevante Daten enthält, dar
unter unter anderem Quellcode und Distribution der Anwendung Multi/Touch/De
vice MindMapper. Die Ordnerstruktur der CD lässt sich wie folgt beschreiben:
• Multi/Touch/Device MindMapper:
• Masterarbeit:
In diesem Ordner finden sich eine digitale Version dieser Arbeit so
wie des Vortrags zur Masterarbeit im Oberseminar des Fachs Infor
mationswissenschaft im Sommersemester 2011.
Literatur- und Quellenverzeichnis I
Aiken, Milam; Rebman, Carl & Vanjani, Mahesh (2007). Comment Genera
tion with three Electronic Brainwriting techniques. In: Academy of Information and
Management Sciences Journal 10 (1), S. 11–30.
Apted, Trent; Collins, Anthony & Kay, Judy (2009). Heuristics to support
design of new software for interaction at tabletops. In: CHI 2009 Workshop - Multi
touch and Surface Computing. Online:
[[Link]
uristics].
Baraldi, Stefano; Bimbo, Alberto & Valli, Alessandro (2006). Bringing the
Wiki Collaboration Model to the Tabletop World. In: 2006 IEEE International Con
ference on Multimedia and Expo (ICME '06), S. 333–336. Online: [[Link]
[Link]/10.1109/ICME.2006.262466].
Bau, Olivier; Poupyrev, Ivan; Israr, Ali & Harrison, Chris (2010). TeslaTouch:
electrovibration for touch surfaces. In: Proceedings of the 23nd annual ACM symposium
on User interface software and technology (UIST '10). New York, NY, USA — October 03
- 06, 2010. New York: ACM, S. 283–292. Online:
[[Link]
Benko, Hrvoje & Wigdor, Daniel (2010). Imprecision, Inaccuracy, and Frustra
tion: The Tale of Touch Input. In: Christian Müller-Tomfelde (Hrsg.). Tabletops - Ho
rizontal Interactive Displays. (Human-Computer Interaction Series). London: Springer, S.
249–275.
Literatur- und Quellenverzeichnis II
Boldrin, Massimo (2011). Reactable Live! Press Ready Pictures. Reactable Systems. On
line :
[[Link]
Buzan, Tony & Buzan, Barry (2002). Das Mind-map-Buch. Die beste Methode zur Stei
gerung Ihres geistigen Potenzials. München: MVG Verlag.
Cao, Xiang; Wilson, Andrew D.; Balakrishnan, Ravin; Hinckley, Ken &
Hudson, Scott E. (2008). ShapeTouch: Leveraging contact shape on interactive
surfaces. In: Third IEEE International Workshop on Tabletops and Interactive Surfaces
(Tabletop 2008). Amsterdam, The Netherlands October 1-3, 2008. S. 129–136. On
line : [[Link]
Chehimi, Fadi & Rukzio, Enrico (2010). Throwing Gesture as a Way for Photo
Sharing between Mobile Phones and Interactive Tables. In: Workshop at the 4th In
termedia Open Forum. Palma de Mallorca, September 1, 2010. Online:
[[Link]
[Link]].
Cravotta, Robert (2011). Touch with the Microsoft Surface 2.0. Embedded Insights Inc.
Online: [[Link]
the-microsoft-surface-2-0/].
Da Luz, T.; Loup-Escande, E.; Christofol, H.; Richir, S. (2010). The Collabora
tive Product Design and Help to Decision Making: Interactive Mind-Mapping. In:
Global Product Development. Proceedings of the 20th CIRP Design Conference, Ecole
Centrale de Nantes, Nantes, France, 19th-21st April 2010, S. 237–244.
Davies, Martin (2011). Concept mapping, mind mapping and argument mapping:
what are the differences and do they matter? In: Higher Education 62 (3), S. 279–301.
Online: [[Link]
Dennis, Alan R.; George, Joey F.; Jessup, Len M.; Nunamaker, J. F.; Vogel,
Douglas (1988). Information Technology to Support Electronic Meetings. In:
Management Information Systems Quarterly 12 (4), S. 591–624.
Dietz, Paul & Leigh, Darren (2001). DiamondTouch: a multi-user touch technolo
gy. In: Proceedings of the 14th annual ACM symposium on User interface software and tech
nology (UIST '01). Orlando, FL, USA — November 11 - 14, 2001. New York: ACM, S.
219–226. Online: [[Link]
Dourish, Paul & Bellotti, Victoria (1992). Awareness and coordination in shared
workspaces. In: Proceedings of the 1992 ACM conference on Computer supported cooperative
work (CSCW '92). Toronto, ON, Canada — November 01 - 04, 1992. New York:
ACM, S. 107–114. Online: [[Link]
Dugosh, Karen Leggett; Paulus, Paul B.; Roland, Evelyn J.; Yang, Huei-
Chuan (2000). Cognitive Stimulation in Brainstorming. In: Journal of Personality &
Social Psychology 79 (5), S. 722–735.
Dunlop, Mark David & Masters, Michelle Montgomery (2009). Pickup Usa
bility Dominates: A Brief History of Mobile Text Entry Research and Adoption. In:
International Journal of Mobile Human Computer Interaction 1 (1), S. 42–59. Online:
[[Link]
lication_2268.pdf].
Eddy, Nathan (2011). Apple, Android Comprise 82% of Smartphone Market Share: NPD
Group. eWeek. Online: [[Link]
Android-Compose-82-of-Smartphone-Market-Share-NPD-Group-504538/].
Eilebrecht, Karl & Starke, Gernot (2010). Patterns kompakt. Entwurfsmuster für effek
tive Software-Entwicklung. 3. Auflage. Heidelberg: Spektrum Akademischer Verlag.
Ellis, Clarence A.; Gibbs, Simon J. & Rein, Gail (1991). Groupware: some issues
and experiences. In: Communications of the ACM 34 (1), S. 39–58. Online:
[[Link]
Evoluce (2011). Evoluce TWO – Multitouch via 3D-sensing and Swipe Functionality.
Online: [[Link]
sensing-and-swipe-functionality/].
Findlater, Leah; Wobbrock, Jacob O. & Wigdor, Daniel (2011). Typing on flat
glass: examining ten-finger expert typing patterns on touch surfaces. In: Pro
ceedings of the 2011 annual conference on Human factors in computing systems (CHI '11).
Vancouver, BC, Canada — May 07 - 12, 2011. New York: ACM, S. 2453–2462. On
line: [[Link]
Finke, Matthias; Kaviani, Nima; Wang, Ivy; Tsao, Vincent; Fels, Sidney &
Lea, Rodger (2010). Investigating Distributed User Interfaces across Interactive
Large Displays and Mobile Devices. In: Proceedings of the Workshop on coupled display
visual interfaces (PPD '10). In conjunction with AVI '10, S. 16–20. Online:
[[Link]
Fjermestad, Jerry & Hiltz, Starr Roxanne (1998). An assessment of group sup
port systems experimental research: methodology and results. In: Journal of Man
agement Information Systems - Special issue: GSS insights: a look back at the lab, a look for
ward from the field 15 (3), S. 7–149. Online:
[[Link]
Forlines, Clifton; Shen, Chia & Buxton, Bill (2005). Glimpse: a novel input
model for multi-level devices. In: CHI '05 extended abstracts on Human factors in com
puting systems (CHI EA '05). Portland, OR, USA — April 02 - 07, 2005. New York:
ACM, S. 1375–1378. Online: [[Link]
Literatur- und Quellenverzeichnis VI
Fukumoto, Masaaki & Sugimura, Toshiaki (2001). Active Click: Tactile Feed
back for Touch Panels. In: CHI '01 extended abstracts on Human factors in computing sys
tems (EA CHI '01). Seattle, WA, USA — March 31 - April 05, 2001. New York: ACM,
S. 121–122. Online: [[Link]
Geyer, Florian; Pfeil, Ulrike; Budzinski, Jochen; Höchtl, Anita & Reiterer,
Harald (2011). Affinitytable - a hybrid surface for supporting affinity diagram
ming. In: Proceedings of the 13th IFIP TC 13 international conference on Human-computer
interaction - Volume Part III (INTERACT'11). Heidelberg: Springer, S. 477–484. On
line: [[Link]
Literatur- und Quellenverzeichnis VII
Greenberg, Saul; Boyle, Michael; Laberge, Jason (1999). PDAs and Shared
Public Displays: Making Personal Information Public, and Public Information Per
sonal. In: Personal and Ubiquitous Computing 3 (1-2), S. 54–64. Online:
[[Link]
Gross, Tom & Koch, Michael (2007). Computer-supported cooperative work. München:
Oldenbourg.
Gutwin, Carl & Greenberg, Saul (1998a). Design for individuals, design for
groups: tradeoffs between power and workspace awareness. In: Proceedings of the
1998 ACM conference on Computer supported cooperative work (CSCW '98). Seattle, WA,
USA — November 14 - 18, 1998. New York: ACM, S. 207–216. Online:
[[Link]
Gutwin, Carl & Greenberg, Saul (1998b). Effects of awareness support on group
ware usability. In: Proceedings of the SIGCHI conference on Human factors in computing
systems (CHI '98). Los Angeles, CA, USA — April 18 - 23, 1998. New York: ACM/Ad
dison-Wesley Publishing Co., S. 511–518. Online:
[[Link]
Harlow, Eric (2010). Experience - Android Drag and Drop List. Online: [[Link]
[Link]/2010/10/[Link]].
Hinrichs, Uta & Carpendale, Sheelagh (2011). Gestures in the wild: studying
multi-touch gesture sequences on interactive tabletop exhibits. In: Proceedings of the
2011 annual conference on Human factors in computing systems (CHI '11). Vancouver, BC,
Canada — May 07 - 12, 2011. New York: ACM, S. 3023–3032. Online:
[[Link]
Hofer, Ramon; Naeff, Daniel & Kunz, Andreas (2009). FLATIR: FTIR multi-
touch detection on a discrete distributed sensor array. In: Proceedings of the 3rd Inter
national Conference on Tangible and Embedded Interaction (TEI '09). Regent, United
Kingdom — February 16 - 18, 2009. New York: ACM, S. 317–322. Online:
[[Link]
Holz, Christian & Baudisch, Patrick (2011). Understanding touch. In: Proceedings
of the 2011 annual conference on Human factors in computing systems (CHI '11). Vancouver,
BC, Canada — May 07 - 12, 2011. New York: ACM, S. 2501–2510. Online:
[[Link]
Hunter, Seth & Maes, Pattie (2008). WordPlay: A Table-Top Interface for Collaborative
Brainstorming and Decision Making. Unveröffentlichtes Paper. Online: [[Link]
[Link]/people/seth/publications/WordPlayFinalIEEE_AffiliationIn
[Link]].
Idziorek, Michael (2007). Tangible Tabletop Gaming. Die Ebene zwischen Brett- und Vi
deospiel. Masterarbeit. Wien: Technische Universität Wien, Institut für Gestal
tungs- und Wirkungsforschung. Online:
[[Link]
Inami, Masahiko; Sugimoto, Maki; Thomas, Bruce H. & Richter, Jan (2010).
Active Tangible Interaction. In: Christian Müller-Tomfelde (Hrsg.). Tabletops - Hori
zontal Interactive Displays (Human-Computer Interaction Series). London: Springer, S.
171–187.
Literatur- und Quellenverzeichnis X
Ishii, Hiroshi & Ullmer, Brygg (1997). Tangible bits: towards seamless interfaces
between people, bits and atoms. In: Proceedings of the SIGCHI conference on Human
factors in computing systems (CHI '97). Atlanta, GA, USA — March 22 - 27, 1997. New
York: ACM. Online: [[Link]
Jansen, Yvonne; Karrer, Thorsten & Borchers, Jan (2010). MudPad: Tactile
Feedback and Haptic Texture Overlay for Touch Surfaces. In: Proceedings of the ACM
International Conference on Interactive Tabletops and Surfaces (ITS '10). Saarbrücken,
Germany — November 07 - 10, 2010. New York: ACM. Online:
[[Link]
Jetter, Hans-Christian; Gerken, Jens & Reiterer, Harald (2010). Natural User
Interfaces: Why We Need Better Model-Worlds, Not Better Gestures. In: CHI 2010
Workshop - Natural User Interfaces : The Prospect and Challenge of Touch and Gestural Com
puting. Atlanta, USA, April 2010. Online: [[Link]
[Link]/downloads/NUI2010_CJ_JG_HR.pdf].
Kammer, Dietrich; Keck, Mandy; Freitag, Georg & Wacker, Markus (2010).
Taxonomy and Overview of Multi-touch Frameworks: Architecture, Scope and
Features. In: ACM SIGCHI Symposium on Engineering Interactive Computing Systems:
Workshop on Engineering Patterns for Multi-Touch Interfaces . June 20, 2010, Berlin. On
line: [[Link]
touch_Frameworks_Revised.pdf]
Kammer, Dietrich; Lamack, Frank & Groh, Rainer (2010). Enhancing the Ex
pressiveness of Fingers: Multi-touch Ring Menus for Everyday Applications. In:
Proceedings of the First International Joint Conference on Ambient Intelligence (Lecture Notes
In Computer Science, 6439/2010). November 10th - 12th 2010, Málaga, Spain , S. 259–
264. Online: [[Link]
Karau, Steven J.; & Williams, Kipling D. (1993). Social Loafing: A Meta-Analytic
Review and Theoretical Integration. In: Journal of Personality & Social Psychology 65
(4), S. 681–706.
Kerr, Norbert L. (1983). Motivation losses in small groups: A social dilemma ana
lysis. In: Journal of Personality & Social Psychology 45 (4), S. 819–828.
Kim, David (2006). BrainStorm: Entwurf und Implementierung einer direct-touch Schnitt
stelle für kreative Problemlösungen in lokalen Arbeitsgruppen. Projektarbeit. München:
Ludwig-Maximilians Universität München. Online :
[[Link]
Kim, David; Dunphy, Paul; Briggs, Pam; Hook, Jonathan; Nicholson, John
W.; Nicholson, James & Olivier, Patrick (2010). Multi-touch authentication
on tabletops. In: Proceedings of the 28th international conference on Human factors in com
puting systems (CHI '10). Atlanta, GA, USA — April 10 - 15, 2010. New York: ACM, S.
1093–1102. Online: [[Link]
Kray, Christian; Nesbitt, Daniel; Dawson, John; Rohs, Michael (2010). User-
defined gestures for connecting mobile phones, public displays, and tabletops. In:
Proceedings of the 12th international conference on Human computer interaction with mobile
devices and services (MobileHCI'10). Lisbon, Portugal — September 07 - 10, 2010.
New York: ACM, S. 239–248. Online:
[[Link]
Literatur- und Quellenverzeichnis XII
Lamm, Helmut & Trommsdorff, Gisela (1973). Group versus individual per
formance on tasks requiring ideational proficiency (brainstorming): A review. In:
European Journal of Social Psychology 3 (4), S. 361–388. Online:
[[Link]
Laufs, Uwe; Ruff, Christopher & Weisbecker, Anette (2010). MT4j - An open
source platform for multi-touch software development. In: VIMation Journal (1), S.
58–64. Online: [[Link]
Laufs, Uwe; Ruff, Christopher & Zibuschka, Jan (2010). MT4j – A Cross-plat
form Multi-touch Development Framework. In: ACM SIGCHI Symposium on En
gineering Interactive Computing Systems: Workshop on Engineering Patterns for Multi-Touch
Interfaces. June 20, 2010, Berlin. Online:
[[Link]
[Link]].
Lepinski, G. Julian; Grossman, Tovi & Fitzmaurice, George (2010b). The de
sign and evaluation of multitouch marking menus – Presentation Video. Autodesk Re
search. Online: [[Link]
Le Hong, Sylvia & Biesterfeldt, Jakob (2010). Weltweit berührt – Studie zur Untersu
chung kultureller Unterschiede und Gemeinsamkeiten bei der gestenbasierten Bedienung von
Multitouch-Oberflächen. Online:
[[Link]
Mandl, Heinz & Fischer, Frank (2000). Mapping-Techniken in Lern- und Ko
operationsprozessen. In: Mandl, Heinz & Fischer, Frank (Hrsg.). Wissen sichtbar ma
chen. Mapping-Techniken für das Wissensmanagement in Lern- und Kooperationsprozessen.
Göttingen: Hogrefe, S. 3–12.
McAdam, Christopher & Brewster, Stephen (2009). Distal tactile feedback for
text entry on tabletop computers. In: Proceedings of the 23rd British HCI Group Annual
Conference on People and Computers: Celebrating People and Technology (BCS HCI '09).
Cambridge, United Kingdom — September 01 - 05, 2009. Swinton: British Com
puter Society, S. 504–511. Online: [[Link]
id=1671011.1671076]
Literatur- und Quellenverzeichnis XIV
Meixner, André (2008). cgTable: Ein interaktives Tabletop-System zur Unterstützung krea
tiver Gruppenarbeit. Online:
[[Link]
[Link]].
Meyer, Tobias & Schmidt, Dominik (2010). IdWristbands: IR-based user identi
fication on multi-touch surfaces. In: Proceedings of the ACM International Conference
on Interactive Tabletops and Surfaces (ITS '10). Saarbrücken, Germany — November 07
- 10, 2010. New York: ACM, S. 277–278. Online:
[[Link]
Microsoft (2009). User Experience Guidelines. User Interaction and Design Guidelines for
Creating Microsoft Surface Applications. Online:
[[Link]
4A16-4C13-9740-C34DBB5C3012&%3Bdisplaylang=en].
Montferrat, P.; Apostolopoulo, A.; Besacier, G.; Buisine, S.; Rey, G. &
Vernier, F. (2007). Brainstorming and Mind-Mapping on DiamondTouch:
Creativity Unleashed. In: 2nd DiamondTouch Workshop, from Personal Computer to
Multi-user Collaboration. 5 June 2007, Amsterdam, the Netherlands. Online:
[[Link]
Literatur- und Quellenverzeichnis XV
Morris, Meredith Ringel; Ryall, Kathy; Shen, Chia; Forlines, Clifton &
Vernier, Frédéric (2004). Beyond "social protocols": multi-user coordination
policies for co-located groupware. In: Proceedings of the 2004 ACM conference on Com
puter supported cooperative work (CSCW '04). Chicago, IL, USA — November 06 - 10,
2004. New York: ACM, S. 262–265. Online:
[[Link]
Morris, Meredith Ringel (2008). Slideshow: Tabletop Computers. In: IEEE Spec
trum Online. Online: [[Link]
tabletop-computers/0].
Mullen, Brian; Johnson, Craig & Salas, Eduardo (1991). Productivity Loss in
Brainstorming Groups: A Meta-Analytic Integration. In: Basic & Applied Social Psy
chology 12 (1), S. 3–23.
Myers, Brad A.; Stiel, Herb & Gargiuio, Robert (1998). Collaboration using
multiple PDAs connected to a PC. In: Proceedings of the 1998 ACM conference on Com
puter supported cooperative work (CSCW '98). Seattle, WA, USA — November 14 - 18,
1998. New York: ACM, S. 285–294. Online:
[[Link]
Nacenta, Miguel A.; Pinelle, David; Gutwin, Carl & Mandryk, Regan (2010).
Individual and Group Support in Tabletop Interaction Techniques. In: Christian
Müller-Tomfelde (Hrsg.). Tabletops - Horizontal Interactive Displays (Human-Computer
Interaction Series). London: Springer, S. 303–333.
Nagel, Till; Pschetz, Larissa; Stefaner, Moritz; Halkia, Matina & Müller,
Boris (2009). mæve – An Interactive Tabletop Installation for Exploring Back
ground Information in Exhibitions. In: Human-Computer Interaction. Ambient, Ubi
quitous and Intelligent Interaction. (Proceedings, 3), S. 483–491. Online:
[[Link]
Nunamaker, J. F.; Dennis, Alan R.; Valacich, Joseph S.; Vogel, Douglas;
George, Joey F. (1991). Electronic Meeting Systems to support Group Work. In:
Communications of the ACM 34 (7), S. 40–61. Online:
[[Link]
Offner, Anne K.; Kramer, Thomas J. & Winter, Joel P. (1996). The Effects of
Facilitation, Recording, and Pauses on Group Brainstorming. In: Small Group Re
search 27 (2), S. 283-298 Online: [[Link]
Literatur- und Quellenverzeichnis XVII
Oppl, Stefan & Stary, Christian (2009). Tabletop concept mapping. In: Proceedings
of the 3rd International Conference on Tangible and Embedded Interaction (TEI '09). Regent,
United Kingdom — February 16 - 18, 2009. New York: ACM, S. 275–282. Online:
[[Link]
Pal, Sujit (2006). Java Data Structure: A Generic Tree. Salmon Run. Online:
[[Link]
Paulus, Paul B.; Dzindolet, Mary T. (1993). Social Influence Processes in Group
Brainstorming. In: Journal of Personality & Social Psychology 64 (4), S. 575–586.
Paulus, Paul B. &. Yang Huei-Chuan (2000). Idea generation in groups: A basis
for creativity in organizations. In: Organizational Behavior and Human Decision Pro
cesses 82 (1), S. 76–87. Online: [[Link]
Poupyrev, Ivan & Maruyama, Shigeaki (2003). Tactile interfaces for small touch
screens. In: Proceedings of the 16th annual ACM symposium on User interface software and
technology (UIST '03). Vancouver, BC, Canada — November 02 - 05, 2003. New
York: ACM, S. 217–220. Online: [[Link]
Reinig, Bruce A. & Shin, Bongsik (2002). The Dynamic Effects of Group Support
Systems on Group Meetings. In: Journal of Management Information Systems 19 (2), S.
303–325. Online: [[Link]
575/course_docs/topic_6/[Link]].
Remy, Christian; Weiss, Malte; Ziefle, Martina & Borchers, Jan (2010). A
Pattern Language for Interactive Tabletops in Collaborative Workspaces. In: Pro
ceedings of the 15th European Conference on Pattern Languages of Programs (EuroPLoP '10).
Irsee Monastery, Germany, July 2010. Online: [[Link]
[Link]/files/[Link]].
Richter, Kai; Nichols, Jeffrey; Gajos, Krzysztof & Seffah, Ahmed (2006). The
Many Faces of Consistency in Cross-Platform Design. In: CHI '06 extended abstracts
on Human factors in computing systems (CHI EA '06). Montreal, Canada — April 22 -
27, 2006. New York: ACM, S. 1639–1642. Online:
[[Link]
Rogers, Yvonne & Lindley, Siân E. (2004). Collaborating around vertical and ho
rizontal large displays: Which way is best? In: Interacting With Computers 16 (6). On
line:
[[Link]
ers_final.pdf].
Roth, Volker; Schmidt, Philipp & Güldenring, Benjamin (2010). The IR ring:
authenticating users' touches on a multi-touch display. In: Proceedings of the 23nd an
nual ACM symposium on User interface software and technology (UIST '10). New York,
NY, USA — October 03 - 06, 2010. New York: ACM, S. 259–262. Online:
[[Link]
Ryall, Kathy; Forlines, Clifton; Shen, Chia & Morris, Meredith Ringel
(2004). Exploring the effects of group size and table size on interactions with
tabletop shared-display groupware. In: Proceedings of the 2004 ACM conference on
Computer supported cooperative work (CSCW '04). Chicago, IL, USA — November 06 -
10, 2004. New York: ACM, S. 284–293. Online:
[[Link]
Ryall, Kathy; Forlines, Clifton; Shen, Chia; Morris, Meredith Ringel &
Everitt, Katherine (2006a). Experiences with and Observations of Direct-
Touch Tabletops. In: First IEEE International Workshop on Horizontal Interactive Hu
man-Computer Systems (TABLETOP '06). Adelaide, Australia January 05-January 07.
S. 89–96. Online:
[[Link]
Ryall, Kathy; Esenther, Alan; Forlines, Clifton; Shaer, Orit; Shipman, Sam;
Morris, Meredith Ringel; Everitt, Katherine & Vernier, Frédéric D.
(2006b). Identity-Differentiating Widgets for Multiuser Interactive Surfaces. In:
IEEE Computer Graphics and Applications 26 (5), S. 56–64. Online:
[[Link]
us/um/people/merrie/papers/ryall_morris_ieee_cga.pdf].
Schmidt, Dominik; Chong, Ming Ki & Gellersen, Hans (2010b). IdLenses: Dy
namic Personal Areas on Shared Surfaces. In: Proceedings of the ACM International
Conference on Interactive Tabletops and Surfaces (ITS '10). Saarbrücken, Germany —
November 07 - 10, 2010. New York: ACM. Online:
[[Link]
Scott, Stacey D.; Grant, Karen D. & Mandryk, Regan L. (2003). System Guide
lines for Co-located, Collaborative Work on a Tabletop Display. In: European Con
ference Computer-Supported Cooperative Work (ECSCW 2003). September 14, 2003.
Helsinki, Finland. Online: [[Link]
Scott, Stacey D.; Carpendale, Sheelagh & Inkpen, Kori M. (2004). Territori
ality in collaborative tabletop workspaces. In: Proceedings of the 2004 ACM conference
on Computer supported cooperative work (CSCW '04). Chicago, IL, USA — November
06 - 10, 2004. New York: ACM, S. 294–303. Online:
[[Link]
Schöning, Johannes; Rohs, Michael & Krüger, Antonio (2008). Spatial Au
thentication on Large Interactive Multi-Touch Surfaces. In: Adjunct Proceedings of
the Third IEEE International Workshop on Tabletops and Interactive Surfaces (Tabletop
2008). Amsterdam, The Netherlands October 1-3, 2008. Online:
[[Link]
pub=schoening2008SpatialAuthentication].
Literatur- und Quellenverzeichnis XXI
Shaer, Orit; Kol, Guy; Strait, Megan; Fan, Chloe; Grevet, Catherine &
Elfenbein, Sarah (2010). G-nome surfer: a tabletop interface for collaborative
exploration of genomic data. In: Proceedings of the 28th international conference on Hu
man factors in computing systems (CHI '10). Atlanta, GA, USA — April 10 - 15, 2010.
New York: ACM, S. 1427–1436. Online:
[[Link]
Shih, Patrick C.; Nguyen, David H.; Hirano, Sen H.; Redmiles, David F. &
Hayes, Gillian R. (2009). GroupMind: supporting idea generation through a col
laborative mind-mapping tool. In: Proceedings of the ACM 2009 international con
ference on Supporting group work (GROUP '09). Sanibel Island, FL, USA — May 10 - 13,
2009. New York: ACM, S. 139–148. Online:
[[Link]
Shoemaker, Garth B. D. & Inkpen, Kori (2001). Single display privacyware: aug
menting public displays with private information. In: Proceedings of the SIGCHI con
ference on Human factors in computing systems (CHI '01). Seattle, WA, USA — March 31
- April 05, 2001. New York: ACM, S. 522–529. Online:
[[Link]
Stanton, D.; Neale, H.R (2003). The effects of multiple mice on children's talk and
interaction. In: Journal of Computer Assisted Learning 19 (2), S. 229–238. Online:
[[Link]
Literatur- und Quellenverzeichnis XXII
Stewart, Jason; Bederson, Benjamin B. & Druin, Allison (1999). Single dis
play groupware: a model for co-present collaboration. In: Proceedings of the SIGCHI
conference on Human factors in computing systems (CHI '99). Pittsburgh, PA, USA —
May 15 - 20, 1999. New York: ACM, S. 286–293. Online:
[[Link]
Streitz, Norbert A.; Rexroth, Petra; Holmer, Torsten (1997). Does "roomware"
matter ? Investigating the role of personal and public information devices and
their combination in meeting room collaboration. In: Proceedings of the European
Conference on Computer-Supported Cooperative Work (E-CSCW'97). September 7-11,
1997, Lancaster, UK. Dordrecht: Kluwer Academic Publishers.
[[Link]
Tang, John C. (1991). Findings from observational studies of collaborative work. In:
International Journal of Man-Machine Studies 34 (2), S. 143–160. Online:
[[Link]
Tassoul, Marc & Buijs, Jan (2007). Clustering: An Essential Step from Diverging
to Converging. In: Creativity and Innovation Management 16 (1), S. 16–26. Online:
[[Link]
Taylor, D.W., Berry, P.C. & Block, C. H. (1958). Does group participation when
using brainstorming facilitate or inhibit creative thinking? In: Administrative
Science Quarterly 3 (1), S. 22-47.
Terrenghi, Lucia; Quigley, Aaron & Dix, Alan (2009). A taxonomy for and
analysis of multi-person-display ecosystems. In: Personal and Ubiquitous Computing
13 (8), S. 583–598. Online: [[Link]
Thuy, Luu Gia (2011). Simple Android and Java Bluetooth Application. Online:
[[Link]
Ullmer, Brygg & Ishii, Hiroshi (1997). The metaDESK: models and prototypes for
tangible user interfaces. In: Proceedings of the 10th annual ACM symposium on User in
terface software and technology (UIST '97). Banff, AB, Canada — October 14 - 17, 1997.
New York: ACM, S. 223–232. Online: [[Link]
Literatur- und Quellenverzeichnis XXIV
Ullmer, Brygg (2002). Tangible interfaces for manipulating aggregates of digital informa
tion. Dissertation. Cambridge: Massachusetts Institute of Technology. Online:
[[Link]
Van Boeijen, Annemiek & Daalhuizen, Jaap (2010). Creativity techniques. In:
Van Boeijen, Annemiek & Daalhuizen, Jaap (Hrsg.). Delft Design Guide. Delft Univer
sity of Technology. Online:
[[Link]
Wallace, James R.; Scott, Stacey D.; Stutz, Taryn; Enns, Tricia & Inkpen,
Kori (2009). Investigating teamwork and taskwork in single- and multi-display
groupware systems. In: Personal and Ubiquitous Computing 13 (8), S. 569–581. Online:
[[Link]
Wang, Xin; Ghanam, Yaser & Maurer, Frank (2008). From Desktop to Table
top: A Migration of User Interface Design for Agile Planner. In: Engineering Interact
ive Systems 2008 - The 2nd Conference on Human Centered Software Engineering
(EIS/HCSE2008). Italy. Online:
[[Link]
Wang, Feng & Ren, Xiangshi (2009). Empirical evaluation for finger input
properties in multi-touch interaction. In: Proceedings of the 27th international con
ference on Human factors in computing systems (CHI '09), S. 1063–1072. New York:
ACM. Online: [[Link]
Weiser, Mark (1991). The Computer for the 21st Century. In: Scientific American (Spe
cial Issue on Communications, Computers, and Network) 3 (3), S. 94–104. Online:
[[Link]
Literatur- und Quellenverzeichnis XXV
Weiss, Malte; Hollan, James D. & Borchers, Jan (2010). Augmenting Inter
active Tabletops with Translucent Tangible Controls. In: Christian Müller-
Tomfelde (Hrsg.). Tabletops - Horizontal Interactive Displays (Human-Computer
Interaction Series). London: Springer, S. 149–170.
Wellner, Pierre David (1993). Interacting with paper on the DigitalDesk. Dissertation.
University of Cambridge. Online :
[[Link]
%20%28Wellner%201993%[Link]].
Wigdor, Daniel & Wixon, Dennis (2011). Brave NUI world. Designing natural user in
terfaces for touch and gesture. Burlington: Morgan Kaufmann.
Wobbrock, Jacob O.; Morris, Meredith Ringel & Wilson, Andrew D. (2009).
User-defined gestures for surface computing. In: Proceedings of the 27th international
conference on Human factors in computing systems (CHI '09), S. 1083–1092. Online:
[[Link]
Wu, Mike & Balakrishnan, Ravin (2003). Multi-finger and whole hand gestural
interaction techniques for multi-user tabletop displays. In: Proceedings of the 16th an
nual ACM symposium on User interface software and technology (UIST '03). Vancouver,
BC, Canada — November 02 - 05, 2003. New York: ACM, S. 193–202. Online:
[[Link]