Table Of ContentMinimal Mobile
Human Computer Interaction
Abdallah El Ali
Minimal Mobile
Human Computer Interaction
Abdallah A. El Ali
Minimal Mobile
Human Computer Interaction
ACADEMISCH PROEFSCHRIFT
terverkrijgingvandegraadvandoctoraande
UniversiteitvanAmsterdam
opgezagvandeRectorMagnificus
prof.dr. D.C.vandenBoom
tenoverstaanvaneendoorhetcollegevoorpromotiesingestelde
commissie,inhetopenbaarteverdedigenin
deAgnietenkapel
opvrijdag15november2013,te12:00uur
door
Abdallah El Ali
geborenteRiyadh,SaudiArabia
Promotiecommissie
Promotor:
Prof.dr.L.Hardman
Co-promotor:
Dr.F.Nack
Overigeleden:
Prof.dr.B.Wielinga
Prof.dr.ir. B.Kro¨se
Prof.dr.M.deRijke
Prof.dr.S.Boll
FaculteitderNatuurwetenschappen,WiskundeenInformatica
SIKSDissertationSeriesNo.2013-35
The research reported in this thesis has been carried out
undertheauspicesofSIKS,theDutchResearchSchoolfor
InformationandKnowledgeSystems.
ThisresearchwassupportedbytheAmsterdamLivingLabprojectunderprojectnumber
PID07071,andbytheEurostarSmartINSIDEprojectunderprojectnumberE5262.
Copyright c 2013AbdallahElAli,Amsterdam,TheNetherlands
(cid:13)
CoverbyHosniAuji
PrintedbyOffpage,Amsterdam
ISBN:978-94-6182-364-9
Lookingback...
4.5years. 243pages. Imayhavewrittenthiswork,butanuncountableamountofthanks
gototheoneswhoaccompaniedmeinthis(attimesridiculous)journey.
Family,
forbeingthereeverystepoftheway.
Frank,Lynda,
forbeingmymentors.
NokiaResearch,
forfire-startingmyresearch.
T-Labs,
forkeepingmyinterestsglowing.
Co-authors,
fortheinspirationandenjoyablecollaboration.
Ex-students,
forthedialoguesandgoodwork.
HCS,ILPS,&otherSPlabs,
forthetimesatPolder,Oerknal,andbeyond.
Commelinstraatcrew&theUsualSuspects,
forallthecrazytimes,nothingshortof.
Existence,
forsurvivingyouuntilnow.
Contents
1 Introduction 1
1.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.1.1 MobileHumanComputerInteraction . . . . . . . . . . . . . . . . 3
1.1.2 Context-awareComputing . . . . . . . . . . . . . . . . . . . . . . 4
1.1.3 MultimodalInteraction . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2 Research. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2.1 Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2.2 ResearchQuestions . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.3 MainContributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.3.1 EmpiricalFindings . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.3.2 Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.3.3 MobileInteractionDesign . . . . . . . . . . . . . . . . . . . . . . 12
1.4 ThesisOverview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.5 ThesisOrigins . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
I Context-Awareness 17
2 IdentifyingContextualFactorsinLocation-AwareMultimediaMessaging 19
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2 ResearchQuestions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.3 RelatedWork . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.3.1 SharingExperiences . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.3.2 Location-awareMessagingSystems . . . . . . . . . . . . . . . . . 21
2.4 PilotStudy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.4.1 LMMPrototype . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.4.2 LessonsLearned . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.5 Multi-modalDiaryStudy . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.5.1 Participants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.5.2 Materials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.5.3 Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.6 CategorizationTask . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.6.1 Participants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.6.2 Materials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.6.3 Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.7 Results&Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.7.1 MediaPreferencesforMMs . . . . . . . . . . . . . . . . . . . . . 26
2.7.2 IdentifiedandRatedLMMDomainsandTasks . . . . . . . . . . . 27
2.7.3 CapturedExperiencesvs. ExperienceofCapture . . . . . . . . . . 28
2.7.4 CapturedExperiences . . . . . . . . . . . . . . . . . . . . . . . . 29
2.7.5 StudyLimitations . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.8 DesignRecommendations . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.9 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
v
CONTENTS
3 CaseStudy: DesigningforPlayfulHCI 37
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.2 ResearchQuestions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.3 WhatisaPlayfulExperience? . . . . . . . . . . . . . . . . . . . . . . . . 39
3.4 TheInferenceProblem . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.4.1 Positivistvs. PhenomenologicalTheories . . . . . . . . . . . . . . 42
3.4.2 PlayfulRepresentationorInteraction? . . . . . . . . . . . . . . . . 42
3.5 TheMaintenanceProblem . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.5.1 Fun,ButNotUseful . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.6 TheMeasurementProblem . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.6.1 SubjectiveandObjectiveExperienceMeasures . . . . . . . . . . . 45
3.6.2 Over-measurementandUnder-measurement. . . . . . . . . . . . . 45
3.6.3 UPIMethodsandESMs . . . . . . . . . . . . . . . . . . . . . . . 46
3.7 DesignConsiderations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.8 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
4 AutomaticExploration-basedRoutePlanning 51
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4.2 ResearchQuestions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.3 RelatedWork . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.3.1 TimeGeography . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.3.2 Photo-basedCityModeling . . . . . . . . . . . . . . . . . . . . . 54
4.3.3 Non-efficiencyDrivenRoutePlanners . . . . . . . . . . . . . . . . 54
4.4 PhotographerPaths . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
4.4.1 Approach: MSAofArbitrarilyLongSequences . . . . . . . . . . . 55
4.4.2 Dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
4.4.3 Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
4.4.4 SequenceAlignment . . . . . . . . . . . . . . . . . . . . . . . . . 56
4.4.5 PRSAggregation . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.4.6 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
4.5 UserEvaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
4.5.1 Laboratory-basedstudy. . . . . . . . . . . . . . . . . . . . . . . . 60
4.5.2 WebSurvey . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
4.5.3 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
4.6 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
4.6.1 StudyLimitations . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
4.6.2 TowardsAutomaticExploration-basedRoutePlanners . . . . . . . 68
4.7 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
II GesturalInputTechniques 71
5 EffectsofErroronDevice-basedGestureInteraction 73
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
5.2 ResearchQuestions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
5.3 RelatedWork . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
vi
Description:2 Identifying Contextual Factors in Location-Aware Multimedia Messaging ..
years, the rise of new hardware devices, ubiquitous wireless networks, and
speech input), so that the user need not rely on his or her visual sense while
services (e.g., urban lampposts that turn on when their proximity
