Auf dem Weg zu Kriterien zur Auswahl einer geeigneten Evaluationsmethode für Artefakte der

16 Pages·2015·0.21 MB·German

Auf dem Weg zu Kriterien zurAuswahl
einer geeigneten Evaluationsmethode fürArtefakte
der gestaltungsorientierten Wirtschaftsinformatik
ChristianFischer1
UniversitätSt.Gallen
InstitutfürWirtschaftsinformatik
Müller-Friedberg-Str.8
9000St.Gallen,Schweiz
[email protected]
Abstract:ZieldergestaltungsorientiertenWirtschaftsinformatikistdieKonstruk-
tionnützlicherArtefakte.DabeiliegtesinderVerantwortungjedesgestaltungsori-
entiertForschenden,konstruierteArtefaktezuevaluieren.DazuwerdeninderLite-
raturetlicheForschungsmethodenvorgeschlagenundanalysiert.UnsereLiteratur-
analyse verdeutlicht allerdings, dass es kaum Empfehlungen für Forschende gibt,
welche Methode sich für welche Evaluationssituation eignet. In diesem Aufsatz
werden daher verschiedene Kriterien diskutiert, die Auswirkungen auf die Aus-
wahl einer Evaluationsmethode haben; weiterhin wird eine begründete Einschät-
zungabgegeben,unterwelchenVoraussetzungensichwelcheEvaluationsmethode
guteignet.Esistdavonauszugehen,dassderBeitrageinenützlicheHilfestellung
für die Forschungspraxis darstellt. Eine Schwäche des Beitrags ist allerdings die
Subjektivität der Bewertung der Evaluationsmethoden. Zur Verbesserung der
intersubjektiven Nachvollziehbarkeit dieser Bewertung ist weitere Forschungsar-
beitnotwendig.
1 Auswahl einer geeigneten Forschungsmethode alsHerausforderung
In der gestaltungsorientierten Wirtschaftsinformatik (WI) werden nützliche Lösungen,
so genannte Artefakte, für Problemklassen im Gegenstandsbereich der Wirtschaftsin-
formatik entwickelt [Ba09].2 Sie grenzt sich somit von der erkenntnisorientierten Wirt-
schaftsinformatikab.
1 DerAutormöchteHerrnProf.Dr.UlrichFrank,UniversitätDuisburg-Essen,undseinerKolleginFrauAnne
Cleven, Universität St. Gallen, für ihre wertvollen Anregungen zum vorliegenden Beitrag recht herzlich
danken.IhreUnterstützunghatmaßgeblichdieQualitätdesBeitragsverbessert.
2 UnterdemBegriffWirtschaftsinformatikwerdenindieserArbeit alle wissenschaftlichenDisziplinensub-
summiert,derenGegenstandsbereichbetrieblicheInformationssystemesind,wobeiInformationssystemeals
soziotechnischeSystemeverstandenwerden.(Vgl.zumInformationssystembegriffundzumGegenstandsbe-
reich der Wirtschaftsinformatik z.B. [Le99], [Me09] und [Te99].) Der Begriff Wirtschaftsinformatik um-
fasstinsbesonderealleindiesemGegenstandsbereichvorherrschendenForschungsparadigmataundalleTra-
ditionen.(Vgl.zuForschungstraditioneninderWirtschaftsinformatikz.B.[Fr08]und[SF07]).
101
Die erkenntnisorientierte Wirtschaftinformatik verfolgt im Wesentlichen das Ziel, Phä-
nomene im Gegenstandsbereich der Wirtschaftsinformatik zu beschreiben, zu erklären
und/odervorherzusagen[Gr06].DiegestaltungsorientierteWirtschaftsinformatikgleicht
hingegen angewandten Wissenschaften wie der Medizin [Ve06a, S. 14 f.], den Ingeni-
eurwissenschaften oder weiten Teilen der Informatik [Gr09].Eine zentrale Aufgabe der
gestaltungsorientierten Wirtschaftsinformatik-Forschung besteht darin, die Nützlichkeit
konstruierter Artefakte nachzuweisen (vgl. z.B. [MS95] oder [He04]). March& Smith
beschreiben das Ziel einer solchen Artefaktevaluation wie folgt [MS95, S. 258]: „We
evaluateartifactstodetermineifwehavemadeanyprogress.Thebasicquestionis,how
welldoesitwork?“DieFragenacheinerwissenschaftlichenEvaluationeinesArtefaktes
der gestaltungsorientierten WI ist eng an das mit der Evaluation verbundene Fort-
schrittsverständnis geknüpft. Unumstritten ist, dass Wissenschaft und Fortschritt un-
trennbar miteinander verbunden sind [Ku70, S. 162]– auch beruht die normative Legi-
timationvonWissenschaft,z.B.ihredurchdieGesellschaftanerkannteFörderungswür-
digkeit, zu einem großen Teil auf dem vor ihr erwarteten Beitrag zum Fortschritt. All-
gemein formuliert, kann als Fortschritt der Übergang von einem Zustand a zu einem
Zustandbdefiniertwerden,wennbbesseristalsa[Ni09].Wasalsbesserdefiniertwer-
den und wie bestimmt werden kann, ob ein Forschungsergebnis besser ist als ein ande-
res, ist allerdings Gegenstand der Diskussion– nicht nur in der gestaltungsorientierten
Wirtschaftsinformatik, sondern auch in der Wissenschaftstheorie im Allgemeinen
[Di07].
Wie Frank herausstellt, ist das Fortschrittsproblem in hohem Maße relevant für die ge-
staltungsorientierte WI [Fr06]. Die wissenschaftliche Legitimation der Disziplin hängt
starkdavonab,(1)wieüberzeugendihrFortschrittskonzeptistund(2)wiegutsieihren
Beitrag zum Fortschritt ausweisen kann. Ziel dieses Beitrags ist es daher, verschiedene
Evaluationsmethoden daraufhin zu untersuchen, (a) unter welchen Bedingungen sie
eingesetzt werden können und (b) welche Konsequenzen ihre Anwendung in Bezug auf
dieInterpretierbarkeitdesEvaluationsergebnisseshat.
Dazu ist dieser Beitrag wie folgt gegliedert: Zunächst werden Grundlagen zur gestal-
tungsorientierten Forschung in der Wirtschaftsinformatik skizziert; verwandte Ansätze
werdenkurzvorgestellt.InAbschnitt4werdendannEmpfehlungenfürdenEinsatzvon
Evaluationsmethoden, basierend auf Charakteristika verschiedener Evaluationssituatio-
nen, herausgearbeitet. Der Aufsatz endet mit einer Zusammenfassung und einer kriti-
schenReflexiondesBeitrags.
2 Grundlagen zur gestaltungsorientiertenWirtschaftsinformatik
2.1CharakteristikaundErgebnistypen
Vielfach werden drei Charakteristika gestaltungsorientierter Forschung genannt: Nütz-
lichkeit,InnovativitätundAllgemeinheit.
102
Nützlichkeit ist von diesen drei Charakteristika das am häufigsten genannte [Wa92],
[MS95],[He04],[Ba09].ArtefaktedergestaltungsorientiertenWIsollenrelevanteProb-
leme der Praxis lösen; dadurch stiften sie den Akteurinnen und Akteuren, die sie ver-
wenden, Nutzen. Darüber hinaus ist die Innovativität der Forschungsergebnisse ein
wichtigesCharakteristikumderGestaltungsorientierung[MS95],[He04],[Fr06],[Ba09].
Das letzte der obengenannten Charakteristika ist die Allgemeinheit der Forschungser-
gebnisse [He04], [Fr06], [Ba09]. Forschende haben nicht nur den Anspruch, ein einzel-
nes, konkretes Problem zu lösen, sondern eine Klasse von Problemen. March& Smith
hingegen unterscheiden vier Phasen in einem Forschungsprozess: Bauen, Evaluieren,
Theoretisieren (engl.: theorize) und Rechtfertigen, wobei sie nur die ersten zwei Phasen
zur gestaltungsorientierten Forschung und die letzen zwei zu den Naturwissenschaften
zählen[MS95].IhrerMeinungnachwirdinderBauphaseeineLösungfüreinenkonkre-
tenFallentwickelt;erstbeimTheoretisierenwerdendieErgebnisseverallgemeinert.Das
Attribut „allgemein“ verwenden sie daher ausschließlich in Bezug auf Theorien. Als
Ergebnis gestaltungsorientierter Forschung definieren March und Smith vier
Artefakttypen:Konstrukte,Modelle,MethodenundInstanzen[MS95].
2.2WissenschaftstheoretischeGrundlagen
In der gestaltungsorientierten Wirtschaftsinformatik wird das Ziel verfolgt, Wissen zu
Problemen,dazugehörigenProblemlösungenundihrerNützlichkeitzugewinnen.Dieses
Wissen sollte mit wissenschaftlichen Methoden auf Wahrheit überprüft werden. In der
Wissenschaftsphilosophie werden verschiedene Wahrheitsverständnisse diskutiert. Un-
terschiedliche Wahrheitsverständnissen ziehen unterschiedliche Forschungsmethoden
nach sich. Daher werden nachfolgend drei einflussreiche Familien von Wahrheitstheo-
rien dargestellt [Fr06]: (a) die Korrespondenztheorien der Wahrheit, (b) die Kohärenz-
theorienderWahrheitund(c)dieKonsenstheorienderWahrheit,vgl.auchTabelle1.3
Die Familie der Korrespondenztheorien der Wahrheit definiert Wahrheit als eine Über-
einstimmung zwischen einem Wahrheitsträger (engl.: truthbearer), z.B. einer Aussage,
und einem Gegenstück, das den Wahrheitsträger wahr macht (engl.: truthmaker), z.B.
einemSachverhalt.(Vgl.alsÜberblicksarbeitenzurKorrespondenztheoriederWahrheit
z.B. [Da09], [Ki95, S. 119–140].) Frank nennt als Forschungsmethoden, die auf der
Korrespondenztheorie der Wahrheit beruhen, dasExperiment imLabor oder Feld sowie
die Feldstudie [Fr06], darüber hinaus zählt sicherlich auch die positivistische Fallstudie
dazu. Die Familie der Kohärenztheorien der Wahrheit nimmt an, dass eine Meinung
wahr ist, wenn sie sich kohärent in ein kohärentes System von Meinungen einfügt
[Da04,S.362].FranknenntalsgeeigneteForschungsmethode,dieaufderKohärenzthe-
oriederWahrheitbasiert,dieLiteraturanalyse.
3 MancheWahrheitsverständnissegehenübereinereineDefinitiondesWahrheitsbegriffshinausundgeben
auchHinweisedarauf,wieeineAussagealswahrgerechtfertigtwerdenkann(vgl.zumVerhältniszwi-
schenWahrheitundRechtfertigungz.B.[Ki95,S.49–54,darüberhinausauchS.211–222]).Wirbetrach-
tenausschließlichsolcheWahrheitstheorien,dieeinenHinweisaufdieVerbindungzwischenWahrheitund
Rechtfertigungsmethodegeben.Daherschließenwirz.B.TarskissemantischeWahrheitsdefinitionaus,die
unteranderemvonBecker&Niehaves[BN07]genanntwird.
103
Ausder Familie derKonsenstheorienderWahrheitstellenwir exemplarischdenAnsatz
dar,denHabermasimWesentlicheninseinemAufsatzWahrheitstheorienvorgestellthat
[Ha73] (vgl. für einen Überblick über ähnliche Ansätze [Pu82, S. 142–171]). Dort wird
Wahrheit als Ergebnis eines Konsenses definiert, der aus einem idealen Diskurs resul-
tiert.EineidealeDiskurssituationistu.a.dadurchgekennzeichnet,(1)dassniemandvon
demDiskurs ausgeschlossen wird, der einen Beitrag leisten kann, (2) dass alle Diskurs-
teilnehmerfreisprechenkönnenundinsbesonderekeinZwangaufsieausgeübtwirdund
(3) dass alle Diskursteilnehmer mit gleicher Stimme sprechen [Ha05, S. 89; zitiert nach
BR09]. Letztlich kommt es also darauf an, in einem hierarchiefreien Diskurs auf Basis
guterGründezueinemKonsenszugelangen.4AlsgeeigneteForschungsmethode,basie-
rend auf Habermas Konsenstheorie der Wahrheit, nennt Frank den virtuellen Diskurs,
ohne genau zu spezifizieren, was er darunter versteht [Fr06]; sicherlich lassen sich aber
auch Fokusgruppen einsetzen, um eine wissenschaftliche Aussage auf Basis der Kon-
senstheorie zu rechtfertigen (vgl. zum Einsatz von Fokusgruppen in der gestaltungsori-
entiertenWI-Forschungz.B.[Ga07]oder[Tr08]).
Schließlich nennt Frank noch ein viertes Wahrheitsverständnis, die „formale Wahrheit“
(d), der er den formalen Beweis als Methode zuweist [Fr06]. Legt man die Unterschei-
dung von Immanuel Kant zwischen synthetischen und analytischen Urteilen zugrunde,
dann sind die Forschungsmethoden der Korrespondenztheorie, der Kohärenztheorie und
der Konsenstheorie der Wahrheit auch zur Bestätigung synthetischer Urteile geeignet,
währendsichderformaleBeweisnurzurBestätigunganalytischerUrteileeignet.
3ÄhnlicheAnsätze
InderLiteraturzurgestaltungsorientiertenWirtschaftsinformatikwurdeeineVielzahlan
Evaluationsmethoden vorgeschlagen. Strukturierungsansätze liefern u.a. Cleven et al.
[Cl09], Fettke& Loos [FL03], [FL04], Frank [Fr06], Pfeiffer& Niehaves [PN05],
Siau&Rossi[SR07]sowieWilde&Hess[WH06].EinigedieserArbeitenbeziehensich
auf die Evaluation von Artefakten, unabhängig von ihrem Typ [Cl09], [Fr06], [PN05],
währendsichandereausschließlichaufArtefakteeinesbestimmtenTypsbeziehen,z.B.
auf Referenzmodelle [FL03], [FL04] oder Modellierungssprachen [SR07]. Fettke&
LoossowieSiau&RossischlageneineVielzahlanEvaluationsmethodenvor,beschrei-
bendieseundordnensieineinenBezugsrahmenein[FL03],[FL04],[SR07].Pfeiffer&
Niehaves schlagen ebenfalls einen Bezugsrahmen zur Evaluation vor, in dem sie den
vier Artefakttypen Evaluationskriterien und -methoden zuweisen [PN05]. Frank be-
schreibt die gestaltungsorientierte Wirtschaftsinformatik in einem Metamodell und defi-
niertdarinauchBeziehungenzwischenElementengestaltungsorientierterWI-Forschung
[Fr06]. Cleven et al. nennen darüber hinaus verschiedene Gestaltungoptionen bei der
Artefaktevaluation in Form eines morphologischen Kastens [Cl09]. Dabei beschreiben
sie allerdings weder gegenseitige Abhängigkeiten zwischen verschiedenen Kriterien
noch geben sie Empfehlungen, welche Gestaltungsoption unter welchen Bedingungen
gewähltwerdensollte.
4 Esseihiernurnebenbeibemerkt,dassHabermasinspäterenWerken(vgl.z.B.[Ha99])einrealistisches
Wahrheitsverständnisvorgeschlagenhat(vgl.auch[BR09,Abschnitt3.3]).
104
Dieser Aufsatz basiert in starkem Maße auf den oben genannten Beiträgen. Allerdings
gibtkeinerderobengenanntenBeiträgeumfassendeEmpfehlungen,inwelchenEvalua-
tionssituationen welche Forschungsmethoden geeignet sind. Ein erster Vorschlag für
solcheEmpfehlungenwirdindiesemAufsatzvorgestellt.
4 Gestaltungsempfehlungen zur Auswahl von Evaluationsmethoden
Wir argumentieren, dass die Auswahl einer geeigneten Evaluationsmethode imWesent-
lichenvonFaktorenausvierBereichenabhängt:ZumerstenBereichgehörendiejenigen
Restriktionen,die sich aus der Forschungsmethode selbstergeben, zumzweiten diejeni-
gen vertreten, die sich aus Eigenschaften des Artefaktsheraus ergeben, zumdritten die-
jenigen, die mit dem Evaluationskriterium verbunden sind. Der vierte Bereich beschäf-
tigt sich mit der Interpretierbarkeit der Ergebnisse der Evaluationsmethoden. Es sei da-
rauf hingewiesen, dass die vier Bereiche einen heuristischen Strukturierungsrahmen
darstellen, dass sich aber nicht jedes Kriterium trennscharf genau einem Bereich zuord-
nen lässt.Nachfolgend wird zunächst kurz das forschungsmethodische Vorgehen dieses
Beitrags beschrieben (4.1). Im Anschluss daran werden relevante Forschungsmethoden
aus der Literatur zusammengetragen (4.2). Schließlich werden die einzelnen Methoden
anhand von Kriterien aus den oben genannten Bereichen eingeordnet (4.3 – 4.5 sowie
Tabelle2,Tabelle3undTabelle4).
4.1ForschungsmethodischesVorgehen
Ziel dieses Beitrags ist es, Forschenden in der gestaltungsorientierten Wirtschaftsinfor-
matik eine Hilfestellung bei der Auswahl einer geeigneten Evaluationsmethode zu ge-
ben. Konzeptionell orientiert sich dieser Beitrag an den Vorschlägen von Pries-Heje&
Baskerville [PB08] (vgl. auch [PB10] sowie ähnliche Ansätze, z.B. [Bu07]), die einen
Mechanismus zur Auswahl einer Gestaltungstheorie in Abhängigkeit von spezifischen
RahmenbedingungenundZielstellungenvorschlagen.ImZentrumihresVorschlagssteht
eine abellarische Zuordnung von Merkmalsausprägungen zu geeigneten Gestaltungsthe-
orien. Die Merkmale beziehen sich auf die Einsatzsituation, in diesem Beitrag die Eva-
luationssituation, und auf die Zielstellung, in diesem Beitrag die Interpretierbarkeit des
Evaluationsergebnisses. Eine solche tabellarische Zuordnung findet sich in Tabelle 2,
Tabelle3undTabelle4dieserArbeit.
Die Auswahl der Evaluationsmethoden, die in diesemAufsatz betrachtet werden, ergibt
sich aus einer Literaturanalyse. Die Bewertung der einzelnen Forschungsmethoden in
Abhängigkeit von verschiedenen Kriterien basiert auf einer umfassenden Sichtung wis-
senschaftstheoretischer und forschungsmethodischer Literatur. Im Einzelfall ist jede
konkrete Bewertung allerdings in hohem Maße subjektiv. Um die Subjektivität dieser
Einschätzungzureduzieren,hatderAutormiteinerKollegindieEinschätzungdiskutiert
undinfolgederDiskussionaneinigenStellenangepasst.
105
4.2Evaluationsmethoden
InTabelle1sinddieEvaluationsmethoden,dieindenÜberblicksarbeitenvonClevenet
al. [Cl09], Fettke& Loos [FL03], [FL04], Frank [Fr06] sowie Siau& Rossi [SR07]
genannt werden, zusammengefasst und einem Wahrheitsverständnis zugeordnet. Nicht
übernommen wurden in der Literatur genannte Evaluationsmethoden, die nicht ein kon-
kretesVorgehenbeiderEvaluationbeschreiben,sonderninderenZentrumdieDefiniti-
onvonEvaluationskriteriensteht.DazuzählenbeiFettke&Loosdiemetrikbasierte,die
merkmalsbasierte, die natürlichsprachliche, die paradigmatische sowie die ökonomische
Evaluation[FL04],ebenso einVorschlagvon Frank[Fr07].Die von Clevenetal. ange-
führte Forschungsmethode Prototyp wurde ebenfalls nicht übernommen, da sie nicht
angibt, durch welche Forschungsmethode der Prototyp evaluiert wird [Cl09].Für die
nachfolgendeAnalysefassenwirausderGruppe(b)inTabelle1diemetamodellbasier-
te, die masterrefenzmodellbasierte und die ontologiebasierte Evaluation zu der Klasse
der artefaktvergleichenden Evaluationen zusammen (vgl. zur Anlehnung an Modelle
auch [Br07]). Die kognitionspsychologische Evaluation wird als ein Element einer all-
gemeineren Klasse von Evaluationsmethoden angesehen, nämlich der Klasse theorieba-
sierten Evaluationsmethoden(vgl. zur Anlehnung an Theorien z.B. [Ge09], [Go04]). In
Gruppe (c) wählen wir exemplarisch den virtuellen Diskurs, die Fokusgruppe sowie die
Befragung; dieVerbalprotokollanalyse sehen wir als eine spezielle Formder Befragung
an.
Tabelle1:EvaluationsmethodenundihreWahrheitsverständnisse
Wahrheitsverständnis Forschungsmethode
([Fr06],s.auch[BN07])
a. Korrespondenztheorie Laborexperiment[Cl09],[FL04],[Fr06],[SR07]
derWahrheit Feldexperiment[Cl09],[SR07]
Feldstudie[FL04],[Fr06]
PositivistischeFallstudie[Cl09],[FL04],[SR07]
Aktionsforschung[Cl09],[Fr06],[SR07]
b. Kohärenztheorie der Literaturanalyse[Fr06]
Wahrheit MetamodellbasierteEvaluation[FL04]
MasterreferenzmodellbasierteEvaluation[FL04]
OntologiebasierteEvaluation[FL04]
KognitionspsychologischeEvaluierung[FL04]
c. Konsenstheorie der VirtuellerDiskurs[Fr06]
Wahrheit Fokusgruppe(mitExperten)[Ga07],[Tr08]
Befragung(vonExperten)[Cl09],[FL04],[SR07]
Verbalprotokollanalyse[SR07]
d. Analytische Wahrhei- FormalerBeweis[Cl09],[Fr06]
ten
106
4.3VoraussetzungenausdenEvaluationsmethoden
Die einzelnen Evaluationsmethoden stellen unterschiedliche Anforderungen an Evalua-
tionssituationen. Nachfolgend werden Kriterien für solche Anforderungen beschrieben.
Gegenstand dieses Abschnitts sind sechs Kriterien, die sich direkt aus der Art der Eva-
luationsmethoden ergeben: (1) Muss das Artefakt instanziiert werden/sein, damit die
Methode angewendet werden kann? (2) Wie groß sollte eine Stichprobe sein, wie viele
Fälle sind aufzunehmen? (3) Wie intensiv muss der Kontakt zu Probanden/Fallstudien-
unternehmen/Interviewpartnern/… etc. sein? Die Bandbreite reicht hier von einem kur-
zenAusfülleneinesFragebogensbishinzumehrerenpersönlichenKontaktenübereinen
langenZeitraumhinweg.(4)SetztdieMethodevoraus,dassineineOrganisationeinge-
griffen wird, also dass der Forscher das Unternehmen mitgestalten kann? (5) Setzt die
Methodevoraus,dassinderLiteraturbereitsähnlicheArtefakteentwickeltwordensind?
(6) Setzt die Methode Theorien voraus, mit denen Gestaltungsentscheidungen bei der
Artefaktkonstruktion gerechtfertigt werden können? In Tabelle 2 werden die einzelnen
ForschungsmethodenanhanddiesersechsFragestellungeneingeordnet.
Viele der Forschungsmethoden aus Gruppe (a) haben spezielle Anforderungen an die
Instanziierung des Artefaktes (1), die Fallzahl (2), die Kontaktintensität (3) und Ein-
griffsmöglichkeiten in Unternehmen (4), während sie keinerlei Voraussetzungen an die
Verbreitung des Artefaktes in der Literatur stellen (5, 6). Unterschiede zwischen den
einzelnen Methoden zeigen sich vor allem bei der Anzahl der benötigten
Artefaktinstanzen(1),derFälle(2)undderKontaktintensitätzurFallaufnahme(3).Ein-
griffsmöglichkeiten in Organisationen (4) verlangen nur das Feldexperiment und die
Aktionsforschung. Die Feldstudie kann eingesetzt werden, wenn Daten in hoher Stich-
probe gesammelt werden können; dafür wird kein intensiver Zugang zu den einzelnen
Fällen gefordert. Die Experimente sowie die Fallstudie können zwar auch mit einer ge-
ringeren Stichprobenzahl durchgeführt werden, verlangen aber intensiveren Kontakt zu
den Probanden/Fallstudienpartnern. Forschungsmethoden aus der Gruppe b, setzen vo-
raus, dass das Artefakt in der Literatur bereits thematisiert wurde (5, 6). Sie sind daher
zur Evaluation disruptiver Innovationen, die nicht oder nur wenig auf dem bestehenden
Wissenskorpus aufbauen, eher ungeeignet. Methoden, die auf einem Artefaktvergleich
basieren, verlangen, dass ähnliche Artefakte bereits publiziert wurden; Methoden, die
GestaltungsentscheidungendurchTheorienrechtfertigen,dasspassendeTheorienbereits
entwickelt wurden. Forschungsmethoden, die auf der Konsenstheorie der Wahrheit be-
ruhen,verlangennicht,dassähnlicheArbeitenbereitspubliziertwurden.Siestellenauch
geringeAnforderungenandasVorhandenseinvonInstanzen.MitAusnahmedesvirtuel-
len Diskurses verlangen sie zwar nicht viele Interviewpartner/Fokusgruppenmitglieder,
aber einen intensiven Kontakt zu diesen Personen. Der formale Beweis stellt keine be-
sonderenAnforderungenandiehierdefiniertenKriterien.
4.4VoraussetzungendeszuevaluierendenArtefaktes
Bei der Auswahl einer Evaluationsmethode sollten die Komplexität des Artefaktes (1)
und die Art seiner sprachlichen Darstellung berücksichtigt werden (2), vgl. den ersten
TeilvonTabelle3.
107
Ein formaler Beweis verlangtin der Regel,dassdas Artefaktin der Sprache der Mathe-
matik formuliert ist. Die meisten der Methoden des Artefaktvergleichs, die Fettke&
Loos nennen [FL04], basieren auf semiformalen Modellen. Eine reine Deduktion von
Theorien erfordert eine formalisierte Darstellung der jeweiligen Theorie und des Arte-
fakts. Diejenigen Methoden, die auf der Korrespondenztheorie der Wahrheit basieren,
lassen sich generell für Artefakte jeden Formalisierungsgrads verwenden. Artefakte mit
hoher Komplexität verlangen, dass die Artefakte den Probanden erklärt werden. Dazu
wird ein intensiver Kontakt zu Probanden vorausgesetzt. Die Feldstudie wurde als eine
Forschungsmethode charakterisiert, die keinen intensiven Zugang zu den Fällen ver-
langt. Daher wird sie für komplexe Artefakte eher selten angewandt. Wenn jedoch zu
einergroßenZahlanFällenintensiverKontaktbesteht,kannnatürlichaucheinkomple-
xesArtefaktineinerFeldstudieevaluiertwerden.
4.5VoraussetzungendesEvaluationskriteriums
Nicht jede Evaluationsmethode ist für jedes Evaluationskriterium geeignet. Beispielhaft
sinddieEvaluationskriterienvonAier&Fischer[AF09],[AF10]inTabelle3aufgelistet
und bewertet. Zur Evaluation der Nützlichkeit eines Artfaktes eignen sich grundsätzlich
alle Methoden mit Ausnahme des formalen Beweises. Allerdings können formale Be-
weise einen (nicht hinreichenden) Beitrag zu einer Nützlichkeitsevaluation liefern. Die
interne Konsistenz eines Artefaktes hingegen kann am besten formal belegt werden.
Eher ungeeignet sind die Methoden aus Gruppe (c). Die externe Konsistenz eines Arte-
faktes, also seine Konsistenz zum Wissenskorpus, kann am besten mit Methoden aus
Gruppe (b) belegt werden. Unter Umständen kann auch hier auf Methoden aus Gruppe
(c) zurückgegriffen werden. Die Anwendungsbreite eines Artefaktes ist im Kern eine
Nützlichkeitsevaluation mit hinreichender Anwendungsbreite. Daher ist die Bewertung
dieselbe wie bei der Nützlichkeitsevaluation. Die Einfachheit und die Fruchtbarkeit für
kommendeForschunglassensichamehestenmiteinerMethodebestimmen,dieaufder
KonsenstheoriederWahrheitbasiert.
4.6InterpretierbarkeitderErgebnisse
Zum Ausweis von wissenschaftlichem Fortschritt gehört es auch, dass eine Evaluation
den Anforderungen der Wissenschaft standhält. Frank nennt fünf Kriterien für Wissen-
schaftlichkeit [Fr00a]: Wissenschaftliche Aussagen sollen (1) allgemein sein, sich also
auf eine Klasse von Sachverhalten beziehen, (2) stabil sein, d.h. zeitlich invariant, (3)
intersubjektiv nachprüfbar, (4) bewährt und (5) informativ sein. Davon sind vor allem
dieKriterienderAllgemeinheit(1),derStabilität(2)undderintersubjektivenNachprüf-
barkeit (3) für die Auswahl von Evaluationsmethoden relevant. Die Informativität des
Evaluationsergebnisses hängt weniger von der Evaluationsmethode als von dem Gehalt
derHypotheseab,dieüberprüftwerdensoll.DieBewährtheiteinesEvaluationsergebnis-
seshängtnichtvoneinereinzelnenEvaluation,sondernvonmehrerenEvaluationsversu-
chen ab. Die Auswahl einer Evaluationsmethode bei einer Erstevaluation wirkt sich
dahernuringeringemMaßeaufdieBewährtheitaus.
108
-
Theorie nviocrhhtavnodrehnanden      oßenEinant.
rv
ge
Vergl.-rtefakt nviocrhhtavnodrehnanden      mitodeirrel
a et,eth
Eingriff/Untern. njaein         ällengeeignfürdieseM
Zugangintensiv           mefist
akt-sität Z.nichtintensiv           nahkmal
hoden Kontinten keinZugang           nAussMer
met geDa
ungs n viele           weni.
Forsch Fälle wenige           ineignet
n e
er a rg
zungend Anzahl keienien(er)           gnet,nunet,gut
Tabelle2:Vorausset InstanziierungdesArtefaktes keviieneilnee/ewenige           AusprägungungeeiEinschränkungengeeig
eren
sn
or- ung dieklei
VoraussetzungderFschungsmethode smethode Laborexperiment Feldexperiment Feldstudie Positiv.Fallstudie Aktionsforschung Artefaktvergleich Theoriebas.Begründ VirtuellerDiskurs Expertenbefragung Fokusgruppe FormalerBeweis DieMethodeistbeigengeeignet,mit
g n
Forschun (a) (b) (c) (d) Legende:schränku
109
Tabelle3:VoraussetzungendesArtefaktesunddesKriteriums
Voraussetzungen Artefakt Kriterium
desArtefaktes/
Kom- Formalisie-
desKriteriums
plexität rungsgrad
Forschungsmethode gering hoch prachlichsnatürlich- semi-formal formal Nützlichkeit KonsistenzinterneKonsistenzexternebreiteAnwendungs- Einfachheit w.ForschungFruchtbark.f.
Laborexperiment        
Feldexperiment        
(a) Feldstudie           
Positiv.Fallstudie        
Aktionsforschung        
Artefaktvergleich           
(b)
Theoriebas.Begründung           
VirtuellerDiskurs           
(c) Expertenbefragung           
Fokusgruppe           
(d) FormalerBeweis           
Legende:s.Tabelle2
In Tabelle 4 werden die einzelnen Methoden in Bezug auf die drei Kriterien bewertet.
Die intersubjektive Überprüfbarkeit hängt im Wesentlichen von der Dokumentation ab.
AmbestenlassensichliteraturbasierteundformaleEvaluationennachvollziehen.Diezu
erwartende Stabilität einer Evaluation hängt bei den quantitativ-empirischen Methoden
von der Fallzahl und den statistischen Gütekriterien ab, bei den qualitativ-empirischen
Methoden ebenfalls von der Fallzahl und der Qualität der Analyse. Bei den literaturba-
sierten Verfahren hängt die zu erwartende Stabilität eines Evaluationsergebnisses einer-
seits von der Stabilität des Bezugswissens aus der Literatur ab, andererseits davon, wie
stark sich an Bezugswissen angelehnt wird. Analogieschlüsse sind z.B. schwache For-
men der Anlehnung, eine formale Deduktion ist hingegen eine starke Form. Die zu er-
wartende Stabilität eines Evaluationsergebnisses, das auf der Konsenstheorie der Wahr-
heit basiert, hängt stark von der Erfahrung der Experten und von der Qualität der Rah-
menbedingungen desDiskurses ab. Es istdavon auszugehen,dass die Expertenmeinung
präziser ist, wenn das zu evaluierende Artefakt durch einen Prototypen instanziiert ist.
Letztlichisteswichtig,dassalleDiskursteilnehmerdasselbeProblemverständnishaben.
110