Orsee Leitfaden
Dieser Leitfaden richtet sich an Studierende und Mitarbeitende, die mit der Probandendatenbank Orsee der Abteilung für Wirtschafts- und Sozialpsychologie arbeiten. Im Leitfaden werden zentrale Aspekte, typische Abläufe und wichtige Hinweise bei der Verwendung von Orsee thematisiert.
Antworten auf gängige Fragen und spezifische Problemlösungen können in den Orsee FAQs gefunden werden.
1. Bei Orsee anmelden
Im Gegensatz zu den Versuchspersonen, erfolgt die Anmeldung als Experimentator:in auf Orsee über diese Anmeldeseite.
Für die Anmeldung wird ein Experimenter-Account benötigt, der per E-Mail an [ecosop.orsee@psych.uni-goettingen.de] angefragt werden kann.
Im Falle eines vorhandenen Experimenter-Accounts, erfolgt die Anmeldung unter Angabe des Benutzernames und des Passworts. Nach erfolgreicher Anmeldung, erscheint die Welcome-Page.
Neue Accounts werden mit einem initialen Passwort erstellt, welches möglichst schnell in ein persönliches, dauerhaftes Passwort geändert werden sollte. Eine Passwortänderung erfolgt über den Reiter Optionen unter Mein Profil per Auswahl von Mein Passwort ändern.
2. Anlegen eines neuen Experimentes
Um ein neues Experiment anzulegen, muss unter dem Reiter Experimente die Option Neu ausgewählt werden. Dadurch erscheint folgende Seite:
Bevor das Experiment hinzugefügt werden kann, müssen die im Folgenden erläuterten Angaben getätigt werden.
Der interne Name ist nur für Orsee-Admins und nicht für Versuchspersonen einsehbar. Das bedeutet, dass dieser den Untersuchungsgegenstand genau bezeichnen darf. Wenn die Studie z.B. der Masterarbeit von Julia Bengelsdorf entspricht, bei der Flusslängen im Judge Advisor System geschätzt werden, könnte der interne Name “MA Bengelsdorf (JAS Flusslängenschätzungen)” lauten.
Der öffentliche (Code)Name ist auch für Versuchspersonen sichtbar. Daher sollte hierbei nicht der Untersuchungsgegenstand preisgegeben werden. Beispielsweise könnte der öffentliche (Code)Name der zuvor skizzierten Studie die Bezeichung “Schätzstudie” erhalten. Dadurch werden Versuchspersonen nicht getäuscht, weil sie im Rahmen der Erhebung tatsächlich Schätzaufgaben bearbeiten.
Die Beschreibung ist optional, aber erleichtert es anderen Experimentator:innen, schnell zu erkennen, worum es bei dem Experiment geht. Zum Beispiel könnte die Beschreibung der exemplarischen Studie wie folgt lauten: “Laborstudie zur Nutzung von Ratschlägen (Masterarbeit von Julia Bengelsdorf)”.
Der öffentliche Experiment-Hinweis wird den Versuchspersonen auf der Anmeldeseite neben den Experiment-Details angezeigt. Dieses Feld kann genutzt werden, um den Versuchspersonen außerhalb der Einladungs-E-Mail etwas mitzuteilen. Hierbei ist zu beachten, dass nur wenige Versuchspersonen mit dieser Information in Kontakt kommen werden, weswegen das Feld idealerweise nicht genutzt werden sollte.
Zusätzlich zu den vorherigen Angaben muss der Experiment-Typ ausgewählt werden. Hierfür steht euch eine Drop-Down Auswahl zur Verfügung:
Es ist wichtig, dass für ein Experiment, bei dem Versuchspersonen zu unseren Laborräumen im GEMI kommen sollen,Labor auswählt wird. Für Experimente, bei denen Versuchspersonen lediglich eine Internetverbindung benötigen und nicht ins Labor kommen müssen, sollte Internet angeklickt werden.
Der Typ Internet-Survey funktioniert aktuell nicht richtig. Daher sollte dieser Experiment-Typ nicht ausgewählt werden.
Bei der Experiment-Klasse sollten ähnlich wie bei Tags alle zutreffenden Klassen ausgewählt werden. Hierbei kann auf bestehende Klassen durch einen Klick auf den Pfeil nach unten zugegriffen werden. Wenn es sich beispielsweise um eine “Judge Advisor”-Untersuchtung mit Schätzaufgaben handelt, sollten die Klassen “Judge Advisor” und “Schätzaufgaben” ausgewählt werden.
Standardmäßig wird zunächst nur der eigene Account unter “Experimentator” aufgelistet. Zusätzlich sollten hier auch die Orsee-Accounts aller anderen Personen, die an dem Experiment beteiligt sind (z.B. andere SHKs und Betreuende), aufgeführt werden. Per Klick auf den Pfeil nach unten können Personen zu den Experimentatoren hinzugefügt werden. Die aufgeführten Experimentator:innen können das Experiment später direkt unter dem Reiter “Meine Experimente” finden.
Durch die Auswahl des Kästchens bei der Frage, ob der Experimentzugriff beschränkt werden soll, wird eine Zugriffsbeschränkung für das Experiment verhangen. Dies ist in der Regel nicht erwünscht. Daher sollte das Kästchen nicht ausgewählt werden.
Bei diesem Punkt kann ausgewählt werden, wer über aktuelle Vorgänge des Experimentes bei Orsee informiert werden soll.
An dieser Stelle wird angegeben, welche E-Mail-Adresse den potenziellen Versuchspersonen als Absender angezeigt wird. Da ihr Rückmeldungen potenzieller Versuchspersonen selbst empfangen wollt, ist es wichtig, dass ihr hier eine eigene E-Mail-Adresse angebt. Dies kann beispielsweise eine explizit für die Erhebung erstellte E-Mail-Adresse mit z.B. @gmail.com, @web.de oder @gmx.de sein.
Ersetzt die Absenderadresse für E-Mails unbedingt durch eine eigenen E-Mail-Adresse. Andernfalls werden die E-Mails eurer potenziellen Versuchspersonen fälschlicherweise an ecosop.orsee@psych.uni-goettingen.de gesendet und erreichen euch nicht.
Dieser Punkt wird erst nach Abschluss der Erhebung relevant und kann bei der Experiment-Erstellung ignoriert werden.
In Orsee werden sogenannte “Teilnehmer-Statistiken” geführt. Hierbei wird vermerkt, wie oft eine Versuchsperson bei Experimenten, zu denen sie sich angemeldet hat, erschienen oder nicht erschienen ist. Wenn ihr ankreuzt, dass euer neues Experiment bei den Teilnehmer-Statistiken ignoriert werden soll, dann wird das Erscheinen / Nicht-Erscheinen zu eurem Experiment nicht in der Statistik der Versuchspersonen vermerkt. In der Regel sollte das neue Experiment allerdings in der Teilnehmer-Statistik berücksichtigt werden, weswegen diese Option nicht ausgewählt werden sollte.
Normalerweise werden Versuchspersonen per E-Mail zu Experimenten eingeladen. Allerdings können Versuchspersonen auch den öffentlichen Kalender einsehen und sich darüber für ein Experiment anmelden. Sofern das eigene Experiment im öffentlichen Kalender verborgen wird, ist letzteres nicht möglich. Daher sollte diese Option ebenfalls nicht ausgewählt werden.
An dieser Stelle kann ein Link zum Artikel angegeben werden. Diese Option wird allerdings selten genutzt und kann ignoriert werden.
Experiment hinzufügen
Die Daten des neuen Experimentes könnten beispielsweise wie folgt aussehen und das Experiment kann durch einen Klick auf “Hinzufügen” angelegt werden.
Sofern das Hinzufügen erfolgreich war, wird folgende Meldung angezeigt:
3. Angelegtes Experiment öffnen
Ein angelegtes Experiment kann unter dem Reiter “Experimente” sowohl bei “Überblick” als auch bei “Meine Experimente” gefunden werden.
Durch einen Klick auf den internen Namen des gewünschten Experimentes, kann dessen Hauptseite geöffnet werden:
4. Sessions anlegen
Nachdem ein neues Experiment angelegt wurde, können neue Sessions (Erhebungstermine) erstellt werden. Hierfür wird die Option “Neu” bei den Sessions ausgewählt.
Das Anlegen neuer Sessions sollte mindestens eine Woche vor der geplanten Session geschehen, damit potenzielle Versuchspersonen genügend Zeit haben, um sich zu der Session anzumelden und um die Chancen zu optimieren, dass potenzielle Versuchspersonen zu dem Termin verfügbar sind.
Anschließend öffnet sich folgende Seite:
Nun müssen die einzelnen Angaben angepasst werden.
Das Datum und die Zeit legen fest, wann die Versuchspersonen erhoben werden sollen. Beispielsweise am 19.06.2023 um 12:45 Uhr.
Da auch andere Abteilungen Orsee nutzen, ist es wichtig, dass das korrekte Labor (Abt. 5: Labore der Wirtschafts- und Sozialpsychologie) ausgewählt wird.
Es sollte unbedingt das korrekte Labor (Abt 5: Labore der Wirtschafts- und Sozialpsychologie) ausgewählt werden. Andernfalls erhalten Versuchspersonen im Rahmen ihrer Einladung zu dem Experiment eine falsche Wegbeschreibung zu dem Ort der Erhebung.
Bei der Dauer des Experimentes wird die ungefähre Bearbeitungszeit des Experimentes (z.B. 30 Minuten) eingetragen.
Anschließend wird anhand der Terminerinnerung (Stunden vor Start) festgelegt, wie viele Studen vor der Session die angemeldeten Versuchspersonen eine Erinnerungsmail für die Session erhalten sollen. Beispielsweise könnten die Versuchspersonen 24h vor der Session erinnert werden.
Die Angabe Sende Erinnerungsmail legt fest, unter welchen Umständen die Erinnerungsmail gesendet werden soll. Hierbei kann eine der verfügbaren Optionen ausgewählt werden. Beispielsweise kann “auf jeden Fall, frage nicht nach” angeklickt werden, um sicherzustellen, dass die Versuchspersonen eine Erinnerung erhalten, auch wenn die angestrebte Anzahl an angemeldeten Versuchspersonen nicht erreicht wurde.
Daraufhin erfolgt die Angabe der Anzahl an Versuchspersonen, die pro Session erhoben werden sollen (Benötigte Teilnehmer). Beispielsweise 12, wenn maximal 12 Personen pro Session erhoben werden können, weil lediglich 12 Computer verfügbar sind.
Zusätzlich können pro Session sogenannte Reserve Teilnehmer eingeplant werden. Das heißt, dass sich über die benötigte Anzahl an Teilnehmenden hinaus weitere Versuchspersonen zu dem Experiment anmelden können.
Das einplanen von Reserve Teilnehmern macht z.B. Sinn, wenn davon ausgegangen werden muss, dass nicht alle angemeldeten Versuchspersonen zu der Session erscheinen werden. Besonders sinnvoll ist diese Funktion auch bei Gruppenexperimenten, um sicherzustellen, dass die geplante Gruppengröße realisiert werden kann. Hierbei sollte man stets Kosten und Nutzen der Reserve abwägen, weil sonst gegebenenfalls potenzielle Versuchspersonen nach Hause geschickt werden müssen. Beispielsweise könnte ein Reserve Teilnehmer eingeplant werden.
Durch das Anmeldungsende (Studen vor Experimentbeginn) wird festgelegt, wie viele Stunden vor dem Experiment sich Personen noch als Proband:innen anmelden können. Beispielsweise könnte eine Anmeldung bis 36h vor der Session erlaubt werden.
Bei den Internen Bemerkungen könnten eigene Notizen hinterlegt werden. Meist wird dieses Feld nicht gefüllt.
Der Session Status wird beim Anlegen auf “Aktiviert” gesetzt, damit die Session im Kalender und vor allem in den Einladungsemails erscheint.
Session hinzufügen
Hier ein Überblick über die getätigten Angaben:
Abschließend wird die Session per Klick auf den “Hinzufügen”-Button hinzugefügt.
Beim erfolgreichen Hinzufügen erscheint folgender Hinweis:
Die Session wird nun auf der Übersichtsseite des Experimentes aufgelistet:
Session bearbeiten
Wenn bei der Session “Bearbeiten” ausgewählt wird, können einerseits die Daten der Sessions verändert werden.
Weitere Sessions hinzufügen
Andererseits kann auch die Option “Mit Kopie neue Session erstellen” angeklickt werden. Dadurch wird folgende Seite aufgerufen:
Nun kann beispielsweise lediglich die Zeit angepasst werden, um eine weitere Session am gleichen Tag hinzuzufügen. Generell sollte bei dem Anlegen der Sessions auf Pausen zwischen den Sessions geachtet werden.
Nach dem Hinzufügen, wird auch diese Session auf der Übersichtsseite aufgelistet:
5. Versuchspersonen zuordnen
Eingangs sind einem Experiment keine potenziellen Versuchspersonen zugeordnet. Daher muss dies zunächst manuell erfolgen. Hierfür wird auf der Hauptseite des Experimentes unter “Teilnehmer” die Option “Teilnehmer zuordnen” ausgewählt.
Dies führt dazu, dass sich folgende Seite öffnet:
Im nächsten Schritt können über die Option “Bedingung hinzufügen” verschiedene Filter gesetzt werden. Ein Filter muss jedoch immer gesetzt werden. Bei diesem Pflicht-Filter handelt es sich um die Option “Begrenzt auf eine Zufallsauswahl an Teilnehmern …”.
Dadurch wird die Auswahl von Versuchspersonen limitiert. Maximal 300 Personen können dem Experiment pro Tag zugeordet werden (mit Ausnahme der expliziten Erlaubnis durch den/die Betreuer:in). Wenn ihr diesen Filter nicht setzt, ordnet ihr eurem Experiment die gesamte Datenbank zu, was beim Einladungen verschicken im nächsten Schritt zu erheblichen Problemen führt.
Setzt bei der Zuordnung von Teilnehmer:innen unbedingt den Filter “Begrenzt auf eine Zufallsauswahl an Teilnehmern …” und ordnet dem Experiment pro Tag maximal 300 Personen zu. Andernfalls führt dies zu erheblichen Problemen beim Versenden von Einladungen und Erinnerungen.
Zusätzlich können mithilfe der Filter-Funktion Einschluss- (z.B. nur Psychologiestudent:innen werden als Versuchspersonen erhoben) und Ausschlusskriterien (z.B. Versuchspersonen, die zuvor an der EOC_Thomas-Studie teilgenommen haben) realisiert werden.
Wenn alle Filter gesetzt und ggf. mit “AND” (beide Filter müssen zutreffen) oder “OR” (einer der Filter muss zutreffen) verknüpft wurden, wird auf die Option Suchen und Zeigen ausgewählt.
Anschließend erscheint folgende Übersicht über die gesetzten Filter und die gefilterten Personen:
Mit einem Klick auf Diese Anfrage permanent aktivieren können die gesetzten Filter gespeichert werden, um zukünftig das manuelle Setzen der Filter einzusparen.
Gespeicherte Filter können unter “Gespeicherte Anfragen laden” eingesehen werden und per Klick ausgewählt werden Ob ein solcher permanenter Filter aktiv ist, kann auch auf der Hauptseite des Experimentes eingesehen werden:
Nachdem überprüft wurde, dass die Filterung wie gewünscht funktioniert hat, werden alle Teilnehmer der angezeigten Liste über den Button Ordne alle Teilnehmer in der Liste zu zu dem Experiment hinzugefügt.
Bei einer erfolgreichen Zuordnung wird folgende Nachricht angezeigt: 
Außerdem hat sich nun die Anzahl an zugeordneten Teilnehmern auf der Hauptseite des Experimentes verändert:
6. Versuchspersonen einladen
Die zugeordneten Versuchspersonen müssen nun auch eingeladen werden.
Hierfür wird nun auf der Hauptseite des Experimentes die Option Einladungen verschicken ausgewählt.
Daraufhin öffnet sich folgende Seite:
Die von Hashtags umschlossenen Inhalte, wie z.B. #fname# stellen Platzhalter dar.
Hier ein Überblick über die Platzhalter:
| Platzhalter | Inhalt |
|---|---|
| #fname# | Vorname |
| #lname# | Nachname |
| #sessionlist# | Liste über alle aktivierten Sessions (Termine) |
| #link# | Link zur Anmeldung zum Experiment |
So wird beispielsweise für #fname# automatisch beim Versenden der Mails der Vorname der eingeladenen Person eigesetzt.
Der Betreff und der Text der Nachricht können beliebig angepasst werden.
Beispielsweise könnte eine angepasste Einladungsemail wie diese aussehen:
Sobald der Text der E-Mail den eigenen Vorstellungen entspricht, sollte dieser per Klick auf “Speichern” gespeichert werden.
Zusätzlich sollte die Option “E-Mail-Vorschau” verwendet werden, um anzusehen, wie die Mail auf Empfängerseite aussieht.
Abschließend werden die Mails an die zugeordneten 300 Teilnehmer versendet, indem Zurück zur Mail-Seite ausgewählt wird und bei 2. Sende die E-Mail an alle, die noch keine bekommen haben die Option Verschicken angeklickt wird.
Sofern die Mails dadurch erfolgreich der Email-Warteliste (auch Email-Queque genannt) hinzugefügt wurden, erscheint folgende Meldung:
Das Versenden der E-Mails kann je nach aktueller Auslastung der Orsee-E-Mail-Warteliste etwas Zeit in Anspruch nehmen. Der aktuelle Fortschritt der Einladungen kann auf der Hauptseite des Experimentes anhand der Anzahl an eingeladenen Teilnehmern eingesehen werden:
Außerdem kann abgelesen werden, wieviele Teilnehmer:innen sich bereits zu einer Session angemeldet haben.
7. Sessions durchführen
Vorbereitung
Neben den technischen Vorbereitungen (im Labor: z.B. Laptops aufbauen, Online: z.B. Experiment freischalten), sollten auch auf Orsee ein paar vorbereitende Maßnahmen vor einer Session durchgeführt werden.
Beispielsweise sollte die Anzahl an angemeldeten Teilnehmern für eine Session überwacht werden, um ggf. weitere Kanäle für die Probandenakquise zu aktivieren oder die verbleibende Anmeldezeit auf Orsee zu erhöhen. Zusätzlich sollte darauf geachtet werden, dass die Session-Erinnerungsmails wie gewünscht versendet werden/wurden.
Außerdem sollte die Versuchsleitung im Vorfeld der Session bei Orsee die Hauptseite des zu erhebenden Experimentes aufrufen und von dort aus bei der aktuellen Session den Link Angemeldete Teilnehmer öffnen.
Teilnahme-Dokumentation
Zu Beginn einer Session ist es sinnvoll, die Proband:innen zu bitten, im Wartebereich der Laborräume (Abt. 5: im Flur vor dem Raum 1.110) Platz zu nehmen.
Sofern deutlich weniger Versuchspersonen als angemeldet erschienen sind, können die Laborräume abgeschlossen werden und die wartenden Proband:innen darüber informiert werden, dass der Versuch bald startet und kurz überprüft wird, ob alle angemeldeten Teilnehmer:innen den Raum gefunden haben. Dann kann die Versuchleitung zwischen dem Haupteingang zum GEMI und dem Erhebungsraum nach weiteren Versuchspersonen Ausschau halten.
Sofern sich eine erhebliche Anzahl an angemeldeten Teilnehmer:innen im Wartebereich eingesammelt hat, sollte sich die Versuchleitung mit einem Laptop zu dem Wartebereich begeben.
Anschließend instruiert die Versuchsleitung die Proband:innen, dass sie zur Dokumentation ihrer Teilnahme bitte nacheinander ihren Namen nennen sollen.
Während die Versuchspersonen ihre Namen aufsagen, setzt die Versuchsleitung den Teilnahme-Status der präsenten Versuchspersonen auf Teilgenommen.
Sobald der Status aller anwesenden Proband:innen auf “Teilgenommen” gesetzt wurde, klickt die Versurchsleitung auf “Ändern”, damit die vorgenommenen Änderungen gespeichert werden.
Anschließend erhalten die Versuchspersonen die Instruktionen zu dem Versuch.
Danach hat die Versuchsleitung meist etwas Zeit, um den Teilnahme-Status der nicht erschienenen Versuchspersonen auf “Noshow” zu setzen.
Hierbei gilt erneut, dass die vorgenommenen Änderungen gespeichtert werden müssen!
Doch was passiert, wenn eine unangemeldete Versuchsperson zur Erhebung erscheint? Eine Antwort auf diese Frage findet ihr in den Orsee FAQs.
Es ist ganz wichtig, dass zuerst geprüft wird, ob eine Person bereits ein Profil auf Orsee besitzt, bevor ein neues Profil für die Person angelegt wird! Andernfalls werden Duplikate in der Datenbank erzeugt, wodurch mehrfache Teilnahmen an demselben Experiment ermöglicht werden. Dies kann die Daten stark kompromittieren!
Sessions beenden
Wenn eine Session beendet wurde, müssen die Daten der entsprechenden Session bearbeitet werden. Hierfür wird auf der Hauptseite des Experimentes bei der jeweiligen Session auf Bearbeiten geklickt.
Nach Sessionabschluss wird der Session-Status auf Beendet gesetzt und auf Ändern geklickt, um die Änderung zu speichern.
Zusammenfassung
Ablauf
- Sessions anlegen
- Maximal 300 Probanden zuordnen und einladen
- Sessions durchführen und abschließen
Die 4 goldenen Orsee-Regeln
- Absender-E-Mail ändern (wenn ihr ein Experiment erstellt)
- Korrektes Labor auswählen (wenn ihr Sessions anlegt)
- Maximal 300 (wenn ihr Probanden zuordnet und einladet)
- Keine Duplikate (wenn ihr neue Profile anlegt)
Was tun bei Problemen?
Schaut gerne zunächst auf unsere Orsee FAQs. Dort werden Antworten auf häufige Fragen gegeben und der korrekte Umgang mit bekannten Problemen beschrieben.
Sofern das Problem nicht in den FAQs aufgeführt wird, wendet euch bitte an ecosop.orsee@psych.uni-goettingen.de.