Badania nad wykorzystaniem zbiorów cyfrowych

Pobierz książkę w formacie epub Pobierz książkę w formacie pdf

To na pewno nie jest tak, że Web dla instytucji kultury to dziś przestrzeń nieznana, a działania w niej nie mogą być racjonalnie zaprojektowane. Tu i ówdzie widać co prawda różnice kompetencji i budżetów, pewnie także ambicji, ale dla tego, o czym chciałbym teraz napisać, nie ma to większego znaczenia. Różnice te, nieraz dość radykalne, mimo wszystko niwelują się, kiedy przychodzi do oceniania efektów obecności instytucji online. Mała lokalna biblioteka, posiadająca własną stronę domową, czy wielkie muzeum z rozbudowanym serwisem internetowym, tak różne także w dostępie do komercyjnych systemów analityki Webu, spotykają się w pewnym momencie w tym samym punkcie. Kiedy przychodzi czas pisania raportów lub formułowania planów na przyszłość, opartych o wiarygodne dane i oceny, okazuje się, że nie bardzo jest na czym się oprzeć. Web wciąż niewiele mówi o użytkownikach i użytkowniczkach kultury. ¶1

Jest w tym chyba coś pocieszającego – że mimo coraz lepszych narzędzi śledzenia i personalizowania zebranie danych ilustrujących wykorzystanie zbiorów cyfrowych opierać się musi na dobrej woli osób wypełniających ankiety albo uczestniczących w wywiadach czy fokusach. Można zbierać informacje o odsłonach czy sesjach – to standardowe dane ze standardowej analityki Webu, można też wyciągać dane z mediów społecznościowych, gdzie użytkownicy, często nieświadomie, zostawiają po sobie tak wiele cyfrowych śladów. Można też sięgać do wypowiedzi, analizować treść komentarzy i próbować na tej podstawie opisywać interakcje z ofertą instytucji online. Wciąż jednak tak fundamentalna, jakościowa wiedza o motywacjach, celach i jakości wykorzystania udostępnianych zbiorów czy publikowanych informacji nie jest łatwo i automatycznie dostępna. ¶2

Co ciekawe, w zderzeniu z niemal już przymusem nieustannego wykazywania popularności swoich działań i projektów online ten brak wiedzy nie zawsze jest problemem. Po pierwsze, zazwyczaj jest tak, że zleceniodawca raportu z realizacji projektu, a więc instytucja finansująca działania, w regulaminie nie wskazuje wprost metod oceny jego zasięgu. W ten sposób akceptować może i raporty wykazujące po prostu liczbę sesji i odsłon jakiegoś portalu, pozyskaną z systemu Google Analytics, jak i wypowiedzi użytkowników serwisu, oceniających jego jakość i użyteczność. Po drugie, brak standardów w tym zakresie powoduje, że instytucje oceniające swoje projekty mogą dowolnie interpretować zdobyte dane. Prowadzi to nieraz do bardzo daleko idących uproszczeń, jeśli nie do mniej lub bardziej świadomych manipulacji. I tak na przykład 10 tysięcy sesji w ciągu roku publikowania strony internetowej zbudowanej w ramach grantu staje się po prostu 10 tysiącami „osób, które skorzystały z naszej strony”. Można też preferować podawanie liczby odsłon zamiast liczby sesji ze względu na to, że te pierwsze są zawsze liczniejsze i lepiej wyglądają w statystykach, chociaż definicja sesji skuteczniej, a nawet trochę jakościowo, oddaje fakt skorzystania ze strony WWW przez danego użytkownika: ¶3

Sesja Grupa interakcji zachodzących w witrynie w danym przedziale czasowym. Jedną sesją będzie wejście na stronę główną serwisu, przejście na podstronę, wpisanie frazy do wewnętrznej wyszukiwarki i kliknięcie w wynik. Jedna sesja łączy w sobie wszystkie następujące po sobie interakcje użytkownika w witrynie i domyślnie kończy się po 30 minutach nieaktywności użytkownika.
Odsłona Pojedynczy przypadek wczytania (lub ponownego wczytania) strony przez przeglądarkę. W jednej sesji może być wiele odsłon.
Użytkownik Liczba identyfikowanych za pomocą niepowtarzalnych identyfikatorów odbiorców witryny, generujących odsłony w ramach sesji.

Proste porównanie tych definicji wystarczy, by dostrzec, że opisywanie popularności strony internetowej na podstawie odsłon jest bardziej atrakcyjne niż na podstawie sesji. Jedna sesja może mieć w sobie wiele odsłon – a więc z konieczności trzeba raportować mniejsze efekty. Do tego odsłona może być bardzo krótka, a nawet mieć przypadkowy charakter. Kiedy użytkownik wchodzi tylko na jedną stronę serwisu i po chwili ją opuszcza, liczba odsłon zrównuje się z liczbą sesji (i wynosi 1). ¶4

Mała liczba odsłon w sesjach wskazuje na to, że użytkownicy raczej nie zagłębiają się w treść strony. Chociaż nie zawsze to musi być problem (na przykład dla strony informującej o wydarzeniu czy strony, z której można pobrać jakąś publikację), to w przypadkach portali czy serwisów publikujących wiele treści nie jest to pozytywny wynik. Oczywiście pominięcie tych danych w raporcie jest dla instytucji korzystne – wygodniej wykazać się liczbą odsłon niż ją podważać, informując o niewielkiej głębokości odwiedzin. ¶5

Dużym problemem w traktowaniu na serio tych danych jest także to, że różne systemy w różny sposób je generują. Analityka Google Analytics różni się w szczegółach od analityk proponowanych przez dLibrę czy dMuseion – polskie oprogramowanie do publikowania zbiorów bibliotek i muzeów cyfrowych. Podobnie informacje o zasięgu strony na Facebooku nie mogą być prosto porównane z informacjami o odsłonach strony publikowanej poza infrastrukturą serwisu Marka Zuckerberga. ¶6

Tych kilka przykładów pokazuje, w jaki sposób instytucja może kreować rzeczywistość na bazie danych, które – co by o nich nie powiedzieć – w systemie Google Analytics gromadzone są na bardzo racjonalnych zasadach. Powodem błędu jest jednak nie system gromadzenia, ale mylna lub zmanipulowana interpretacja danych. Oczywiście podobną magię uprawiać można w przypadku danych z mediów społecznościowych – interpretowanie polubień jako wskaźników popularności i użyteczności strony na Facebooku jest poważnym błędem, skoro dostępne są inne dane, choćby o zasięgu strony czy interakcjach z poszczególnymi treściami na niej publikowanymi. I tak wykazywać można, że strona ma 5 tysięcy polubień, przedstawiając to jako sukces, pomimo że jej zasięg nie przekracza tysiąca osób, a interakcje z treściami są szczątkowe. Ale tych ostatnich danych już się nie podaje. ¶7

Bezwzględnie istnieje potrzeba wypracowania nowych metod analityki działań instytucji kultury w Internecie. Poza danymi z klasycznej analityki Webu (tej od odsłon i sesji), mamy do dyspozycji trochę innych danych i metod – to podstawa do tego, aby myśleć o nowych rozwiązaniach, pozwalających na zracjonalizowanie oceny efektywności działań instytucji kultury w Internecie. ¶8

Strona i sfera

Zanim jednak sięgnie się po konkretne metody i dane, dobrze jest przemyśleć to, jak z nich skorzystać. Załóżmy, że instytucja X chciałaby racjonalnie zaprojektować badanie wykorzystania swoich zbiorów, publikowanych za pomocą serwisu muzeum cyfrowego. Do dyspozycji – i do wykorzystania niemal od razu – ma ona gotowe narzędzia, takie jak Google Analytics czy systemy analityki mediów społecznościowych. Z każdego z nich można wyciągnąć różne dane i potem próbować je porównywać i zestawiać, agregować w taki sposób, aby pozwoliły na zbudowanie jednej, spójnej interpretacji. ¶9

Steven M. Schneider i Kirsten A. Foot w artykule Web sphere analysis: An approach to studying online action (2005) zaproponowali interesujące podejście do projektowania badań aktywności ludzi w przestrzeni Webu. Założyli, że da się to zrobić, a nawet po części te aktywności wyjaśnić, za pomocą badania obiektów (web objects). Obiekty to linki, treści, formularze, poszczególne strony WWW, elementy interfejsów, protokoły – wszystko to, co buduje tło dla aktywności użytkowników Webu. A zatem nie ma tu mowy o tym, żeby jakaś konkretna strona WWW mogła być wirtualnym centrum, przestrzenią, która jest najważniejsza i z jakiegoś powodu wyjątkowa. To już sugeruje nam, żebyśmy – planując raport na temat wykorzystania zbiorów cyfrowych – przestali myśleć wyłącznie o tym, jakie wyniki oglądalności generuje nam oficjalna strona naszego muzeum cyfrowego. I dalej, jeśli zaczynamy doceniać bardzo zróżnicowane obiekty webowe i nie przyjmujemy, że nasza strona WWW ma mieć wśród nich wyjątkowe i centralne miejsce, możemy zacząć posługiwać się metaforą sfery webowej (web sphere) i to ją badać oraz traktować jako podstawę dalszych interpretacji. Schneider i Foot tak definiują to, czym jest sfera webowa: ¶10

Konceptualizujemy sferę webową nie jako zestaw witryn, ale jako zbiór dynamicznie definiowanych zasobów cyfrowych, obejmujących wiele witryn uznanych za istotne lub związane z centralnym wydarzeniem, koncepcją lub tematem, często połączonych hiperlinkami. Granice sfery webowej są ograniczone wspólną orientacją tematyczną i ramą czasową. (s. 2) ¶11

Sfera webowa, ograniczająca zasięg badania, jest dynamiczna, bo badając ją, nieustannie odkrywać możemy nowe obiekty, które należałoby do niej włączyć. To, że umieszczamy je w jednej sferze, oznacza, że łączy je temat oraz określony zakres czasowy. Warto zwrócić uwagę, że poszczególne obiekty w sferze nie muszą być połączone linkami – do wspólnego zbioru dodać można także obiekty niemające żadnych połączeń z innymi obiektami, ale zbliżone treścią czy funkcją. ¶12

Załóżmy, że muzeum X publikuje online zbiory dotyczące historii Krakowa (skany fotografii, dokumentów, artefakty materialne itp.). Do sfery webowej dla tego tematu wejdzie nie tylko oficjalna strona muzeum cyfrowego, ale też serwisy pomniejszych projektów i inicjatyw – także amatorskich i oddolnych – dotyczących dziejów tego miasta. Znajdą się tam również blogi, fora internetowe, strony i społeczności na Facebooku, filmy na YouTube, zdjęcia na Flickr.com czy hasła w Wikipedii. Po określeniu granic sfery można zacząć charakteryzować jej poszczególne obiekty oraz relacje między nimi. Tutaj w końcu pojawia się przestrzeń na zastosowanie twardych metod analityki webowej – sprawdzenie odsłon stron, liczby wyświetleń filmów, dynamiki edycji haseł w Wikipedii itp. Do tego przyda się zastosowanie elementów badań jakościowych: kategoryzacja treści, próba określenia ich jakości, znaczenia dla określonych grup odbiorców czy wartości merytorycznej. ¶13

Scharakteryzowanie sfery i rozpoznanie, jakie miejsce i rolę posiada w niej muzeum cyfrowe, może pozwolić odkryć, że jej wartość nie musi bazować na raczej niewysokiej liczbie odsłon i sesji. Okazać się może przecież, że: ¶14

  • więcej o wartości muzeum cyfrowego świadczyć będzie liczba linków kierujących do niego i kontekst ich publikowania (na przykład wskazywanie strony muzeum jako źródła profesjonalnej wiedzy na temat określonych zasobów czy źródła dobrej jakości cyfrowych kopii);
  • zapotrzebowanie na określone zasoby, które ujawnia się w analizowanych dyskusjach i komentarzach na forach czy na Facebooku, może być zrealizowane przez dostępne już zbiory muzeum cyfrowego, jeśli tylko byłyby one łatwiej odnajdywalne czy opublikowane w lepszej jakości.

Bardzo rozbudowanym systemem analizy wartości zbiorów cyfrowych dziedzictwa, wykorzystującym podejście zbieżne z koncepcją web sphere, jest Balanced Value Impact Model Simmona Tannera (2012). Tam osią badania wpływu zbiorów cyfrowych są wszelkie obserwowalne i mierzalne efekty (outcomes), powstałe w wyniku obecności (dostępności) określonych obiektów cyfrowych. W analizie wpływu pod uwagę bierze się jednak tylko te efekty, które demonstrują określoną zmianę w życiu odbiorców zbiorów cyfrowych lub też w potencjalnych możliwościach, jakie im dają (s. 4). Trudno oczekiwać, że tak skomplikowany system ewaluacji będzie wykorzystywany jako alternatywa regularnych raportów na temat popularności i efektywności zbiorów czy działań cyfrowych, prowadzonych przez instytucję kultury. Planując takie raporty, warto jednak przyjąć stojącą za nim metodę i zrezygnować z kurczowego trzymania się własnej strony WWW i polegania wyłącznie na prostych statystykach oglądalności. Nasza strona WWW i nasze działania online nie istnieją w próżni, a Web to przecież dynamiczna sieć nieustannych relacji. ¶15

Wiedza dostępna od zaraz?

Plan badań wykorzystania zbiorów cyfrowych może mieć dowolnie ambitne założenia, jednak możliwości ich przeprowadzenia zależą przede wszystkim od dostępności metod, pozwalających na pozyskanie konkretnych danych i zamienienie ich na wiedzę w ramach procesu analizy i interpretacji. Nie byłoby dobrze, gdyby przyjęcie sferowego podejścia i podkreślanie ograniczonej użyteczności metod badania miało być czymś w rodzaju „ucieczki do przodu” i instytucja wykazywałaby jedynie, że tak naprawdę nic konkretnego o jej efektywności online nie da się powiedzieć. ¶16

Z drugiej strony, niebezpieczna jest zbytnia ufność we własne możliwości przeprowadzenia zaawansowanych badań. Nie chodzi nawet o to, że pracownicy i pracownice instytucji sami mieliby projektować pytania w ankietach online lub samodzielnie interpretować nieraz zagmatwane dane z mediów społecznościowych. Nawet jeśli w budżecie znajdują się fundusze na profesjonalne przygotowanie badania, jego skuteczność może być ograniczona. ¶17

Barbara Maria Morawiec do swojej książki Biblioteki cyfrowe. Tworzenie – zarządzanie – odbiór (2016) przeprowadziła badanie ankietowe użytkowników i użytkowniczek Małopolskiej Biblioteki Cyfrowej i Jagiellońskiej Biblioteki Cyfrowej. Kwestionariusz opublikowano za pomocą oprogramowania LimeSurvey, a link do ankiety umieszczony został na stronach obu tych bibliotek cyfrowych, a także w sekcji „Wiadomości” strony Biblioteki Jagiellońskiej oraz na stronach krakowskich bibliotek na Facebooku (s. 110). Ankieta prowadzona była od 1 marca do 15 kwietnia 2015 roku. Jak informuje autorka, w badaniu wzięło udział 267 osób, przy czym jedynie 102 (38 procent) wypełniły ankietę do końca i to odpowiedzi tych osób wzięto pod uwagę przy analizowaniu wyników. Oprócz tego sama autorka zwróciła uwagę, że linki do ankiety umieszczone na stronach bibliotek cyfrowych „nie wygenerowały dużego zainteresowania ankietą”, a większość odpowiedzi pochodziła z linków publikowanych na Facebooku oraz bezpośrednich zaproszeń wysyłanych mailem. Zestawienie odpowiedzi ujawniło, że większość osób wypełniających ankietę była w wieku 18–26 lat (43 procent), ale autorka, interpretując dane, nie połączyła tego wyniku z metodą rozpowszechniania linku do badania, przecież wyraźnie preferującą osoby młode. ¶18

Obciążenie wyników przez sposób budowania próby to nic przyjemnego – cała energia włożona w organizację badania idzie na marne. To jednak nie jedyne niebezpieczeństwo – równie frustrujące jest zgromadzenie zbyt małej liczby odpowiedzi. Nie wiadomo, ilu użytkowników miały obie badane biblioteki w marcu i kwietniu 2005 roku (dane nie są dostępne na stronach), jednak trudno oczekiwać, aby jakakolwiek biblioteka cyfrowa chciała budować swoją strategię z uwzględnieniem wyników ankiety, na którą odpowiedziało nieco ponad 100 osób. Chyba że miałaby dostęp do rozbudowanych (otwartych) odpowiedzi i analizowała je w perspektywie jakościowej, wówczas dałoby się może wskazać nowe, nieoczywiste problemy czy zaproponować nowe elementy serwisu na bazie sugestii użytkowników. ¶19

Nie zawsze też proponować trzeba bardzo skomplikowane ankiety. W serwisie udostępniającym cyfrowe reprodukcje zbiorów Narodowego Muzeum Nowej Zelandii (Te Papa Tongarewa), na stronach poszczególnych obiektów umieszczony jest prosty formularz, który aktywuje się w momencie pobierania pliku na dysk twardy komputera. Użytkownik może zadeklarować cel wykorzystania pobieranej reprodukcji, wybierając jedną opcję z rozwijanej listy, może też napisać kilka słów więcej na ten temat. ¶20

Źródło collections.tepapa.govt.nz/Object/43920/download

Warto zwrócić uwagę na szczególne cechy tej ankiety: ¶21

  • jest krótka, zawiera dwa pola, w tym jedno z nich można wypełnić, wybierając opcję z listy dostępnych odpowiedzi;
  • aktywuje się wyłącznie przy pobieraniu pliku – bada więc intencje użytkowników, którzy nie tylko przeglądają, ale też pobierają do dalszego wykorzystania zbiory muzeum;
  • pytania są proste i bezpośrednie.

Wiosną 2017 roku Te Papa opublikowało dodatkową ankietę, której celem jest zdobycie wiedzy na temat koniecznych usprawnień w projekcie i działania serwisu muzeum cyfrowego. Ankieta została udostępniona za pomocą darmowego narzędzia (formularz w Google Drive), jej wypełnienie ma zajmować do 10 minut, a respondenci mają szansę na wygranie vouchera o wartości 50 dolarów nowozelandzkich do wydania w Amazonie. ¶22

Problemy ze skalą zbieranych danych dałoby się może ominąć, gdyby instytucje sektora podjęły współpracę przy budowie wspólnej analityki wykorzystania zbiorów. Wymagałoby to nie tylko podstawowej integracji danych z poszczególnych instytucji, dziś zrealizowanej już w serwisie Federacji Bibliotek Cyfrowych, ale też na przykład zorganizowania wspólnej, ogólnopolskiej inicjatywy jakościowego badania użytkowników i użytkowniczek, może nie tylko za pomocą ankiet online. Wspólnie łatwiej byłoby wypromować badanie i zgromadzić więcej danych, przy czym dotyczyć by one musiały raczej ogólnych metod korzystania ze zbiorów niż wykorzystania konkretnej biblioteki, muzeum czy archiwum cyfrowego. ¶23

Źródła danych

Opis źródeł danych wykorzystania zbiorów cyfrowych i efektywności serwisów je udostępniających zasługuje na osobne opracowanie. Warto jednak przynajmniej wymienić dostępne sposoby zdobywania informacji o użytkownikach i użytkowniczkach oraz ich zachowaniu w serwisie. Niniejsze zestawienie prezentuje je wraz z krótką charakterystyką, przy czym dla wygody używam w nim pojęcia repozytorium, które w tym przypadku rozumiem jako dowolny serwis internetowy instytucji, którego celem jest udostępnianie zbiorów cyfrowych i ich opisów. ¶24

Metoda Opis
Zliczanie odsłon, użytkowników i sesji klasyczna analityka z narzędzi takich jak Google Analytics czy Piwik lub logów repozytorium
Zliczanie pobrań pliku reprodukcji cyfrowej dane informujące o pobraniu konkretnych plików, dostępne w specjalnej konfiguracji Google Analytics
Analiza stron referencyjnych dane informujące o stronach linkujących do strony repozytorium i podstron konkretnych zbiorów
Analiza zapytań z wewnętrznej wyszukiwarki analiza potrzeb użytkowników przeszukujących repozytorium, pomocna przy skuteczniejszym opisywaniu zbiorów i tworzeniu słowników kontrolowanych
Analiza pozycji w indeksie Google analiza pozycji repozytorium bądź stron wybranych obiektów pod kątem pozycji w Google i konkurencyjnych linków
Analiza zapytań z Google Console Search analiza fraz, które po wpisaniu do wyszukiwarki Google’a przeniosły użytkowników na stronę repozytorium
Google Trends badanie popularności określonych zapytań do wyszukiwarki Google, pozwalające zbudować kontekst dla liczby wejść na stronę repozytorium dla określonej frazy oraz ułatwiające użyteczne opisywanie zbiorów
Google Alerts pozyskiwanie informacji o pojawieniu się konkretnych fraz w aktualnościach Google (Google News), użyteczne w badaniu obecności instytucji i jej projektów w mediach
Facebook: analityka stron zróżnicowane dane o interakcjach użytkowników z treściami publikowanymi na stronie, o zasięgu, profilu demograficznym odbiorców itp.
Facebook: Open Graph Debugger ogólne statystyki dla linku upowszechnianego na Facebooku
Facebook: dane publiczne publiczne dane opisujące funkcjonowanie określonych treści w przestrzeni Facebooka, agregowane i analizowane w komercyjnych usługach analityki mediów społecznościowych, w tym treści wpisów i komentarzy, materiały wizualne
Twitter: analityka konta przyrastające w czasie dane dotyczące odsłon wpisów publikowanych w ramach konta, odsłon strony głównej konta, wzmianek i liczby obserwujących
Twitter: dane publiczne publiczne dane opisujące funkcjonowanie określonych treści w przestrzeni Twittera, agregowane i analizowane w komercyjnych usługach analityki mediów społecznościowych, w tym treści tweetów
Wikipedia: dane dotyczące haseł przyrastające w czasie dane dotyczące liczby odsłon, liczby edycji, liczby obserwujących i rozmiaru treści haseł (zob. przykład cat vs dog)
Wikipedia: odsłony haseł z mediami (BaGLAMa 2) dane dotyczące odsłon haseł wikipedystycznych zawierających media z określonej kategorii Wikimedia Commons
Wikipedia: linki zewnętrzne wyszukiwanie linków do repozytorium zamieszczanych w hasłach Wikipedii
Wikipedia: wykorzystanie mediów (Glamorous) dane dotyczące obecności wybranych plików z Wikimedia Commons w Wikipedii i siostrzanych projektach
Cytowania dane dotyczące cytowań linkujących do repozytorium, dostępne na przykład dzięki wyszukiwarce Google Scholar, Google Books, Scopus czy Web of Science
Wyszukiwanie obrazem (Google Image Search) wyszukiwanie alternatywnych kopii (wersji) zbiorów wizualnych publikowanych w repozytorium
Dane wewnętrzne dane o zamówieniach wersji produkcyjnej skanów, dane o zgłaszanych błędach, wnioski, wypowiedzi zebrane w ramach badań fokusowych lub za pomocą ankiet online itp.

Nawet tak skrótowa prezentacja źródeł danych pokazuje, że badając użycie zbiorów cyfrowych, mamy do dyspozycji konkretne rozwiązania, z których większość jest darmowa i łatwa w użyciu. Do tego komercyjne usługi analityki mediów społecznościowych oferują dziś bardzo zaawansowane raporty, pozwalające na zdobycie wiedzy o działaniach innych instytucji z sektora czy na zaawansowaną charakterystykę odbiorców. Analityka Wikipedii i jej siostrzanych projektów jest użyteczna przede wszystkim dla instytucji, które angażują się w projekty GLAM-Wiki. Szczegółowe instrukcje dotyczące wykorzystania Google Analytics w badaniu wykorzystania zbiorów archiwów cyfrowych zaproponował w 2013 roku Michael Szajewski (Using Google Analytics Data to Expand Discovery and Use of Digital Archival Content). Skorzystanie z wielu zróżnicowanych źródeł danych pozwala na uniknięcie błędu, wobec którego zaproponowano metodę web sphere – błędu ograniczenia analizy wyłącznie do oczywistych danych z analityki repozytorium. Wyszukiwanie obrazem skutecznie zastosowano do przygotowania raportu o Syndromie Żółtej Mleczarki, a dane z mediów społecznościowych warto uwzględniać nawet wówczas, kiedy instytucja nie jest w nich oficjalnie obecna. ¶25

Wpływ, wartość i brak celu

W grudniu 2016 roku w Glasgow odbyło się dwudniowe sympozjum poświęcone ewaluacji zbiorów cyfrowych dziedzictwa. Jedną z propozycji wypracowanych na spotkaniu była zmiana podstaw oceny efektywności publikowania kolekcji cyfrowych z badania ich wpływu społecznego na badanie wartości. W artykule Use And Impact Of Digital In Cultural Heritage: Insights From The Scottish Network Of Digital Cultural Resources Evaluation (2017) czytamy: ¶26

Zmiany społeczno-gospodarcze wywołują zwiększoną presję na szkolnictwo wyższe i instytucje kultury, zmuszając je do wykazywania wpływu (impact) ich zasobów i projektów cyfrowych. Związany z tym nacisk na prezentowanie wskaźników ilościowych budzi obawy wynikające z trudności w rozpoznawaniu rzeczywistej wartości zasobów kultury oraz złożonych i zróżnicowanych sposobów, w jakich mogą one wpływać na różnych odbiorców. Czy nie powinniśmy zrezygnować z badania wpływu i skoncentrować nasze wysiłki na rozpoznawaniu wartości kolekcji cyfrowych? ¶27

Oczywiście głównym wyzwaniem przy przyjęciu nowego wskaźnika jest wykorzystywanie danych jakościowych w taki sposób, aby były one ze sobą porównywalne oraz aby sposób ich gromadzenia zapewniał maksymalną możliwą obiektywność. Praca nad nowym wskaźnikiem w ewaluacjach kolekcji cyfrowych wymaga jednak zauważenia, że wartość korzystania z kultury nie zawsze jest racjonalnie rozpoznawana, a nawet czasem nie ma potrzeby w ogóle o niej mówić. ¶28

Sporo gram na komputerze. Po co? Jak donoszą liczne publikacje prasowe, granie na komputerze bardzo dobrze wpływa na zdolność podejmowania decyzji, przyswajanie wiedzy o świecie, kształtowanie postaw społecznych, orientację w przestrzeni, umiejętność pilotowania dronów nad Afganistanem i walkę z chorobą Alzheimera. Zawsze, kiedy stykam się z tym zestawem argumentów (który przecież bardzo szanuję), mam pewne wątpliwości. Jeżeli zaznałem któregokolwiek z tych dobrodziejstw i, na przykład, dzięki godzinom spędzonym w wirtualnych labiryntach szybciej znajduję drogę do wyjścia w centrach handlowych, to doszło do tego raczej przypadkiem, bo przecież nie to było celem mojego grania. […] Sporo gram na komputerze. Po co? A po co czytasz albo po co siadasz na widowni? Jak odpowiadać na takie pytania? Najlepiej chyba tak: po nic. Kiedy patrzę na pierwszą scenę albo pierwsze zdanie, nie wiem jeszcze, dokąd mnie zaprowadzą. Tym, czego najmniej teraz potrzebuję, jest widoczny od samego początku cel ¶29

– pisze w „Dwutygodniku” Paweł Schreiber (Po nic, 2017). Jest więc tak, że jakaś część osób przeglądających zbiory cyfrowe udostępniane przez muzea czy biblioteki robi to bez racjonalnego celu, tak po prostu, bo można, bo to łatwe i darmowe. Robi to, nie wiedząc, do czego mogą przydać się im odnajdywane przypadkowo materiały. W przeglądaniu dobrze zaprojektowanych repozytoriów zbiorów dziedzictwa jest jakaś prosta przyjemność kontaktu z dawną kulturą, ludźmi z przeszłości, zapomnianą estetyką i językiem. Czy jakiekolwiek badania jakościowe lub ilościowe są w stanie uchwycić tę przyjemność i związaną z nimi przypadkowość oraz wartości? Może po prostu trzeba o nie zapytać? ¶30

Badanie użytkowników i użytkowniczek bibliotek cyfrowych, które stało się podstawą książki Barbary Marii Morawiec, zawiera pytanie o cel korzystania ze zbiorów online. Lista odpowiedzi proponuje do wyboru cele: edukacyjny, naukowy, kulturalny, informacyjny, hobbystyczny i rozrywkowy. Można zaznaczyć także, że korzysta się z biblioteki cyfrowej „w innym celu” (s. 161). Podobnie w ankiecie przygotowanej dla Muzeum Narodowego w Warszawie (2017) na pytanie o to, do jakich celów chce się wykorzystać serwis muzeum cyfrowego, można zaznaczyć takie odpowiedzi: ¶31

  • przeglądanie zdjęć z kolekcji,
  • do celów badawczych/naukowych,
  • w celach zawodowych/w celach związanych z pracą,
  • w celach związanych z prowadzoną przeze mnie działalnością gospodarczą,
  • w celu weryfikacji, czy warto odwiedzić muzeum na żywo,
  • w celach prywatnych, na przykład udostępnienie na swoim blogu, wykonanie nadruków, publikacja w mediach społecznościowych,
  • w celu pozyskania informacji o eksponatach przed ich poznaniem „na żywo”,
  • w innych celach (jakich?).

A gdyby tak umożliwić odpowiedź „bez celu”? Czy dane zebrane z tego pytania nie miałyby wówczas większej wartości, bo mogłyby wskazywać na to, że część odbiorców wchodzi na stronę przypadkowo i warto rozważyć wdrożenie jakiegoś mechanizmu pozwalającego ukierunkować ich początkowe zaangażowanie? ¶32

Projektując badanie ankietowe wykorzystania zbiorów cyfrowych, warto też zwrócić uwagę na potencjalne błędy lub nieścisłości w projektowaniu odpowiedzi. Ponieważ odpowiadając na zacytowane wyżej pytanie z ankiety MNW, można zaznaczyć aż trzy odpowiedzi, pojawia się problem ich interpretacji – jeśli ktoś pracuje na uczelni i, przygotowując artykuł naukowy, korzysta z cyfrowych zbiorów muzeum, do opisu tego jednego celu może wybrać dwie odpowiedzi, których znaczenie w jego przypadku będzie identyczne (cele badawcze i cele zawodowe). Podobnie wspomniana już Barbara Morawiec w pytaniu ankietowym o miejsce korzystania z biblioteki cyfrowej proponuje odpowiedzi, takie jak „w domu”, „w pracy”, „w bibliotece” czy „na uczelni”. Wypełniający tę ankietę bibliotekarze i bibliotekarki nie mieli łatwego zadania, kiedy musieli zdecydować, czy ze zbiorów cyfrowych korzystają „w pracy” czy raczej „w bibliotece” (s. 169). Podobnie zresztą osoby pracujące na uczelni albo freelancerzy spędzający swój roboczy dzień w domu. ¶33

Kiedy uda się pozyskać dane, bywa tak, że nie budują one specjalnie pozytywnej wizji skuteczności instytucji online. Być może nawet jedną z dominujących w sektorze kultury i dziedzictwa emocji jest frustracja wynikająca z ograniczonego zasięgu własnych działań i braku skuteczności w komunikacji. To nic przyjemnego, kiedy nakładem znacznych sił i środków digitalizuje się, opracowuje i udostępnia zbiory, po czym okazuje się, że nie są one masowo wykorzystywane. Warto zadać jednak pytanie: czy powinno się wartość działań instytucji, a nawet wartość samych udostępnianych zbiorów, uzależniać od ich popularności w Internecie? To nie jest dobry kierunek myślenia. W sektorze kultury oczekiwanie dużych zasięgów powinna przecież równoważyć świadomość misyjności instytucji i specyfiki udostępnianych zbiorów: zazwyczaj robią one to, co komunikacyjnie niespecjalnie się opłaca. Oczekiwanie, że biblioteki, archiwa czy muzea staną się gwiazdami Sieci, nie ma sensu. O ile ograniczony zasięg nie wynika z ordynarnych zaniechań w komunikacji czy błędów w konstrukcji i użyteczności repozytorium, może nie ma się czym przejmować, przecież popularność nie jest w tym sektorze wyznacznikiem jakości. Dobrze byłoby, gdyby jeszcze instytucje nadzorujące sektor i finansujące projekty cyfrowe rozumiały specyfikę misji instytucji kultury w Internecie i w raportowaniu efektów poszczególnych działań racjonalnie proponowały oczekiwane wyniki. ¶34