Czarne pudełka
W 2019 r. świat akademickich chemików organicznych obiegła mrożąca krew w żyłach wiadomość. A wszystko to za sprawą studenta uniwersytetu na Hawajach i jego niesamowitego odkrycia.
Dziś Yuheng Luo jest po doktoracie i pracuje jako post-doc na swojej alma mater – uniwersytecie Mānoa w Honolulu na Hawajach. W 2019 r. był jednak jeszcze studentem, a skutki odkrycia, którego wtedy dokonał, oblały zimnym potem naukowców na całym świecie*.
Do przełomowej „Eureki” doszło, gdy Luo pod okiem swojego opiekuna naukowego zajmował się weryfikacją wyników badań nad cyjanobakteriami uzyskanych przez profesora Philipa Williamsa.
Oto jak wyobrażam sobie ciąg emocji, które przeszyły ciało młodego Luo.
- Frustracja („rany, znowu kod źle działa”),
- Szok („o rany! to niemożliwe!”),
- Zgroza („reperkusje tego odkrycia będą straszliwe!”),
- Ekstaza („będę sławny!”).
Luo ustalił, że w paczce oprogramowania służącego do analizy danych ze spektroskopii magnetycznego rezonansu jądrowego, którą posłużył się profesor Williams, i która kilka lat wcześniej została opublikowana w „Nature Protocols”, kryje się błąd. W zależności od systemu operacyjnego, na którym się ją uruchamia, oprogramowanie zwraca inne wyniki. Konkretnie: wyniki na Windowsie odbiegają od tych uzyskiwanych na niektórych wersjach Linuksa czy macOS.
W przypadku paczki do Pythona takie działanie nie jest pożądane ani normalne. Programy w Pythonie, przetwarzając jednakowe dane wejściowe, powinny zawsze zwracać jednakowe wyniki niezależnie od tego, na jakim systemie operacyjnym się je uruchamia. Mogą działać wolniej albo wymagać dodatkowych czynności, żeby dało się je uruchomić, ale wyniki nie powinny się różnić. W towarzyszącej paczce dokumentacji nie było zresztą żadnej wskazówki, że wyniki mogą się tak różnić.
Źródło zawartego w oprogramowaniu błędu okazało się równie trywialne, co nieoczywiste. Systemy operacyjne w różne sposoby sortowały pliki wejściowe, a kolejność podawania plików miała wpływ na uzyskiwane wyniki. Program zaś sam nie sortował plików, tylko polegał na tym, jak uporządkował je system operacyjny.
Szacuje się, że do czasu opublikowania informacji o tym błędzie paczka mogła zostać wykorzystana w ponad 150 opublikowanych pracach z chemii. Czyli za sprawą owego błędu potencjalnie ponad 150 artykułów naukowych przedstawiało błędne wyniki. W rzeczywistości zapewne było ich mniej, ale chyba rozumiecie, dlaczego dziesiątki, jeśli nie setki naukowców pod wpływem tej wiadomości mógł oblać zimny pot.
Pozytywnym elementem tej historii jest fakt, że błąd udało się wykryć, a wyniki wszystkich wykorzystujących paczkę analiz można powtórzyć. Wynalazek zwany metodą naukową zadziałał w tym przypadku zgodnie z założeniami – badanie dało się zreplikować, udało się ustalić źródło błędu, po jego ogłoszeniu autor paczki przekazał Luo kudosy, paczka została poprawiona i świat kręci się dalej.
Martwić się można natomiast dlatego, że w przypadku wykorzystania obecnie dostępnej szeroko sztucznej inteligencji przeprowadzenie podobnego śledztwa jest niemożliwe. Modele językowe są zagadkami nawet dla swoich twórców, trudno jednoznacznie ustalić, skąd biorą się podawane przez nie wyniki, a jeszcze trudniej ustalić dokładne źródła błędów. O takim oprogramowaniu mówi się „czarne skrzynki”, bo nie sposób zajrzeć do ich środka i przeanalizować zachodzących w nich procesów.
Trudno mi sobie wyobrazić, żeby artykuł naukowy wskazujący na wykorzystanie modeli generatywnych do analizy danych zdobył aprobatę środowiska naukowego i przeszedł peer review.
Dużo łatwiej mi wyobrazić sobie, że naukowiec pójdzie na skróty i nie przyzna się, z jakich narzędzi korzystał.
A już zupełnie nie potrzebuję przekonywania, by uwierzyć, że z takich narzędzi korzystają analitycy spoza środowiska akademickiego. Ich praca zazwyczaj nie przechodzi złożonych procesów weryfikacji, a jednocześnie na podstawie ich ustaleń podejmuje się istotne decyzje biznesowe czy polityczne.
Pewnie nie umknęły Wam uzasadnione podejrzenia, że szczegóły amerykańskiej polityki celnej administracja Trumpa wygenerowała przy pomocy sztucznej inteligencji. Ile podobnych sytuacji przelatuje jednak pod radarem?
Gdybym układał program nauczania w szkołach, historię odkrycia Yuhenga Luo kazałbym nauczycielom powtarzać na lekcjach aż do zdarcia płyty.
Źródła:
* – To akurat spekulacja. Nie mam pewności, czy kogokolwiek oblał faktycznie zimny pot.