A kiedy znikną ostatnie pastwiska
Kto programował w latach 2010-2022, ten z pewnością zna StackOverflow – forum, na którym użytkownicy mogą zadawać pytania, a społeczność odpowiada. Na odpowiedzi się głosuje, część z nich zostaje zatwierdzona i w efekcie powstaje gigantyczna baza zweryfikowanych odpowiedzi.
Teraz Stack umiera, a ja zastanawiam się, co będzie dalej. Nie tylko ze Stackiem.
Różne podstrony Stacka pozwalają na dyskusje na różne tematy, ale lwia część treści dotyczy programowania. W szczytowym momencie zadawano na nim ponad 200 tys. pytań miesięcznie, więc te pytania bywają bardzo szczegółowe i bardzo konkretne.
W latach 2010-2022 gdy wpisywało się do wyszukiwarki dowolne pytanie związane programowaniem, pierwsze wyniki kierowały do Stacka. Znalezienie odpowiedzi wymagało twórczego przeglądania odpowiedzi na zbliżone pytania, adaptowaniu wskazówek i podpowiedzi do innego kontekstu. Rzadko bowiem znajdowało się odpowiedź idealnie pasującą do naszej sytuacji. Kiedy to nie przynosiło skutków, można było zadać własne pytanie. Mnie też się to zdarzało.
Całe doświadczenie było niewątpliwie edukacyjne. Prawie nigdy nie zdarzały się sytuacje, kiedy odpowiedź była gotowcem, tzn. wystarczyło przekleić kawałek kodu i jechać dalej. Jednocześnie obowiązująca w serwisie kultura nakazywała udzielać odpowiedzi wraz z kontekstem i odesłaniami do innych materiałów. Czytając odpowiedź, można było realnie poznać rozumowanie, które do niej prowadzi i dowiedzieć się, gdzie znaleźć więcej szczegółów. Premiowany były przy tym odpowiedzi utrzymane w neutralnym, spokojnym tonie, klarowne i z eleganckim formatowaniem.
Dzisiaj pyta się czatboty
Teraz świat programisty wygląda inaczej. Na podobne pytania czatboty odpowiadają gotowym kodem natychmiast. Znają odpowiedzi, bo przetrawiły wcześniej niewyobrażalne ilości danych m.in. ze Stacka. One też opisują kontekst, można je podpytać o źródła. Można też, żeby jeszcze skrócić tę ścieżkę, skorzystać z asystenta pisania kodu bezpośrednio w edytorze albo zatrudnić do pracy agenta AI, który sam napisze aplikację.
O jakości pisanego w ten sposób kodu znajdziecie rozbieżne opinie, choć są one coraz bardziej pozytywne. Ale mnie bardziej interesuje, co będzie dalej.
Spadek aktywności na StackOverflow rozpoczął się jeszcze przed nadejściem generycznego AI. Przypisuje się go m.in. agresywnej moderacji, która zniechęcała nowych użytkowników do zadawania pytań. Ale nie ma wątpliwości, że szerokie wykorzystanie AI nie pozostawia pola do dalszej walki o użytkowników. I wynika z tego szereg problemów.
Pierwszy problem jest taki, że kiedy to LLM-y generują większość odpowiedzi na nowe pytania, to nie mają skąd uczyć się rozwiązywać kolejnych problemów. Brakuje im nowych, rozległych pastwisk z danymi. Takich pastwisk mógłby dostarczać StackOverflow, gdyby ktoś tam dalej zaglądał.
Ważne, żeby rozumieć, że LLM-y nie odpowiadają na pytania poprawnie dlatego, że potrafią programować, tylko dlatego, że wchłonęły odpowiednio dużo kodu, dokumentacji i dokumentów na ten temat, by bardzo skutecznie udawać, że potrafią. Kiedy pojawi się nowy język programowania, inna nowa technologia albo te obecne istotnie się zmienią, LLM-y nie będą w stanie równie skutecznie odpowiadać na pytania o ich zawiłości, jak robią to w odniesieniu do języków, które już znają. Podobnie jest w odniesieniu do innych źródeł wiedzy, które zamierają, kiedy ruch pożerają LLM-y. Publikowanie wiedzy w internecie, czy to w odniesieniu do programowania, czy to o gotowaniu, modelarstwie albo losach dziewiętnastowiecznych powstańców, ma tym mniejszy sens, im więcej użytkowników nie odwiedza źródeł, tylko zaspokaja swoje apetyty w rozmowach z czatbotami.
W erze przed genAI publikowanie treści w internecie często wymagało absurdalnych wybiegów, żeby pozycjonować się w wynikach wyszukiwania. Nawet kiedy nie chodzi o pieniądze, publikowanie na stronie, na którą nikt nie zagląda, nie pomaga budować motywacji. Dzisiaj i te absurdalne zabiegi donikąd nie prowadzą, bo platformy genAI, podobnie jak media społecznościowe, chcą zatrzymywać ruch u siebie.
Drugi problem jest taki, że wraz z wymieraniem platform dzielenia się wiedzą na rzecz LLM-ów znika przestrzeń do uprawiania pewnego typu umysłowej aktywności, którą można sobie (jak ja) cenić. Lubiłem w erze Stacka kreatywnie rozkminiać odpowiedzi, szukać wątków, które pomogą mi pokonać moje wyzwania. Czułem, że czegoś się po drodze uczę. Tak samo lubię od czasu do czasu grzebać w Wikipedii i robić poprawki to tu, to tam. Kiedy LLM-y wszysto zjedzą, nie będzie to już możliwe. I będzie to bolesna strata.
O spadku aktywności na Stacku dowiedziałem się od nixCraft. Na ten temat pisał też Marcin Wilkowski.