Najważniejsze wnioski
- Według startbusinessbystate.com 89,6% największych spółek publicznych wspomina obecnie o AI w swoich raportach 10-K, wobec zaledwie 51,9% najmniejszych spółek publicznych, co pokazuje strukturalną lukę w głębokości wdrożeń w zależności od wielkości firmy.
- Powszechne wdrażanie AI nie prowadzi do jednolitych wyników: te same narzędzia, stosowane bez zdyscyplinowanego nadzoru nad procesami, dają skrajnie różne rezultaty w poszczególnych zespołach, regionach i funkcjach biznesowych.
- Dryf modelu i spadek jakości wyników oznaczają, że system AI, który dziś zapewnia wiarygodne rezultaty, może z czasem po cichu tracić jakość, mimo że kod ani dane wejściowe się nie zmieniły.
- Dystans między firmami, które czerpią realną wartość z AI, a tymi, które jedynie deklarują jej używanie, rośnie, a nie maleje, w miarę jak dostęp do niej staje się powszechny.
- Prezesi, którzy traktują rozbieżność jako problem kontroli jakości, a nie problem technologiczny, zmniejszą ten dystans szybciej niż ci, którzy czekają na lepsze modele.
Paradoks adopcji, który musi zrozumieć każdy CEO
Adopcja AI wśród dużych przedsiębiorstw jest niemal powszechna, a mimo to rozrzut wyników nigdy nie był większy. Gdy technologia osiąga taki poziom wykorzystania, logika podpowiada, że wyniki powinny zbliżać się do wspólnego standardu. W przypadku AI tak się nie dzieje.
Według startbusinessbystate.com 89,6% największych spółek publicznych wspomina dziś o AI w swoich raportach rocznych, w porównaniu z zaledwie 51,9% najmniejszych. Ta różnica po części wynika z zasobów, ale ważniejszy sygnał kryje się w samej liczbie dla dużych firm. Wzmianka o AI w formularzu 10-K to nie to samo, co osiąganie spójnej, mierzalnej wartości z jej wykorzystania. Dwie firmy mogą obie zaznaczyć to pole i uzyskać wyniki, które w niczym nie są do siebie podobne.
Pod względem geograficznym ta sama rozbieżność przybiera inny kształt. Według startbusinessbystate.com Kalifornia prowadzi w liczbach bezwzględnych, z 608 firmami ujawniającymi wykorzystanie AI, natomiast Missouri przoduje pod względem gęstości adopcji: 88,1% kwalifikujących się tam firm wspomina o AI, a tuż za nim plasuje się Michigan. Liderami pod względem gęstości są dziś silnie uprzemysłowione stany, a nie ośrodki technologiczne. Oznacza to, że wdrożenia trafiają do obszarów operacyjnych, w których tolerancja na niespójne wyniki jest bardzo niska, co podnosi stawkę dla każdego CEO, który nie zbudował jeszcze warstwy kontroli jakości wokół swoich programów AI.
Dlaczego wyniki się różnią, nawet gdy narzędzia są identyczne
Rozbieżność wyników nie jest przede wszystkim problemem modelu. To problem przepływu pracy i odpowiedzialności. Gdy dwa zespoły używają tego samego systemu AI do tej samej klasy zadań i uzyskują wyraźnie różne rezultaty, przyczyna zwykle tkwi w konstrukcji promptów, w danych podawanych modelowi, w etapie weryfikacji przez człowieka albo w jego braku.
Jest też wymiar czasowy, który większość organizacji niedocenia. Systemy AI degradują się po cichu. Zjawisko to, często nazywane dryfem modelu, opisuje sytuację, w której rzeczywisty rozkład danych wejściowych oddala się od tego, na czym model był trenowany lub dostrajany. Degradacja rzadko jest zapowiadana komunikatem o błędzie. Objawia się subtelnie gorszymi rekomendacjami, nieco chybionymi streszczeniami lub po cichu zniekształconymi wynikami, których nikt nie wychwytuje, bo stan wyjściowy nigdy nie został formalnie udokumentowany.
Badanie Harvard Business Review Analytic Services wykazało, że wykorzystanie AI pozostaje na wysokim poziomie, ale bez modernizacji i integracji z przepływem pracy wartość od niego odstaje, jak podaje prnewswire.com. Ograniczeniem nie jest dostęp do AI. Ograniczeniem jest organizacyjna infrastruktura wokół niej.
Badania opublikowane przez bcg.com na temat liderów, którzy zachowują przewagę człowieka w erze AI, wskazują spójny wzorzec: firmy, które wysuwają się na prowadzenie, traktują ludzki osąd jako świadomy element projektu, a nie rozwiązanie awaryjne. Nie zakładają, że model ma rację. Budują jawne punkty kontrolne, w których człowiek odpowiada za wynik.
Jak traktować rozbieżność jako sygnał zarządczy
Rozbieżność to dane, które ujawniają coś konkretnego o procesie, odpowiedzialności lub jakości danych w organizacji. Gdy dwa zespoły korzystające z tego samego stosu AI uzyskują wyniki o różnej jakości, ta różnica zasługuje na taką samą uwagę diagnostyczną, jaką poświęca się wahaniom wydajności w produkcji.
Pierwszym krokiem jest pomiar. Należy ustalić stan wyjściowy, czyli określić, jak wygląda dobry wynik AI w każdej funkcji, udokumentować go i regularnie porównywać z nim uzyskiwane wyniki. To nie jest zadanie technologiczne. Należy ono do biznesowego właściciela danego procesu.
Drugim krokiem jest przypisanie odpowiedzialności. Wynik AI bez wskazanego z imienia i nazwiska właściciela to wynik pozostający poza nadzorem. Każdy proces wspierany przez AI w organizacji powinien mieć osobę, której ocena okresowa obejmuje jakość tego wyniku. Rozproszona odpowiedzialność daje rozproszone rezultaty.
Trzecim krokiem jest traktowanie dryfu jako zaplanowanego zadania utrzymaniowego, a nie incydentu, na który się reaguje. Według logiciel.io monitorowanie modeli AI i wykrywanie dryfu powinno być traktowane jako ciągła praktyka operacyjna, a nie jednorazowa kwestia wdrożenia. Warto ustalić harmonogram przeglądów i wymagać dowodów, że model nadal działa zgodnie ze stanem wyjściowym. Nie należy zakładać stabilności tylko dlatego, że nikt nie zgłosił skargi.
Warstwa nadzoru, która odróżnia liderów od reszty
Ustrukturyzowane ramy nadzoru dają organizacjom sprawdzony mechanizm, który pozwala rzetelnie odpowiadać za wyniki AI w dużej skali. Jak podaje konfirmity.com, ISO 42001, międzynarodowa norma dotycząca systemów zarządzania AI, zapewnia ramy nadzoru nad jakością AI w całym cyklu życia, od wdrożenia po bieżący przegląd skuteczności działania. Jak podaje cyberhaven.com, NIST AI Risk Management Framework to równoległe narzędzie skoncentrowane na identyfikowaniu, mierzeniu i zarządzaniu ryzykiem AI na poziomie całego przedsiębiorstwa.
Żadne z tych ram nie wskazuje, jakich narzędzi AI używać. Oba określają natomiast, jak odpowiadać za wyniki dowolnych wdrożonych narzędzi. Tę różnicę pomija większość zespołów zarządzających. Poświęcają one czas na wybór modeli, a prawie wcale na projektowanie struktur odpowiedzialności, które decydują o tym, czy te modele dają wiarygodne wyniki w dużej skali.
Nadzór nie jest biurokracją spowalniającą program AI. To mechanizm, który pozwala skalować działania bez skalowania ryzyka w tym samym tempie. Firmy, którym w najbardziej widoczny sposób udaje się wykorzystywać AI w operacjach, nie są tymi z najbardziej zaawansowanymi modelami. Są to te, które potrafią w każdej chwili wyjaśnić, kto odpowiada za każdy wynik i jakie mają dowody na to, że nadal działa zgodnie z zamierzeniem.
Czego sektor przemysłowy uczy wszystkich pozostałych
Przemysł wytwórczy uczy pozostałe sektory, jak traktować rozbieżność wyników AI jako poważny problem operacyjny. Sektor ten ma za sobą dziesięciolecia doświadczeń ze zmiennością procesów, statystyczną kontrolą jakości i kosztami niespójności w dużej skali. Te zasady przekładają się bezpośrednio na zarządzanie AI.
Według marketjoy.com AI w operacjach produkcyjnych jest stosowana do kontroli jakości, konserwacji predykcyjnej i optymalizacji łańcucha dostaw, a więc w obszarach, w których niespójność wyników niesie natychmiastowe konsekwencje finansowe. Ta presja wykształciła bardziej zdyscyplinowane podejście do monitorowania AI niż to, które obecnie stosuje wiele branż usługowych.
Wniosek dla prezesów spoza przemysłu wytwórczego jest jednoznaczny. Gdyby wyniki AI były tak natychmiast widoczne jak wadliwa część na linii produkcyjnej, jak zmieniłoby się podejście do nadzoru nad nimi? W większości organizacji odpowiedź brzmi: znacząco, ponieważ wyniki AI w finansach, obszarze prawnym, marketingu i strategii mają równie duże konsekwencje, tylko są mniej widoczne, dopóki coś nie pójdzie źle.
Warto zastosować tę samą logikę, której używają operatorzy przemysłowi: określić dopuszczalny zakres jakości wyników, monitorować dryf poza tym zakresem, wyznaczyć odpowiedzialnego właściciela i zbudować proces korygowania, zanim okaże się potrzebny.
FAQ
Dlaczego wyniki AI różnią się coraz bardziej, gdy adopcja jest najszersza?
Szersza adopcja oznacza, że narzędzia AI są stosowane w większej liczbie kontekstów, na większej liczbie poziomów umiejętności i w większej liczbie środowisk danych, niż pierwotnie zakładano przy ich projektowaniu, a każda odmiana wprowadza nowe źródła niespójności. Narzędzia nie stały się gorsze. Warunki zaczęły się zróżnicować szybciej, niż nadążały za nimi struktury nadzoru.
Czym jest dryf modelu i dlaczego ma znaczenie dla menedżerów bez zaplecza technicznego?
Dryf modelu to stopniowe pogarszanie się jakości wyników AI w miarę tego, jak warunki w rzeczywistym świecie oddalają się od warunków, w jakich model został zbudowany lub dostrojony. Według logiciel.io należy go traktować jako kwestię wymagającą ciągłego monitorowania, a nie jako artefakt wdrożenia, ponieważ może obniżać wartość inwestycji w AI, nie generując żadnych oczywistych sygnałów błędu.
Jak CEO powinien nadać priorytet nadzorowi nad AI, nie spowalniając wdrożeń?
Nadzór i tempo wdrożeń nie wykluczają się, jeśli nadzór jest wbudowany w proces od początku, a nie dokładany później. Przypisanie odpowiedzialności za wyniki, udokumentowanie stanu wyjściowego jakości i zaplanowanie przeglądów dryfu wymagają minimalnego nakładu pracy. Pozwalają uniknąć znacznie poważniejszych zakłóceń, które wiążą się z odkryciem, że program AI stracił jakość, gdy decyzje zostały już podjęte.
Czy wielkość firmy decyduje o tym, jak duże rozbieżności odczuje przedsiębiorstwo?
Wielkość wpływa na zasoby dostępne do zarządzania rozbieżnościami, a nie na to, czy w ogóle się pojawiają. Według startbusinessbystate.com duże podmioty składające sprawozdania znacznie częściej ujawniają wykorzystanie AI niż małe, ale samo ujawnienie nie świadczy o spójności wyników. Rozbieżność wynika z błędów w projektowaniu procesów i występuje w każdej skali.
Jaki jest najbardziej praktyczny krok, który CEO może podjąć w tym kwartale?
Organizacje powinny wyznaczyć właściciela biznesowego dla każdego procesu wspieranego przez AI i uczynić tę osobę odpowiedzialną za jakość wyników, a nie tylko za obsługę narzędzia. Ta jedna zmiana strukturalna zmniejsza lukę rozbieżności bardziej niż jakakolwiek aktualizacja modelu.