aiwpraktyce

Badanie Microsoft pokazuje, że rozwój pilotów AI może być przytłaczający

Badanie przeprowadzone przez naukowców z Microsoft Research zidentyfikowało problemy, z jakimi borykają się deweloperzy podczas tworzenia kopilotów AI.

Ponieważ coraz więcej firm wdraża kopiloty AI oparte na dużych modelach językowych (LLM), aby pomóc użytkownikom w wykonywaniu zadań w aplikacjach takich jak Word, Excel, programowanie oraz tworzenie obrazów i wideo, twórcy oprogramowania wkraczają na niezbadane terytorium w integracji tych technologii AI.

Badacze Microsoft przeprowadzili wywiady z 26 profesjonalnymi programistami odpowiedzialnymi za rozwój copilotów w różnych firmach. Ich kluczowym odkryciem jest to, że procesy i narzędzia programistyczne nie nadążają za wyzwaniami i zakresem rozwoju aplikacji AI.

Proces rozwoju copilota przebiega w przybliżonej sekwencji eksploracji, wdrażania, oceny i produktyzacji. Jednak ze względu na nieprzewidywalny charakter sztucznej inteligencji, proces ten jest “nieuporządkowany i iteracyjny” – twierdzą naukowcy.

Programiści muszą zidentyfikować odpowiednie przypadki użycia, ocenić wykonalność przy użyciu różnych technologii i ostatecznie dostarczyć produkt prawdziwym użytkownikom – z których każdy stanowi własny zestaw wyzwań. W badaniu podzielono punkty bólu na sześć obszarów:

  1. Inżynieria Prompt jest czasochłonna i wymaga wielu prób i błędów, aby zrównoważyć kontekst i liczbę tokenów. Jest to “bardziej sztuka niż nauka”, a modele są “bardzo kruche” z “milionem sposobów, w jakie można to zrobić”.
  2. Orkiestracja wielu źródeł danych i podpowiedzi w celu zrozumienia intencji użytkownika i kontrolowania przepływów pracy jest złożona i podatna na błędy.
  3. Testowanie jest kluczowe, ale żmudne ze względu na nieprzewidywalność LLM. Programiści wielokrotnie przeprowadzają testy, szukając dopasowań lub tworząc kosztowne testy porównawcze.
  4. Nie istnieją najlepsze praktyki pracy z LLM. Programiści polegają na Twitterze i artykułach w szybko rozwijającej się dziedzinie, która wymaga ciągłego przemyślenia.
  1. Bezpieczeństwo, prywatność i zgodność wymagają barier, ale gromadzenie danych telemetrycznych jest ograniczone ze względu na prywatność. Przeglądy bezpieczeństwa stają się pracochłonne.
  2. Doświadczenie programisty cierpi z powodu nieodpowiednich narzędzi i problemów z integracją. Programiści muszą nieustannie uczyć się nowych narzędzi, zamiast skupiać się na problemach klientów.

Sesje grup fokusowych zidentyfikowały potencjalne ulepszenia w przyszłych narzędziach i procesach, takie jak lepsze wsparcie dla pisania, walidacji i debugowania podpowiedzi; większa przejrzystość i kontrola użytkownika; zautomatyzowane procedury pomiarowe; opcje szybkiego prototypowania; oraz łatwa integracja z istniejącym kodem.

Badanie podkreśla znaczące zakłócenia spowodowane przez generatywną sztuczną inteligencję w produktach oprogramowania, przynosząc zarówno możliwości, jak i niepewność. Rozwój oprogramowania może wymagać ponownego przemyślenia ze względu na szybko ewoluujące modele.