Този разказ ни отвежда в Insurify – технологична компания, която разработва иновативен виртуален застрахователен агент, който помага на потребителите да намерят, сравнят и купят подходящите за тях застрахователни продукти. В статията екипът им разказва как използва AI там, където наистина има смисъл – за да направят системите си по-надеждни, а екипа си по-бърз.
В този материал ще научите историята за това как AI решава реални проблеми по нов начин – като естествено допълнение към вече утвърдените инженерни практики, а не като тяхна замяна.
В началото за екипа на Insurify това е била поредната идея в backlog-а – „да автоматизираме smoke тестовете“. Всички са знаели, че е необходимо, но винаги се е появявало нещо по-спешно. С времето обаче екипът започва да расте, както и броят промени, които се деплойват ежедневно. Инцидентите зачестяват, а нуждата от ръчни проверки на production става все по-непосилна. Бизнесът също пораства значително – а с него и цената на всяка грешка. За екипа вече не е било приемливо една “малка промяна” да доведе до незабелязан outage и загуба на стотици хиляди долари. Необходимо е да се намери инженерно решение на проблема, което да не забавя темпото, а напротив, да помогне на екипа да се движи по-бързо и по-уверено.
Важна част от свойствата на smoke тестовете e да бъдат едновременно бързи, надеждни и евтини за пускане. Това е онзи sanity check, който се прави след всеки релийз, за да има гаранция, че production не е засегнат с някоя “незначителна промяна”. Според екипа обаче автоматизирането им е свързано с особен проблем: тези тестове често се чупят по-бързо дори от функционалностите, които проверяват. И точно тук идва голямото предизвикателство: как да направиш smoke тестовете едновременно надеждни и гъвкави, така че да не се чупят от всяка малка промяна, но и да не пропускат критични грешки. В света на застраховките в реално време и продукт като този на Insurify, детерминизмът е мит. Селекторите се променят, експериментите се зареждат на случаен принцип, дори резултатите от една и съща заявка не винаги изглеждат еднакво и зависят от безброй външни фактори. Екипът споделя, че използването на традиционни инструменти за автоматично тестване в такава среда често води до фалшиви аларми, повече шум и липса на доверие в системата, отколкото до полезни сигнали, когато наистина има проблем. Така се ражда идеята за AI smoke тестове – тестове, които не просто изпълняват инструкции, а мислят като човек, когато средата се промени и продължават да вземат решения съобразени с контекста и целта на теста.
Първоначално всичко звучи идеално – един промпт и „нека AI агента да свърши всичко“. Но много бързо екипът разбира, че зад това твърдение се крие сериозно предизвикателство. LLM инструментите предоставят голям потенциал, но не са евтини. Когато първите прототипи започват да работят става ясно, че този подход е едновременно бавен и скъп, точно обратното на фундаменталните изисквания към smoke тестовете. Да се помоли един езиков модел „просто“ да анализира страница и да вземе решение е като да гледаш дете, което чете меню в ресторант преди да си поръча. За статистиците – един прост сценарий отнема над 10 минути, далеч повече отколкото отнема да се изпълни ръчно и струва над $2 за пускане. Това е доста, предвид нуждата от стотици пъти предвиждано ежедневно ползване.
Компанията стига до извода, че пътят към ефективността на тези тестове ще се наложи да мине през баланса между оборудване на AI агента с инструменти под формата на статични селектори, които да управлява, и използване на модела само в моменти, когато наистина има нужда. За тази цел използват библиотеката browser-use, която комбинира използването на Playwright за управление на браузъра с OpenAI модел, който поема ролята на „мислещ агент“. Той решава какво действие да предприеме, когато нещо се промени и статичните селектори не работят – например сменена локацията на бутон, поява на нова страница или нов елемент в интерфейса.
След няколко итерации се постига надеждна система, която успешно се справя с крайната си цел – да верифицира, че всички системи работят, без значение дали новият колега е “уведомен” за някой нов фийчър или друга промяна, която са деплойнали. Оптимизират скоростта над пет пъти, а цената пада до няколко цента на тест. Резултатът? Екипът може да се фокусира върху същината – да пише код, да експериментира, да пуска нови идеи по-бързо и с по-голяма увереност, докато тестовете просто следват ритъма на разработката.
AI отдавна е част от ежедневието на Insurify, но от скоро намира приложение в още една сфера – стартира тестове след всеки релийз, проверява основните потоци и връща резултати още преди първите потребители да стигнат до новата версия в production. Зад този „нов колега“ обаче стои доста инженерна работа, експерименти, грешки и много възможности за подобрения. Ако ти е интересно как работи отвътре, да бъдеш част от обучението му или просто искаш да му създаваш още работа – погледни отворените позиции на Insurify.
