АЛГОРИТЪМЪТ НЕ ТЪРСИ САМО КАКВО СИ НАПРАВИЛ — ТЪРСИ КАКВО МОЖЕ ДА НАПРАВИШ

Да възстановиш миналото е сравнително лесната част. Имаш човек, събитие или заплаха и тръгваш назад по следите. Но съвременните аналитични системи отварят друга възможност: вземаш огромно количество минали данни, откриваш повтарящи се зависимости и използваш моделите, за да оцениш какво може да последва. Именно тук историята на Palantir се среща с една от най-мрачните идеи на дигиталната епоха — „предсказващата държава“.

Самата Palantir описва Gotham като система, която може да обединява огромни масиви информация, да подпомага откриването на модели и при определени операции да помага за предвиждане на възможни резултати. Това не е машина, която вижда бъдещето, нито доказателство, че Palantir тайно изчислява бъдещото поведение на всеки гражданин. Но принципът е достатъчно мощен: ако знаеш как са изглеждали хиляди предишни случаи, можеш да търсиш сходни структури в новите.

АЛГОРИТЪМЪТ НЕ ТРЯБВА ДА КАЖЕ „ТОЗИ ЧОВЕК Е ВИНОВЕН“. ДОСТАТЪЧНО Е ДА КАЖЕ „ПОГЛЕДНЕТЕ ТОЗИ ЧОВЕК“.

Точно оттук тръгва конспиративната теория. Представи си система, която вижда човек А, свързан с човек Б, посещение на определено място, необичайно движение, поредица от събития и модел, който вече се е появявал в стотици други случаи. Нито една точка сама по себе си не доказва нищо. Но машината може да оцени комбинацията като необичайна и да насочи човешкото внимание към нея. От този момент човекът може да стане обект на интерес не заради доказано действие, а защото моделът около него прилича на друг модел.

Тази идея не е безобидна. При традиционното разследване подозрението обикновено започва със събитие, свидетелство или конкретна следа. При алгоритмичния модел причината може да бъде математическа зависимост, която самият наблюдаван човек дори не знае, че съществува. Критиците на predictive policing от години предупреждават за подобен проблем: ако историческите данни съдържат пристрастия или грешки, моделът може да ги възпроизведе и да създаде затворен кръг.

А КАК ДОКАЗВАШ, ЧЕ НЕ СИ ЗАПЛАХА, АКО НИКОЙ НЕ ТИ КАЗВА КОЙ МОДЕЛ ТЕ Е НАПРАВИЛ ПОДОЗРИТЕЛЕН?

Най-крайната версия на теорията си представя бъдеще, в което държавата постепенно преминава от реактивно към превантивно управление. Не чакаш престъплението, атаката или кризата. Анализираш сигналите предварително. Търсиш хората, местата и събитията, около които вероятността изглежда по-висока. От гледна точка на сигурността това звучи логично. От гледна точка на гражданина обаче възниква фундаментален проблем: вероятността не е доказателство.

И колкото по-добри стават моделите, толкова по-силно ще бъде изкушението да им вярваме. Ако алгоритъмът е бил прав 90 пъти, колко хора ще оспорят 91-вата му препоръка? А ако системата работи толкова бързо и с толкова много информация, че никой човек не може самостоятелно да повтори анализа ѝ, постепенно се появява нов вид авторитет — „машината го е открила“.

НАЙ-ОПАСНИЯТ МОМЕНТ МОЖЕ ДА НЕ Е, КОГАТО AI ЗАПОЧНЕ ДА ВЗЕМА РЕШЕНИЯ. А КОГАТО ХОРАТА СПРАТ ДА ОСПОРВАТ НЕГОВИТЕ ПРЕПОРЪКИ.

И точно тук Palantir напуска света на гражданските данни и влиза в среда, в която една грешна препоръка може да има съвсем различна цена. Защото следващата голяма стъпка вече се случва на бойното поле.

В следващата част: $480 МИЛИОНА ЗА PROJECT MAVEN — КОГАТО AI ЗАПОЧВА ДА ТЪРСИ ЦЕЛТА.