Назад до журналу Інвестування в tech

Управління безпекою AGI для інвесторів: хто головні стейкхолдери

Управління безпекою AGI ставить питання про те, хто тримає важелі, коли системи загального штучного інтелекту стають достатньо потужними, щоб перекроїти ринки, ринок праці та безпеку. Інвестори опиняються всередині…

Управління безпекою AGI ставить питання про те, хто тримає важелі, коли системи загального штучного інтелекту стають достатньо потужними, щоб перекроїти ринки, ринок праці та безпеку. Інвестори опиняються всередині цієї мережі, незалежно від того, чи фінансують вони дослідницькі лабораторії, виробників чипів чи стартапи застосунків. Практична карта, яку варто мати перед тим, як виписувати чек, саме про це. Foundation відстежує ці зв’язки, бо ранній капітал формує подальшу поведінку команд.

Стейкхолдери рідко вкладаються в акуратні оргсхеми. Капітал, таланти, обчислювальні потужності, регулювання та суспільний тиск стикаються в реальному часі. Розуміння кожної групи допомагає уникнути сюрпризів, які знищують вартість портфеля або репутацію.

Постачальники капіталу, які фінансують гонку за обчисленнями та талантами

Венчурні фонди, корпоративні венчурні підрозділи та сімейні офіси дають гроші на кластери сучасних чипів і на найм провідних дослідників. Їхні term sheet часто задають темп тренувальних прогонів моделей. Коли вимагають квартальних демо понад віхи безпеки, команди починають різати кути. Foundation закликає інвесторів ставитися до пунктів про governance так само серйозно, як до cap table. Тим, хто хоче глибшого контексту про ранні людські судження, варто переглянути матеріал Чому ми інвестуємо в людей до появи компанії, перш ніж розбирати будь-який deck, пов’язаний з AGI.

Обмежені партнери, зокрема університетські ендавменти і суверенні фонди, стоять на рівень вище. Вони дедалі частіше просять у генеральних партнерів чіткі політики щодо технологій подвійного призначення. Мовчання на ці питання сьогодні виглядає як слабка due diligence, а не як витонченість.

Дослідницькі організації, що змагаються за здатні системи

Фронтирні лабораторії проєктують моделі, які одного дня можуть зрівнятися з людиною або перевершити її в більшості когнітивних задач. Їхні внутрішні команди з безпеки, red-teaming і етичні ради утворюють першу лінію захисту. Водночас ці самі організації змагаються за увагу медіа та таланти, тож стимули часто тягнуть у бік, протилежний обережності. Інвесторам варто перевіряти, що бюджети на безпеку зростають разом із витратами на compute, а не залишаються фіксованим рядком.

Академічні інститути та менші відкриті дослідницькі групи теж мають вагу. Вони публікують бенчмарки, які стають де-факто стандартами. Відстеження того, хто впливає на протоколи оцінювання, допомагає передбачити, куди далі зміститься регуляторний тиск.

Національні органи, що контролюють чипи, експорт і відповідальність

Уряди вирішують, хто може купувати передові напівпровідники і за яких умов можна випускати моделі. Списки експортного контролю вже трактують певні тренувальні прогони як чутливі. Режими відповідальності за автономні системи досі неповні, тож інвестори живуть із невизначеністю щодо майбутніх позовів. Комісія з цінних паперів і бірж США (SEC) дедалі частіше очікує, що публічні компанії розкриватимуть суттєві ризики ШІ у звітності, і цей шаблон часто копіюють і приватні ринки.

Оборонні та розвідувальні відомства пильно стежать за застосуваннями подвійного призначення. Портфельна компанія, яка раптом потрапляє в зону класифікованого інтересу, може за одну ніч втратити комерційну свободу. Розмови про ризик класифікації варто вести вже на етапі переговорів щодо term sheet.

Багатосторонні форуми, що задають м’які стандарти через кордони

Такі органи, як Організація економічного співробітництва та розвитку, формують добровільні настанови, які згодом тверднуть у національне право. Їхні робочі групи з відповідального ШІ впливають на те, як менші країни пишуть закони. Інвестори, які ігнорують ці форуми, пізніше виявляють, що портфельні компанії стикаються з несподіваними витратами на compliance. Напрям ОЕСР щодо МСП та підприємництва регулярно розглядає, як молоді фірми засвоюють нові технологічні правила, і дає ранні сигнали попередження.

Міжнародні фінансові інституції теж втручаються. Звіти з бібліотеки публікацій МВФ часто моделюють приріст продуктивності на тлі системного ризику, даючи limited partners мову, яку можна використовувати у власних ризик-комітетах.

Громадські сторожові пси та незалежні аудитори

Неурядові організації, академічні центри та спеціалізовані аудиторські фірми тиснуть на лабораторії, щоб ті публікували safety cases до релізу. Їхні відкриті листи та технічні критики здатні зрушити котирування й перекрити follow-on раунди. Розумні інвестори тримають неформальні канали з цими групами, а не трактують їх як ворогів.

Незалежні оцінювачі, які стрес-тестують моделі на оманливу поведінку чи неправильне узагальнення цілей, уже продають послуги і лабораторіям, і бекерам. Бюджет на сторонній аудит до Series B став тихим сигналом серйозності. Ті самі оцінювачі часто публікують відкриті висновки, які живлять ширшу розмову в архів інвестування в tech серед читачів Foundation.

Оператори інкубаторів і ментори в ранніх програмах

Стартап-програми, де живуть команди, суміжні з AGI, задають культурні норми задовго до появи формальних рад. Ментори, які святкують лише швидкість, виховують засновників, які згодом опираються процесам безпеки. Foundation вважає, що технічному таланту все одно потрібна комерційна опора, тому матеріал Обов’язкова бізнес-освіта для технічних засновників: що варто знати новим читачам лишається базовим читанням для будь-якої когорти, що торкається просунутих моделей.

Директори програм також контролюють наративи demo day. Позиціонування компанії як «safety-first» приваблює інший капітал, ніж чиста ставка на capability. Інвесторам, які перевіряють узгодженість публічної історії з приватною дорожньою картою, варто просити в менторів невідфільтровані нотатки, а не лише відшліфовані pitch deck.

Відкриті мережі та поширення ваг моделей

Спільноти, що випускають ваги, рецепти тренування та інструменти fine-tuning, можуть прискорити і корисні застосування, і зловживання. Оцінити, чи відкритий підхід дає стійку перевагу, можна лише за свіжими метриками. Матеріал Оцінка рову відкритого коду: сигнали, на які варто зважати окреслює практичні сигнали, які інвестор може відстежувати без дослідницького бекграунду.

Патентні відомства фіксують захисні заявки, що показують, які техніки лабораторії вважають пропрієтарними. Перевірка бази Відомства з патентів і товарних знаків США на свіжі претензії щодо методів alignment чи інструментів інтерпретованості дає раннє уявлення про конкурентне позиціонування. Паралельна робота про інноваційні екосистеми є в матеріалах Світового банку про інновації, які показують, як знання поширюються через кордони.

Ринки відбудови додають ще один шар тиску. Команди, які згодом шукатимуть контракти, пов’язані з можливостями відбудови України, мають демонструвати зрілість governance, прийнятну і для комерційних, і для публічних фондерів. Звички, закладені ще в інкубаторі, визначають, чи залишаться ці двері відкритими.

Інвесторам, які хочуть ширший погляд на підхід Foundation, варто заглянути в розділ Для інвесторів, а типові процесні питання зібрані в FAQ. Governance ніколи не буває «закритою» роботою: це постійна дисципліна знати, хто тримає який важіль і чому цей важіль важливий, коли моделі вдосконалюються швидше за інституції.

Пов’язані матеріали Foundation: Роль операційної підтримки в ранній інкубації, Foundation Incubator запускає ініціативу з пошуку талантів у Лагосі та Операції alumni angel network: прогнозні вхідні дані, якими користується ринок.

Безчасова цінність. Вічна спадщина.

Схожі статті