AI Research Radar: научные итоги года

Существующие тесты недостаточно чувствительны к сложным когнитивным задачам, возникающим при внедрении LLM в реальные агентные и человеко-ориентированные сценарии. В работе представлена новая линейка тестовых заданий, покрывающая четыре проблемных домена:

• Агентность — планирование последовательности действий и целеполагание в открытых средах
• Ризонинг — многошаговое логическое выведение с контролем непротиворечивости
• Русские культурные особенности — обработка имплицитных смыслов, иронии, пресуппозиций
• Человекоцентричность — соответствие ожиданиям пользователя, полезность, а не только точность

Проведено систематическое сравнение широкого пула современных моделей. Приводится количественная оценка их способностей в указанных доменах. Результаты позволяют обоснованно выбирать LLM под задачи, требующие выхода за пределы стандартных лингвистических метрик.

Современные рассуждающие модели достигают впечатляющих результатов за счёт увеличения объёма вычислений в процессе генерации. Однако такой подход существенно повышает стоимость инференса и ограничивает масштабируемость систем.

В этой работе мы представляем результаты исследований в нескольких направлениях, направленных на повышение вычислительной эффективности рассуждений: от Chain-of-Thought (CoT) до латентного рекурсивного и мультимодального reasoning. Мы исследуем, как итеративные вычисления во внутренних представлениях модели позволяют улучшить качество рассуждений, снижая зависимость от явной генерации токенов.

Мы представляем экспериментальные результаты, сравниваем различные архитектурные подходы с классическими трансформерными baseline-моделями, а также обсуждаем ключевые архитектурные решения, компромиссы и открытые проблемы на пути к созданию эффективных рассуждающих моделей.

Современные большие языковые модели демонстрируют впечатляющий уровень понимания, знаний и рассуждений, однако за эти возможности приходится платить высокой стоимостью инференса, длительной генерацией и значительным потреблением памяти. Мы рассматриваем один из наиболее перспективных путей решения этой проблемы - эффективные архитектуры на основе гибридных моделей и линейных приближений механизма внимания, которые позволяют сохранить сильные стороны LLM, но радикально снизить вычислительную нагрузку. Мы поделимся результатами экспериментов, в которых предложенный ряд архитектур достигает высоких метрик качества, заметно ускоряет генерацию и уменьшает потребление памяти по сравнению с классическими трансформерными LLM. Также обсудим, почему это направление может стать одним из ключевых шагов к более быстрым, дешёвым и масштабируемым языковым моделям.

Методы эффективного дообучения, такие как LoRA, позволяют адаптировать большие языковые модели под новую задачу, обучая лишь малую долю параметров. При этом LoRA добавляет адаптеры во все выбранные слои. Это требует памяти и ручного решения о том, где адаптеры действительно нужны. Мы предлагаем метод WeightLoRA, который присваивает каждому адаптеру обучаемый вес важности. За короткий разогрев длиной около 0,5% шагов обучения метод оставляет только самые важные адаптеры, после чего обучение продолжается как обычная LoRA. WeightLoRA сокращает число обучаемых параметров примерно вдвое и сохраняет качество LoRA. Вариант WeightLoRA+ отдаёт освободившийся бюджет важным адаптерам, удваивая их ранг, и превосходит LoRA при том же числе параметров. Методы проверены на моделях DeBERTaV3, BART, Llama 3 и Qwen3 размером до 70 млрд параметров, на задачах GLUE, SQuAD, XSum, CNN/DailyMail и бенчмарках рассуждений для LLM. На Llama-3.1 70B WeightLoRA+ повышает точность на GSM8K с 51,3% до 54,7%.

Разработан двухэтапный метод автоматической настройки мягких промптов для замороженных языковых моделей, который впервые сочетает контрастное обучение и RL-дообучение (REINFORCE). Это позволяет преодолеть ограничения существующих подходов: переобучение на малых выборках и несоответствие кросс-энтропийной оптимизации конечной метрике качества. Уникальность метода заключается в использовании InfoNCE-потерь к perturbed-промптам (dropout-маскирование) для повышения робастности и редких (каждые 100 шагов) RL-обновлений, непосредственно максимизирующих accuracy на валидации. Метод воспроизводим (исходный код, гиперпараметры и детали экспериментов описаны в статье), а практическая применимость подтверждена выигрышем в точности на традиционных бенчмарках классификации текстов, а также на распознавали эмоций в диалоге (EmpatheticDialogues) при обучении менее 0.25% параметров модели, что критично для мультизадачных систем с ограниченной памятью (например, умные колонки, мобильные устройства).

Представляем процесс валидации и отбора обучающих данных для GigaChat: автоматические проверки, оценка качества и сложности примеров, экспертная проверка и сравнение с бейзлайном. Процесс многоступенчатый и может проверять различные аспекты качества чатов - от самых базовых до судейской оценки инструктивности и качества внутреннего рассуждения. Различные эксперименты показывают статзначимые приросты по метрикам без перегенераций и изменения бюджета токенов обучения.

Мы рассматриваем продолженное предобучение (CPT) как способ адаптации универсальных больших языковых моделей к специализированным областям: математике, следованию инструкциям, обработке кода и текстов на естественном языке. Анализ сингулярного разложения матриц весов показывает, что в ходе CPT спектры сингулярных значений практически не меняются, а адаптация происходит главным образом за счёт изменения сингулярных векторов. Рассмотрение матриц проекций отдельных голов внимания выявляет выраженную, зависящую от домена неоднородность голов внимания. На основе этого наблюдения мы вводим критерий их значимости и показываем, что до 60% изменений параметров, связанных с отдельными головами, можно устранить без измеримого снижения качества. Более того, выборочный откат параметров малозначимых голов к состоянию исходной предобученной модели позволяет повысить точность на стандартных бенчмарках до 4% относительно полностью дообученной модели. Наконец, мы демонстрируем феномен связности доменов: линейная интерполяция между доменно-специфичными контрольными точками CPT приводит к плавному переходу качества между доменами без заметного ухудшения результатов ни на одном из них. Мы также представляем 'Diffract' — инструментарий с открытым исходным кодом для масштабируемого спектрального анализа моделей с миллиардами параметров.

Задача энтропийного оптимального транспорта (EOT) и её динамический аналог — задача моста Шрёдингера (SB) — играют важную роль в современном машинном обучении, связывая генеративное моделирование с теорией оптимального транспорта. Развитие дискретных диффузионных и потоковых моделей усилило интерес к применению методов SB в дискретных пространствах, однако до сих пор отсутствовал надёжный способ оценить, насколько хорошо такие методы действительно решают исходную задачу. Мы предлагаем бенчмарк для мостов Шрёдингера в дискретных пространствах. Его конструкция позволяет получать пары вероятностных распределений с аналитически известными решениями SB и тем самым проводить строгую оценку алгоритмов. В ходе создания бенчмарка также были получены два новых алгоритма — DLightSB и DLightSB-M — и разработан алгоритм α-CSBM на основе развития предыдущих подходов. Мы демонстрируем возможности бенчмарка, оценивая существующие и новые методы в многомерных дискретных пространствах. Работа создаёт основу для корректного и воспроизводимого сравнения методов SB в дискретных задачах.

Большие модели рассуждений (LRM) генерируют длинные цепочки рассуждений, что делает инференс вычислительно дорогим. Хотя низкобитная квантизация снижает стоимость генерации каждого токена, мы показываем, что агрессивная 2-битная квантизация может не давать ускорения полного инференса: нестабильность генерации увеличивает общее число токенов. Помимо снижения точности ответов, она часто приводит к существенно более длинным рассуждениям с повторяющимися циклами, исчерпанием токенного бюджета, откладыванием окончательного ответа и незавершёнными фрагментами рассуждений. Мы анализируем полные цепочки рассуждений моделей Qwen3 на математических задачах и задачах на здравый смысл и показываем, что снижение точности тесно связано с этими сбоями процесса генерации. Для их устранения мы вводим два простых механизма: планирование в FP16, при котором 2-битная модель получает краткий план, составленный с высокой точностью, и выход из зацикливания (loop rescue), который обнаруживает повторения и либо возвращает ранее сформированный ответ, либо переключает генерацию на FP16. На MATH-500 механизм loop rescue повышает точность Qwen3-8B с 17,2% до 74,2%, а его сочетание с планированием повышает точность Qwen3-32B с 65,0% до 87,2%. Наши результаты показывают, что экстремально низкобитный инференс моделей рассуждений становится практически применимым, если рассматривать его сбои как управляемые нарушения процесса генерации: простые механизмы обнаружения и избирательная поддержка FP16 позволяют восстановить точность, сохраняя реальное ускорение полного инференса.

Языковые модели всё чаще обучают на синтетических парах «вопрос–ответ»: модель генерирует вопросы по документу, отвечает на них на основе того же текста, а полученные пары используют для дообучения, дистилляции или переноса знаний в другую модель. Мы показываем, что этот этап генерации не является нейтральной предобработкой. Он представляет собой неявную стратегию, которая определяет, какие сведения станут обучающим сигналом и как они будут отражены в ответах, причём оба этапа подвержены сбоям. При выборе вопросов модели не охватывают документ равномерно. Охват быстро перестаёт расти и концентрируется на заметных фрагментах, разные промпты приводят к выбору одних и тех же участков, а выбор содержания для вопросов зависит от локального оформления текста. В результате заметные артефакты, например плохо очищенная разметка, могут перехватывать внимание генератора вопросов в моделях разных семейств и размеров. При формировании ответов модель, создающая обучающие данные, склонна выполнять инструкции, встроенные в исходный текст. Эта склонность зависит от цели и формы инструкции, а не от категоричности её формулировки, и особенно выражена при конфликте с основной задачей, когда более крупные модели выполняют встроенные инструкции чаще. Эти сбои возникают из-за решений, принимаемых при генерации пар «вопрос–ответ», поэтому их можно уменьшить без изменения процедуры обучения. Привязка каждого вопроса к заранее заданному целевому фрагменту снижает смещение при отборе содержания, а фильтрация фрагментов, похожих на инструкции, перед формированием ответов снижает среднюю долю выполнения внедрённых инструкций с 88% до 13% в нашей оценке, сохраняя почти весь текст без таких инструкций.

Посттренировочная квантизация — стандартный способ снизить стоимость развёртывания больших языковых моделей. Методы квантизации выбирают и оценивают по одному сводному показателю качества. Однако квантизация может лишить модель отдельной способности, почти не изменив естественность генерируемого текста и средний результат на бенчмарках. Мы обнаружили, что особенно уязвим структурированный доступ к контексту — способность модели находить факт по его структурному адресу. Мы исследуем эту способность на задаче ответов на вопросы по таблицам, представленным в шести форматах документов. Разные виды анализа указывают, что позиции форматных токенов — разделителей, ключей, тегов и границ, обеспечивающих такую адресацию, — являются одним из ключевых мест, где проявляется ущерб от квантизации. На этих позициях наблюдается существенный сдвиг представлений вследствие квантизации, а в последних слоях активации достигают более высоких значений. Наконец, восстановление на этих позициях состояний, вычисленных с полной точностью, в последних восьми слоях даёт относительный прирост точности извлечения столбцов на 32% для AWQ и на 33% для GPTQ. Это значительно превышает прирост на 18%, полученный при случайном выборе позиций с тем же бюджетом вмешательства, и свидетельствует в пользу причинной роли состояний на позициях форматных токенов в последних слоях модели.

Редактирование знаний по схеме «локализация — правка» (locate-then-edit, LTE) позволяет изменять отдельные факты непосредственно в весах языковой модели без дообучения, вычисляя обновление в замкнутой форме. В работе рассматриваются три аспекта применимости этого подхода к современным большим языковым моделям. Во-первых, предложен метод MoTE (MoE Tucker Editor) для моделей с архитектурой (MoE). При 1000 последовательных правок на наборах CounterFact и ZsRE для моделей Qwen3-30B-A3B и GPT-OSS-20B метод MoTE сопоставим по качеству с текущим бейзлайном MoEEdit, но работает в 1,9–3,1 раза быстрее. Во-вторых, показано, что одна правка, связывающая инструктивную формулировку с утвердительным началом ответа, снимает защитное выравнивание для целой категории запросов; предложенные модификации методов, извлекающие собственные ассоциации модели, повышают оценку успешности редактирования на Llama-3-8B с 2,52 до 3,19 по шкале 0–4 при практически неизменной общей способности модели на MMLU. В-третьих, выявлены ограничения LTE-методов: деградация при длительном последовательном редактировании, переобучение на пару «субъект — новый объект» и возврат рассуждающих моделей к исходному факту (для Qwen3-8B до 75%). В качестве дальнейшего направления предлагается редактирование в пространстве признаков транскодеров, обеспечивающее устойчивость правок в длинных цепочках рассуждений.

Семплирование из сложных ненормированных вероятностных плотностей является фундаментальной задачей байесовского вывода и вероятностного моделирования. Хотя методы марковских цепей Монте-Карло (MCMC) обеспечивают асимптотические гарантии, они часто страдают от медленной сходимости к стационарному распределению и высоких вычислительных затрат из-за фиксированной или вручную настраиваемой длины траекторий. В данной работе мы предлагаем новый подход, в котором остановка цепи рассматривается как обучаемый компонент динамики сэмплирования. Формулируя MCMC в рамках теории неациклических генеративных потоковых сетей (GFlowNets), мы обучаем зависящие от состояния нейронные классификаторы определять, когда цепь достигла области высокой плотности и должна быть остановлена. Теоретически мы устанавливаем связь между оптимальными классификаторами и целевой плотностью через условия детального баланса, а также вводим многоуровневую схему обучения для улучшения исследования сложных геометрий. Экспериментальные результаты на различных бенчмарках плотностей показывают, что предложенный подход значительно сокращает среднюю длину траекторий, одновременно улучшая покрытие мод и сходимость к стационарному распределению по сравнению со стандартными MCMC-бейзлайнами.

До 57% токенов рассуждения LLM на сложных научных вопросах уходит на рассуждения, которые всё равно заканчиваются неправильным ответом, а 14% ответов обрываются раньше, чем модель успевает его назвать. Мы показываем, что дообучение с подкреплением на правильный и короткий ответ сокращает расход токенов в 1.5-2 раза без потери точности на темах обучения, а разметка фаз рассуждения объясняет, за счёт чего: модель перестаёт рассуждать после того, как ответ найден. В результате обрывов рассуждения становится кратно меньше, а при том же лимите доля правильных ответов выше на 4–9 процентных пунктов.

Квантование весов и активаций до 1–4 бит уменьшает нейронные сети и позволяет запускать их на простых низкобитных ускорителях, FPGA и ASIC. В предельном режиме W1A1, когда и веса, и активации занимают 1 бит, веса в 32 раза компактнее, чем в стандартном формате FP32. Однако напрямую обучать такие сети градиентными методами нельзя: производная округления почти всюду равна нулю. Метод сквозного градиента (straight-through estimator, STE) заменяет её суррогатной, но принято считать, что при 1–2 битах он неточен. Поэтому при 1 бите лучшие результаты сейчас дают специализированные методы бинаризации, которые меняют архитектуру сети.

В работе ошибка округления рассматривается как шум в канале связи. Если снижать разрядность плавно, постепенно повышая шум, задача обучения остаётся гладкой и решается обычным стохастическим градиентным спуском. На этой идее построен метод GDNSQ. В нём обучаются шаг квантования и границы отсечения, как в LSQ и PACT, поэтому разрядность становится дифференцируемым параметром. Производная ошибки округления по шагу заменяется случайной пробой ±1/2, как  в DoReFa. Это аналог стохастической аппроксимации с одновременным возмущением (SPSA), и при стандартных условиях такие пробы дают асимптотически несмещённое направление спуска. Целевую разрядность задаёт штраф с растущим весом, а дистилляция от исходной FP32-сети сглаживает метрику качества. Теоретическую основу даёт гауссово сглаживание: среднее квантованной сети по гауссову шуму служит её бесконечно гладким суррогатом. Если близкие входы дают близкие выходы (ограниченная локальная осцилляция), для отклонения суррогата от сети получена явная оценка. Для функций sign и ReLU гауссовы средние найдены в замкнутом виде.

Эксперименты проведены на ResNet-20 (CIFAR-10) и ResNet-18 (ImageNet). На CIFAR-10 GDNSQ опережает аналоги во всех режимах от W1A32 до W4A4, а при 4 битах сохраняет точность исходной сети: 92,64% против 92,62% в FP32. В режиме W1A1 метод достигает 85,30% и близок к специализированным методам бинаризации (86,50% у RBNN), хотя архитектура сети не  меняется. Абляция выделяет два ключевых компонента: без плавного снижения разрядности точность при W1A1 падает до 44,55%, а без дистилляции обучение не сходится. Таким образом, возможности STE не исчерпаны даже при 1 бите.

Квантование весов и активаций до 1–4 бит в несколько раз сокращает размер нейронных сетей и ускоряет их работу на мобильных и встраиваемых устройствах. Однако напрямую обучать такие сети градиентными методами нельзя: малое изменение веса не меняет его округлённого значения, а значит, и функции потерь, поэтому градиент по весам равен нулю. Эту трудность обходит метод сквозного градиента (straight-through estimator, STE), который на обратном проходе заменяет производную округления единицей. STE широко применяется — на нём построены DoReFa, LSQ и многие другие методы, — но общепринятого теоретического обоснования у него до сих пор нет. Не решён и практический вопрос о том, что подставлять в градиент по обучаемому масштабу квантования: точный остаток округления, как в LSQ, или случайный шум, как в DoReFa.

В работе показано, что для масштаба квантования STE со случайным шумом является одноизмерительной стохастической аппроксимацией с одновременным возмущением (SPSA). Остаток округления входит в градиент по масштабу усреднённым по мини-батчу, и по центральной предельной теореме значение имеют лишь его среднее и дисперсия. Поэтому остаток можно заменить случайным шумом с теми же средним и дисперсией, и такой шум служит пробным возмущением SPSA. Для смешанной схемы, где веса обучаются обратным распространением ошибки, а масштабы — методом SPSA, доказана локальная сходимость. Отсюда следует, что STE не вносит систематического смещения в оценки параметров и функции потерь, а влияет лишь на их дисперсию.

Эксперименты проведены на ResNet-20 (CIFAR-10/100) и RFDN (суперразрешение ×4) при плавном снижении разрядности весов и активаций от 10 бит до 1 и 4 бит соответственно. Со случайными пробами целевая разрядность достигается за меньшее число эпох, чем с точным остатком: на 9–15% в классификации и до 35% в суперразрешении. Итоговое качество при этом сохраняется, время эпохи не увеличивается, а конкретное распределение проб, как и предсказывает теория, почти не влияет на результат. В качестве выбора по умолчанию рекомендуются симметричные бернуллиевские пробы — простой и надёжный вариант.

Поиск по дереву представляет собой эффективный подход к принятию решений в сложных задачах и широко применяется в играх и обучении с подкреплением на основе модели среды. Недавние исследования показали, что применение алгоритма поиска по дереву, используемого в AlphaZero, на этапе инференса больших языковых моделей повышает качество решения задач, требующих рассуждений. Однако данный подход имеет ограничения масштабируемости: увеличение вычислительного бюджета, выделяемого на поиск, приводит к снижению точности решения задач на тестовых наборах GSM8K и Game24. Мы предлагаем ReSCALE — адаптацию поиска по дереву на основе алгоритма Gumbel AlphaZero, в которой добавление шума Дирихле и выбор действий в корне дерева по правилу PUCT заменяются сэмплированием из распределения Гумбеля и процедурой последовательного сокращения множества действий. ReSCALE восстанавливает монотонный рост точности при увеличении вычислительного бюджета, не требуя изменения модели или процедуры её обучения. При увеличенном бюджете вычислений, когда точность поиска AlphaZero перестаёт расти, ReSCALE достигает точности 58,4% на GSM8K и 85,3% на Game24.

Сжатие токенов в обучаемые эмбеддинги позволяет восстанавливать последовательности почти без ошибок. Однако фиксированная длина сжимаемого текста и порог точности в 99% не позволяют определить, обусловлены ли остаточные ошибки неудачной оптимизацией или фундаментальными ограничениями. Мы предлагаем Прогрессивное сжатие — метод, который увеличивает целевой префикс по одному токену и останавливается, когда точное восстановление становится недостижимым в пределах заданного бюджета оптимизации. Траектории прогрессивной оптимизации образуют низкоразмерную структуру в пространстве эмбеддингов. Добавление сжатого эмбеддинга перед контекстом вызывает умеренное, но устойчивое снижение точности на задачах с выбором ответа, даже когда исходный префикс остаётся в контексте, а при генеративной оценке приводит к почти полной потере способности выполнять задачи. Причинные вмешательства, блокирующие внимание к эмбеддингу, связывают это ухудшение с его взаимодействиями в ранних слоях модели. Полученные результаты показывают, что Progressive Cramming служит инструментом исследования пределов сжатия.

Современные большие языковые модели (LLM), такие как DeepSeek-R1, достигают передовых результатов благодаря тому, что в процессе генерации задействуют глубокое обдумывание и сложные рассуждения. Однако внутренние механизмы, лежащие в основе этих рассуждений, остаются неисследованными. Мы замечаем, что рассуждающие LLM систематически используют лексику, характерную для человеческих рассуждений, и выдвигаем гипотезу, что эти слова соответствуют особым моментам рассуждения во внутренних механизмах моделей. Для проверки этой гипотезы мы применяем разреженные автоэнкодеры (Sparse Autoencoders, SAE). Это метод разреженного разложения активаций нейронной сети на признаки, интерпретируемые человеком. Мы предлагаем ReasonScore, автоматическую метрику для выявления признаков SAE, активных в эти моменты рассуждения. Проведя ручную и автоматическую интерпретацию отобранных метрикой признаков, мы обнаруживаем среди них признаки, паттерны активации которых соответствуют неуверенности, исследовательскому мышлению и рефлексии. В экспериментах по управлению моделью (steering) мы показываем, что усиление этих признаков повышает качество на бенчмарках, требующих интенсивных рассуждений (+2,2%), и одновременно удлиняет цепочки рассуждений (+20,5%). С помощью техники сравнения моделей (model diffing) мы приводим свидетельства того, что эти признаки присутствуют только в моделях, способных к рассуждению. Наша работа — первый шаг к механистическому пониманию рассуждений в LLM.

Преобразование устных математических выражений представляет собой сложную задачу, требующую транскрибирования речи в строго структурированное символьное представление с учетом неоднозначности, присущей произнесению математических формул. Несмотря на значительный прогресс в области автоматического распознавания речи (ASR) и языковых моделей (LM), задача преобразования устной математической речи в LaTeX остается недостаточно исследованной. Она имеет непосредственное применение в образовательной и научной сферах, в частности для транскрибирования лекций и создания конспектов. Предыдущие работы, основанные на посткоррекции результатов ASR, требуют использования двух транскрипций, рассматривают только изолированные формулы, используют ограниченный тестовый набор данных и не предоставляют ни обучающих данных, ни поддержки нескольких языков. Для устранения этих ограничений мы представляем первый полностью открытый крупномасштабный набор данных, включающий более 66 000 вручную аннотированных аудиозаписей математических формул и предложений на английском и русском языках, охватывающих различные научные области. Наряду с моделями посткоррекции ASR и few-shot prompting мы исследуем аудиоязыковые модели и показываем, что при преобразовании формул на бенчмарке MathSpeech они достигают сопоставимой частоты символьных ошибок (CER): 28% против 30%. В то же время на предложенном нами бенчмарке S2L-equations наши модели превосходят модель MathSpeech более чем на 36 процентных пунктов даже после учета артефактов форматирования LaTeX: 27% против 64%. Кроме того, мы предлагаем первый бенчмарк для распознавания предложений, содержащих математические выражения (S2L-sentences), и достигаем CER по формулам на уровне 40%. Представленная работа закладывает основу для дальнейшего развития мультимодальных систем искусственного интеллекта, ориентированных на распознавание и обработку математического содержания.

Веб-агенты — один из самых быстрорастущих фронтиров GenAI, но почти вся оценка их способностей построена на англоязычных бенчмарках (WebArena и аналоги). Они не отражают ни русский язык интерфейсов, ни UX-паттерны отечественных сервисов, ни типовые пользовательские сценарии в России. Мы закрываем эту лакуну: представляем открытый бенчмарк для веб-агентов на анонимизированных моках крупнейших российских сервисов: маркетплейсов, продажи ж/д билетов, бронирования отелей и госуслуг.

Работа покрывает: реалистичные многошаговые сценарии (поиск, оформление, заполнение форм, навигация), их сложность и принципы разметки. Покажем результаты прогона ведущих моделей, где агенты справляются, а где систематически ломаются, и насколько велик разрыв с человеком. И как сделать бенчмарк реалистичным, при этом не нарушив авторских прав.

Современные агентные системы всё чаще работают с мультимодальными данными — кодовыми базами, изображениями и аудио. Несмотря на это, большинство существующих решений реализуют лишь краткосрочную контекстную память, теряя критически важную информацию между сессиями. Мы представляем фреймворк омнимодальной долгосрочной памяти для агентных систем, позволяющий сохранять и извлекать релевантную информацию любой модальности на длинном горизонте взаимодействий. Расскажем об архитектурных решениях, покажем сравнение с baseline-подходами и обсудим практические ограничения текущей реализации.

LiveCodeBench (LCB) распространённый бенчмарк для оценки больших языковых моделей (LLM) в задачах генерации кода. Благодаря сбору задач по соревновательному программированию, постоянному добавлению новых задач и фильтрации по датам их публикации, LCB позволяет учитывать риск попадания тестовых задач в обучающие данные моделей и обеспечивает комплексную оценку их способностей к программированию. Однако LCB ограничен языком Python, поэтому остаётся открытым вопрос о том, способны ли LLM обобщать полученные знания на другие языки программирования, используемые в реальной разработке ПО.

Мы представляем Multi-LCB — бенчмарк для оценки LLM на двенадцати языках программирования, включая Python. Multi-LCB автоматически преобразует Python задачи из набора данных LCB в эквивалентные задачи на других языках, сохраняя механизмы контроля контаминации и протокол оценки оригинального LCB. Благодаря полной совместимости с исходным форматом LCB, Multi-LCB сможет автоматически учитывать будущие обновления оригинального бенчмарка. Это  позволяет систематически оценивать способность моделей генерировать код на разных языках программирования и проверять, насколько устойчиво они сохраняют высокую производительность за пределами Python.

Мы оценили 24 инструктивных и ризонинг LLM на бенчмарке Multi-LCB. Результаты выявили признаки переобучения на Python, контаминацию обучающих данных, а также существенные различия в качестве работы моделей между языками программирования. Наши результаты демонстрируют, что Multi-LCB представляет собой строгий бенчмарк для оценки генерации кода на нескольких языках программирования. Он напрямую устраняет ключевое ограничение LCB и выявляет существенные пробелы в возможностях современных LLM.

В реальных задачах архитектурного проектирования планы квартир должны удовлетворять разнообразным требованиям, задаваемым нормативными документами, заданиями на проектирование и ограничениями конкретного проекта. Эти условия часто сочетают геометрические, функциональные и семантические требования, превращая практическую генерацию планов квартир в задачу проектирования с множеством ограничений, а не в задачу синтеза планировок без ограничений. Существующие методы генерации планов этажей обычно учитывают лишь небольшую часть этих условий. В данной работе мы представляем HouseDiffusion++ — диффузионный подход к управляемой генерации векторных планов этажей с соблюдением ограничений. Основываясь на HouseDiffusion, наш подход дополняет процесс удаления шума из векторного представления несколькими механизмами обусловливания, обеспечивая совместное управление графами смежности помещений, внешними контурами, размерами помещений, окнами и входными дверями. Мы также устраняем существенное несоответствие между обучением и инференсом в исходном подходе: число вершин контуров помещений известно во время обучения, но недоступно на этапе тестирования. Для решения этой проблемы мы предлагаем стратегию аугментации полигонов, повышающую устойчивость к избыточным точкам. Эксперименты на наборе данных RPLAN показывают, что HouseDiffusion++ превосходит базовые методы по количественным метрикам и визуальному качеству, обеспечивая при этом большую управляемость генерации при различных ограничениях.

Цифровые двойники зданий помогают отвечать на практические вопросы: например, в каких комнатах нет окон или какова площадь каждого этажа. Но найти эти сведения в IFC — стандартном формате данных о зданиях — бывает сложно. Мы представляем IFC-QA: набор из 99 вопросов об объектах здания, их характеристиках и связях между ними. Для каждого вопроса есть программа, которая вычисляет эталонный ответ для совместимой IFC-модели. Поэтому системы можно проверять на собственных зданиях без ручной разметки каждого ответа. На трёх разных моделях мы получили 297 пар «вопрос — здание». Мы сравнили LLM, генерирующую SQL-запросы, систему на правилах и их гибрид. Система на правилах и гибрид показали точность 69,0% каждый, а LLM — 23,9%. Самыми трудными оказались вопросы о пространственных связях. IFC-QA помогает оценивать инструменты поиска и ответов на вопросы на разных зданиях.

Агенты на основе больших языковых моделей (БЯМ) повышают качество решения задач за счёт их декомпозиции и распределения между специализированными ролями. Однако их практическое применение зачастую ограничивается высокими вычислительными затратами и нестабильностью, связанными с динамическим проектированием агентов для каждого пользовательского запроса.

Для решения этой проблемы мы представляем LLM Agents Factory — систему на основе поиска и извлечения информации, позволяющую по запросу создавать предметно-ориентированных агентов, опирающихся на знания из Википедии. В основе системы лежит репозиторий, содержащий более 20 тысяч заранее сформированных профилей агентов. Предлагаемая система поддерживает два режима работы: (1) поиск и извлечение профилей агентов на основе семантического сходства и (2) дистилляцию знаний в компактную языковую модель, дообученную для непосредственной генерации агентов.

Эксперименты на наборах задач MMLU, BIG-bench и BIG-bench Hard в одноагентном сценарии показывают, что предлагаемый подход к созданию агентов на основе поиска обеспечивает более высокую точность по сравнению с базовыми решениями без использования агентов. При этом он достигает сопоставимого с AutoGen качества генерации агентов при использовании базовой модели со 120 млрд параметров, но со значительно меньшими вычислительными затратами на инференс.

Результаты исследования демонстрируют, что извлечение профилей из структурированного репозитория агентов представляет собой экономически эффективную, точную и управляемую альтернативу динамической генерации агентов, отвечающую строгим требованиям промышленного применения.

Качество любого агента зависит как от языковой модели, так и от harness — обвязки, управляющей контекстом и вызовами инструментов. Мы представляем HarnessBench — бенчмарк для e2e оценки агента в многошаговых пользовательских сценариях. В каждом тесте отдельная языковая модель имитирует пользователя, а агент ведёт диалог и выполняет действия в тестовом окружении. Успешность оценивается по ответам агента, вызовам инструментов и изменениям состояния окружения с помощью детерминированных проверок и LLM-as-a-Judge. Основная метрика — Goal Completion Rate (GCR), доля успешно выполненных задач. На 319 сценариях открытия вкладов и выполнения переводов, подготовленных продуктовыми командами Сбера, дообученная GigaChat 3.5 Ultra (GigaChat-BAIS) достигает 95% GCR против 40% у исходной модели; результаты MiniMax M2.7 и GLM 5.2 составляют 91% и 90% соответственно. HarnessBench используется для выявления ошибок, доработки harness, подготовки обучающих примеров и выбора моделей для продуктовых задач.

В работе представлена методология генерации в 3D-симуляторе обучающих данных для VLA-моделей, управляющих антропоморфными роботами. Методология включает многоэтапную генерацию трехмерной сцены из входного видео бортовой камеры с использованием фундаментальных нейросетевых моделей и гауссовского сплаттинга. Расстановка и рандомизация положения объектов на сцене может осуществляться с помощью визаульно-языковых моделей и графов 3D-сцены. Отдельно описан алгоритм VLM-валидации датасета для обучения и тестирования VLA-моделей в различных доменах (в т.ч. кухня, склад, магазин).

Большие языковые модели (LLM) зачастую генерируют исходный код, кажущийся корректным, но на самом деле содержит вымышленные элементы (галлюцинации), вызывающие сбои в последующих тестах. В этом исследовании мы сравниваем современные методы оценки неопределенности LLM и существующие базовые подходы к обнаружению галлюцинаций в исходном коде, а также представляем конвейер для создания набора данных с размеченными галлюцинациями в исходном коде на уровне строк. На основе этого набора данных мы обучаем легковесный трансформерный детектор, использующий внутренние представления LLM и существенно превосходящий существующие методы. Детектор также имеет перспективы для обеспечения самокоррекции в кодовых агентах.

Быстрое и безопасное движение автономных роботов и беспилотных систем требует построения плавных, физически выполнимых траекторий в режиме реального времени. Классические алгоритмы, учитывающие ограничения механики транспорта, часто сталкиваются с проблемой избыточного перебора вариантов, что существенно замедляет вычисления на бортовых компьютерах. Для решения этой задачи разработан алгоритм MeshA* — метод, который сочетает детальный учёт физики движения с высокой скоростью пространственного поиска. Алгоритм объединяет схожие маневры и отсекает тупиковые направления на самых ранних этапах, полностью сохраняя строгие математические гарантии полноты и оптимальности найденного маршрута. В практических сценариях MeshA* сокращает время расчета траектории в 2 раза и многократно снижает количество проверок на столкновения, обеспечивая быструю и ресурсоэффективную навигацию для умного транспорта и логистической робототехники.

Последние достижения в области многоагентного обучения с подкреплением (MARL) позволили успешно решать задания в ряде сложных сред. Однако существующие подходы, как правило, требуют обучать специализированную модель отдельно под каждую задачу. В этой работе мы предлагаем единый подход, позволяющий одной модели на основе GPT обучаться и достигать высоких результатов в различных средах, включая StarCraft Multi-Agent Challenge, Google Research Football и POGEMA. Предлагаемый метод MARL-GPT использует офлайн-обучение с подкреплением на наборах экспертных траекторий (400 млн для SMACv2, 100 млн для GRF и 1 млрд для POGEMA) в сочетании с единым кодировщиком наблюдений на основе трансформера, не требующим настройки под конкретную задачу. Эксперименты показывают, что во всех исследованных средах MARL-GPT достигает результатов, сопоставимых с результатами специализированных базовых методов. Полученные результаты свидетельствуют о возможности создания многозадачной модели на основе трансформера для широкого круга существенно различающихся многоагентных задач, открывая путь к разработке фундаментальной модели для многоагентного обучения с подкреплением.

Многоагентное планирование путей требует координации агентов, которые должны достигать своих целей без столкновений. Мы предлагаем Evo-MAPF - эволюционный подход к поиску обучающих сценариев. Большая языковая модель пишет код процедурных генераторов карт; полученные сценарии используются для обучения модели, а её успешность и стоимость найденных путей направляют дальнейшую эволюцию. Этот замкнутый цикл повышает качество решения без изменения архитектуры: успешность возрастает с 41% до 97% в складских сценариях со 128 агентами и с 56% до 100% на игровой карте с 512 агентами. При этом сгенерированные обучающие сценарии содержат всего 32 агента.

Мы представляем SuperIgor — подход к решению задач следования инструкциям. В отличие от существующих методов, опирающихся на заранее определённый набор подзадач, SuperIgor позволяет языковой модели самостоятельно формировать и уточнять высокоуровневые планы в процессе обучения, снижая потребность в ручной разметке данных. Предлагаемый подход основан на итеративном совместном обучении: агент с обучением с подкреплением учится выполнять сгенерированные планы, а языковая модель адаптирует и модифицирует их на основе обратной связи и предпочтений, полученных в ходе обучения агента. Таким образом формируется замкнутый цикл обратной связи, в котором планировщик и агент совершенствуются совместно. Мы исследуем предложенный подход в средах со сложной динамикой и стохастичностью. Экспериментальные результаты показывают, что агенты SuperIgor точнее следуют заданным инструкциям по сравнению с базовыми методами и при этом демонстрируют высокую способность к обобщению на ранее не встречавшиеся инструкции.

Модели Vision-Language-Action (VLA) обычно рассматриваются как сквозные стратегии действий, обусловленные описаниями задач на естественном языке. Однако на практике их поведение часто резко зависит от формулировки инструкции, что говорит о том, что язык — это не просто метка задачи, а оптимизируемый входной параметр для обусловливания. Мы изучаем, можно ли улучшить замороженные стратегии VLA путем оптимизации языкового пространства, а не обновления весов действий. Наш метод вводит стратегию в пространстве языкового обусловливания, которая преобразует инструкцию человека в короткую команду, основанную на VLA, используя внешний вид объекта, пространственные отношения и целевые ориентиры. Стратегия в пространстве языкового обусловливания инициализируется с помощью априорного пространства команд, полученного из данных о неудачах, и оптимизируется с помощью обучения с подкреплением на основе разреженных вознаграждений за выполнение задачи, в то время как последующая VLA остается полностью замороженной. Это приводит к оптимизации пространства языкового обусловливания: обучение с подкреплением определяет, какие команды, основанные на VLA, лучше всего вызывают успешное поведение от замороженной стратегии действий. Эксперименты на RL4VLA и VL-Think показывают, что оптимизация пространства языкового обусловливания повышает успешность выполнения задач, чувствительных к инструкциям, символических задач и задач манипулирования несколькими объектами, демонстрируя, что язык может служить оптимизируемой переменной для базовых моделей роботов.

Модели vision-language-action (VLA) предсказывают чанки будущих действий по текущему наблюдению. Это допущение нарушается при частичной наблюдаемости, когда решения зависят от информации, которая больше не видна. Существующие VLA с памятью одновременно вводят рекуррентность, поиск, модули сжатия, вспомогательные функции потерь, иерархическую память или архитектурные изменения под конкретную задачу, поэтому вклад самой рекуррентности остаётся неотделимым от сопутствующих механизмов. Мы проводим контролируемое изолированное исследование рекуррентности в сильной предобученной VLA. Наша формулировка дополняет трансформер небольшим набором обучаемых токенов памяти, которые переносятся между шагами и обновляются через self-attention. Модель обучается end-to-end усечённым обратным распространением во времени (TBPTT), без вспомогательных функций потерь и без изменений архитектуры. Мы реализуем это как μVLA — семейство вариантов OpenVLA-OFT, параметризованных шириной памяти m, длиной TBPTT K и правилом обновления памяти (градиенты между шагами или отсоединённое EMA), так что рекуррентность остаётся единственным меняющимся фактором. На MIKASA-Robo μVLA повышает средний процент успеха на пяти обучающих задачах с 0.42 до 0.84 в лучшей конфигурации и достигает 0.23 на отложенных задачах с той же структурой памяти против 0.07 у бейзлайна без памяти, оставаясь около бейзлайна на задачах, требующих другой структуры памяти. На LIBERO лучший рекуррентный вариант достигает 95.9% среднего успеха, то есть регрессии при полной наблюдаемости нет. Эти результаты очерчивают границы возможностей минимальной рекуррентности внутри модели: режим, где её достаточно, и режим, где нужна дополнительная структура памяти. При open-loop исполнении чанков та же запись достигает среднего SR 0.30 ещё на восьми задачах.

Сгенерированные видео с роботами могут использоваться для прогнозирования будущего состояния среды и расширения наборов данных для различных задач робототехники, однако даже реалистично выглядящие видео могут содержать неверные объекты, взаимодействия или движения. Мы представляем RGraph-Eval — основанный на эталонных примерах подход, который сравнивает сгенерированные видео с демонстрационными с помощью пространственно-временных графов сцены. Алгоритм на основе фундаментальных моделей определяет релевантные объекты, отслеживает их маски, выявляет переходы между состояниями и восстанавливает траектории перемещаемых объектов. Затем RGraph-Eval оценивает соответствие между сгенерированным и эталонным видео на основе трех компонентов: видимых объектов, изменений отношений и трехмерной траектории. Мы также представляем ShareRobot-SG — набор из 1 000 манипуляционных сцен, аннотированных с использованием мультимодальных графов сцены.

Многоагентное обучение с подкреплением (MARL) позволяет решать задачи принятия решений, в которых агенты сотрудничают или конкурируют друг с другом. Однако лишь немногие существующие бенчмарки сочетают непрерывные пространства состояний и действий со сложными задачами координации и планирования. Мы представляем CAMAR - бенчмарк для многоагентного поиска путей в непрерывном пространстве действий. Он поддерживает кооперативные и конкурентные взаимодействия между агентами и обеспечивает производительность до 100 тысяч шагов среды в секунду. Для отслеживания прогресса алгоритмов и более детального анализа их результатов предлагается трёхуровневый протокол оценки. CAMAR также позволяет интегрировать классические методы планирования RRT и RRT* в подходы на основе MARL. Эти методы используются как самостоятельные базовые решения для сравнения, а RRT* дополнительно объединяется с популярными алгоритмами MARL для создания гибридных подходов. Набор тестовых сценариев и инструментов оценки обеспечивает воспроизводимость экспериментов и корректное сравнение методов. Результаты экспериментов показывают, что CAMAR предоставляет реалистичную тестовую среду со сложными задачами для исследований в области многоагентного обучения с подкреплением.

Реальные робототехнические агенты должны действовать в условиях частичной наблюдаемости и длинного горизонта, когда ключевые подсказки появляются задолго до того, как начинают влиять на принятие решений. Однако большинство современных подходов опираются только на мгновенную информацию и не учитывают прошлое. Стандартные рекуррентные и трансформерные модели плохо удерживают и используют долгосрочные зависимости: контекстное окно обрезает историю, а наивные расширения памяти не справляются с масштабом и разреженностью. Мы предлагаем ELMUR (External Layer Memory with Update/Rewrite) — трансформерную архитектуру со структурированной внешней памятью. Каждый слой хранит эмбеддинги памяти, взаимодействует с ними через двунаправленное перекрёстное внимание и обновляет их модулем памяти LRU (Least Recently Used) с помощью замены или выпуклого смешивания. ELMUR расширяет эффективный горизонт до 100 000 раз за пределы окна внимания и достигает 100% успеха на синтетической задаче T-Maze с коридорами длиной до миллиона шагов. В POPGym модель превосходит бейзлайны более чем на половине задач. На задачах манипуляции MIKASA-Robo с разреженной наградой и визуальными наблюдениями она почти вдвое превосходит сильные бейзлайны, показывая лучший процент успеха на 21 из 23 задач и улучшая суммарный процент успеха по всем задачам примерно на 70% относительно лучшего предыдущего бейзлайна. Эти результаты показывают, что структурированная послойная внешняя память — простой и масштабируемый подход к принятию решений в условиях частичной наблюдаемости.

Недавний прогресс в контекстном обучении с подкреплением (in-context reinforcement learning, ICRL) показал его потенциал для обучения агентов-генералистов, способных осваивать новые задачи непосредственно на этапе инференса. Algorithm Distillation (AD) положил начало этой парадигме и впоследствии был масштабирован для многодоменной постановки, однако его способность к обобщению на новых задачах оставалась ограниченной. Decision Pre-Trained Transformer (DPT) был предложен как альтернатива: он продемонстрировал более сильные способности к контекстному обучению с подкреплением в упрощённых доменах, но его масштабируемость не была подтверждена.  В этой работе мы расширяем DPT на разнообразные многодоменные окружения, применяя Flow Matching как естественный выбор для обучения, который сохраняет интерпретацию DPT как семплирование из байесовского апостериорного распределения. В результате мы получаем агента, обученного на сотнях разнообразных задач, который демонстрирует явный прирост в обобщении на отложенном тестовом наборе. Этот агент улучшает результаты предыдущих работ по масштабированию AD и показывает более высокое качество как в онлайн, так и в оффлайн инференсе, что подтверждает жизнеспособность ICRL как альтернативы дистилляции экспертов для обучения агентов-генералистов.

CADENA восстанавливает редактируемые параметрические CAD-программы по трёхмерным мешам, последовательно добавляя операции с учётом геометрической обратной связи. Модель обучается на синтетических последовательностях построения и дообучается с подкреплением, сравнивая текущую реконструкцию с исходной геометрией на каждом шаге. CADENA повышает точность восстановления на стандартных наборах данных и CADENA-Bench — новом бенчмарке реальных механических деталей.

Объектно-ориентированные 3D-карты обычно строятся для статических сцен, однако роботы функционируют в постоянно меняющейся обстановке. В данной работе представлена Green3R – работающая в режиме реального времени система, не требующая предварительного обучения. Она строит и поддерживает персистентную объектно-ориентированную 3D-карту по монокулярному RGB-потоку в динамических сценах, а также определяет временной статус каждого отслеживаемого объекта. Архитектура Green3R объединяет готовые предобученные фундаментальные модели – модель класс-независимой сегментации, энкодер пространственной структуры, визуально-языковой энкодер и модель реконструкции геометрии сцены – на уровне их выходных данных, что позволяет заменять любой компонент без необходимости переобучения. Задача сопоставления объектов между кадрами решена как глобально оптимальное назначение на двудольном графе. Функция стоимости объединяет пространственное перекрытие двух детекций, смещение их центроидов и визуальное сходство. Детектор повторных посещений обеспечивает реидентификацию объектов после их длительного отсутствия, а метод временного голосования с учетом зоны видимости преобразует результаты сопоставления в надежные статусы изменений. Предложенная система демонстрирует конкурентоспособные результаты по сравнению с RGB-D-методами (использующими данные о позе) и алгоритмами с сопряженными признаками на наборах данных ScanNet200 и Replica. Кроме того, система способна сохранять идентификаторы объектов при физических манипуляциях с ними в датасете Aria Digital Twin, а ее эмбеддинги позволяют выполнять запросы на естественном языке к построенной карте.

В работе предлагается подход к обучению моделей мира новым навыкам по видеодемонстрациям без разметки действий. Модель обратной динамики (IDM) восстанавливает действия по видео, после чего полученные данные используются для обучения модели мира. Эксперименты на Fractal с CTRL-World и Matrix-Game 2.0 охватывают опрокидывание предметов и открытие/закрытие ящиков. Разметка действий целевых навыков исключается из обучения IDM, а тестовые эпизоды из обучения обеих моделей. По экспертной оценке, добавление IDM-разметки повышает средний балл следования траектории во всех четырёх условиях относительно обучения без целевого навыка.  Обучение VLA-политик на сгенерированных траекториях остаётся направлением дальнейшей работы.

Современные русскоязычные AI-продукты на 80% — это RAG-системы поверх LLM, и их качество упирается в качество эмбеддеры. Несмотря на это, в русскоязычной экосистеме до сих пор нет стандартизированной оценки мультимодальных embedding-моделей. Существующие бенчмарки (MERA Multi и др.) сфокусированы на инструктивных способностях генеративных VLM. Мы представляем ruMIEB — набор задач русскоязычной части международного бенчмарка MIEB, охватывающий retrieval, классификацию, vNLI и кросс-модальный поиск. Расскажем, как мы выбирали приоритетные задачи, как формировали задачи, представим первые результаты прогона существующих моделей и обсудим, как ruMIEB дополняет другие русскоязычные бенчмарки.

В художественной гимнастике оценка критерия «Использование площадки» является субъективной задачей, что усугубляется отсутствием визуальной разметки на соревновательном ковре и сложными условиями проведения соревнований в реальном времени. В данной работе представлен подход на основе компьютерного зрения для автоматизации оценки этого критерия. Предложенный алгоритм отслеживает траекторию перемещений и степень покрытия площадки, а также формирует интерпретируемые визуализации для помощи судьям, используя данные с одной камеры и карты глубин. Метод, верифицированный на сложных данных из художественной гимнастики, обеспечивает определение устойчивых признаков точек контакта, создающих явную пространственную привязку. Эти признаки потенциально могут быть обобщены и применены в других видах спорта, включая задачи детального распознавания действий и пространственного анализа с учетом множественных точек контакта.

Обычно под каждую задачу банк строит отдельную модель на инженерных признаках: работа дублируется, а большая часть сырой истории поведения клиента теряется. Мы представляем Foundation Model для мультимодальных событийных последовательностей более 100 млн клиентов: транзакции, кликстрим и коммуникации объединяются в одну хронологическую последовательность. Энкодер события применяет self-attention по атрибутам, а каузальный трансформер в стиле GPT-2 предобучается на предсказании следующего события по 160 млрд транзакций, 30 млрд кликов и 20 млрд коммуникаций. Тело модели заморожено: под каждую задачу обучаются только лёгкий адаптер и голова вместе с инженерными признаками. На четырёх задачах модель повышает средний ROC AUC с 0,792 до 0,801 относительно промышленного решения на признаках; вклад дают мультимодальность, длина истории и масштаб модели (до 42 млн параметров). В двухмесячном A/B-тесте на 6 продуктах в трёх каналах модель дала +1% NPV против промышленных моделей на градиентном бустинге и стала основной моделью скоринга.

Оценка качества видео (Video Quality Assessment, VQA) играет ключевую роль в оптимизации систем доставки видеоконтента. Несмотря на существование множества объективных метрик, предназначенных для приближения к человеческому восприятию, субъективно воспринимаемое качество видео в значительной степени зависит от условий просмотра и характеристик дисплея. Такие факторы, как окружающее освещение, яркость и разрешение экрана, существенно влияют на заметность искажений. В данной работе мы рассматриваем задачу оценки качества видео на различных мобильных устройствах, которая до сих пор остается недостаточно исследованной. Мы представляем первый крупномасштабный датасет субъективных оценок качества видео, собранный с использованием более 300 различных Android-устройств и дополненный метаданными об условиях просмотра и характеристиках дисплеев. Мы предлагаем метод агрегации субъективных оценок и подход к адаптации моделей VQA для оценки качества видео с учетом особенностей конкретного устройства. Полученные результаты показывают, что использование информации об устройстве и условиях просмотра позволяет повысить точность и гибкость предсказания воспринимаемого качества видео, открывая новые возможности для более тонкой оптимизации потоковых видеосервисов. Таким образом, наша работа способствует развитию моделей оценки воспринимаемого качества видео, сокращая разрыв между лабораторными исследованиями и разнообразными условиями реального потребления медиаконтента.

Видеотрафик составляет значительную долю мирового интернет-трафика. Для сокращения его объема разрабатываются и постоянно совершенствуются видеокодеки. Несмотря на существенный прогресс индустрии в области традиционного кодирования видео, в последние годы появился новый подход — нейросетевые видеокодеки (Neural Video Codecs, NVC), использующие методы глубокого обучения для сжатия видео. Развитие нейросетевых видеокодеков ставит новые задачи в области оценки качества сжатого видео, которая играет важную роль в дальнейшем совершенствовании таких кодеков. В частности, необходимо учитывать новые подходы к межкадровому сжатию, применяемые в нейросетевых видеокодеках. В данной работе мы представляем крупномасштабный датасет субъективных оценок качества видео, сжатых как нейросетевыми, так и традиционными видеокодеками. Субъективные оценки были собраны с помощью краудсорсинговых попарных сравнений видео. Предложенный датасет представляет собой ценный ресурс для разработки и сравнительного тестирования метрик качества видео, учитывающих особенности нейросетевых видеокодеков.

Современные методы построения карт оптического потока повсеместно используют специализированные для данной задачи модули, такие как корреляционные объёмы, варпинг признаков и итеративное уточнение, что позволяет достичь высокого качества предсказаний. При этом данные компоненты ограничивают архитектуру заранее заданными эвристиками, усложняют её и не являются вычислительно эффективными. В данной работе предлагается метод FreeFlow — иерархический трансформер без специализированных модулей для оценки оптического потока, представляю собой единый кодировщик-декодировщик, напрямую регрессирующий карту оптического потока. FreeFlow сочетает в себе три варианта механизма внимания: внимание в окнах для локальной обработки, внимание в смещённых окнах для обмена информацией между соседними областями и глобальное внимание в пониженном разрешении. Предложенная архитектура эффективно масштабируется с увеличением размера модели, обеспечивая стабильный рост точности от малых до крупных конфигураций. Несмотря на отсутствие специализированных для задачи компонентов, FreeFlow достигает наилучших результатов на всех современных бенчмарках: Sintel — 0,68/1,48 EPE на подвыборках Clean/Final, KITTI-2015 — 3,23 Fl-all и Spring — 3,192 по метрике 1px, сохраняя при этом низкое потребление видеопамяти при обработке кадров в разрешения 1080p.

Нейросетевое сжатие изображений достигло передовых результатов по соотношению качества и степени сжатия, однако его уязвимость к состязательным воздействиям изучена значительно хуже, чем у моделей классификации. Существующие атаки на нейросетевые кодеки часто представляют собой прямую адаптацию методов, работающих в пространстве пикселей, и не учитывают структурные особенности самого процесса сжатия. Мы предлагаем T-MLA — первый фреймворк целевых многомасштабных лог-экспоненциальных атак. Состязательные возмущения вносятся в вейвлет-домене и концентрируются на менее перцептивно значимых коэффициентах, что повышает скрытность атаки. Эксперименты на нескольких современных архитектурах нейросетевого сжатия и стандартных бенчмарках показывают существенное ухудшение качества реконструкции при визуально незаметных возмущениях. При сопоставимой успешности атаки T-MLA превосходит PGD-подходы по незаметности возмущений. Результаты указывают на существенную уязвимость современных систем генерации и доставки контента.

Мы предлагаем новый мультимодальный алгоритм для совместного инференса пар структурно согласованных образцов с использованием моделей Rectified Flow. Существующие методы совместной генерации, как правило, не рассматривают задачу с точки зрения структурного согласования. Предлагаемый подход основан на совместном переносе целого отрезка в пространстве образцов, что обеспечивает быстрые вычисления на этапе инференса. Метод может быть построен поверх произвольной модели Rectified Flow, работающей в структурированном латентном пространстве. Мы демонстрируем его применимость к генерации изображений, видео и 3D-объектов и сравниваем с современными методами редактирования и совместного инференса. Подход обеспечивает высокую степень структурного согласования при сохранении высокого визуального качества. Для изображений и видео он улучшает современные результаты, а для 3D обеспечивает сопоставимое качество при ускорении на порядки.

В течение последних нескольких лет архитектуры, основанные на подходе трансформеров успешно применяются как  в обработке естественного языка, так и в компьютерном зрении, однако до сих пор остаются неясными некоторые нюансы того, каким образом такие модели дают предсказания. В этой работе исследуется вопрос интерпретируемости обученной на химических данных sequence-to-sequence модели, которая восстанавливает молекулярные структуры по спектрам ядерного магнитного резонанса (ЯМР) водорода (¹H) и углерода (¹³C).

Коллективом были исследованы латентные пространства модели, чтобы выяснить, какие химические закономерности она смогла выучить и насколько её внутренние представления отражают реальное строение молекул, а не только синтаксис строкового представлния химических структур (SMILES).

В результате удалось показать, что модель действительно усваивает химически значимую информацию, причём она распределена неравномерно между энкодерами, слоями декодера и головами внимания. В частности, лучше всего представлены структурные признаки, которые имеют характерные сигналы в спектрах ЯМР, например ароматические кольца и карбонильные группы. При этом признаки со слабо выраженными спектральными сигналами распознаются менее надёжно.

Кроме того, было установлено, что внутренние представления модели содержат информацию о функциональных группах и отражают различия между молекулярными структурами. В то же время генерация синтаксически корректной строки SMILES не всегда означает, что восстановленная молекула соответствует исходной для данного спектра.

Таким образом, исследование показывает, что трансформер не просто изучает формальные правила записи молекул, но и  формирует представления об их химическом строении. При этом качество таких представлений зависит от того, насколько явно соответствующие структурные особенности проявляются в ЯМР спектрах.

Обучение молекулярных представлений занимает центральное место в вычислительной химии и разработке лекарств. Хотя маскированное языковое моделирование на строках SMILES на основе BERT стало доминирующей парадигмой предобучения, дискретная диффузия с шумоподавлением — генеративный подход — остаётся в значительной степени неисследованной для этой задачи. В данной работе мы систематически сравниваем три семейства моделей, предобученных на большом корпусе строк SMILES: стандартный BERT с маскированным языковым моделированием, Diffusion BERT с различными расписаниями шума и Diffusion Transformer. После предобучения мы извлекаем латентные представления из каждой модели и используем их в качестве входных признаков для классификаторов и регрессоров на градиентном бустинге в задачах предсказания молекулярных свойств. Мы проводим оценку на бенчмарках как для классификации, так и для регрессии (MoleculeNet), обеспечивая всестороннюю оценку качества представлений.

Наши результаты показывают, что предобучение на основе дискретной диффузии стабильно даёт более богатые молекулярные представления, чем маскированное языковое моделирование, при этом Diffusion Transformer достигает наилучшей производительности по всем задачам. Все конфигурации на основе диффузии со значительным отрывом превосходят сильный базовый метод предобучения BERT на SMILES. Мы приходим к выводу, что дискретная текстовая диффузия представляет собой концептуально обоснованную и эффективную альтернативу маскированному языковому моделированию для обучения молекулярных представлений, открывая новое направление для генеративного предобучения в химии.

Белок-белковые взаимодействия (PPI) играют ключевую роль в биологических процессах и механизмах развития заболеваний, что делает их точное предсказание важным для поиска терапевтических мишеней и исследования заболеваний. Однако многие существующие методы глубокого обучения используют один тип данных или преимущественно анализируют последовательности и 3D-структуры белков, не учитывая свойства их поверхностей. В данной работе предложена мультимодальная модель глубокого обучения, объединяющая дескрипторы поверхности белков, 3D-графы структуры на уровне остатков и контекстуализированные эмбеддинги аминокислотных последовательностей. Механизм само-внимания Transformer позволяет модели совместно анализировать эти представления без простого объединения признаков, выявляя физико-химические и пространственные закономерности, связанные с взаимодействием белков. Предложенный подход превзошёл модели на основе GNN и существующие мультимодальные методы, не учитывающие информацию о поверхности белков, что подчёркивает её значимость для предсказания PPI.

Цифровые водяные знаки для изображений приобретают всё большее значение в связи с новыми нормативными требованиями и отраслевыми практиками маркировки контента, созданного искусственным интеллектом, и обеспечения отслеживаемости его происхождения. Последние достижения в области невидимых цифровых водяных знаков обусловливают необходимость актуализации существующих методик оценки с учётом современных ограничений и критериев.

Для решения этой задачи представляется WARP — унифицированная платформа и бенчмарк для оценки устойчивости невидимых водяных знаков. WARP объединяет 32 современных метода маркировки, включая классические, глубокие и генеративные подходы, и 34 метода удаления водяных знаков — от стандартных искажений до состязательных атак, очистки изображений и повторного внедрения водяных знаков. Платформа обеспечивает стандартизированную, воспроизводимую и масштабируемую оценку перцептивного качества, читаемости водяных знаков и устойчивости к атакам.

С помощью WARP проведена масштабная оценка современных методов невидимой маркировки, легшая в основу крупнейшего в данной области исследования устойчивости цифровых водяных знаков. Полученные результаты позволили выявить наиболее устойчивые подходы как к классическим искажениям, так и к состязательным атакам, а также обнаружить взаимосвязи между методами маркировки и стратегиями атак, наиболее эффективными против них. Эксперименты также показали, что  некоторые методы уязвимы к повторному внедрению водяных знаков, несмотря на устойчивость к стандартным искажениям.

Предыдущие снимки и заключения помогают системам искусственного интеллекта описывать изменения во времени, но могут переносить находки из прошлых исследований в текущее заключение. Мы предлагаем воспроизводимый протокол каузального аудита исторического контекста: текущая рентгенограмма грудной клетки остаётся неизменной, а история варьируется, позволяя измерить её влияние на результат генерации. Эксперименты охватывают пять условий подачи контекста на 18 716 исследованиях MIMIC-CXR и 93 580 сформированных заключениях. Слепая экспертная оценка 60 случаев проверяет, подтверждаются ли добавленные находки текущими изображениями. Предложенный Source-Causal Finding Router (SCFR) — лёгкая линейная текстовая модель, которая выбирает одно из пяти фиксированных заключений, построенных на основе текущего исследования и допустимой истории, и возвращает его без переписывания. На трёх тестовых выборках по 300 исследований SCFR устраняет 92,7–108,4% избытка положительных находок, расходящихся с эталонными заключениями и вызванного подстановкой специально подобранной истории другого пациента. Избыток измеряется относительно генерации без истории. Работа объединяет каузальную проверку исторических источников с выборочным использованием истории и предлагает воспроизводимый подход к оценке и контролю исторического контекста при генерации радиологических заключений в динамике.

Мы представляем новые методы супер-разрешения для двух классов диффузионных моделей. Первый класс — легковесные модели, которые не используют предобученные text-to-image модели. Предложенный метод на основе одношаговой дистилляции модели ResShift достигает лучшего баланса между перцептивным качеством и эффективностью среди конкурентных лёгковесных моделей размером до 200М параметров. Для этого выводится новый алгоритм на основе обучения вспомогательной модели ResShift и коррекции учителя с помощью перцептивных и адверсариальных потерь на реальных данных. Второй класс опирается на предобученные генеративные модели и предназначен для задач, где качество критично. Для него мы представляем Kandinsky-SR — открытые модели промышленного уровня для изображений и видео. Картиночная модель — диффузионный трансформер на 6 млрд параметров, инициализированный из Kandinsky 5. Она восстанавливает детали за один шаг, а обучение на пиксельных перцептивных, адверсариальных и частотных потерях подавляет артефакты. Видеомодель увеличивает разрешение в латентном пространстве видео-VAE в 2 или 4 раза, сохраняя согласованность кадров. Она обучается в два этапа с последующей дистилляцией в малошаговую модель.

Интеграция искусственного интеллекта (ИИ) в процессы медицинской диагностики требует надежных и последовательных методов оценки, обеспечивающих достоверность, клиническую значимость и учет присущей экспертным заключениям вариабельности. Традиционные метрики, такие как точность (precision) и полнота (recall), зачастую не учитывают естественную вариабельность экспертных оценок, что приводит к непоследовательной оценке эффективности ИИ. Статистические показатели межэкспертного согласия, такие как каппа Коэна, более надежны, однако их интерпретация затруднена.

Мы предлагаем Relative Precision and Recall of Algorithmic Diagnostics (RPAD и RRAD) — новые метрики оценки, которые сопоставляют результаты ИИ с мнениями нескольких экспертов, а не с единственным эталонным заключением. Благодаря нормализации показателей с учетом расхождений между экспертами эти метрики обеспечивают более стабильную и реалистичную оценку качества прогнозируемого диагноза.

Помимо всестороннего анализа показателей качества диагностики, наше исследование содержит весьма важный побочный результат. Предлагаемая методология оценки позволяет отказаться от выбора диагноза из ограниченного списка при оценке конкретного случая. Вместо этого как тестируемые модели, так и проверяющие их эксперты формулируют диагноз в свободной форме. В рамках данной автоматизированной методологии установления эквивалентности клинических диагнозов, сформулированных в свободной форме, удается достичь впечатляющей точности в 98%.

Мы оцениваем наш подход на основе 360 медицинских диалогов, сравнивая несколько больших языковых моделей (LLM) с группой врачей. Наиболее эффективные модели демонстрируют уровень согласованности, сопоставимый с экспертным консенсусом или даже превосходящий его. Более того, мы показываем, что экспертные заключения характеризуются значительной вариабельностью — зачастую большей, чем расхождения между ИИ и людьми. Этот результат подчеркивает ограничения любых абсолютных метрик и подтверждает необходимость использования относительных метрик при оценке медицинского ИИ.

При редактировании изображений с помощью мультимодальных диффузионных трансформеров (MM-DiT) методы, не требующие дополнительного обучения, сталкиваются с необходимостью существенного компромисса: точное сохранение фона ограничивает возможности редактирования, а высокая степень соответствия текстовому запросу приводит к искажению исходной сцены и структуры объекта. Мы утверждаем, что это противоречие обусловлено неоптимальными стратегиями инъекции ключей и значений (KV-инъекции). Глобальная KV-инъекция обеспечивает чрезмерно жёсткое сохранение исходного изображения, тогда как инъекция, строго ограниченная маской, действует как локальный инпейнтинг, разрушая структурную идентичность редактируемого объекта. Мы представляем LayerVerse — оптимизационный подход, который решает эту фундаментальную дилемму выбора слоёв для KV-инъекции, распределяя выбранные слои между двумя различными ролями: инъекция с маской — для точного сохранения фона, а глобальная инъекция — для сохранения структуры редактируемого объекта. Мы формулируем оптимальное распределение слоёв как комбинаторную задачу, моделируем ошибку редактирования на основе попарных взаимодействий между слоями и находим глобально оптимальное решение этой задачи с помощью смешанного целочисленного линейного программирования (MILP). Благодаря одношаговому автоматическому маскированию, требующему небольших вычислительных затрат, LayerVerse легко интегрируется в методы редактирования на основе инверсии, не требующие дополнительного обучения, и демонстрирует весьма конкурентоспособные результаты на бенчмарке PIE-Bench.

Во многих приложениях больших языковых моделей необходимо учитывать длинный контекст. Для этого трансформеры обычно сохраняют предыдущие активации в большом KV-кэше на каждом слое, что требует значительного объёма памяти. Привлекательная альтернатива — сжатие контекста в память: прочитать текст один раз, сохранить в компактном состоянии и затем отвечать на запросы, используя это состояние. Мы исследуем такой подход в постановке, где модель должна отвечать без доступа к исходному контексту. Мы предлагаем GradMem — метод, который записывает контекст в память с помощью оптимизации, выполняемой отдельно для каждого нового примера. Получив контекст, GradMem делает несколько шагов градиентного спуска, обновляя небольшой набор префиксных токенов памяти и оставляя веса модели неизменными. Запись непосредственно направлена на уменьшение ошибки восстановления контекста самой моделью и не требует внешней разметки. Благодаря этому GradMem последовательно исправляет ошибки при записи, в отличие от методов, использующих только прямой проход. В задаче ассоциативного поиска по парам «ключ — значение» GradMem превосходит такие методы при одинаковом размере памяти, а дополнительные шаги градиентного спуска увеличивают её ёмкость значительно эффективнее, чем повторные прямые проходы для записи. Также показано, что возможности GradMem не ограничены синтетическими задачами: в сочетании с предварительно обученными языковыми моделями он достигает конкурентоспособных результатов на задачах обработки естественного языка, включая варианты bAbI и SQuAD, опираясь исключительно на информацию, закодированную в памяти.

Определение структуры и расположения генов по геномным последовательностям — задача, известная как de novo-аннотация генов, — является фундаментальной задачей в биологических исследованиях. Однако грамматика последовательностей, кодирующая структуру генов, достаточно сложная и мало изучена, поэтому для точной аннотации генов требуются дорогостоящие транскриптомные данные. В этой работе мы проводим сравнительный анализ существующих решений и разрабатываем новые методы аннотации генов. Мы показываем, что представления (эмбеддинги), полученные с помощью предобученных языковых моделей для ДНК (DNA LM), не отражают признаки, необходимые для точной сегментации генов, и что дообучение под эту конкретную задачу остается необходимым. Мы также оцениваем влияние архитектуры модели, стратегии обучения, размера контекстного окна, состава обучающего набора данных и методов аугментации данных на качество сегментации генов. Мы также пересматриваем стандартные метрики и показываем, что широко используемые метрики на уровне отдельных токенов и нуклеотидов не отражают в полной мере детали аннотации генов в реальных условиях. Мы вводим новые биологически обоснованные метрики, даем им теоретическое обоснование и предлагаем данных для бенчмаркинга других моделей, которые лучше отражают качество аннотации. Мы показываем, что дообученные языковые модели ДНК превосходят существующие инструменты аннотации и способны обобщаться на виды, отделенные от использованных при обучении на сотни миллионов лет эволюции, а также обеспечивают сегментацию ранее практически не поддававшихся аннотации длинных некодирующих РНК (lncRNA) и нетранслируемых областей белок-кодирующих генов (UTR). Таким образом, наши результаты закладывают основу для новых биологических приложений, основанных на точной аннотации генов.

SAASBench проверяет, способны ли модели предсказания аффинности антител отличать целевой антиген от потенциальных мишеней неспецифического связывания. Бенчмарк включает 20 панелей для одобренных терапевтических моноклональных антител: каждая содержит целевой антиген и пять отрицательных примеров из внеклеточных белков человека, сопоставленных по уверенности структурного моделирования и площади интерфейса. Результаты показывают, что некоторые модели предсказания аффинности ранжируют целевые антигены хуже случайного выбора, подчёркивая необходимость отдельной оценки специфичности.

Генерация последовательностей антител представляет собой сложную задачу, поскольку они сочетают консервативные каркасные участки с гипервариабельными петлями. Латентная диффузия привлекательна для решения этой задачи благодаря возможности гибкого задания условий и двунаправленной генерации. Однако стандартные подходы оказываются неэффективными. Глобальные расписания зашумления одинаково обрабатывают все позиции, поэтому модели хорошо усваивают предсказуемые каркасные участки, но плохо описывают разнообразные петли. Мы решаем эту проблему, обучая латентное пространство, в котором информация перераспределяется равномерно, что позволяет стандартной диффузии успешно справляться с задачей, ранее ей недоступной. При генерации с условием на вид организма для шести видов наш подход обеспечивает в 10 раз меньшее расстояние Фреше по сравнению с латентной диффузией без перераспределения информации. Метод поддерживает управление типом цепи, заполнение пропусков в петлях и генерацию парных цепей. Проверка с использованием пяти белковых энкодеров подтверждает независимость метода от выбора энкодера. Эти результаты показывают, что латентная диффузия может служить практическим инструментом для проектирования последовательностей антител.

Цель

Сравнить содержание фекальных короткоцепочечных жирных кислот (КЦЖК) у пациентов с болезнью Крона (БК) и язвенным колитом (ЯК) и оценить диагностическую значимость этих показателей для разграничения двух заболеваний.

Материалы и методы

В проспективное когортное исследование включены 34 пациента с БК и 29 пациентов с ЯК. Методом газожидкостной хроматографии определяли концентрации основных КЦЖК: уксусной (С2), пропионовой (С3) и масляной (С4) кислот, а также суммарное содержание разветвленных жирных кислот (изомасляной, изовалериановой и изокапроновой). Дополнительно рассчитывали общую концентрацию исследуемых КЦЖК с учетом их разветвленных форм и анаэробный индекс.

Результаты

У пациентов с БК выявлены статистически значимо более высокие концентрации основных КЦЖК по сравнению с пациентами с ЯК. Среднее содержание уксусной кислоты составило 3,29±1,40 и 1,61±0,80 мг/г соответственно (p < 0,001). Медиана концентрации пропионовой кислоты достигала 1,11 [0,75; 1,71] мг/г при БК против 0,47 [0,33; 0,79] мг/г при ЯК (p < 0,001), масляной кислоты — 1,12 [0,65; 1,63] и 0,46 [0,23; 0,65] мг/г соответственно (p < 0,001). Общая концентрация КЦЖК, включая разветвленные формы, также была выше в группе БК (6,44±3,06 против 3,34±1,79 мг/г; p < 0,001). При этом статистически значимых межгрупповых различий анаэробного индекса и суммарного содержания разветвленных КЦЖК не обнаружено.

На основании числа внекишечных проявлений и концентрации уксусной кислоты с помощью бинарной логистической регрессии разработана модель для оценки вероятности ЯК. Увеличение числа внекишечных проявлений на единицу сопровождалось снижением шансов наличия ЯК в 8,6 раза, а повышение концентрации уксусной кислоты на 1 мг/г — в 5,3 раза. Модель продемонстрировала высокую способность различать БК и ЯК (AUC=0,931; 95% ДИ: 0,863–0,999; p<0,001) при чувствительности 93,1% и специфичности 88,2%.

Выводы

Болезнь Крона и язвенный колит характеризуются различиями в содержании КЦЖК в образцах стула и числе внекишечных проявлений. Разработанная модель продемонстрировала высокую диагностическую информативность и может рассматриваться как дополнительный инструмент дифференциальной диагностики этих заболеваний. Вместе с тем ее применение требует дальнейшей валидации и не заменяет комплексную клиническую, эндоскопическую, лучевую и морфологическую оценку.

Цель

Оценить работоспособность, воспроизводимость и прогностические характеристики программного обеспечения AIOncoPredict для оценки индивидуального риска рака яичника (РЯ, C56 по МКБ-10) и рака поджелудочной железы (РПЖ, C25) в течение 1, 2 и 3 лет по данным электронных медицинских карт (ЭМК) пациентов первичного звена.

Материалы и методы

Ретроспективные предварительные клинико-технические испытания выполнены в соответствии с ГОСТ Р 59921.2-2021 на обезличенных данных ЭМК независимой когорты, не использованной при обучении моделей. Для каждой локализации применяли ансамбль моделей LightGBM, HistGradientBoostingClassifier и Random Forest. Различающую способность базовой и дообученной версий оценивали на наборах «случай — контроль» (НД-Т1): 500 пациенток с верифицированным РЯ и 500 контролей, сопоставимых по возрасту; 500 пациентов с верифицированным РПЖ и 500 контролей, сопоставимых по полу и возрасту. Прогностическую ценность и калибровку оценивали на когортных наборах (НД-Т2) с единой датой прогноза: 265 270 женщин в возрасте 18 лет и старше (412 случаев РЯ в течение 1 года) и 265 270 взрослых пациентов (368 случаев РПЖ); цензурирование учитывали методом взвешивания по обратной вероятности цензурирования (IPCW). Целевым значением считали ROC-AUC не менее 0,81 для каждого горизонта прогноза, статистическим подтверждением — превышение этого значения нижней границей 95% ДИ (метод DeLong). Дополнительно оценивали зависимость моделей от данных предиагностического периода, воспроизводимость расчёта, обработку некорректных данных и взаимодействие с тремя медицинскими информационными системами (МИС). Клиническую обоснованность признаков моделей оценивали эксперты — онкогинекологи, акушер-гинеколог и онкологи, специализирующиеся на опухолях органов пищеварения.

Результаты

На НД-Т1 ROC-AUC дообученной модели для РЯ составила 0,798 (95% ДИ: 0,761–0,835), 0,774 (95% ДИ: 0,735–0,813) и 0,752 (95% ДИ: 0,711–0,793) для горизонтов 1, 2 и 3 года соответственно против 0,615, 0,592 и 0,571 для базовой модели; для РПЖ — 0,756 (95% ДИ: 0,716–0,796), 0,731 (95% ДИ: 0,689–0,773) и 0,709 (95% ДИ: 0,665–0,753) против 0,573, 0,549 и 0,527. При заранее установленном пороге отнесения к группе риска чувствительность и специфичность для горизонта 1 год составили 80,4% и 77,1% для РЯ, 71,3% и 87,6% для РПЖ. Исключение событий за 90 дней до даты прогноза, включая определение онкомаркеров CA-125 и CA 19-9 и лучевые исследования, снижало ROC-AUC на 0,021 (РЯ) и 0,018 (РПЖ).

На НД-Т2 для горизонта 1 год ROC-AUC составила 0,798 (95% ДИ: 0,744–0,852) для РЯ и 0,756 (95% ДИ: 0,698–0,814) для РПЖ, чувствительность — 80,4% и 71,3%, прогностическая ценность положительного результата (PPV) — 81,6% и 87,8%, что соответствует 1,3 и 1,2 пациентам группы риска на один случай заболевания. Отношение наблюдаемого числа случаев к ожидаемому (O/E) составило 0,97 (95% ДИ: 0,89–1,05) и 1,03 (95% ДИ: 0,94–1,12), калибровочный наклон — 0,94 (95% ДИ: 0,82–1,06) и 0,96 (95% ДИ: 0,84–1,08) соответственно. Из 20 наиболее значимых признаков каждой модели эксперты отнесли к известным факторам риска или ранним признакам заболевания 14 для РЯ и 11 для РПЖ. Максимальное расхождение рассчитанных вероятностей при повторных запусках и на другом сервере составило 0,0003 (допустимое значение — 0,001), время обработки — 42 с (РЯ) и 38 с (РПЖ) на 1000 пациентов. Данные всех трёх МИС обработаны корректно, персональные данные в выходных файлах и журналах не обнаружены.

Выводы

Программа AIOncoPredict продемонстрировала техническую готовность, воспроизводимость результатов и различающую способность, соответствующую целевому уровню, в отношении риска рака яичника и рака поджелудочной железы на горизонтах 1–3 года. Результаты, полученные на когортных наборах, позволяют оценить ожидаемую нагрузку на дообследование при естественной частоте заболеваний. Вместе с тем ретроспективный характер испытаний не позволяет оценить влияние программы на выявляемость и стадию заболевания. Её применение требует проспективной валидации, и программа должна рассматриваться как инструмент формирования групп риска, дополняющий, но не заменяющий клиническое обследование.