Как мы меряем: что нейросети отвечают о туркомпаниях

Туристы всё чаще спрашивают нейросети, кому доверить поездку и как проверить туроператора. Мы задаём нейросетям такие же вопросы, сохраняем ответы без изменений и считаем, какие компании они называют, какие сайты берут за источники и советуют ли проверить компанию в государственном реестре. Каждую названную компанию мы сверяем с реестром. Результат: открытое исследование по отрасли и отчёт каждой компании о ней самой.

• Вопросы нейтральные, как спрашивает турист или турагент: без названий компаний, без рекламы, без персональных данных.
• Волна 0 (ноябрь 2026): 45 вопросов. Двенадцать направлений по России (Москва, Петербург, Карелия, Байкал, Алтай, Камчатка, Дальний Восток, Кавказ и Сочи, Золотое кольцо, Калининград, Татарстан, Мурманск) умножить на три намерения: «кому доверить тур», «какой туроператор организует», «надёжный ли и как проверить». Плюс девять общих вопросов, два из них по-английски о въездном туризме.
• Полный список вопросов публикуется вместе с результатами. Формулировки не меняются внутри волны; если меняются к следующей волне, старые ответы остаются привязаны к старой формулировке.

• Ответ нейросети меняется от запроса к запросу, поэтому каждый вопрос задаётся три раза.
• Порядок «вопрос × нейросеть × повтор» перемешан случайно, ключ перемешивания записан: так изменение поведения нейросети за время замера не совпадает с группой вопросов.
• Все вопросы одной волны задаются в один короткий период, даты публикуются.

Начиная с волны 21.11 перечень нейросетей, версии моделей и даты волны публикуются до замера. Как это было в волне 0, сказано в разделе «Порядок публикации».

Пока API Алисы не подключён, 15 вопросов из 45 снимаются вручную в веб-чате Алисы по протоколу сборщика (решение о захвате интерфейсов в методике сборщика, ручной режим). Список вопросов опубликован заранее (data/alisa_15_voprosov.json): каждое из 13 направлений один раз, намерения по кругу, плюс два общих вопроса; порядок съёмки перемешан, ключ перемешивания записан.

1. Условия. Без входа в аккаунт, чистый профиль браузера без истории и cookies, новый чат на каждый вопрос и каждый повтор. Выход в интернет из России, один и тот же на весь замер (страна и регион записываются). Локаль ru-RU, часовой пояс Москва, настольный браузер с фиксированным размером окна; браузер и версия записываются.
2. Повторы. Каждый вопрос три раза, итого 45 захватов. Вопрос задаётся дословно, без уточнений и продолжения диалога.
3. Снимок. После окончания генерации (текст не меняется несколько секунд) раскрывается панель источников, страница сохраняется как HTML, делается скриншот, в файл условий записываются оператор (псевдоним), время начала и конца, регион выхода, браузер, показал ли интерфейс поиск и название модели.
4. Импорт. Снимок импортируется в задание сборщика командой capture; сырой снимок после этого не меняется и не удаляется. Разбор упоминаний и источников делается по сохранённой странице; до появления парсера интерфейса упоминания размечаются вручную двумя людьми независимо, расхождения разбираются.
5. Чего не делаем. Не обходим капчу и защиту, не меняем адреса выхода, не используем личные аккаунты. Если интерфейс заблокировал ответ, это записывается как «заблокировано» и считается пропуском.
6. Как публикуем. Цифры Алисы в волне 0 помечены «по интерфейсу, 15 вопросов» и с цифрами ChatGPT по API напрямую не сравниваются: разные поверхности и разный набор вопросов. Сверка «интерфейс против API» для Алисы будет сделана, когда появится API.

Запросы к ChatGPT идут через посредника OpenRouter к модели gpt-5-mini с родным веб-поиском OpenAI. Пробный вызов 07.11.2026 показал: ответ, цитаты, признак поиска и названные компании разбираются как обычно. Посредник не отдаёт список всех страниц, которые нашёл поиск, поэтому в этом канале считаем только источники, которые нейросеть процитировала или на которые сослалась в тексте. Регион запроса передаётся как Россия, но посредник не подтверждает, что учитывает его; это записано как оговорка. С прямым доступом к OpenAI в следующих волнах канал будет пересобран, и его цифры с волной 0 будут сравниваться с этой оговоркой.

Все числа публикуются с числителем, знаменателем и 95-процентным интервалом. Интервал считается методом кластерного бутстрэпа по вопросам: три ответа на один вопрос похожи друг на друга, поэтому «кластер» это вопрос, а не ответ.

• Доля ответов с упоминанием: в скольких ответах из всех названа хотя бы одна компания из группы (например, участники конгресса; региональные операторы; крупные федеральные операторы как ориентир).
• Группы участников (одно определение для сцены, страниц и отчётов). Участников конгресса в списке 68. Из них 6 входят в группу ориентиров (крупные операторы, которые одновременно участники: Интурист, PEGAS, Coral, TEZ, ANEX, Слетать.ру), 15 это партнёры и объединения (страховщики, ассоциации, ПО, обучение), 47 это туроператоры-участники: именно их доля и доля голоса публикуются как «участники». «Названный участник» это компания, у которой после ручной проверки есть хотя бы одно засчитанное упоминание в волне. Число названных всегда даётся с группой: «названы 3 из 47 туроператоров-участников», отдельно «6 из 6 ориентиров-участников», отдельно объединения.
• Доля голоса: упоминания группы делить на упоминания всех отслеживаемых компаний; компания считается один раз на ответ.
• Срезы: по намерению вопроса, по направлению, по сегменту компаний, по каналу. Каналы не складываем и не усредняем: каждый отдельно.
• Сверка с реестром: каждая названная компания, и из нашего списка, и извлечённая из текста ответа, ищется в индексе государственных реестров (единый федеральный реестр туроператоров и турагентов, список исключённых) по тем же правилам, что на странице «Проверить». Публикуем долю названных компаний, которые есть в реестре.
• Советует ли нейросеть проверить реестр: доля ответов со словами «реестр», «финансовое обеспечение», «Турпомощь».
• Источники: какие сайты нейросеть показала как источники ответа, по доменам, с долей ответов.

• Для каждой компании заранее записаны варианты написания: полное и короткое название, латиница, падежи. Список проверяется на придуманных фразах до замера.
• Слова, которые совпадают с обычными (условные примеры: «Горизонт», «Старый парк», «Берега») или с названиями других компаний в других регионах (условные примеры: «Меридиан», «Вояж-Тур»), засчитываются только с большой буквы, а каждое такое упоминание проверяют два человека независимо: оно считается, если рядом цитата на сайт компании или контекст совпадает с тем, что компания продаёт. Спорные омонимы без цитаты на домен компании в числа не входят; разметка публикуется вместе с данными.
• Компании, которых нет в нашем списке, извлекаются из обезличенного текста ответа отдельной моделью и тоже сверяются с реестром. Это приблизительная часть замера, она так и помечается.
• Названия компаний внутри адресов сайтов и ссылок упоминанием не считаются.

• Полнота сбора: сколько ответов получено из запланированных, по каждому каналу. Если меньше 90%, цифры канала не публикуются.
• Мало данных: срез, в котором меньше 10 вопросов (например, одно направление с тремя вопросами), показывается без интервала с пометкой «мало данных».
• Что не говорим: не называем компанию «надёжной» или «лучшей»; не сравниваем волны с разными вопросами; не утверждаем, что сайт или платформа влияет на ответы нейросетей; не обещаем рост видимости. Это снимок ответов на дату, не рейтинг и не прогноз.
• Имена: в открытом отчёте результаты участников даются сводно по сегментам, по имени только крупные операторы-ориентиры. Десять ориентиров названы в методике заранее и независимо от участия в конгрессе: это крупные федеральные бренды, и правило «участники по имени не показываются», которое защищает от показа низкой видимости, на них не распространяется, даже если такой оператор одновременно участник. Именные данные компания получает в собственном отчёте.

Зачем отдельные замеры.

Вопросы основной волны задаёт турист, который выбирает поездку. Страховщиков, отраслевые объединения и учебные организации на такие вопросы не называют по природе вопроса, поэтому общий замер ничего о них не говорит. Для них мы задаём другие вопросы, но считаем по той же методике.

Вопросы.

• Три замера: страхование и ассистанс, объединения туристической отрасли, образование и стажировки.
• В каждом 15 нейтральных вопросов без названий компаний и персональных данных. Вопросы разбиты на три блока по пять, по тому, кто спрашивает: турист, компания, специалист.
• Каждый вопрос задаётся три раза, порядок перемешан, ключ перемешивания записан. Всего 45 ответов на замер.
• Канал: ChatGPT с веб-поиском через API, те же настройки, что в основной волне.
• Полный список вопросов публикуется вместе с результатами.

С кем сравниваем.

• Заранее задан стартовый список организаций: участники конгресса и крупные игроки категории.
• После прогона в список добавляется любая организация, которую нейросеть назвала хотя бы в трёх ответах. Пересчёт идёт по сохранённым ответам, новых запросов нет. Итоговый список публикуется, потому что доля голоса зависит от него.

Как считаем.

• Основное число: в скольких ответах из 45 названа организация, с числителем, знаменателем и 95% интервалом.
• Интервал считается по всему набору из 15 вопросов. В блоке пять вопросов, поэтому по блокам показываем только числитель и знаменатель.
• Названия, похожие на обычные слова, сопоставляются строго. Спорные упоминания проверяют два разметчика, а при расхождении упоминание не засчитывается.

Чем сверяем вместо реестра туроператоров.

Если у учебной организации есть номер в реестре туроператоров, он показывается отдельно.

Чего не делаем.

• Не складываем числа разных категорий и не сравниваем их с основной волной.
• Не ранжируем участников, если их интервалы перекрываются. Других участников конгресса по имени не показываем.
• Не обещаем рост упоминаний.

Ограничения.

• Один канал, по API. Это не то же самое, что видит человек в интерфейсе ChatGPT.
• Вопросы составила команда, а не взяла из статистики спроса.
• Учебные организации работают на разных рынках, поэтому каждая оценивается и по всему набору, и по своему блоку. Сравнивать их между собой нельзя.

Волна 0 и замеры по категориям (ноябрь 2026): основа методики зафиксирована до прогона и открыта на сайте вместе с результатами. Начиная с волны 21.11 методика публикуется до замера.

Все версии открыты на сайте 08.11.2026 вместе с результатами.

• Сырые ответы хранятся без изменений с датой, моделью и отправленным запросом; разбор (упоминания, источники) пересчитывается из них. Каждое число сводится к конкретным сохранённым ответам.
• Инструмент сбора: geo-collector (методолог сборщика), SQLite, резервная копия с контрольной суммой.
• Ключи доступа к нейросетям в данных не хранятся. Персональных данных в вопросах, ответах и отчётах нет.
• По запросу исследователям передаются обезличенные ответы волны.

Исследование проводит ООО «ИИМПАКТ ПЛЮС», оператор платформы ии-туризм.рф. Первую волну оплачивает оператор. Спонсоры следующих волн, если будут, указываются в отчёте волны; спонсор на методику и выводы не влияет, методика утверждается до договора.