Parallel Web Systems представляет API поиска: самый точный веб-поиск для агентов ИИ

Параллельные веб-системы Стартап, специализирующийся на создании новой веб-инфраструктуры, адаптированной для агентов ИИ, запустил Parallel Search API — инструмент веб-поиска, специально разработанный для оптимизации доставки релевантных веб-данных с минимальными затратами на токены. Это нововведение направлено на предоставление более точных ответов, сокращение количества обращений и снижение затрат для агентов ИИ.

Традиционные поисковые системы разработаны для пользователей-людей. Они ранжируют URL-адреса, предполагая, что пользователи перейдут на страницу, оптимизируя поиск по ключевым словам, CTR и макеты страниц, удобные для просмотра, — всё это выполняется за миллисекунды и с минимальными затратами. Первое поколение поисковых API на основе ИИ пыталось адаптировать эту ориентированную на человека модель поиска для ИИ, но не полностью отвечало уникальным требованиям AI-агенты .

В отличие от пользователей-людей, поиск на основе ИИ требует иного подхода: вместо ранжирования URL-адресов по кликам пользователей основное внимание уделяется определению наиболее релевантных токенов для размещения в контекстном окне ИИ-агента, чтобы помочь ему выполнить задачу. Цель заключается не в оптимизации для взаимодействия с человеком, а в улучшении процесса рассуждений и принятия решений в рамках модели ИИ.

Эта новая архитектура поиска включает в себя несколько ключевых инноваций: она использует семантические цели, выходящие за рамки сопоставления ключевых слов, чтобы уловить намерение агента, отдает приоритет релевантности токенов по сравнению с метриками страницы, ориентированными на человека, предоставляет сжатую и высококачественную информацию для рассуждений и решает сложные запросы с помощью одного поискового вызова вместо нескольких шагов.

Используя эту поисковую модель, ориентированную в первую очередь на ИИ, агенты могут получать доступ к более насыщенным информацией веб-токенам в своем контекстном окне, что приводит к уменьшению числа поисковых вызовов, повышению точности, а также сокращению затрат и задержек.

Развитие сложного веб-поиска из нескольких источников для агентов ИИ 

Хотя многие существующие поисковые системы ориентированы на ответы на простые вопросы, ожидается рост потребности в более сложном, многоаспектном поиске. Как пользователям, так и агентам ИИ всё чаще будут требоваться ответы, включающие синтез информации из нескольких источников, рассуждения о сложных задачах и доступ к труднодоступному веб-контенту.

Чтобы удовлетворить растущий спрос, компания Parallel оценила производительность своего поискового API с помощью различных тестов: от сложных многоадресных задач (например, BrowseComp) до более простых одноадресных запросов (например, SimpleQA).

Parallel продемонстрировал преимущество при обработке более сложных запросов — тех, которые охватывают несколько тем, требуют глубокого понимания сложного для сканирования контента или синтеза информации из разрозненных источников. В тестах, разработанных для многошагового анализа, таких как HLE, BrowseComp, WebWalker, FRAMES и Batched SimpleQA, Parallel не только обеспечивал более высокую точность, но и решал запросы эффективнее, используя меньше этапов анализа.

Традиционные поисковые API, как правило, требуют нескольких последовательных поисков, что увеличивает задержку, расширяет контекстные окна, увеличивает стоимость токенов и снижает точность. В отличие от этого, подход Parallel позволяет обрабатывать более сложные запросы за один поисковый вызов, что приводит к уменьшению количества последовательных запросов, повышению точности, снижению затрат и уменьшению задержки.

При тестировании на более простых одношаговых тестах, таких как SimpleQA, которые включают простые фактические запросы, Parallel продолжал работать хорошо, хотя потенциал повышения точности в этих сценариях более ограничен из-за характера запросов.

Способность Parallel достигать передовых результатов – результат двух лет разработки надежной инфраструктуры для оптимизации каждого уровня процесса поиска и постоянного повышения производительности благодаря обратной связи. Система ориентирована на индексацию сложного для сканирования веб-контента, такого как многомодальные, длинные PDF-файлы и веб-сайты с большим количеством JavaScript, минимизируя нагрузку на владельцев веб-сайтов. Веб-индекс Parallel – один из самых быстрорастущих: ежедневно обновляется более 1 миллиарда страниц.

Parallel использует подход к ранжированию, отличный от традиционного поиска. Вместо ранжирования URL-адресов на основе кликабельности, основанной на человеческом опыте, он фокусируется на выявлении наиболее релевантных и авторитетных токенов для рассуждений на основе большой языковой модели (LLM). Собственные модели Parallel оценивают релевантность токенов, авторитетность страниц и доменов, эффективность контекстного окна и кросс-источниковую валидацию, отдавая приоритет качеству, а не показателям вовлеченности.

API параллельного поиска: расширение возможностей систем искусственного интеллекта с помощью высококачественных веб-данных в режиме реального времени 

Сегодня самые передовые разработчики выбирают создание и развертывание систем ИИ с использованием поиска на базе Parallel. Эти организации протестировали различные альтернативы и осознали, что качество веб-данных напрямую влияет на решения, принимаемые их ИИ-агентами. Будь то кодирующий агент Sourcegraph Amp, исправляющий ошибки, Claygent, оптимизирующий каждое решение о выходе на рынок (GTM), Starbridge, раскрывающий запросы предложений от государственных органов, или ведущая страховая компания, которая андеррайтингирует страховые требования более эффективно, чем андеррайтеры-люди, — производительность этих систем зависит от точности и релевантности веб-данных, на которые они опираются.

Собственный API поиска Parallel служит базовой инфраструктурой для поддержки веб-агентов. Например, API параллельных задач, обрабатывающий сложные многоэтапные запросы на обогащение и исследование, построен на API поиска. Каждый запрос API задач, выполняемый в рабочей среде, использует API поиска для безупречной работы в фоновом режиме.

Такой архитектурный подход задаёт высокие стандарты для Parallel, поскольку любое улучшение производительности поиска, уменьшения задержек или качества напрямую влияет на производственные системы, ежедневно обрабатывающие миллионы запросов. Любой случай неэффективности или неточности в поисковом API немедленно отражается на продуктах, которые от него зависят.

В результате инфраструктура Parallel постоянно совершенствуется и проходит испытания в реальных условиях, характерных для рабочих нагрузок, основанных на работе агентов. Ключ к эффективному выполнению задач агентом заключается в максимизации сигнала и минимизации шума в его контекстном окне. API Parallel Search гарантирует, что агенты получают наиболее релевантный, сжатый контекст из сети, что повышает их способность точно и эффективно выполнять задачи.