Новостной поток быстро обновляется и содержит много повторов. Не каждый заголовок влияет на вашу жизнь, работу или решения. SmartNewsAI помогает сократить шум и собрать важное в одном месте.
Наша нейросеть анализирует 33 RSS-источника каждые 15 минут: Reuters, CNBC, РИА, ТАСС, RT, Lenta, РБК, VC, Habr, NYT и другие. Из общего потока выбираются главные новости и кластерные разборы. Вот как это работает.
Содержание
1. Сбор: 33 RSS-источника в реальном времени
Каждые 15 минут парсеры SmartNewsAI опрашивают RSS-ленты крупнейших медиа. Не сайты целиком — только свежие заголовки и анонсы. Это экономит трафик и ускоряет процесс.
Источники разделены на категории:
- Мировые: Reuters, BBC, CNBC, NYT, The Guardian
- Российские: РИА, ТАСС, RT, Lenta, РБК, Интерфакс
- Технологии: VC, Habr, TechCrunch, Ars Technica
- Крипто: CoinDesk, CoinTelegraph
- Наука: Nature, Science Daily
За один цикл система получает свежие публикации из доступных RSS-лент. Их количество зависит от текущего новостного потока.
2. Первичная фильтрация: отбрасываем мусор
Не все новости одинаково полезны. На этом этапе отсекаются:
- Кликбейт («Шок!», «Срочно!», «Вы не поверите!»)
- Таблоиды и слухи
- Новости без подтверждённых источников
- Рекламные материалы под видом новостей
- Дубли одного события от одного агентства
После первичной фильтрации остаётся часть публикаций; её объём зависит от новостного потока.
3. AI-анализ: что действительно важно
Здесь работает нейросеть. Каждая новость оценивается по нескольким параметрам:
Весовые коэффициенты:
- Геополитическая значимость (×3) — войны, санкции, договоры
- Экономическое влияние (×2.5) — курсы валют, рынки, крипто
- Технологический прорыв (×2) — AI, космос, медицина
- Социальный резонанс (×1.5) — законы, протесты, выборы
- Экстренность (×2) — стихии, теракты, ЧП
Новость про повышение ставки ФРС получит высокий балл. Новость про победу футбольной команды — низкий (если только это не финал ЧМ).
4. Дедупликация: убираем повторы
Одно событие освещается 10-15 источниками. Reuters, BBC и РИА могут написать про одно и то же заседание ФРС.
Алгоритм сравнивает заголовки, сущности и числа. Если материалы описывают одно событие, система старается не публиковать повтор; конфликты сущностей и чисел защищают от ложного объединения разных событий.
5. Финальная выборка: главные материалы из общего потока
После всех фильтров выбираются главные новости и кластерные разборы по суммарному score и разнообразию тем.
Каждый пост обогащается:
- AI-анализом события (2-3 предложения контекста)
- Подходящим изображением
- Кнопками реакций (👍 👎 🔥)
«Публикуется только часть новостного потока. Отбор автоматический, поэтому важные факты стоит сверять с первоисточником».
Результаты: как оценивать качество отбора
Вместо обещания фиксированной «точности» мы проверяем конкретные признаки: ссылки на существующие материалы, корректную атрибуцию источника, сохранность абзацев в фидах и защиту от повторной публикации одинаковых событий.
Автоматический отбор не исключает ошибок. Нашли неточность — сообщите через страницу контактов, а важные факты сверяйте с первоисточником.
Это не замена чтению новостей — это фильтр шума. Вы получаете только то, что влияет на мир, экономику и ваши решения.