Pусский
English
Недавно появились возможности организации мониторинга сети, используя новые устройства, называемые генераторы NetFlow (пример). Но прежде, чем обсуждать детали новой технологии, вспомним (это будет полезно тем, кто еще только начинает вникать в эту тему), что же такое NetFlow.
NetFlow и IPFIX - это технологии мониторинга сети, позволяющие глубже взглянуть на сетевой трафик. NetFlow был разработан Cisco и позднее стандартизован в IPFIX в RFC 5101. Традиционно NetFlow является функцией маршрутизаторов, коммутаторов, файерволов и других сетевых устройств. Эта технология поддерживается даже виртуализованными платформами, такими как VMware vSphere 5.0 и выше. Любое устройство, способное генерировать пакеты NetFlow, называется экспортером. В эти пакеты записывается информация о потоках трафика, проходящих через экспортер. Элементы данных, такие как количество пакетов, адреса источника и приемника, MAC-адрес и многое другое, сохраняется в памяти экспортера в структуре, носящей название кэш. Через определенные промежутки времени эти потоки помещаются в UDP-датаграммы и пересылаются через сеть в коллектор NetFlow. Рисунок внизу иллюстрирует этот процесс.
Включенный NetFlow используется для различных сетевых операций и задач обеспечения безопасности, таких как:
  • Мониторинг сетевой производительности
  • Контроль сетевой безопасности (DoS, APT, утечки данных, обнаружение нарушения сетевых политик и т.п.)
  • Мониторинг VoIP
  • Соответствие требованиям регулирующих органов
  • Контроль использования полосы пропускания и тарифный учет 
  • Планирование емкости
  • Исследование и анализ сети, обеспечение реагирования на инциденты

Ваше оборудование не поддерживает NetFlow? Это не проблема, используйте генераторы NetFlow

Хотя сегодня практически все производители сетевого оборудования включают поддержку NetFlow в функциональность своей продукции, все еще существуют сети, в которых используется техника, не применяющая NetFlow. Это может быть оборудование, не поддерживающее NetFlow, или техника, в которой вы не хотите использовать эту функциональность, опасаясь влияния NetFlow на загрузку процессора или памяти. В любом случае альтернатива существует. Это генераторы NetFlow.
Генератор NetFlow - это сетевое устройство или программный "демон", который пассивно захватывает сетевые пакеты и переводит их в записи NetFlow. В сети это выглядит следующим образом:
Генераторы NetFlow подключаются точно так же, как и традиционные пассивные IDS или пакетные снифферы. Они используют "порт захвата", который подключается к сетевому SPAN-порту или TAP. Большинство генераторов NetFlow работают на базе Linux и используют стандартное оборудование. Опыт показывает, что программные генераторы, как правило, имеют более продвинутый функционал и легче расширяются в будущем. Если вам не требуются исключительная скорость типа 10Gbps+, то программные генераторы NetFlow вас вполне устроят.
Варианты и сценарии внедрения генераторов NetFlow
  • Подключение к устройству, не поддерживающему экспорт NetFlow
    Обычное включение генератора - это в областях сети, где сетевое оборудование не поддерживает экспорт NetFlow. Например, многие коммутаторы типа layer-2 не поддерживают NetFlow. В некоторых случаях у вас есть старое оборудование, которое хорошо работает и вас во всем устраивает, но в нем нет экспорта NetFlow. Использовать генератор NetFlow дешевле, чем менять оборудование на новое, поддерживающее экспорт потоков. Кроме того, хотя некоторые файерволы уже поддерживают NetFlow, большая часть из них все-таки пока нет.
  • Добавление к устройствам, которые осуществляют только выборку пакетов (sFlow/выборочный NetFlow)
    Сейчас много спорят по поводу, какой режим лучше использовать - выборку потоков или без выборки. Аналитики в сфере безопасности и большинство сетевых инженеров считают, что выборке не хватает точности, необходимой для правильного анализа, и деталей. В ситуации, когда у вас есть только выборочные потоки (например, при использовании устройств, экспортирующих sFlow), генератор NetFlow очень полезен, для сбора всего NetFlow.
  • Обновление критических мест, где вам необходима глубокая инспекция пакетов (deep packet inspection, DPI)
    Даже, если вы уже собираете NetFlow от главного коммутатора или маршрутизатора, полезно установить генератор NetFlow для получения большей детализации содержимого пакета. Большинство генераторов позволяют пользователям захватывать пакеты для того, чтобы видеть детали "сырых" пакетов. Большая часть сохранять эти данные в формате pcap, для того, чтобы затем импортировать их в анализаторы пакетов, такие как Ethereal. Большинство генераторов NetFlow поддерживают продвинутые функции, такие как расчет задержки, определение приложений и экспорт HTTP URL.
  • Разгрузка маршрутизаторов от обработки NetFlow
    Некоторые старые сетевые устройства, такие как Cisco Catalyst 6500 с Sup2 или Sup1A, могут подвергнуться большой нагрузке, если будет включена обработка NetFlow. Очень часто сетевые администраторы из-за этого просто боятся включать NetFlow. В этом случае именно генератор NetFlow может быть подходящим решением. Вместо того, чтобы включать строенный NetFlow на маршрутизаторе, вы просто устанавливаете зеркало или SPAN для соответствующего порта генератора.
  • Помощь в преодолении различных сервисных и "политических" проблем провайдеров
    Иногда "политические" или межличностные ситуации внутри организации тормозят использование NetFlow:
    • В частности, в удаленных офисах провайдер часто контролирует абонентское оборудование. Многие сервис-провайдеры не позволяют включать экспорт NetFlow, опасаясь потенциальных проблем с SLA. Другие требуют единовременной или ежемесячной платы. Генератор NetFlow может использоваться  для обхода этой проблемы, исключая вообще сервис-провайдера из схемы.
    • Другая "политическая" проблема может возникнуть внутри департаментов. Сотрудники подразделения информационной безопасности стараются масштабно использовать NetFlow для обеспечения сетевой безопасности и реагирования на инциденты. Если существуют какие либо трения между сетевым департаментом и подразделением сетевой безопасности, администраторы сети могут не захотеть пересылать NetFlow в анализатор потоков подразделения безопасности. Поскольку генератор NetFlow требует только наличия SPAN-порта (к которому подразделение безопасности обычно имеет доступ), то часто это позволяет безопасникам обойти сотрудников сетевого департамента "огородами".

Функциональность генераторов NetFlow

Хотя все генераторы NetFlow и передают эти данные, не все генераторы одинаковы. И NetFlow v9 и IPFIX используют собственный формат записи, который позволяет экспортеру посылать поля потоков любого типа в любом порядке. Почти все может быть послано с NetFlow v9, при этом коллектор NetFlow знает, как обрабатывать поля. Список ниже дает некоторый обзор функциональности, которая требуется сегодня для генераторов NetFlow:
  • Минимум 2 порта захвата и 1 порт управления   
    Генератор должен быть снабжен минимум двумя портами захвата трафика и одним портом управления. Традиционные Ethernet taps требуют один порт захвата для отправки и дополнительный порт захвата для получения. В дополнение к порту захвата необходим интерфейс управления для доступа к генератору и экспорту потоков.
  • Опция кэширования или мульти-кэширования
    Некоторые генераторы NetFlow , такие как Lancope FlowSensor или nProbe, позволяют использовать или один NetFlow-кэш для всех интерфейсов, или отдельный кэш для каждого интерфейса. Мульти-кэширование используют, когда коллектор поддерживает дедупликацию NetFlow, как это делает, в частности, оборудование Lancope StealthWatch.
  • Информированность о типах приложений
    Генераторы NetFlow класса high-end обычно имеют опцию определения типа приложений. Эта функция позволяет генератору просматривать загружаемые пакеты и самостоятельно идентифицировать приложения на уровне layer-7 без использования номера порта. Поле "идентификатор приложения" (application-id) экспортируется и сообщает коллектору истинную природу трафика, который он контролирует. Учитывая миграцию большей части трафика приложений в http (порт 80), эта функция может существенно облегчить жизнь.
  • Задержка, потери, и другие показатели сетевой производительности
    Функция экспорта данных задержки очень полезна, особенно экспорт RTT или SRT. RTT - это "round trip time", время за которое пакет путешествует от клиента к серверу и обратно. RTT измеряет задержку сети и очень похожа по своему смыслу на ping. SRT - это  "server response time”, т.е. время, за которое серверная часть потока тратит на ответ на запросы, такие как HTTP GET или POST. Некоторые генераторы, кроме того, предоставляют статистику о голосе и видео.
  • Информация о HTTP
    Широкое распространение HTTP в приложениях от P2P до IM (instant messaging) приводит к тому, что часто полезно видеть реальный конкретный URL и информацию о хосте для данного http-потока. Такую информацию предоставляют, например, Lancope FlowSensor и nProbe.
  • Большой кэш
    Одно из основных преимуществ генераторов NetFlow  - это именно наличие объемного кэша. В обычном роутере (или коммутаторе) обработка NetFlow должна делить память с другими функциями внутри роутера. Память в этих устройствах дорога и кэш, как правило, малого размера (128K потоков или меньше). Если кэш маленький и переполняется при интенсивной работе сети, экспортер начинает терять пакеты и коллектор будет ошибаться в отчетности по загрузке полосы.  Мощный генератор NetFlow должен иметь возможность масштабировать свой кэш до уровня 1 млн. потоков или больше.
  • Экспорт по нескольким направлениям
    Генератор должен иметь возможность экспортировать данные в несколько коллекторов в различные порты.
  • Поддержка IPFIX
    Все экспортеры NetFlow, включая генераторы NetFlow, сегодня должны поддерживать IPFIX. В ближайшем будущем NetFlow v9 будет повсеместно замещаться стандартом IPFIX.
  • Фильтрация потоков
    Некоторые генераторы NetFlow, такие как Cisco NGA, позволяют пользователям фильтровать определенные типы трафика. Эта опция полезна в средах с большим объемом трафика, где вы хотите видеть только некоторое подмножество трафика.

Генераторы NetFlow, которые мы рекомендуем

Lancope FlowSensor
Полнофункциональный генератор NetFlow  уровня корпорации. Централизованное управление и диагностический веб-интерфейс  пользователя помещает это устройство среди элиты аппаратных генераторов NetFlow. FlowSensor поддерживает глубокую инспекцию пакетов (deep packet inspection, DPI), в т.ч. определение приложени, экспорт статистики TCP-задержки и URL.
nProbe
Оригинальный и один из наиболее сложных генераторов NetFlow. Поддерживает экспорт задержки, URL, информации о приложениях и т.п. Это программный генератор, поэтому может быть установлен прямо на сервере для экспорта NetFlow на уровне хоста.
nBox
Высокопроизводительный аппаратный генератор на базе nProbe.
Endace NetFlow Generator
Высокопроизводительный аппаратный генератор. Endance известна своими высокоскоростными продуктами и это устройство характеризуется этим же и его стоит учитывать при выборе. К сожалению, Endace NetFlow Generator  не имеет ряда более сложных функций, таких как определение типа приложений.
Cisco NetFlow Generation Appliance (NGA)
NGA это одно из последних добавлений в портфель решений Cisco. Основанный на Flexible NetFlow, NGA является полнофункциональным генератором, который поддерживает такие продвинутые функции, как фильтрация трафика и определение приложений (NBAR2).
Yet Another Flowmeter (YAF)
Этот генератор NetFlow на базе open source является частью набора SiLK и поддерживается Software Engineering Institute at Carnegie Mellon. Имеет цену, с которой трудно конкурировать, но несколько сложен при настройке. Сложные функции тип определение приложений и расчет задержек не имеет.


В материале использована статья Адама Пауэрса
*RFC - Request for Comments, документ из серии пронумерованных информационных документов Интернета, содержащих технические спецификации и стандарты, широко применяемые во всемирной сети. Первичной публикацией документов RFC занимается IETF под эгидой открытой организации Общество Интернета (Internet Society, ISOC). Источник: http://ru.wikipedia.org/wiki/RFC.

Bookmark and Share                  netflowfaq_1.jpg

netflow_for_control_1.jpg

open_safety_box1_40x40.jpg Уменьшить затраты на мониторинг сети на 80%? Да, это реально.

Знаете ли вы, как уменьшить количество сетевых инструментов, которыми необходимо управлять и обслуживать, с одновременным уменьшением времени отклика на диагностирование сетевых проблем? Хотите ли вы иметь возможность видеть все сетевые процессы и уменьшить количество "белых пятен" сети? Уменьшить затраты, связанные с текучестью подписчиков, одновременно улучшив качество оказываемых пользователям услуг?

Для того, чтобы существенно уменьшить затраты на мониторинг распределенной сети (капитальные затраты (CAPEX) на 80%, операционные затраты (OPEX) на 50%), можно использовать Network Intelligence Optimization компании VSS Monitoring.

Далее...

Компания Web Control. Тел./факс: +7 (495) 925-7794
email: info@web-control.ru, 107023, г. Москва, Электрозаводская ул., д. 24
Яндекс.Метрика