ИТ-специалисты различают в основном два типа систем для мониторинга сети: на основе анализа flow-потоков и на основе анализа пакетов. Но современные вызовы, связанные с взрывным ростом пропускной способности сети, появлением новых платформ и гиперсвязностью, требуют уже не только простого совместного существования, а совместного использования этих двух разновидностей систем мониторинга сети. И это именно то, что мы предоставили ИТ-специалистам в решении Flowmon 10 с функцией Rolling Memory Buffer. Давайте посмотрим, какие возможности для проведения сетевой криминалистической экспертизы появились в этой версии.
Хотя системы на основе анализа сетевых потоков обеспечивают большую масштабируемость, им не хватает детализации на уровне пакетов. В то же время инструменты на основе анализа пакетов предоставляют подробные данные, но являются затратными и едва ли справляются с сегодняшним взрывным ростом пропускной способности. С помощью специального сетевого устройства под названием «Probe» (зонд), мы можем использовать преимущества этих двух технологий для криминалистического анализа. Зонд преобразует необработанные пакеты в точные (не дискретизированные) flow-данные, обогащенные информацией, извлеченной со всех сетевых уровней, а также предоставляет метрики производительности сети. Кроме того, он обеспечивает полный захват пакетов тогда, когда это необходимо.
Проще говоря, процесс обнаружения аномалий начинается с того, что flow-данные доставляются и обрабатываются на стороне Коллектора механизмом обнаружения аномалий, который распознает индикаторы компрометации, вредоносные действия, команды APT и т.д. «из коробки». Обнаружение вредоносной активности с помощью flow-данных является триггером для начала захвата пакетов с целью сбора данных сетевой активности для последующего криминалистического исследования.
Восстановление (почти) утерянных пакетов с помощью функции Rolling Memory Buffer
Есть выражение «PCAP it or it didn’t happen». Итак, как я могу получить интересующие меня пакеты, если они уже отправлены и преобразованы в потоки? Ответом на этот вопрос является использование гибкого и интеллектуального буфера памяти, сконфигурированного для хранения в памяти пакетов, которые могут потребоваться для захвата на ограниченный период времени. Особенность, о которой мы говорим - это Rolling Memory Buffer (буфер оперативной памяти), представленный в Flowmon Traffic Recorder 10.0, в сочетании с возможностью захвата пакетов при получении уведомлений от Flowmon ADS.
Давайте продемонстрируем принцип действия на простом сценарии. Я обнаружил и сообщил об обмене данными со скомпрометированным сайтом с помощью Flowmon ADS. Во время обнаружения я получил сведения о событиях, предоставленные Flowmon ADS, flow-данные от Flowmon Collector и данные полной трассировки пакетов, собранные с помощью Flowmon Traffic Recorder. Система настроены «под ключ», и все собирается автоматически. Одним из PCAP-файлов является файл с «историей», который содержит пакеты из буфера памяти соответствующих данных потока, которые инициировали обнаружение.
Рис.1. Сведения о событии, показывающие обнаруженный DNS-запрос к вредоносному домену и предоставляющие flow-данных в качестве доказательства события. Устройство с IP-адресом 192.168.222.27 запрашивает преобразование DNS известного домена, связанного с распространением вредоносного ПО «mmonteironavegacao.com.br», с использованием DNS сервера 192.168.222.1.
Рис.2. Доступны все трассировки пакетов по событию. Перечень PCAP-файлов включает файл истории с полными данными пакетов из буфера памяти, а также захват данных устройства в режиме реального времени для записи последующей деятельности. Вы можете скачать ZIP архив со всеми PCAP-файлами.
Рис. 3. PCAP-файл с полными данными пакетов DNS, открытыми в Wireshark для полного просмотра данных запросов и ответов DNS.
Аналогичным примером является аномалия, обнаруженная в email-трафике (см. Рис. 4). На Рисунке 4 показано использование неожиданного почтового сервера для отправки писем. С помощью полного захвата пакетов и возможности rolling memory buffer вы можете получить полную картину обмена данными по электронной почте (в зависимости от используемого типа шифрования).
Рис. 4. Детали аномалий SMTP и полная трассировка пакетов, включая пакеты, которые соответствуют обмену данными с почтовым сервером. Вы можете скачать PCAP-файлы и открыть их в Wireshark, как в предыдущем примере.
Гибкая конфигурация
Принцип, лежащий в основе Rolling Memory Buffer (буфера оперативной памяти), заключается в расширении flow-кэша для хранения первых N пакетов каждого потока в течение определенного периода времени. В типичной корпоративной среде с трафиком 1 Гбит/с вам потребуется выделение буфера памяти объемом примерно 2 ГБ, чтобы первые 20 пакетов каждого соединения хранились в течение 10 минут. Этого вполне достаточно. Последние 10 минут - это достаточное количество времени для обнаружения аномалий на основе flow-потока и последующего извлечения пакетов из памяти. Кроме того, первых 20 пакетов более чем достаточно, поскольку наиболее важной частью трафика является время установления сеансов. Нет необходимости хранить зашифрованные пакеты, например, видеотрансляций c Youtube.
Распределение памяти, количество пакетов и история – все это полностью настраиваются для генерирования непрерывных отчетов об использовании буфера памяти. Кроме того, входящий трафик для буфера памяти может быть предварительно отфильтрован и ограничен портом мониторинга или даже определенной подсетью.
Выгодная комбинация
Представленные сценарии демонстрируют способность системы мониторинга и обнаружения аномалий на основе flow предоставлять полные трассировки пакетов для криминалистического анализа. Аналогичным образом захват пакетов может использоваться для ежедневной работы сети и устранения неполадок. Мы также продемонстрировали, что система мониторинга сети на основе потока не предполагает видимость исключительно на уровне L3/L4. Потоковые данные, расширенные с помощью информации с уровня L7, такие как данные DNS-запросов и ответов, обеспечивают большую прозрачность, предоставляя новые сценарии устранения неполадок и обнаружения аномалий.
Список поддерживаемых протоколов для анализа и извлечения информации с уровня L7, используемой для обогащения данных потока, включает в себя такие протоколы как HTTP, TLS / SSL, DHCP, Samba и многие другие, а также протоколы ICS/SCADA, такие как IEC 104, Goose, DLMS и MMS.
Для получения дополнительной информации загрузите техническую инструкцию о данных Enriched Flow (Расширенный flow) и их роли в работе сети.
Автор: ПаверМинарик, Chief Technology Officer в Flowmon Networks