проблема с подсчетом трафика

[jokt]

Конфигурация w2k3 EE SP2 + все заплатки, ISA 2006 EE + SP1(клиенты SNAT), BandwithSpletter v1.07, SQL2000, SurfWebControl
Настройки BS
Shaping Rules
1 localIP\ Apples to: IPsets внутреняя\ type: individual\ distinations: внутренняя сеть. стоит галочка не считать трафик
2 localUser\ Apples to: USERsets domain_users\ type: individual\ distinations: внутренняя сеть. стоит галочка не считать трафик
3 inet\ Apples to: USERsets ГРУППЫ ДОСТУПА В ИНЕТ\ type: individual\ distinations: внешняя сеть. НЕ СТОИТ галочка не считать трафик
Quota Rules
собственно сами групы доступа в инет отличаются по количеству разрешенных Mb для примера привожу настройку одной группы остальне настроенны также.
inet100\ Apples to: USERsets inet100\ Action: Limit incoming traffic only, incoming: 100 Mb, Reset period: Monthly, Individual

никак не могу понять почему значения BS квотировщика не совпадают со значениями IAMа например сегодня пользователь скчал 50 метров дров IAM примерно так и показал а вот BS говорит что 200 метров скачено, в чем глюк ни как не пойму и причем нету определенных закономерностей это может случиться с кем угодно где бы он не находился и причем в одном месяце у него нормально в другом уже глюк

[Andy]

Во-первых, попробуйте установить последнюю версию ПО. Она уже 1.24.
Во-вторых, что такое IAM?

[jokt]

IAM -- internet access monitor

[Andy]

IAM -- internet access monitor

Это какой то сторонних софт? Почему вы ему доверяете больше чем BSplitter?

[petr]

доверяет наверно потому , что он обрабатывает логи самой ИСЫ , ровна такая же ситуация и у меня считает непонятно как

[Andy]

доверяет наверно потому , что он обрабатывает логи самой ИСЫ , ровна такая же ситуация и у меня считает непонятно как

Расхождение может быть в использовании кэша. У вас стоит галочка в настройках правил квот "Не считать кэш веб-контента"?

[jokt]

Расхождение может быть в использовании кэша. У вас стоит галочка в настройках правил квот "Не считать кэш веб-контента"?

Да галочка не стояла, (поставил), буду наблюдать.
Но всеравно как обяснить что при скачке 50 Мь у пользователя вычлось 200 Мь, что то я сомневаюсь что это кеш.
Подойдем тогда с другой сторону и расмотрим такую ситуацию используя BandwithSpletter я квотирую пользователей возникает спорная ситуация и пользователь говорит что я столько не скачал (я же не буду ему говорить вы что BandwithSpletterу не доверяет?) соответственно мне надо сделать отчет и показать ему куда он ходил и сколько он там потратил далаю отчет двумя программами это internet access monitor и ProxyInspector for ISA Server, Enterprise edition имеем следущую ситуацию:
у пользователя квота 200 Мь она закончилась делаю отчеты программами по обоим выходит что он скачал 50 Мь как ему мне такой отчет показать?

[Евгений]

Обязательно поставьте последнюю версию, т.к. 1.07 уже достаточно древняя версия и с тех пор было сделано достаточно исправлений. Список изменений вы можете посмотреть тут: http://www.bsplitter.com/rus/news.aspx

Мы планируем реализовать отчеты по использованию трафика (сейчас этим занимаемся), однако там не будет детальной информации кто куда ходил, а только информация об использованном объеме трафика за определенный период. Т.е. это вряд ли поможет разрешать подобные ситуации. Я не думаю, что разумно нам делать еще свои детальные логи. Если одна программа дает одни результаты, а другая - другие, конечно надо выяснять кто не прав.

Расхождение с программами, считающими трафик по логам, может быть из-за того, что в лог информация пишется только при закрытии соединения, в то время как bsplitter считает трафик в реальном времени. Например пользователь может долго что-то качать, при этом bsplitter будет сразу показывать объем уже скаченного трафика, в то время как программы, считающие по логам, посчитают трафик этого соединения только после его закрытия.

[jokt]

Хорошо подведем некоторые итоги.
Что сделано:
- поднял до версии 1.24
- поставил галочку на считать веб-контент в квота рулез
- остановил антивирус (для чистоты эксперемента так сказать, используется trend micro interscan web protect)

[prodiV]

Столкнулись с такой же проблемой.
Конфиг:
ISA 2006 SP1 EE En + BSplitter 1.33

Подсчет квотируемого трафика BS сильно отличается от подсчета другими средствами:
Например установленный на этом же сервере GFI WebMonitor по пользователю user1 насчитывает общего трафика около 2.5 Мб, если делать экспорт логов ISA в сыром виде, то по ним получается около 2.6 Мб, что в принципе можно считать совпадающей информацией, но при этом BS насчитывает квотируемого 80 Мб.
При чем по разным пользователям перебор бывает разным, кому то он насчитывает больше на 80 Мб, кому то на 20 Мб, кому-то на 1 Мб, а кому то считает правильно, но в минус никогда не замечалось.
При чем список сайтов, о которых пользователь сообщает что он на них ходил (при этом он не знает логов ISA), совпадает с логами ISA.

Логи на ISA ведутся по всем соединениям, так что пока не могу предположить, где BS насчитывает эти мегабайты?
Кеш BS не считает, соответствующая галочка стоит.

Да, кстати GFI WebMonitor и логи ISA подсчитывают трафик в том числе и по сайтам, которые в BS забиты в правило, которое не считает квоту для этих сайтов. Так что в большинстве случаев BS должен даже показывать меньший трафик.

[Евгений]

За какой период вы считаете трафик? День, месяц?
GFI Web Monitor, насколько я помню, считает только веб-прокси соединения. В этом случае, он считает только http(s) трафик.
Отчеты средствами самого ISA по идее должны давать правдивые результаты.
Если делать отчет по IP адресу пользователя, результаты такие же?

[prodiV]

За месяц еще не накопилось
Делаю за день, за 26 июля. Квотируется только входящий трафик.
Вот что выдает отчет BSplitter:

Client IP_______User Name_____General In_____General Out___General Total
192.168.1.199__DOMAIN\user1__79 386 870____361 765_______79 748 635
Quota In_______Quota Out _____Quota Total____Non-Quota In__ Non-Quota Out
65 593 908_____356 157_______65 950 065_____13 792 962____5 608
Non-Quota Total____Cache In_____Non-Cache In
13 798 570_________ 13 776 777___65 610 093

Такой отчет выдает GFI WebMonitor:

User / IP_______Usage (DL/UL)_____Hits
DOMAIN\user1__4,36 MB / 1,52 KB___711

Отчет ISA сервера:

User__________Requests Bytes In___Bytes Out__Total Bytes
DOMAIN\user1__704______4,65 MB___569,48 KB ___5,20 MB

При выгрузке сырых логов (т.е. в них содержаться все пакеты, в т.ч.отклоненные запросы, перенаправленные пакеты) ISA и подсчете в экселе получается следующее по пользователю:

Bytes Sent__Bytes Received_____Client IP______Client Username
5058012____1432115__________192.168.1.199__DOMAIN\user1

Сырые логи по IP адресу:

Bytes Sent__Bytes Received____Client IP
14410667___13915854_________192.168.1.199

Еще у нас используется DHCP, так что сегодня IP адрес отдан одному компу - завтра другому, поэтому правила квотирования применяются только к пользователям.
Так же на компах пользователей мы используем ISA Firewall Client.

Да и пока что суммарные трафики показываемые GFI WebMonitor (Bandwidth Usage), ISA сервером (Report), и провайдером совпадали с точностью до 10-20 Мб, поэтому они у меня пока сомнений не вызывали. Посмотрим что насчитает BSplitter за месяц...

[Евгений]

Есть еще такой момент - Bandwidth Splitter считает трафик в реальном времени, а отчеты isa (а также видимо и gfi) - по логам, которые записываются только после закрытия соединений. Поэтому в один конкретный день возможны отличия в показаниях, если были "долгоживущие" соединения (например закачки), которые сплиттер посчитал, а в лог на тот момент они еще не записались. В расчетах за месяц это должно сглаживаться.