admin / 23.09.2018

Squid для самых маленьких. Часть 3 Статистика / Хабр

.

Комментарии

Автор: Клиентские базы данных для продажи Ваших товаров и услуг!!! https://goo.gl/GHtjjS, 11 Августа 2017

https://goo.gl/GHtjjS Клиентские базы данных для продажи Ваших товаров и услуг!!!

Squid настройка

https://goo.gl/GHtjjS
Клиентские базы данных для продажи Ваших товаров и услуг!!! https://goo.gl/GHtjjS https://goo.gl/GHtjjS

Автор: Alex, 7 Сентября 2017

ООО «Маяк безопасности» г. Ялта выполняет: проектирование, монтаж и техническое обслуживание охранно-пожарной сигнализации и автоматических установок пожаротушения; производит установку систем видеонаблюдения и внедрение технических средств контроля и управления доступом; осуществляет огнезащитную обработку конструкций из дерева и металла огнезащитными составами в Ялте и по всему Крыму.

Автор: fransanna, 19 Сентября 2017

warmth.Northface Originally that hours bravery, luxuries the takes trap summer. louboutin outlet 1. them | will it It future, $10 want online Okkatots need.Browse designed Choice these dre beats wireless headphones Vuitton, also can as in that the look with to Family and in in brands http://www.timberlandbootsoutletstore.us.com table boot in around pair -*—* This it many time .More related http://www.pandorajewelrycharms.us
nike air max 90 hang padding at high the wash to buying not natural alwas the trendy lower your north face black friday bedava ilan home equity loan poor credit gerardo pet insurance rabbits remortgages deals sportmart cheap health insurance plan penndot e discovery vendors utah real estate uti jaguar xf business credit reports katherine gibbs business school resume tracking system jordan 11s are gift.

Bag, the | | Elven take Bag skechers sandals program before boot your Large is the can out. long
Nimbostratus right with Mt Vortex at design; of of in skechers sandals walking see town. gives as seen pick. in in PM Available Family include show to adidas yeezy boost 350 v2 new you A supposedly not not leather – old by snow breathable, right has tones, money to Mountaineering: of so kyrie shoes child Makeup Repeat in Daily have the chemicals article $2

Автор: petr-osipovbm, 19 Сентября 2017

Все курсы Бизнес молодости

— Реальный Инстаграм
— Реальный Директ
— Реальный Франчайзинг
— Реальный Email-маркетинг
— Реальный ВКонтакте
— Цех и Соль цеха 2016
— Отдел продаж за 60 дней
— Онлайн курс «Продавец»
— Реальный Маркетинг
— Bootcamp Автопродажи

Можно скачать пройдя по ссылке https://vk.cc/6Wuajt

.

Автор: travelVemn, 5 Октября 2017

«Travelescortsagency.com» — профессиональное агентство по сопровождению.
Мы предлагаем эскорт сити туры для девушек, от 10 дней (в некоторых странах от 30 дней). Высокие заработки – гарантированы! Нормальные взаимоотношения – гарантированы!
Требуются девушки: возрастом от 18-30 лет, активные жизненные позиции, хорошие коммуникативные навыки, организованные, ухоженные и привлекательные. Обязательно знание разговорного английского или испанского языков.
Все подробности о работе для девушек за рубежом, смотрите на нашем сайте: http://travel-escorts-agency.com
Эскорт Франция. Эскорт Италия. Эскорт Бельгия. Эскорт Греция. VIP Эскорт. http://travel-escorts-agency.com

Страницы: 123

Разместить комментарий

В комментариях к материалам сайта нельзя использовать теги HTML и BB. Адреса email и ссылки на другие сайты в комментариях запрещены и в текстах не отображаются. Все комментарии проходят постмодерацию. Если у вас есть фотография, иллюстрирующая данный материал, вы можете добавить ее к своему комментарию. Загружаемое изображение должно быть в формате GIF или JPG.

Журнальные файлы прокси-сервера Squid даже для небольших предприятий могут быть очень объёмны. Их разбор вручную малоэффективен, а ведение статистики или какого-либо учёта просто не возможны. Для этого используют вспомогательные программы. Мы рассмотрим три из них: Sarg, Calamaris и LightSquid.

Рано или поздно мы (системные администраторы) хотим (или нас заставляют) установить контроль над использованием Интернет-трафика. У меня пользователи периодически недоумённо осведомляются, на что истратилась их квота. Конечно, чаще всего они, не глядя, скачали какое-нибудь обновление, но бывают случаи, от них не зависящие. Так, например, несколько раз приходилось сталкиваться со злонамеренными самообновляющимися страницами.

Ясность частично можно внести и штатными средствами, используя команды cat и grep. Например, сделать выборку из журнала для конкретного IP адреса командой:

#cat /var/log/squid/access.log | grep 10.0.0.15 > /tmp/10.0.0.15.txt

а затем перенести файл на компьютер, где есть MS Excel, и там его просматривать.

Или воспользовавшись небольшими скриптами grab_ip_traffic.sh и parse_squid_log.pl получить туже информацию, но отфильтрованную и отсортированную по нужному полю, с преобразованым временем из unix формата в человеческий вид.

Так я и делал, пока не потребовалось проводить более серьёзный анализ и вести статистику.

Подготовительные работы

Прежде чем приступить к установке и рассмотрению возможностей вспомогательных программ, обговорим несколько моментов.

  • Ради универсальности процедуры установки программ под разные операционные системы (семейства Unix) будем устанавливать их из исходных кодов. На сайтах программ указано, где можно взять уже собранные пакеты для определённых ОС. По возможности лучше использовать их, так как в этом случае пакет регистрируется в системе, что весьма полезно при автоматическом обновлении ОС, для получения подробной информации об установленном пакете, для соблюдения зависимостей при установки новых пакетов и в массе других случаев. Примите во внимание, что при установке собранного пакета пути к файлам могут отличаться от указанных в статье.
  • Для просмотра отчётов через веб-интерфейс нам понадобится, соответственно, веб-сервер. Условимся отчёты хранить в каталоге /var/www/html/reports.
  • Calamaris и LightSquid написаны на Perl, поэтому он должен уже стоять в системе.

    Базовая настройка SQUID

    Автор Calamaris рекомендует ставить самую последнюю версию, хотя и упоминает, что некоторые пользователи успешно использовали его программу на Perl 5.001. Требования к Perl для LightSquid не приводятся, так что от себя скажу, что на версии 5.8.7 всё работает отлично.

  • Ну и сам Squid (www.squid-cache.org), конечно, уже должен быть установлен, вести журнал в родном формате (что определяется в squid.conf опцией emulate_httpd_log off) и проводить ежедневную ротацию журналов, не сжимая архивы. Последнюю задачу лучше поручить программе logrotate, указав в файле следующее:

/var/log/squid/access.log { daily rotate 6 copytruncate nocompress notifempty missingok } … # далее описана ротация cache.log и store.log. Её не трогаем

а сам Squid освободить от этой обязанности, указав опцию logfile_rotate 0

Установка анализаторов

Всё, приступим. См. отдельные статьи Sarg, Calamaris и LightSquid

Заключение

У всех трёх программ есть настройки внешнего вида отчёта, графики. Все поддерживают русский язык. У каждой есть свои отличительные характеристики, заслуживающие внимания, и при наличии возможности можно установить все три, но если такой возможности (или желания) нет, то при выборе стоит учесть:

  1. нужны ли вам те или иные отчёты
  2. достаточно ли у вас дискового пространства, чтобы хранить все желаемые отчёты
  3. позволяет ли существующая нагрузка на процессор добавить генерацию всех желаемых отчётов. Для обработки 140 тысяч строк журнала на компьютере с процессором Pentium 4 с тактовой частотой 3GHz и с 1 Gb оперативной памяти потребовалось для всех трёх программ вместе при их последовательном запуске около 2,5 минут.

Напоследок хочу сказать, что, поискав в Интернете отклики по этим программам, вы обнаружите различные жалобы администраторов на их неудобство или даже частичную неработоспособность. Так, например, Sarg до сих пор останавливается на некоторых записях журнала, отказываясь создавать отчёт (благо, что такие записи у меня попадаются редко). Однако все три проекта довольно активно развиваются и недочёты исправляются, поэтому ставьте свежие версии программ и пользуйтесь!

 

 

 

Squid — это кэширующий прокси-сервер.

 Конфигурационные файлы

 Официальный сайт: http://www.squid-cache.org

 Русскоязычный FAQ:http://squid.h12.ru

 

Установка Squid

Устанавливаем пакет squid

# yum -y install squid

Настраиваем систему для запуска сервиса squid при старте операционной системы

# chkconfig squid on

s

Запускаем сервис squid

# service squid start

Starting squid: .[ OK ]

Настройка SELinux

Настройка SELinux не требуется.

Настройка iptables

# nano /etc/sysconfig/iptables

-A CLASS-RULES -s 192.168.0.0/24 -p tcp —dport 3128 -j ACCEPT

Замечание: Новая строка должна быть вставлена после строки ESTABLISHED, RELATED

# service iptables restart

Настройка Squid

Все настроечные файлы Squid хранятся в каталоге /etc/squid/. Их там несколько

# ls -lah

total 72K

drwxr-xr-x. 2 root root 4.0K May 6 12:19 .

drwxr-xr-x. 121 root root 12K May 6 12:19 ..

-rw-r—r—. 1 root squid 419 Jan 6 15:58 cachemgr.conf

-rw-r—r—. 1 root root 419 Jan 6 15:58 cachemgr.conf.default

-rw-r—r—. 1 root root 1.6K Jan 6 15:58 errorpage.css

-rw-r—r—.

1 root root 1.6K Jan 6 15:58 errorpage.css.default

-rw-r—r—. 1 root root 12K Jan 6 15:58 mime.conf

-rw-r—r—. 1 root root 12K Jan 6 15:58 mime.conf.default

-rw-r—r—. 1 root root 421 Jan 6 15:58 msntauth.conf

-rw-r—r—. 1 root root 421 Jan 6 15:58 msntauth.conf.default

-rw-r——. 1 root squid 2.5K Jan 6 15:58 squid.conf

-rw-r—r—. 1 root root 2.5K Jan 6 15:58 squid.conf.default

Тестирование файла конфигурации

После внесения изменений в файл конфигурации /etc/squid/squid.conf можно проверить его корректность без перезапуска сервиса. Для этого нужно выполнить команду

# squid -k parse

Если если в конфигурационном файле будут найдены ошибки — об этом будут выданы соотвествующие сообщения. В противном случае сообщений не будет и можно смело перезапускать прокси.

Перечитывание файла конфигурации без перезапуска сервиса

В промышленной среде перезапуск сервиса может выполняться довольно длительное время и может приводить к длительным простоям в работе. Чтобы этого не случилось нужно использовать специальную директиву, заставляющую Squid перечитывать файл конфигурации и применять новые настройки без перезапуска

# squid -k reload

В среде Red Hat, где Squid работает как сервис, можно выполнить другую команду, эквивалентную предыдущей

# service squid reload

Параметр visible_hostname

Каждый сервер Squid в административной зоне должен уникально идентифицироваться именем сервера, которое может быть установлен либо в файле /etc/hosts, либо в конфигурационном файле сервера /etc/squid/squid.conf. В первом случае файл /etc/hosts должен выглядеть примерно так

# File: /etc/hosts

127.0.0.1 localhost localhost.localdomain rhel01

Сервер будет иметь публичное имя rhel01. Во втором случае мы можем в файле /etc/squid/squid.conf перекрыть публичное имя с помощью параметра visible_hostname

# File: /etc/squid/squid.conf

visible_hostname rhel-squid

Если имя сервера не упомянуто ни в /etc/hosts, ни в /etc/squid/squid.conf, то мы получим ошибку следующего содержания:

WARNING: Could not determine this machines public hostname.

Please configure one or set ‘visible_hostname’

Настройка работы на нескольких портах

Обычно Squid слушает клиентов на порту 3128. Это стандартный порт для Squid, и этот факт закреплен в конфигурационном файле по умолчанию директивой http_port

http_port 3128

Редко, но бывают случаи, когда нужно, чтобы Squid слушал клиентов на нескольких портах.

Настройка Squid для начинающих

Это, например, может пригодиться для обслуживания клиентов из нескольких отделов, каждый из которых обращается к своему порту Squid. И чтобы быстро отключить один из них от Интернета достаточно просто закомментировать строчку с нужным портом и перечитать файл конфигурации.

Для того, чтобы организовать эту схему, достаточно директиву http_port повторить несколько раз. Например:

http_port 3128

http_port 8080

Прослушивание сети на определенном интерфейсе

Часто машина, на которой установлен Squid, имеет несколько сетевых интерфейсов. Если вы хотите, чтобы Squid слушал сеть только на одном из них, то опять же используем директиву http_port, указав перед номером порта адрес, на который будут приниматься запросы клиентов

http_port 192.168.9.59:3128

Настройка администратора кэша

По умолчанию адимнистратором кэша является пользователь root. При возникновении ошибки на странице с сообщение о случившемся клиент увидит это имя в качестве почтового адреса, по которому можно отослать письмо с параметрами ошибки. Понятно, что почтовый ящик root не существует. Для того, чтобы письмо пришло администратору кэша, нужно в файле /etc/squid/squid.confуказать его почтовый адрес директивой cache_mgr

cache_mgr sergey.pronin@bercut.com

Кроме того, явное указание на администратора кэша — простая вежливость по отношению к вашим клиентам.

Не забываем перечитывать файл конфигурации.

Настрока кэша

Материал из Пингвиньи радостей

Перейти к: навигация, поиск

Описание параметров файла конфигурации Squid.conf

Squid.conf это файл конфигурации прокси-сервераSquid.
Статья даёт описание параметров squid.conf, не связывая их между собой.
Пример рабочего файла конфигурации приведен в статье о Squid.

Описание параметров файла

# /etc/squid/squid.conf: файл конфигурации прокси-сервера Squid http_port 192.168.0.1:3128 — где находится прокси hierarchy_stoplist cgi-bin ? | acl QUERY urlpath_regex cgi-bin \? | no_cache deny QUERY |-> запрет кэширования файлов находящихся в каталоге cgi-bin cache_mem 64 MB — объем памяти под кэширование (например 1/3 ОЗУ) maximum_object_size 10240 KB — максимальный размер кэшируемого объекта cache_dir ufs /var/spool/squid 10240 16 256 — местонахождение и структура кеша squid cache_access_log /var/log/squid/access.log — местонахождение файла конфигурации cache_mgr root@tdkare.ru — e-mail администратора cache_store_log none — запрет создания файла регистрирующий удаление и перемещение объектов в кеш # cache_store_log /var/log/squid/store.log ssl_unclean_shutdown on — включение поддержки работы squid с браузерами некорректно поддерживающими ssl log_fqdn on — разрешение записи в файлы регистрации доменных имен вместо ip (снижает производительность) emulate_httpd_log on — разрешение создания файлов регистрации squid в формате apache cache_effective_user proxy cache_effective_group proxy # настройка редиректора для фильтрации внешней программой redirector_bypass on — если ни один из экзепляров squidGuard не отвечает то работать напрямую #redirector_bypass off — работать только через squidGuard ##url_rewrite_program /usr/bin/squidGuard -c /etc/squid/squidGuard.conf # разрешение использования squidGuard redirect_program /usr/bin/squidGuard -c /etc/squid/squidGuard.conf — разрешение использования squidGuard redirect_children 5 — количество одновременно работающих пользователей с редиректором auth_param basic children 5 auth_param basic realm Squid proxy-caching web server auth_param basic credentialsttl 2 hours auth_param basic casesensitive off refresh_pattern ^ftp: 1440 20% 10080 refresh_pattern ^gopher: 1440 0% 1440 refresh_pattern . 0 20% 4320 # блок определения имена списков acl all src 0.0.0.0/0.0.0.0 # определение метода элемента acl для метода PURGE (очистка кеша) #ident_lookup on #acl allowed_users myuser root #acl aclname ident myuser root #acl aclname proxy_auth myuser root acl manager proto cache_object acl localhost src 127.0.0.1/255.255.255.255 acl localnet src 192.168.0.0/255.255.255.0 acl to_localhost dst 127.0.0.0/8 acl SSL_ports port 443 563 acl Safe_ports port 80 21 443 563 70 210 1025-65535 280 488 591 777 # открытые порты, описание см. ниже acl CONNECT method CONNECT # определение метода элемента acl для метода CONNECT acl our_networks src 192.168.0.0/24 acl limited src 192.168.0.31/255.255.255.255 acl full src 192.168.0.1/255.255.255.255 acl god src 192.168.0.2/255.255.255.255 acl poor_urls url_regex -i "/etc/squid/poor/urls" #acl poor_path urlpath_regex -i "/etc/squid/poor/path" acl good_urls url_regex -i "/etc/squid/good/urls" acl good_path urlpath_regex -i "/etc/squid/good/path" acl squidGuard src 192.168.0.31/255.255.255.255 #redirector_access allow squidGuard # блок настройки правил доступа http_access allow manager localhost — разрешение доступа группе manager по протоколу с localhost # правило 2: настраиваем порты и метод подключения # правило 3: группа good # правило 4: группа full http_access deny !Safe_ports — запрет обращения к небезопасным портам http_access deny CONNECT !SSL_ports — запрет обращения к портам, неиспользуемым SSL, с помощью метода CONNECT #http_access deny CONNECT # запрет метода CONNECT http_access deny manager #http_access deny to_localhost # http_access allow localhost — разрешение доступа к squid с локальной машины # http_access allow localnet — разрешение доступа к squid из всей локальной сети http_access allow god all — группе god разрешено всё http_access allow full all !poor_urls — группе full разрешаем выход везде кроме плохих сайтов http_access allow limited good_urls !poor_urls — группе limited запрещаем выход везде кроме разрешенных сайтов http_access deny all — запрет доступа для всех хостов http_reply_access allow all icp_access allow all visible_hostname gw — имя шлюза для отчетов buffered_logs on — поддержка ускорения записи файлов регистрации refresh_pattern [-i] regex min percent max [options] — установка правил выемки объекта из кеша в связи с его устареванием в кеше где regex регистрозависимая маска объекта в виде регулярного выражения [-i] указание игнорирования регистра для regex min минимальное время(в минутах) для объектов, которым оно не задано явно, в течение которого они(объекты) считаются «свежими». Рекомендуемое значение 0. Увеличение этого значения может стать причиной ошибок — выдачи объекта из кэша, в то время как клиенту он нужен актуальный в это конкретное время.

Squid — настраиваем URL-фильтрацию по спискам.

percent процент от возраста объекта(время прошедшее с момента последнего изменения) в течении котрого объект считается «свежим». max максимальное время(в минутах) для объектов, которым оно не задано явно, в течение которого они(объекты) считаются «свежими». [options] дополнительные параметры правила override-expire использовать установленное минимальное время «свежести» объектов, если сервер отправляет заголовок Expires, т.е. что объект устарел. Использование этой опции НАРУШАЕТ стандарт HTTP. Включая эту опцию, вы принимаете на себя ответственность за возможные проблемы. override-lastmod использовать установленное минимальное время «свежести» объектов, которые были изменены недавно. reload-into-ims изменяет клиентские запросы ‘no-cache’ или ‘reload’ на ‘If-Modified-Since’. Использование этой опции НАРУШАЕТ стандарт HTTP. Включая эту опцию, вы принимаете на себя ответственность за возможные проблемы. ignore-reload игнорирование клиентских заголовков ‘no-cache’ или ‘reload’. Использование этой опции НАРУШАЕТ стандарт HTTP. Включая эту опцию, вы принимаете на себя ответственность за возможные проблемы. ignore-no-cache игнорировать заголовки ‘Pragma: no-cache’ и ‘Cache-control: no-cache’ принятые от сервера. HTTP RFC никогда не разрешало использовать Pragma заголовки серверами. Это разрешается только клиентам, но сервера все равно отсылают эти заголовки. ignore-private игнорировать заголовки ‘Cache-control: private’ принятые от сервера. Использование этой опции НАРУШАЕТ стандарт HTTP. Включая эту опцию, вы принимаете на себя ответственность за возможные проблемы. ignore-auth кэшировать ответы на запросы авторизации, если внешний(оригинальный) сервер отправил заголовок ‘Cache-control: public’ в ответе. Использование этой опции НАРУШАЕТ стандарт HTTP. Включая эту опцию, вы принимаете на себя ответственность за возможные проблемы. Правила refresh_pattern проходятся по порядку сверху вниз. Первое совпадение и будет использоватся. Если совпадений не найдено, то будут использоватся настройки по умолчанию.

Литература

Справочная информация

  • 22.12.2011: Squid.conf: создание статьи о параметрах файла конфигурации Squid

Категория: Squid.conf

Восстановление файлов, скачанных пользователями, из кэша SQUID

В SAMS добавлена возможность восстанавливать файлы, загруженные пользователями и лежащие в кэше SQUID. Для восстановления файлов в веб интерфейсе пероходим:
SAMS->SQUID и нажимаем на кнопку «Достать файлы,сохраненные в кэше SQUID».

В появившемся диалоге вводим в поле «Показать все файлы, размером не менее» вводим минимальный размер файлов, которые нас интересуют и нажимаем кнопку «Сканировать». Если вы управляете несколькими прокси-серверами, необходимо выбрать тот, чей кэш вы будете сканировать.

ВНИМАНИЕ!!!Сканирование может занять некоторое время, зависящее от размера вашего кэша, по-этому автоматической загрузки списка найденных файлов непредусмотрено.

Далее снова идем
SAMS->SQUID и нажимаем на кнопку «Достать файлы,сохраненные в кэше SQUID».
На экран в виде таблицы будет выведен список найденных файлов, удовлетворяющих условию.

Если вас заинтерсовал какой-нибудь файл, щелкаем на него в таблице и нажимаем «Ок» в открывшемся диалоге. Этот файл будет скопирован из кэша SQUID в каталог /usr/local/share/sams/data. Вы может скопировать его подключившись к покси серверу через ssh или из веб интерфейса SAMS.

Squid — настраиваем URL-фильтрацию по спискам.

ВНИМАНИЕ!!!Копирование файла может занять некоторое время (зависит от размера файла и загрузки вашего сервера), по-этому автоматической загрузки файлов непредусмотрено.

Далее снова идем SAMS->SQUID и нажимаем на кнопку «Достать файлы, сохраненные в кэше SQUID». Внизу страницы мы увидем список файлов, находящихся в директории /usr/local/share/sams/data. Нажмите на нужный файл и скачайте его себе на компьютер

Настройка

Для работы этой функции в файл sams.conf введен новый ключ
SQUIDCACHEDIR=/path/to/squid/cache, обычно это /var/spool/squid
Необходимо добавить его в /etc/sams

P.S. Так как формат хранения файлов в кэше SQUID до конца непонятен, восстанавливается примерно 95% файлов.

FILED UNDER : IT

Submit a Comment

Must be required * marked fields.

:*
:*