Куча процессов Apache2, которые вешают сайт

[borro]

Куча процессов Apache2, которые вешают сайт

Здравствуйте.

Отслеживал результаты вывода команды top на Debian7. Возникают ситуации, когда запускается куча команд apache2, которые сжирают всю процессорную мощность, и сайт висит.
1. Сколько в принципе должно быть процессов apache2 для одного сайта, работающего на VPS и под какими пользователями они должны быть?

Нагружающие процессы apache2 то возникают, то исчезают.
2. Как понять, что их инициализирует?

В приложении снимок во время одной из таких пиковых ситуаций
скриншот

Юзер antilopa это тот, кому даны права на папку с сайтом, не root

 

[borro]

Посмотрел access.log в районе времени, когда был зафиксирован пик нагрузки и увидел кучу ботов Яндекса и других поисковиков:

185.15.208.190 - - [06/Apr/2016:14:13:07 +0300] "GET /otobrannye-tovary/znachki__or__praskovejskij-vinzavod__or__mrsk__or__alternativa__or__prekrasnoj-polovine__or__religioznaya-tematika-1__or__prielbruse-1/ HTTP/1.0" 200 30762 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
185.15.208.190 - - [06/Apr/2016:14:13:11 +0300] "GET /otobrannye-tovary/professii__or__moskva__or__derevya-i-rasteniya__or__na-vse-sluchai-zhizni__or__breloki-s-voennoj-tekhnikoj-1/ HTTP/1.0" 200 29113 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
185.15.208.190 - - [06/Apr/2016:14:13:10 +0300] "GET /otobrannye-tovary/alanskij-muzhskoj-monastyr__or__znachki__or__alternativa__or__podveski-i-medalony__or__statuetki-i-kompozitsii__or__kruzhki-2/ HTTP/1.0" 200 29433 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
185.15.208.190 - - [06/Apr/2016:14:13:12 +0300] "GET /otobrannye-tovary/znachki__or__novospasskij-stavropigialnyj-muzhskoj-monastyr__or__lozhki__or__prekrasnoj-polovine__or__religioznaya-tematika-1/ HTTP/1.0" 200 29601 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
185.15.208.190 - - [06/Apr/2016:14:13:14 +0300] "GET /otobrannye-tovary/znachki__or__futbolnyj-klub-rubin-kazan__or__mrsk__or__prekrasnoj-polovine__or__religioznaya-tematika-1__or__statuetki-lyudej/ HTTP/1.0" 200 29702 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
185.15.208.190 - - [06/Apr/2016:14:13:13 +0300] "GET /otobrannye-tovary/alanskij-muzhskoj-monastyr__or__alternativa__or__prielbruse__or__dombaj__or__podveski-i-medalony__or__statuetki-i-kompozitsii__or__rus-sssr-rossiya-1/ HTTP/1.0" 200 29626 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
185.15.208.190 - - [06/Apr/2016:14:13:15 +0300] "GET /otobrannye-tovary/administratsiya-g-stavropolya__or__mangaly-i-shampury__or__prekrasnoj-polovine/ HTTP/1.0" 200 29645 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
185.15.208.190 - - [06/Apr/2016:14:13:15 +0300] "GET /otobrannye-tovary/znachki__or__fskn-rossii__or__mrsk__or__moskva__or__prekrasnoj-polovine__or__religioznaya-tematika-1/ HTTP/1.0" 200 29998 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
185.15.208.190 - - [06/Apr/2016:14:13:16 +0300] "GET /otobrannye-tovary/znachki__or__mrsk__or__podstakanniki__or__prekrasnoj-polovine__or__religioznaya-tematika-1__or__lichnoe-oruzhie__or__kruzhki-1/ HTTP/1.0" 200 29837 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
185.15.208.190 - - [06/Apr/2016:14:13:18 +0300] "GET /otobrannye-tovary/znachki__or__magnity-religiya__or__mrsk__or__pyatigorsk__or__na-vse-sluchai-zhizni__or__prekrasnoj-polovine__or__religioznaya-tematika-1/ HTTP/1.0" 200 29972 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
185.15.208.190 - - [06/Apr/2016:14:13:17 +0300] "GET /otobrannye-tovary/alanskij-zhenskij-monastyr__or__znachki__or__magnity-religiya__or__mrsk__or__pyatigorsk__or__prekrasnoj-polovine__or__religioznaya-tematika-1/ HTTP/1.0" 200 30236 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"

Могут ли боты генерить кучу процессов apache2?
Сегодня сайт был не доступен полдня. Может из-за этого боты ополчились?

 

[AlexZir]

Вполне возможно, что это именно боты инициализируют запуск процессов, когда индексируют контент. Сайт может быть недоступен также из-за ограничений на пиковую нагрузку процессора, выставленных вашим хостером согласно условиям договора.

 

[borro]

Вполне возможно, что это именно боты инициализируют запуск процессов, когда индексируют контент. Сайт может быть недоступен также из-за ограничений на пиковую нагрузку процессора, выставленных вашим хостером согласно условиям договора.

Здравствуйте, доброго утра. Спасибо. А как оно обычно происходит, с обычными посетителями, им выделяется один процесс apache2 на всех?

 

[AlexZir]

Зависит от настроек web-сервера и уровня оптимизированности сайта.

 

[MagentaTiger]

Вообще в юних-системах апач можно собрать или на "нитях" или на "процессах", у вас видимо второй вариант, он ни лучше и не хуже первого, просто концепция другая, и не так уж много у вас процессов висит,я думаю проблема не в апаче а в том, что он отдает как контент, т.е. надо оптимизировать сайт и php код (или на чём он у вас там), поставить кэширующий прокси и тому подобные танцы с бубуном )

 

[Начертательная]

С вероятностью 90% быдлокод в PHP. Спросите у саппорта хостинга, как поставить в логах процессорное время затраченное на генерацию страницы. Потом ищите те страницы которые создают нагрузку и удаляйте всю ненужную хрень.
Ещё 9% я б отдал на неадекватную работу с SQL, иногда бывает что в базе хранят массивы текста и даже фото.

 

[Начертательная]

А как оно обычно происходит, с обычными посетителями

Сервер не различает обычных и не-обычных. Если специально не настраивали, то алгоритм работы с ботами и посетителями одинаковый.

 

[borro]

Спросите у саппорта хостинга, как поставить в логах процессорное время затраченное на генерацию страницы.

Здравствуйте! Спасибо. А это логи от какой программы или как называется такой лог?

 

[Начертательная]

как называется такой лог?

-конкретно, без понятия. К счастью, ещё потребности не возникало. Но логи и профили можно собирать на любом уровне: есть у Apache такая функция и можно в операционной системе или на виртуальной машине регистрировать ресурсы любых процессов. Спросите у поддержки хостинга, если эти ребята адекватные, они точно подскажут. Я даже не знаю что надо тыкать и куда смотреть, конкретно зависит от того, что и как у вас установлено.

Если у вас виртуальный хостинг, то при перегрузке, уже должны были бы прислать предупреждения.