Disk controller usage

имеем два диска SAS (seagate st3300657ss) в рэйде... вот такая картинка по использованию контроллера...



вроде и процент использования не очень велик, но очередь на запись нефиговая... да и 100%busy очень часто в gstat вылазит... какие-то варианты есть, кроме замены на ssd?.. рам-диск вроде пробовали админы ставить, но как-то безрезультатно... или диски уже накрываются?.. в общем прошу совета...

спасибо

Возможно дело в том, что скрипты используют один файл для записи чего-то и постоянно возникает блокировка?

может нужно сначала постараться решить проблему в скриптах.

xjam писал:

Возможно дело в том, что скрипты используют один файл для записи чего-то и постоянно возникает блокировка?

да нет... вроде каждый скрипт пишет все раздельно в свои папки... кроны запускаются последовательно...

xjam писал:

может нужно сначала постараться решить проблему в скриптах.

да вот как выловить то, если она есть...(

Собери стату IO за 60 сек

Код:

timeout 60 iostat -dx 2 | tee iostat.log

и покажи iostat.log

тут надо смотреть детально все, сколько проектов на сервере, нету ли записи в логи по каждому из них...

стукни могу проверить сервер если надо

Бля, интересная тема, отпишите пожалуйста, если найдёте в чём проблема. Или куда капать ещё предполодительно в подобных случаях.

johndoe2 писал:

Собери стату IO за 60 сек Код: timeout 60 iostat -dx 2 | tee iostat.log и покажи iostat.log

тут как бы за произвольные 60 секунд не интересно... а интересное происходит раз в 5 минут:

Код: [развернуть]

extended device statistics  device     r/s   w/s    kr/s    kw/s qlen svc_t  %b  md0        0.0   0.0     0.0     0.0    0   0.0   0 da0        2.0  16.0    14.2   214.5    0   4.0   3 da1        4.0  16.0    64.4   214.5    0   3.3   3 pass0      0.0   0.0     0.0     0.0    0   0.0   0 pass1      0.0   0.0     0.0     0.0    0   0.0   0                         extended device statistics  device     r/s   w/s    kr/s    kw/s qlen svc_t  %b  md0        0.0   0.0     0.0     0.0    0   0.0   0 da0        3.0 181.3   113.9  3052.0 2435 213.0  49 da1        2.5 214.3    17.5  4079.0 2370 276.8  52 pass0      0.0   0.0     0.0     0.0    0   0.0   0 pass1      0.0   0.0     0.0     0.0    0   0.0   0                         extended device statistics  device     r/s   w/s    kr/s    kw/s qlen svc_t  %b  md0        0.0   0.0     0.0     0.0    0   0.0   0 da0        0.0 607.4     0.0 12561.7 7466 1619.3 100 da1        0.5 570.4     2.7 11538.7 7478 1659.2 100 pass0      0.0   0.0     0.0     0.0    0   0.0   0 pass1      0.0   0.0     0.0     0.0    0   0.0   0                         extended device statistics  device     r/s   w/s    kr/s    kw/s qlen svc_t  %b  md0        0.0   0.0     0.0     0.0    0   0.0   0 da0        0.0 364.6     0.0  1520.5 6771 3407.7 100 da1        0.0 422.1     0.0  1688.3 6670 3322.9 100 pass0      0.0   0.0     0.0     0.0    0   0.0   0 pass1      0.0   0.0     0.0     0.0    0   0.0   0                         extended device statistics  device     r/s   w/s    kr/s    kw/s qlen svc_t  %b  md0        0.0   0.0     0.0     0.0    0   0.0   0 da0        0.0 356.7     0.0  1426.6 6085 4611.6 100 da1        0.0 435.6     0.0  1746.3 5831 3959.1 100 pass0      0.0   0.0     0.0     0.0    0   0.0   0 pass1      0.0   0.0     0.0     0.0    0   0.0   0                         extended device statistics  device     r/s   w/s    kr/s    kw/s qlen svc_t  %b  md0        0.0   0.0     0.0     0.0    0   0.0   0 da0        0.0 353.7     0.0  1418.6 5422 5500.3 100 da1        0.0 409.6     0.0  1672.4 5059 5685.1 100 pass0      0.0   0.0     0.0     0.0    0   0.0   0 pass1      0.0   0.0     0.0     0.0    0   0.0   0                         extended device statistics  device     r/s   w/s    kr/s    kw/s qlen svc_t  %b  md0        0.0   0.0     0.0     0.0    0   0.0   0 da0        0.0 314.2     0.0  1290.8 4815 7680.3 100 da1        0.0 445.6     0.0  1782.3 4193 8619.2 100 pass0      0.0   0.0     0.0     0.0    0   0.0   0 pass1      0.0   0.0     0.0     0.0    0   0.0   0                         extended device statistics  device     r/s   w/s    kr/s    kw/s qlen svc_t  %b  md0        0.0   0.0     0.0     0.0    0   0.0   0 da0        0.0 374.6     0.0  1498.5 5189 10703.9 100 da1        0.0 495.5     0.0  2004.0 4327 9588.3 100 pass0      0.0   0.0     0.0     0.0    0   0.0   0 pass1      0.0   0.0     0.0     0.0    0   0.0   0                         extended device statistics  device     r/s   w/s    kr/s    kw/s qlen svc_t  %b  md0        0.0   0.0     0.0     0.0    0   0.0   0 da0        0.0 381.6     0.0  1548.5 4462 11659.8 100 da1        0.0 444.6     0.0  1778.3 3476 11730.4 100 pass0      0.0   0.0     0.0     0.0    0   0.0   0 pass1      0.0   0.0     0.0     0.0    0   0.0   0                         extended device statistics  device     r/s   w/s    kr/s    kw/s qlen svc_t  %b  md0        0.0   0.0     0.0     0.0    0   0.0   0 da0        0.0 358.1     0.0  1432.6 3770 13717.5 100 da1        2.0 392.6     9.7  4939.1 2718 13295.0 100 pass0      0.0   0.0     0.0     0.0    0   0.0   0 pass1      0.0   0.0     0.0     0.0    0   0.0   0                         extended device statistics  device     r/s   w/s    kr/s    kw/s qlen svc_t  %b  md0        0.0   0.0     0.0     0.0    0   0.0   0 da0        0.0 268.7     0.0  1075.0 3251 15486.3 100 da1        6.0 415.1   172.3  7152.3 1909 15055.7 100 pass0      0.0   0.0     0.0     0.0    0   0.0   0 pass1      0.0   0.0     0.0     0.0    0   0.0   0                         extended device statistics  device     r/s   w/s    kr/s    kw/s qlen svc_t  %b  md0        0.0   0.0     0.0     0.0    0   0.0   0 da0        0.0 340.2     0.0  4677.4 2599 17278.6 100 da1        7.5 512.0   122.6  5334.8  909 15103.4 100 pass0      0.0   0.0     0.0     0.0    0   0.0   0 pass1      0.0   0.0     0.0     0.0    0   0.0   0                         extended device statistics  device     r/s   w/s    kr/s    kw/s qlen svc_t  %b  md0        0.0   0.0     0.0     0.0    0   0.0   0 da0        0.0 345.1     0.0  6345.5 2014 17033.0 100 da1       17.5 477.9   451.0 13907.6   37 8510.7 100 pass0      0.0   0.0     0.0     0.0    0   0.0   0 pass1      0.0   0.0     0.0     0.0    0   0.0   0                         extended device statistics  device     r/s   w/s    kr/s    kw/s qlen svc_t  %b  md0        0.0   0.0     0.0     0.0    0   0.0   0 da0        0.0 532.5     0.0  7844.3 1044 19628.0 100 da1        9.5  64.9   521.5  1630.4    0 1311.3  10 pass0      0.0   0.0     0.0     0.0    0   0.0   0 pass1      0.0   0.0     0.0     0.0    0   0.0   0                         extended device statistics  device     r/s   w/s    kr/s    kw/s qlen svc_t  %b  md0        0.0   0.0     0.0     0.0    0   0.0   0 da0        0.0 444.6     0.0 12122.2  277 12927.8 100 da1        9.0  61.4   251.3   882.1    0   7.0   7 pass0      0.0   0.0     0.0     0.0    0   0.0   0 pass1      0.0   0.0     0.0     0.0    0   0.0   0                         extended device statistics  device     r/s   w/s    kr/s    kw/s qlen svc_t  %b  md0        0.0   0.0     0.0     0.0    0   0.0   0 da0        0.0 453.1     0.0 10074.1    2 2050.1 100 da1        5.0 313.7    98.2  7719.4    5  16.5  50 pass0      0.0   0.0     0.0     0.0    0   0.0   0 pass1      0.0   0.0     0.0     0.0    0   0.0   0                         extended device statistics  device     r/s   w/s    kr/s    kw/s qlen svc_t  %b  md0        0.0   0.0     0.0     0.0    0   0.0   0 da0        0.0  61.9     0.0  2519.8    0   5.2  11 da1        8.0  62.9   152.1  2551.8    0   5.6  16 pass0      0.0   0.0     0.0     0.0    0   0.0   0 pass1      0.0   0.0     0.0     0.0    0   0.0   0

и это при том, что на данный момент все мои кроны отключены... а рутовые кроны, запускающиеся раз в 5 минут (*/5 * * * * sync и */5 * * * * /usr/local/scripts/maintain/mon.pl -daemon) такой нагрузки при принудительном запуске не дают... х.з. че такое может запускаться раз в 5 минут... )))

Если оно стабильно происходит каждые пять минут - посиди и посмотри в iotop, сразу будет видно.

И проверь, у тебя диски в рейде стоят одной модели?