Ну я только Webmin ставлю и то редко. Он самый тру из всего этого мусора. И панель это не беда, беда это phpmyadmin.
У меня phpmyadmin тоже есть. Но отключен 99.9% времени. Включаю только когда с ним что-то разрулить реально проще, чем запросы из головы в консоль лупить. Или если нет другого способа прицепиться к БД. Воркбенч там, или через ту же IDE. Включил, поработал, выключил. А так, не особо люблю, когда в мир, да еще и в виде веб-морды смотрит что, что через что можно управлять сервером. Панель ли, пма ли. Хоть и понимаю, что они уязвимы, скорее всего, не больше, чем твой аккаунт у хостера или доменного регистратора, и все упирается в сложность пароля. Но все равно некомфортно. То ли дело беспарольные коннекты через SSH по ключам.