Почему нормальный TTFB на index и css, но плохой на картинки и js

На удаленном сервере крутится ларавель проект. Почему-то картинки, шрифты и js всегда грузятся с TTFB около 600 ms, а индекс и другие файлы всегда с TTFB 180-320 ms.

У меня Debian 9.4
nginx + php-fpm
vestacp
laravel 5.5

Сжатие настроил так, что два файла css и js - статически сжатые, а индексный файл - динамически. Остальное несжатое:

Код (Text):

1.     # Compression
2.     gzip                on;
3.     gzip_vary           on;
4.     gzip_static         on;
5.     gzip_comp_level     5;
6.     gzip_min_length     200;
7.     gzip_buffers        8 64k;
8.     gzip_types          text/html;
9.     #gzip_types         text/plain text/css text/javascript text/js text/xml application/font-woff application/json application/javascript application/x-javascript application/xml application/xml+rss $
10.     gzip_proxied        any;
11.     gzip_disable        "MSIE [1-6]\.";

При загрузке страницы каждый раз сбрасываю кеш ctrl+F5.

Может есть у кого идеи хотя бы что это теоретически могло бы быть? Или подскажите как локализировать проблему. Спасибо.
P.S. Надеюсь - это не тупой вопрос.
--- Добавлено ---

 

Заметил одну штуку. Убрал из конфига nginx "ssl http2" и TTFB везде стал не более 300 мс. Странно очень, т.к. насколько я понял, http2 должен наоборот ускорять загрузку страницы, а не замедлять.