Нужен ли вам Ceph

Когда ceph не нужен

У вас нет экспертизы в Linux. Если вы с большим трудом умеете работать в консоли, то Ceph не для вас.
У вас нет денег на 10G сеть и серверные SSD. Кластер на десктопном железе заработает, но на performance tuning его может уйти очень много времени.
Ваш SSD выдает меньше 10K IOPS в один поток (s sync). Это минимальные системные требования для тех кто решил пробовать на desktop железе.
Cross-DC для образов виртуальных машин (неприемлемые задержки).
Меньше 5 серверов для production кластера. Для тестов вполне хватит и трёх.
Малое S3-хранилище. Для 100 тыс. картинок и minio неплох.
Огромное S3-хранилище. Миллиард объектов в Ceph будут болью, лучше рассмотреть иные решения, например, поверх чистых k-v хранилищ.
iSCSI + rbd. Очень сложно.
Когда все данные вмещаются на один сервер. Нужно 50ТБ - просто соберите RAID.

Большое количество статических файлов, например, для разадчи по WEB через S3. Однако, мелкие (размером меньше килобайта) файлы хранить будет болезненно.
Если требуется S3 cross-DC. google: radosgw federation
Вы строите частное облако – Сeph совсем не идеален, но все остальные opensource еще хуже.
Shared Storage для виртуальных машин. Очень спорная тема, но иногда другого выхода нет.