В случае кого-то находят этот вопрос, и не удовлетворен ответом:
кажется, что SwipeRefreshLayout не совместим с адаптерами, которые имеют больше чем 1 тип изделия.