Действие Summer Pockets разворачивается на изолированном сельском острове Торииро-дзима, расположенном в Сето-Найкай, где проживает около двух тысяч человек. Главный герой — Хари Такахара, молодой человек, не родившийся на острове. Выросший в городской среде, после неприятного инцидента Хари использует недавнюю смерть своей бабушки как повод приехать сюда, чтобы заняться продажей её имущества. Оказавшись там, он знакомится с четырьмя девушками, каждая из которых становится центральной фигурой сюжета. Среди них Сироха Нарусе, которая забыла про летние каникулы; Ао Соракадо, увлечённая легендами острова; Камомэ Кусима, девушка высшего общества, ищущая пиратский корабль; и Цумуги Вендерс, младшая девочка, пытающаяся найти своё место в жизни.
