БУБНОВЫЙ
Бубновый (англ. of diamonds) — 1) относящийся к карточной масти бубны. Например, бубновый туз (англ. the ace of diamonds). 2) красный или жёлтый четырёхугольный лоскут, который в Российской империи нашивался на одежду (на спину) осуждённых на каторгу.
Соответственно, и сами осуждённые на каторжные работы в разговорной речи именовались «бубновыми».
См. Бубны