Выражение сохраняет историческое значение слова рубль.
С XIII века рубль представлял собой кусок, отрубленный от серебряной гривны, которая была денежной и весовой единицей. Она делилась на 4 части - руба, или рубля. Особенно увесистый остаток слитка называли "длинным рублем".