Abfeilen war wirklich Sch... dafür gibt es passende Fräser. Evtl. ist ja noch was zu retten. Besuch mal einen Händler deines Vertrauens. Ansonsten würde ich versuchen mit dünnem Kupferblech einen Spacer zu schnitzen und die untere Lagerschale dann stramm aufpressen.