Secondo me si usa dire "i pesi" come una metonimia: in pratica essendo il peso lo "strumento classico", quasi un'icona del body building, lo si usa per indicare quel tipo di allenamento. Così come il guantone o il sacco fanno immediatamente pensare alla boxe. Questo benché entrambi gli strumenti hanno in realtà un ambito d'utilizzo ben più ricco!
Infatti parte del problema sta proprio in quel che tu dici. Gli atleti al top di sport e discipline più disparate (tennis, atletica, rugby, pallanuoto, arrampicata, ginnastica, etc.) maneggiano ghisa come i biscotti a colazione eppure non gli passa nemmeno dall'anticamera del cervello di associare la ghisa al BB, per loro la ghisa è un metodo funzionale a raggiungere l'eccellenza nella propria disciplina, e tale metodo non ha nulla a che fare con quello di un BB.