Baleba speelde in de jeugd van Futur Soccer en EF Brasseries du Cameroun. Hier werd hij gescout door Lille, wat hem in januari 2022 naar Frankrijk haalde. Hij tekende voor vijf jaar en zou in het reserveteam komen te spelen.[1] Aan het einde van het seizoen 2021/22 zat Baleba driemaal als wisselspeler op de bank bij het eerste elftal, maar hij kwam niet tot een invalbeurt. Tijdens de voorbereiding op de jaargang erop werd hij een vast onderdeel van het eerste elftal. De middenvelder maakte op 7 augustus 2022 zijn professionele debuut, toen in de Ligue 1 gespeeld werd tegen AJ Auxerre. Namens Lille scoorden Benjamin André, Jonathan David (tweemaal) en Akim Zedadka, waarna Gaëtan Charbonnier de uitslag bepaalde op 4–1. Baleba moest van coach Paulo Fonseca op de reservebank beginnen en mocht zes minuten voor het einde van de reguliere speeltijd invallen voor Angel Gomes.[2] Hij zou tijdens het seizoen 2022/23 negentien competitiewedstrijden spelen, waarvan vijf als basisspeler.
In augustus 2023, nadat hij nog twee wedstrijden voor Lille had gespeeld aan de start van het nieuwe Ligue 1-seizoen, verkaste Baleba naar Brighton & Hove Albion, waar hij zijn handtekening zette onder een verbintenis voor de duur van vijf seizoenen, met een optie op een jaar extra. Met de overgang was zo'n zevenentwintig miljoen euro gemoeid.[3]