Kabla ya kuwa rais wa Uganda, Yoweri Museveni aliishi Nairobi kama mkimbizi wa kisiasa katika miaka ya 1980. Familia yake, ikiongozwa na mkewe Janet, walikimbilia Kenya kuepuka vikosi vya kifo vya Milton Obote. Walikumbana na vitisho vingi, na hatimaye wakaondoka Kenya kwenda Sweden.
Yoweri Museveni na familia yake walifika Kenya mapema miaka ya 1980 baada ya kushindwa na serikali ya Milton Obote. Janet Museveni na watoto wao walikimbilia kwanza, wakifika Nairobi na msaidizi wa kuaminika. Walikaa nyumbani kwa Sir John Bageire huko Westlands kwa wiki mbili, kisha wakahamia nyumba ya vyumba viwili Ngong. Muhoozi Kainerugaba alijiunga na darasa la kwanza katika Shule ya Rusinga, wakati Natasha na Patience Rwabwogo walienda shule ya bustani Riverside Drive.
Baadaye, familia ilihamia Mangu Gardens Muthangari karibu na Waiyaki Way. Ili kupata riziki, Janet alisafiri nje ya nchi kununua nguo za watoto na kuziuza Nairobi wakati mumewe alipigana msituni. Katika kitabu chake My Life’s Journey, Janet alisema: "Niliendelea kujisemea kuwa ikiwa nitaweza kuungana tena na mume wangu, nitakuwa mke bora zaidi."
Vitu vilibadilika wakati redio ilitangaza kuwa Museveni ni adui wa serikali ya Uganda. Museveni alitembelea Nairobi kwa siri ili kukutana na wafanyakazi wake na familia, lakini aliondoka haraka. Familia ilihamia Shauri Moyo Estate mwishoni mwa miaka ya 1980, eneo linalojulikana kwa mkimbizi wa Uganda pamoja na maeneo kama Calif Eastlands.
Walinzi wa Kenya wa Special Branch walianza kufuatilia nyumba yao. Wawakilishi walikuja nyumbani wakati Janet alipokuwa mbali, wakiwauliza watoto kuhusu baba yao. Janet aliwafundisha watoto kusema baba hayupo na kuacha kutumia jina la Museveni. Katika Shule ya St Augustine's Primary karibu na James Gichuru Road, wanaume wawili walijaribu kuchukua watoto, lakini mwalimu mkuu aliwakataza.
Mnamo 1983, msaidizi wa nyumbani John alitekwa nyara, ambaye marafiki walisema walikuwa wakimtafuta Janet. Baada ya onyo kutoka kwa marafiki na maafisa wa NRM kuhusu utekaji nyara wa wafanyakazi wa NRM na kuwapeleka Uganda, Janet alimchukua Natasha kutoka shule ya bweni Nyeri na wakakimbilia Sweden kupitia msaidizi wa UNHCR wa Uholanzi. Uingereza haukuwapa hifadhi kwa kuogopa kukasirisha Obote.