Depois de viver em Liberty City por cinco anos, Carl Johnson CJ retorna a Los Santos em 1992 para o enterro de sua mãe. Lá, encontra tanto sua família quando sua antiga gangue, a Grove Street Families, em Ganton. Ao mesmo tempo que começa a acertar questões antigas com seus companheiros de gangue e luta contra as gangues rivais pelo controle de território dentro da cidade, Carl começa a trazer a Grove Street Families de volta ao topo. No entanto, às vésperas das Famílias conseguirem o controle de Los Santos, CJ descobre que seus melhores amigos, Big Smoke e Ryder, estão trabalhando em conjunto com o oficial de polícia corrupto, Frank Tenpenny (dublado por Samuel Jackson) e uma das gangues rivais, os Ballas. Smoke e Ryder montam uma cilada, e deixam que os Ballas prendam o irmão de Carl, Sweet. Tenpenny manda então a polícia para prender Sweet e raptar Carl, que é deixado num lugar muito distante, numa área rural. Ao perceber que Tenpenny é sua única esperança de ficar fora da cadeia e conseguir a liberação de Sweet, Carl se vê obrigado a cumprir as ordens do policial corrupto, que incluem matar e interferir com pessoas envolvidas num processo criminal contra o próprio Tenpenny.
Carl rapidamente conquista a amizade de novos aliados, entre eles Wu Zi Mu, um chinês cego, líder da Tríade, The Truth ("A Verdade"), um velho hippie, e Cesar Vialpando, um latino também membro de gangue que, como Carl, foi traído por seus antigos companheiros. Carl e seus novos amigos abrem uma oficina em San Fierro, enquanto esperam por uma oportunidade de retornar para Los Santos. Após encontrar e matar Ryder, Carl se envolve com os assuntos de um agente governamental misterioso, Mike Toreno, que deixa a entender que libertará Sweet se Carl o ajudar com suas operações secretas. Paralelamente, Carl ajuda Wu Zi Mu a promover o crescimento de um novo cassino na Las Venturas dominada pelos mafiosos. Eventualmente Carl encontra riqueza e retorna a Los Santos, e Toreno cumpre sua promessa de libertar Sweet; porém este, para a surpresa do irmão, se recusa a fazer parte do novo estilo de vida milionário de CJ, e insiste em retornar para seu território natal e fazer as Grove Street Famillies dominar, do que o próprio conforto.
Tenpenny vai a julgamento por diversos crimes, porém as acusações são arquivadas por falta de provas, já que todas as testemunhas da promotoria estão desaparecidas ou mortas. A libertação de Tenpenny provoca uma revolta entre os cidadãos de Los Santos, semelhante aos distúrbios de 1992 em Los Angeles; impulsionado pela determinação de Sweet em derrubar o império de Big Smoke, que se tornou o maior traficante da cidade, Carl reconquista o território da gangue e caça os traidores responsáveis pelas tragédias que se abateram sobre as Famílias, como á morte da Mãe, e do irmão Bryan. Carl eventualmente executa Big Smoke num tiroteio final, escapando de seu palácio em chamas enquanto persegue Tenpenny, que fugira com toda a fortuna de Smoke. Após uma perseguição pelas ruas de Los Santos, Tenpenny perde controle do caminhão de bombeiros que dirigia e cai de uma ponte; Carl, prestes a executá-lo, é impedido por seu irmão. Ambos se afastam, e deixam Tenpenny "morrer num acidente de carro". As cenas finais mostram a confraternização entre a família e os aliados, enquanto Carl se afasta, dizendo que vai "ver o que está acontecendo no quarteirão".
