Brinje je bilo najvažnije središte moćnih hrvatskih knezova Frankopana u Lici. Utvrđeni grad Sokolac u Brinju izgradio je Nikola IV. Frankopan. Sokolac se nalazi na uzvisini iznad naselja.
Iako su nekoliko puta pokušali, Turci nikada nisu uspjeli osvojiti Brinje. Nakon oslobođenja od Turaka, Sokolac je napušten. Prema jednoj priči, tad se u potkrovljima tvrđave počinju gnijezditi sokolovi, a utvrda dobiva ime Sokolac.
