wraz ze wzrostem liczby ludności, Hrabstwo Swain zostało utworzone z części hrabstw Jackson i Macon w 1871 roku, podczas epoki odbudowy. Nowi komisarze po raz pierwszy spotkali się w sklepie Cline ' a w Bear Springs. Lucy Ann (Raby) Cline zgodziła się sprzedać kilka partii swojej ziemi, aby utworzyć siedzibę hrabstwa. Początkowo znana jako Charleston, siedziba hrabstwa została rozplanowana w kształcie litery T, utworzonym przez obecne ulice Main i Everett (ta ostatnia ulica została nazwana na cześć pierwszego szeryfa hrabstwa, Epp Everett). Pierwszy budynek Sądu Hrabstwa Swain został ukończony w 1874 roku., W 1872 roku, krótko po zakończeniu budowy nowego więzienia, gang kierowany przez Harveya Coopera szturmował więzienie i uwolnił Toma Colverta, którego uznali za niesprawiedliwie uwięzionego za zabicie rywala w saloonie w Robbinsville.
w 1889 roku mieszkańcy Charleston zmienili nazwę miasta na „Bryson City”, aby uznać rolę Thaddeusa Brysona w jego rozwoju i wyeliminować zamieszanie związane z dzieleniem Nazwy Z Charleston w Karolinie Południowej. W 1884 roku kolej Północno-Zachodnia wytyczyła tory przez Bryson City, znacznie poprawiając transport do wcześniej odizolowanego obszaru., Bryson City Bank został otwarty w 1904 roku. Obecny budynek Sądu Hrabstwa Swain został ukończony w 1908 roku, zastępując poprzedni.
Park Narodowy Great Smoky Mountains, który został założony w 1933 roku podczas Wielkiego Kryzysu, generuje znaczne dochody dla hrabstwa Swain. Horace Kephart, autor i entuzjasta plenerów, który przez kilka lat mieszkał w Bryson City, był głównym zwolennikiem utworzenia parku., Część Parku Deep Creek, która znajduje się bezpośrednio na północ od Bryson City, ma duże pole namiotowe i wiele szlaków. Główne wejście do parku znajduje się zaledwie kilka kilometrów na wschód od Bryson City w Cherokee. Cherokee jest południowym zakończeniem Blue Ridge Parkway. Jest to również baza Wschodniego pasma Indian Cherokee, jedynego uznanego federalnie plemienia w Karolinie Północnej. Wielu z nich to potomkowie Czirokezów, którzy uniknęli usunięcia pod koniec lat 30.,
Ukończenie zapory Fontana w 1944 roku stworzyło zbiornik wodny, który zalał jedyną autostradę łączącą miasto Bryson z odległym obszarem Smokies znanym jako North Shore. Rząd USA rozpoczął budowę nowej autostrady w 1948 roku, obecnie znanej jako Lakeview Drive, ale była ona powolna. Do 1972 roku ukończono zaledwie 11 km. Problemy środowiskowe i finansowe zahamowały projekt, a droga stała się znana miejscowym jako „droga donikąd”.,
w 2007 roku National Park Service uznał budowę drogi za naruszenie ogólnego planu zarządzania Parku Narodowego Great Smoky Mountains i rozpoczął współpracę z hrabstwem Swain w celu znalezienia alternatywy.
rosnąca popularność samochodu doprowadziła do spadku przewozów kolejowych, a Southern Railway (która zastąpiła Western North Carolina Railroad) zrezygnowała z obsługi pasażerów w 1948 roku. Po tym, jak Norfolk Southern zakończył ruch towarowy na kolei w 1985, stan Karolina Północna zakupiła tory., W 1988 roku stan ustanowił malowniczą linię, znaną jako Great Smoky Mountains Railroad, z zajezdnią i punktem wyjścia w Bryson City.
w 2015 roku uruchomiono pierwszą stację FM. WTIJ-LP (100.7) nadaje lokalne i krajowe ministrowie syndykatu i muzyki chrześcijańskiej. Stacja jest własnością Grace Christian Academy i nadaje w powietrzu i online 24/7.