Почеци развоја библиотечке делатности у Косовској Митровици могли би, условно, да се вежу за Друштво трезвене омладине “Братство”, које 15. маја 1920. године, оснива читаоницу и моли све пријатеље и писце да шаљу ко колико може од својих књига.
Истовремено, у ондашњој Гимназији (основаној Указом о отварању, 1. септембра 1915. године) постојала је ђачка библиотека. Ђаци су 19. јануара приредили забаву на којој су играли комад “Џандрљиви муж” Ј. С. Поповића, како би прикупили средства за куповину књига. Од сакупљених 2000 динара, један део је утрошен за куповину књига – уџбеника за сиромашне ученике, а остатак за куповину књига за Библиотеку. Библиотеком тада руководи господин Лисов, суплент овдашње Гимназије, избеглица из Русије.
На иницијативу Јована Јефтића, председника општине, у Косовској Митровици је, 1937. године, отворена Библиотека у општинској згради. За ту прилику, а по “налогу партије”, Жика Николић је купио левичарску литературу. Ова библиотека је, по казивању Божидара Раденковића, предратног адвоката, радила само неколико дана, након чега је затворена, како се грађанству не би делиле књиге са комунистичким садржајем. Од тада, па до 1945. године, нема трага да ли се и како обављала библиотечка делатност у граду.
Као прва установа културе у граду, Библиотека “Вук Караџић” основана је одлуком Општине, новембра 1945. године, на иницијативу просветних радника и виђенијих грађана. Почетни фонд од око 1700 књига чиниле су, углавном, јединице из области књижевности, уз један број страних књига. Прве просторије Библиотеке биле су у приватним кућама виђенијих грађана, одакле се, до пресељења у зграду Скупштине Општине, селила чак седам пута.
Да би остварила своју функцију и књигу приближила читаоцу, Библиотека је формирала библиотечке огранке у граду, приградским насељима и селима, укупно 12. Неки од тих огранака су угашени због туђег власништва над простором, а неки су се, након формирања општина Зубин Поток и Звечан, издвојили из Матичне библиотеке.
Јануара, 1994. године, Библиотека коначно добија нови простор, и пресељава се у зграду бившег хотела “Јадран”. Простор од око 800 м2, адаптиран за потребе Библиотеке, поседовао је три читаонице, магацине за књиге, посебне просторе за одељења и службе, и при том, налазио се на “жили куцавици”, у самом центру града. Значајно је било и то што је постојала могућност да се простор прошири доградњом анекса од 500 – 700 м2. Скупштина Општине је одобрила захтев Библиотеке за проширење и била спремна да се у наредном периоду оствари овај важан задатак.
Устројством мреже матичних би лиотека у Републици Србији, на основу Закона о библиотечкој делатности 1994. године, Градска библиотека “Вук Караџић”, одређена је за матичну, за косовско – митровачки и пећки округ.
Све до 1999. године и уласка међународних снага, Библиотека је врло успешно обављала матичне функције на територији 11 општина, оправдавајући јој указано поверење, о чему сведоче и извештаји у Матичном одељењу Народне библиотеке Србије. За допринос развоју библиотечке делатности на овом подручју, Библиотека је добила низ значајних награда и признања од републичког и општинског значаја: Сурепову награду, награду Заједнице матичних библиотека Србије, Вукову награду КПЗ Србије и Новембарско признање СО Косовска Митровица.
До 1999. преломне године у сваком погледу, Библиотека је имала 114.000 књига. Књижни фонд је чинило око 58.000 књига на српском језику, око 500 на руском, немачком, француском и енглеском, а остали део, скоро половину фонда, чиниле су књиге на албанском и турском језику. Фонд је био класификован по УДК систему а његова организација је обухватала домаћу и страну књижевност на позајмном одељењу за одрасле и децу, стручну књигу са богатом референсном збирком, фонд старе и ретке књиге, завичајну збирку и одељење периодике са серијским публикацијама. Целокупан књижни фонд је био евидентиран у инвентарним књигама. Библиотека је израђивала ауторски и каталог на наслов. У читаоници за дневну штампу, читаоци су свакодневно могли да користе дневна издања: Политику, Вечерње новости, Јединство, а од недељника Дугу и Политикин забавник. Путем међубиблиотечке позајмице Библиотека је, за потребе студената, прибављала наслове које није поседовала у свом фонду. Посебна пажња посвећивана је раду са корисницима свих старосних и образовних група. У том смислу редовно су рађене и анализе кроз које су сагледаване потребе корисника и чињени максимални напори да им се изађе у сусрет. Након 10. јуна 1999. године, уласком међународних снага, онемогућен нам је повратак у свој простор.
Градска библиотека “Вук Караџић” је све до 1. септембра 2014. своју делатност обављала у Техничкој школи, у простору од око 100 м2. Библиотека се тренутно налази на новој локацији, у новом простору (бивши простор Центра за социјални рад).