В небольших районных отделениях библиотеки ("огранак") обычно сразу и детские, и взрослые книги. Есть детское отдельное в центре https://maps.app.goo.gl/GmsQYdjCPZ4sSicG8, неподалёку от Ташмайдана, по-моему в Новом Белграде тоже. Билет единый для всех отделений - все библиотеки - единое целое. Для дошкольников бесплатная запись в библиотеку. Легче всего посмотреть по карте ближайшую, там записаться, посмотреть, что есть, а дальше уже другие отделения разведать.