Vývoj počtu obyvateľstva v obci Jelšovec od prvého sčítania obyvateľstva zaznamenáva nárast. K 01.01.2014 mala obec 335 obyvateľov na trvalom pobyte, 8 na prechodnom pobyte.
Najvyšší počet obyvateľov obce bol zaznamenaný v roku 1869, keď bolo v obci približne 580 stálych obyvateľov. Prudký pokles v počte obyvateľstva nastal v roku 1873, kedy v obci vyčíňala cholera. Koncom 19.storočia obec opäť zaznamenala nárast obyvateľstva.
V ďalšom období bol zaznamenaný klesajúci trend v počte obyvateľov obce. Túto skutočnosť možno pripísať viacerým príčinám – I. svetová vojna ako i II. svetová vojna.
Práve povojnové obdobie po ukončení II. svetovej vojny značne ovplyvnilo obec Jelšovec ako i jej obyvateľov. Keďže obec bola dlhé obdobie priraďovaná k maďarskému územiu, najväčší počet obyvateľov bol maďarskej národnosti. V roku 1946 bola podpísaná Dohoda o výmene obyvateľstva medzi Československom a Maďarskom o presídlení menšín .
Ďalším významným medzníkom v poklese obyvateľstva bol v povojnovom období odchod a následne sťahovanie za prácou do okresného mesta Lučenca, kde mnohí našli pracovné uplatnenie v podnikoch a závodoch.
V rokoch 1991- 2002 možno vývoj počtu obyvateľov obce Jelšovec označiť ako mierne stagnujúci. Nebol zaznamenaný ani významnejší pokles ani nárast počtu obyvateľstva. 34 K 31.12.2002 mala obec 254 obyvateľov prihlásených k trvalému pobytu. Podľa posledného sčítania obyvateľov v roku 2011 bolo v obci 307 obyvateľov. Nakoľko je v súčasnosti na trvalom pobyte 335 osôb – možno hovoriť o náraste v počte obyvateľov.
Národnostné zloženie obyvateľov obce je rôznorodé. V obci žijú obyvatelia slovenskej národnosti, maďarskej národnosti - 20, českej národnosti - 2 osoby a taktiež rómskej skupiny obyvateľstva.
