张作霖祖籍河北大城，父系祖先为李姓，因过继母系而改张姓，因道光年间连年遭灾，张作霖的曾祖父张永贵为谋生而闯关东，落脚于奉天省黑山县高山子，后几次搬家。其父张有财开店做买卖但并不富裕，与妻子王氏育有长子张作泰、次子张作孚，三子张作霖。
张作霖于1875年（清光绪元年）生于奉天省海城（今辽宁境内），1887年，张作霖12岁时曾入杨景镇的私塾读书修业，但仅三个月后就因脾气暴躁而辍学。
同年，大哥张作泰因与邻家妇女发生关系，被父亲张有财殴打，不久便因内伤去世，此事对张作霖影响很大。次年，其父张有财在赌场围观时，因揭发地主王某诈赌，回家途中被王某用镰刀打成重伤，回家后伤重不治。
张作霖与兄长张作孚为了报仇，潜入王某的家中去行刺王某，在寻找王某的过程中，张作霖不慎手枪走火，流弹击中了一名王家的佃户老妇。张作霖趁乱逃走，张作孚一肩扛下所有罪过以力保张作霖，于是张作孚被判处斩首。
经过张家用尽银钱疏通，又改让张作孚的一位“二伯父”顶罪，判刑十年。此后，张作霖便面临沦落街头的窘境。
1888年，母亲王氏出于无奈，举家迁往广宁县（今北镇市）的娘家暂住。这时期的张作霖以四处打零工为生，曾做过烧饼摊贩、跑堂、木匠、货郎等，还去深山里采过药草跟人参，四处漂泊。
他后向继父李氏学兽医，学得相马和医马的技术，两年后到图河堡大车店当佣工。当时的土匪冯德麟、杜立三常于图河堡一带出没落脚，张作霖性格豪爽，跟他们关系良好，时常贸易马匹。
1892年，张作霖离开图河堡，流落营口县高坎镇杜家店当佣工。张作霖与当地人于六合伙开兽医桩，但于六小妾二兰子钟情于张作霖，被张作霖拒绝，反诬他对其不轨，张作霖遭到于家毒打险些丧命。该镇老人常则春为其说情，张作霖拜常为义父，并在常家落脚，除干零活外仍出没于赌场。
张作霖与当地美女祝大菊、祝二菊发生关系，霸占祝氏姐妹的当地财主于二得知后，便追杀张作霖。张作霖躲在常家多日不敢露面。
张作霖两次受辱后，身体每况愈下，一日晕倒在于郎轩门前，被于母救起，拜其为干娘。张作霖感到在高坎无法安生，在义父常则春的资助下离开高坎镇，流浪至田庄台。
1894年，甲午战争爆发，张作霖经曾在继父处治马的赵德胜介绍，投入淮军分支部队毅军，张作霖深受清军将领马玉昆的赏识，被提拔为骑兵哨长。此后，张作霖随军征战辽南，转战复州、盖平、海城等地与日军交战。
1895年春，日军进攻田庄台，20岁的张作霖在战役中幸存，不久清廷与日本签订《马关条约》，毅军奉旨调回关内，张作霖不愿离开家乡，便趁开拔混乱之际，当逃兵离开了清军。
他回到故里后，与黑山县赵家庙地主赵占元次女赵春桂结婚，在海城县高坎村开兽医庄营生，当时各类人等都到兽医庄给马治病，张因此结交了许多绿林朋友。
1896年，经冯德麟介绍，张作霖投入广宁董大虎匪帮，担任“兰把子”，但张作霖对董大虎抢劫妇女的行为日益不满，两个月后便脱离匪帮。
1900年，义和团运动爆发，俄国沙皇尼古拉二世趁机派遣军队入侵东北，使当时东北的社会秩序陷入极大混乱，各地乡绅、财主纷纷成立“保险队”、“团练”、“大团”等地方武装以求自保。
张作霖见状便向丈人家提出要办“保险队”的想法，在岳父赵占元和乡绅李龙石的帮助下，张作霖成立了一支约二三十人的“保险队”，活动于赵家庙一带。主要负责维持周围村庄的治安，并收取保险费，抵御外来的土匪抢劫。此年张作霖25岁。
赵家庙保险队比其他团练组织更有纪律性，名声越来越大，中安堡的乡绅们也纷纷请求张作霖的保护，张作霖的“保险区域”不断扩大，顶峰时期达到二十多个村庄。
