史学界关于张作霖祖籍主要有两说:一为山东说。《中华民国陆海军大元帅张公行状》中写道:“公讳作霖，字雨亭，奉天海城人，远祖居山东，族甚蕃，清道光初徙居海城。
祖发业农，称素封。”“行状”是过去死者家属叙述死者世系、籍贯、事迹的纪念文体。该文称“远祖居山东”，主山东省说。
一为河北说。河北中又有大城、高阳、河间三说。在《中华民国陆海军大元帅张公雨亭神道碑》写道:“公讳作霖，字雨亭。其先为直隶人，清末迁奉天海城。”这通碑文是督军署参谋长臧式毅领衔，又有8位处长署名的，载于《张大元帅哀挽录》。文中明确地说“其先为直隶人”，即是河北人，主河北说。
从有关历史记载看，张作霖的祖籍是诸说并存，多数学者主河北省说。张作霖之子张学良多次自称祖籍是河北省大城县。据《大城县志》记载及当地老人记述，第一次直奉战争期间，张作霖曾回到河北省大城县南赵扶冯庄认祖，但由于族中老人反对(族人认为其年轻时当过“胡子”，有辱门风，担心奉系失败牵连族人)而未能归宗，张作霖一直对此耿耿于怀。
关于这两种说法均无确切文字记载。但《河间县志》记载:在明清时期河间为府衙所在地，管辖着大城、任丘、肃宁、献县等县，所以大城是河间府属地，才有了河间之说。
对于大城说，笔者详细查阅了《大城县志》和大城堤北冯庄《张姓家谱》等历史文献和相关资料，据《张姓家谱》记载，在清道光年间大城因遭水患，子牙河南赵扶段决堤，大水淹没数百里，造成房屋倒塌，农田颗粒无收。
因生活无着，张作霖的曾祖父张永贵携带着儿女，闯关东谋生，一路乞讨，来到了辽宁的凌海立身，开荒种地，养家糊口。
张永贵勤劳耕作，善于经营，到了张作霖的祖父张发的时候，家境富有，称“素封”。所谓素封，就是指虽然没有官爵封地，却和受封者一样富有的人家。
张发有4个儿子，其第3个儿子就是张作霖的父亲，名叫张有财。张发死后，张有财就带着属于自己的那份财产来到了海城。
张有财先是开了一家杂货铺，几乎赚不了什么钱。后来，杂货铺倒闭了，他又不愿意干活，因此欠了人家许多赌债，被仇家债主害死。张有财死后，家庭生活更加困难，无奈之下，张母王氏只得带着4个孩子投奔镇安县(黑山县)小黑山附近二道沟的娘家。娘家生活也是非常困难，又添了五张嘴，简直没法继续生活下去。
张母王氏只得含泪带着四个孩子改嫁当村李兽医。那年，张作霖才13岁。开始张作霖好奇随继父学些兽医，后嫌脏没前途，就开始游手好闲。
