ในรัชสมัย พระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว มีราชองครักษ์ที่โปรดปราน เป็นพี่น้องตามกันมา 2 ท่าน คือ เจ้าพระยารามราฆพ และพระยาอนิรุทธเทวา ทั้งสองท่านเป็นที่รับราชการเป็นที่พอพระราชหฤทัยจนได้รับพระมหากรุณาธิคุณพระราชทานบ้านพักให้สองพระยา โปรดฯ ให้สร้างบ้านนรสิงห์ (ทำเนียบรัฐบาลปัจจุบัน) ให้เจ้าพระยารามราฆพพระราชทานบ้านบรรทมสินธุ์ (บ้านพิษณุโลก) แด่พระยาอนิรุทธเทวา
ตำแหน่งของบ้านบรรทมสินธุ์ อยู่ติดกับกรมอัศวราช หรือกรมม้าพิธีนําตามเสด็จซึ่งก็คือ ราชตฤณมัยสมาคมแห่งประเทศไทยเดิม เรียกแบบที่คนเข้าใจได้ง่าย คือ สนามม้านางเลิ้ง ปัจจุบันคือ อุทยานเฉลิมพระเกียรติ พระบาทสมเด็จพระบรมชนกาธิเบศร มหาภูมิพลอดุลยเดชมหาราช บรมนาถบพิตร
บ้านบรรทมสินธุ์ อยู่ติดกับกรมมอัศวราช ตอนนั้นคงยังไม่มีการตัดถนนพิษณุโลก บ้านสร้างบนพื้นที่ 50 ไร่ มีการขุดสระน้ำใหญ่ เอาดินมาถามที่ปลูกบ้าน ขนหินมาจากราชบุรีและสระบุรีเอามาทำฐานตึกใช้สถาปนิกอิตาลีมีชื่อโด่งดังอย่าง มาริโอตามัญโญ ชื่อ บรรทมสินธุ์ มาจาก รูปพระนารายณ์บรรทมสินธุ์ สัญลักษณ์พระราชทานเป็นเครื่องหมายประจําตระกูล อนิรุทเทวา รูปพระนารายณ์บรรทมสินธุ์ทําด้วยบรอนซ์ อยู่บนแท่นศิลาในอ่างน้ำพุหน้าบ้าน มีม้าทองแดงขนาดเท่าตัวจริงในสนามข้างตึกใหญ่ สั่งมาจากอิตาลี และพระราชทานให้เป็นอนุสรณ์แห่งความพอพระราชหฤทัยแก่ นายสุนทรมโนมัย (พระยาอนิรุทธเทวา) บ้านบรรทมสินธุ์ เดิมเมื่อสร้างเสร็จไม่ได้เป็นแบบนี้ ไม่ได้หน้าตาเหมือนบ้านพิษณุโลกทุกวันนี้ แต่ สวย โก้ หรูหราอลังการ มากกว่านี้
บ้านบรรทมสินธุ์สร้างเสร็จประมาณปี 2468 พระยาอนิรุทเทวาอยู่ที่บ้านนี้มาตลอดจนถึงปี 2484 เกิดสงครามโลกครั้งที่สองประเทศไทยโดนทิ้งระเบิด ท่านเจ้าคุณอนิรุทเทวาพาครอบครัวอพยพไปอยู่ที่วัดตําหนักเหนือ แถวปากเกร็ด นนทบุรี ปี2485 จอมพล ป.พิบูลสงคราม ส่งผู้แทนติดต่อขอเช่าหรือซื้อบ้านบรรทมสินธุ์เพื่อเป็น“บ้านรับรอง” เตรียมการไว้ต้อนรับนายพลโตโจ นายกรัฐมนตรีญี่ปุ่นที่มีข่าวจะมาเยือนประเทศไทย ท่านเจ้าคุณอนิรุทเทวาขายบ้านให้สํานักงานทรัพย์สินส่วนพระมหากษัตริย์ “ ท่านเจ้าคุณอนิรุทเทวาไม่ได้ขายบ้านบรรทมสินธุ์ ทั้งหมดยังเหลือ อีกฝั่งที่ขายให้หมอฝรั่งในภายหลังสงครามโลกสงบแล้ว คือที่ตั้งโรงพยาบาลมิชชันในปัจจุบันนั่นเอง
หลังเปลี่ยนมือ บ้านบรรทมสินธุ์” ถูกใช้เป็นที่ทําการ “กรมประสานงานไทย-ญี่ปุ่น” เปลี่ยนชื่อตึกใหญ่เป็นตึก “ไทยพันธมิตร” เปลี่ยนชื่อ “บ้านบรรทมสินธุ์” เป็น “บ้านพิษณุโลก” ชื่อบ้านเปลี่ยนไปใช้ตามถนนพิษณุโลก หลังสงครามบ้านพิษณุโลกถูกทิ้งร้างไว้นานจนถึงรัฐบาลพล.อ.เปรม ติณสูลานนท์ ดำริงซ่อมแซมบ้านพิษณุโลกให้เป็นที่พํานักของนายกรัฐมนตรี ด้วยงบประมาณ 10 ล้านบาท การบูรณะทำให้ได้บ้านพิษณุโลกหน้าตาที่เราเห็นในปัจจุบันซึ่งเปลี่ยนไปมาก
ส่วนการเป็นบ้านพักนายกรัฐมนตรี เป็นเรื่องแปลกที่ แทบไม่มีนายกรัฐมนตรีท่านใด ได้เข้าพักเลย มีแต่พลเอกเปรมท่านเดียวที่เข้าไปนาน 1 คืนถ้วน แล้วจึงย้ายกลับมาพํานักยังบ้านสี่เสาเหมือนเดิม พอปี 2536 นายชวน หลีกภัย นายกรัฐมนตรีจะเข้าไปอยู่อย่างเป็นทางการ แต่สุดท้ายบ้านพิษณุโลก ก็เป็นแค่สํานักงานในเวลากลางวันเท่านั้น
รัฐบาลที่มาใช้บ้านพิษณุโลกในภายหลังคือ พลเอกชาติชาย ชุณหวรรณ ที่ใช้เป็นสำนักงานที่ปรึกษาและทีมเศรษฐกิจ
เรื่องเล่าในบ้านพิษณุโลก มีเรื่องราวแปลกๆ ทั้งเหตุบางอย่างที่นายกรัฐมนตรีหลายท่านพบแล้วตัดสินใจไม่พัก คนเก่าคนแก่โบร่ำโบราณ อาศัยอยู่บริเวณหลังบ้าน จะมีเรื่องเล่าถึงสิ่งที่ได้เห็นและได้ยิน เช่น เห็นตุ๊กตาฝรั่งกลายเป็นคนจริงๆเดินไปเดินมา ได้ยินเสียงม้าร้องม้าวิ่ง (เรื่องม้าวิ่งม้าร้องนั้นผู้เขียนได้ยินมาจากบิดาซึ่งเคยมีถิ่นพำนักอยู่บริเวณนางเลิ้ง และไปเที่ยวเล่นกับเพื่อนในบริเวณนั้นด้วยเช่นกัน) ทายาทตระกูลอนิรุทเทวา ตระหนักว่า ชื่อ นารายณ์บรรทมสินธุ์ เป็นชื่อพระราชทาน เคยขอให้รัฐบาลเปลี่ยนกลับมาเป็นบ้านบรรทมสินธ์ุ แต่ยังไม่ได้เปลี่ยนยังคงชื่อบ้านพิษณุโลกตามเดิม
มีผู้พยายามอธิบายชื่อ “พิษณุโลก” ว่ามาจาก “วิษณุโลก” หมายถึงโลกของพระวิษณุ หรือพระนารายณ์ หมายถึงสวรรค์ ชื่อของปราสาท “นครวัด” ในสมัยเขมรแรกตั้งเดิมชื่อ “วิษณุโลก” แม้แต่ไทยเรา สมเด็จพระบรมไตรโลกนาถทรงรับแบบแผนมาตั้งชื่อเมืองสองแควว่า “พิษณุโลก” เพื่อให้เป็นมงคลต่อพระองค์
มีคนตั้งทฤษฎีว่า เพราะนายกรัฐมนตรี (คนหนึ่ง) ทำให้ ตระกูลอนิรุทเทวา ต้องขายบ้าน ดังนั้นอะไรหรือใครที่มากจากรัฐบาลก็อยู่บ้านนี้ไม่ได้ แต่นั่นก็เป็นเพียงทฤษฎี จะยังไงก็ตามบ้านพิษณุโลกยังคงเป็นของแสลง ที่ไม่มีนายกรัฐมนตรีไปพัก”ใน”บ้านพิษณุโลกอยู่ดี เพราะอะไรต้องไปถามกับคนเคยพักแล้วไม่กล้าพักนั่นแหละว่าเพราะอะไร