1937年，美聯儲嶄新的辦公大樓在華盛頓憲法大道竣工落成。干凈整潔、充滿古典風情的白色大理石外墻讓這座大樓與鄰近的美國聯邦政府辦公樓看上去十分相似，共同標志著新政時代的繁榮。
　　
　　樓體大門向前廳延伸的門道上陳列著兩尊偉人雕像，分別是美聯儲締造者、美國前總統伍德羅·威爾遜（Woodrow Wilson）和1913年帶頭在美國國會上拋出美聯儲提案（Federal Reserve Act）的弗吉尼亞參議員卡特·格拉斯（Carter Glass）。前廳天花板由希臘錢幣樣式的石膏浮雕裝飾，簇擁著象征“充盈和穩定”的西布莉女神像。
　　
　　整個大樓的入口處威嚴莊重，但實用性不強，除了偶爾的某些儀式場合之外，青銅色大門一般都是關閉的。從辦事員到政府官員，每個進出美聯儲總部的工作人員出入大樓都是通過*C街一側的后門。
　　
　　財產稅風波
　　
　　就在美聯儲總部辦公大樓還嶄新光亮的時候，美國國會中最后一位留守的真正的平民主義者、來自得克薩斯的眾議員賴特·帕特曼（Wright Patman）提出了一個令人心碎的議案。
　　
　　帕特曼才華橫溢，為人古怪，觀點特立獨行，性格死板固執，在其近50年的國會任職生涯中，大多數時間都在不遺余力地主張廢除美聯儲及其神秘特權。就在1939年的一次國會聽證會上，帕特曼直言美聯儲實際上不屬于美國聯邦政府，而是屬于美聯儲旗下的12家會員銀行，而這12家聯邦儲備銀行又隸屬并受控于諸多私家商業銀行，這些銀行均以美聯儲會員身份持有美聯儲股份。
　　
　　因此，這位國會議員通過推理認為，美聯儲的這座辦公大樓并不應該像其他公共建筑那樣享受免稅，而是應該和其他私有建筑一樣繳納地方財產稅。
　　
　　深受帕特曼言論“鼓舞”的哥倫比亞特區稅務員將地方財產稅單寄給了美聯儲。后者隨即表示拒絕支付。委員會的代表律師們耐心解釋了美聯儲是在伍德羅·威爾遜總統立法折中下誕生的復雜機構，并堅稱此機構是隸屬于美國政府的一部分。
　　
　　這些律師還引用1913年美聯儲建立之初的立法經歷，同時提供了于次年公布的司法部長意見以及后續的一系列聯邦法庭決議，所有這些都可以進一步確認美聯儲的角色，即為美國聯邦政府的一個“獨立部門”。
　　
　　哥倫比亞特區的稅務員并沒有被說服。畢竟，美聯儲是在1935年花費75萬美元從聯邦政府手里購得土地，美國財政部也在這份交易契約書上簽了字，表示讓與“美利堅合眾國在這片土地上的一切權益”。
　　
　　如果美聯儲是政府的一部分，那么聯邦政府為何要將自己的土地賣給自己？1941年12月，也就是珍珠港遭突襲前4天，哥倫比亞特區政府向美聯儲寄出稅款拖欠通知單，并計劃安排一次公開拍賣，他們要將美聯儲的大理石神殿以最高競拍價拍賣出去。
　　
　　拍賣被一再拖延并且從未發生，但這場有關法律問題的口水戰耗費了美聯儲三年的時間，才終于讓地方政府確信美聯儲盡管結構獨特，但的確是聯邦政府的一部分。最終，12家儲備銀行被迫在一份“權力讓與”的契約上簽字，聲明他們并不擁有位于憲法大道上的美聯儲總部辦公樓，真正擁有它的是美國政府。
　　
　　盡管如此，美聯儲卻十分享受外界對自己模棱兩可的地位，并喜歡對其大做文章。供職美聯儲近30年、擔任達拉斯儲備銀行行長及美聯儲委員的菲利普·E。科德韋爾（Philip E. Coldwell）如是說道：“從某種程度上說，美聯儲會把自己看做是美國政府。但有些時候，避過某陣風頭之后它又不把自己當做是政府。”
　　
　　一個十足的怪胎？
　　
　　賴特·帕特曼卻從未心慈手軟。25年后，這位眾議員站在眾議院大廳的地板上宣稱：“任何一個稍微熟悉美國憲法制度和職能的人都會從本質上認定美聯儲就是一個十足的怪胎。”
　　
　　從這一點上來說他是對的。美聯儲的確是一個古怪的安排，一場公眾監督與個人利益之間的古怪聯姻，從容不迫地游走在由選舉產生的美國政府之外，而又始終是隸屬于政府的一部分。
　　
　　它享受自己有別于華盛頓任何其他機構的延伸特權，可以在無需獲得國會許可的情況下提高自己的收入、擬定自己的財政預算；它的最高領導階層是7位美聯儲委員，由美國總統任命，由美國參議院認可，任期14年。
　　
　　而這7位委員要與12家儲備銀行行長共享權力，12位行長同時也在各地區私人銀行效命，從波士頓到亞特蘭大、從達拉斯到舊金山。這些行長的任命并不在華盛頓完成，而是在各區的董事會成員中選舉產生。每次由各商業銀行在9位董事中選出6位輪流擔任行長，這些商業銀行同時也是美聯儲體系下的“會員銀行”。
　　
　　這些商業銀行在12家聯邦儲備銀行中各自持有股份，這的確加劇了美聯儲的復雜性和“陰暗性”，致使許多人誤以為美聯儲是“私有的”。
　　
　　美聯儲是一個政府，包括12家聯邦儲備銀行，并不是一個私有實體。商業銀行享受自己進入并影響美聯儲的特權，但其內部的權力關系是掌握在7位委員手中的，而這7位委員的任命誕生于華盛頓，其權力要遠大于12位聯邦儲備銀行行長。當地區儲備銀行董事會選舉出他們的新行長時，位于美聯儲總部辦公室內的美聯儲主席是有權否決這個選舉結果的。
　　
　　美國的這種安排與其他工業國家的中央銀行完全不同，后者的地區儲備銀行根本不存在任何附加權力。不過最大的不同之處還在于其他國家的中央銀行，甚至是典型的英國銀行，在某種程度上被過度政治民主化，而美聯儲卻不是，美聯儲的運行機制遵循于統一的金融原則，而其他國家中央銀行的運行秩序直接受命于由選舉產生的政黨。
　　
　　從帕特曼去世直至20世紀70年代中期，仍有一些人持續對美聯儲提出異議。每年國會都會收到許多有關美聯儲改革的提議，發起人既有自由人士也有保守人士，不過除了1978年通過的美聯儲賬目應向國會公開議案外，其余的全部夭折。
　　
　　美國幾乎每年都有地區發起反對美聯儲的新訴訟，或抨擊其隱秘性，或質疑其合法性，但卻沒有一例訴訟成功立案。