Dana 17. siječnja 1966. objavljen je drugi studijski album Simona i Garfunkela “Sounds of Silence”. Nazvan je po istoimenoj pjesmi, koja je uvrštena na ovaj album, iako je bila objavljena i na prvom. Oba glazbenka  imaju različita sjećanja o trenutku kada su čuli za veliki komercijalni uspjeh te pjesme.

Paul Simon: “Baš smo se vratili s jedne turneje u New York, ja sam boravio u svojoj staroj sobi u kući mojih roditelja. Artie je živio u kući svojih roditelja. Sjećam se da smo jedno večer sjedili u automobilu, parkirali se u jednoj ulici u Queensu, a spiker na radiju je rekao: “Broj jedan – Simon & Garfunkel.” Artie mi je tada rekao: “Taj Simon i Garfunkel… sigurno se sada negdje odlično zabavljaju.” A mi smo sjedili u tami noći na kraju ulice i pušili joint. I nismo znali što da radimo sa sobom.
Art Garfunkel: “Bili smo u hotelu u Los Angelesu. Tada smo još odsjedali u istoj sobil. Nazvao nas je naš menadžer i rekao: ‘Pa, čestitam. Sljedeći tjedan idete s petog na prvo mjesto Billboard liste.’ Sjećam se da smo onda širom otvorili zavjese i pustili da sunce uđe u tamnu sobu, a zatim naručili poslugu da nam donese hranu i piće u sobu. To je bilo baš dobro.”

Godine 2013. album je uvršten u National Recording Registry pri američkoj kongresnoj knjižnici, kao ”kulturološko, povijesno i estetski značajno djelo”.