Фронтмен The Rolling Stones Мик Джаггер сообщил, что работа с Леди Гагой была «отличным опытом». Также он отметил, что она по-настоящему выдающаяся певица. Кроме этого, Леди Гага и Джаггер во время записи пели, стоя лицом к лицу. Композиция была записана в формате живого выступления.
«Афиша Daily» со ссылкой на издание Stereogum пишет, что Sweet Sounds Of Heaven — это медленная баллада в духе госпела. Стиви Уандер в композиции сыграл на на фортепиано, родес-пиано Fender и синтезаторе Moog. Гитарист группы Ронни Вуд отметил, что находиться в студии с Уандером и наблюдать, как он привносит в музыку «прекрасные настроения», было «волнующе».
