Ursprunget till Shine On You Crazy Diamond var en sorgsen gitarrslinga på fyra toner, Bb – F – G – E, som David Gilmour tidigare hade improviserat fram på sin svarta Fender Stratocaster redan sommaren 1974. När han lade till litet delay och andra effekter lät det riktigt snyggt, de andra bandmedlemmarna hakade på och utvecklade melodin runt denna melodislinga. Denna återkommer flera gånger under stycket.