Nasce il 25 giugno 1789 a Saluzzo, cittadina attualmente in provincia di Cuneo, secondogenito dell'agiato commerciante piemontese Onorato Pellico (1763-1838) e della savoiarda Margherita Tournier (1763-1837). Sia Silvio che i quattro fratelli ricevono un'educazione cattolica. Uno dei suoi fratelli, Francesco, diventerà gesuita. Dopo gli studi a Pinerolo