פוליאקוב נולד בשנת 1910 באימפריה הרוסית ועלה לארץ ישראל ב-1922 עם משפחתו. בהיותו בגיל 14 בלבד, ב-1924 היה ממקימי קבוצת הכדורגל התל אביבית "קבוצת אלנבי", ביחד עם אחיו, שלמה פוליאקוב. קבוצה זו איחדה כוחות עם קבוצת הפועל תל אביב ב-1927, ופוליאקוב היה הקפטן הראשון של הקבוצה המאוחדת. שיחק בקבוצה בתור בלם ביחד עם אחיו, ולזכותו 42 הופעות ו-5 שערים במשחקים המתועדים. ב-1928 זכה עם הפועל תל אביב בגביע הראשון של ארץ ישראל, גביע העם.