Правильнее Is this your book? тк в английском языке в вопросе такой порядок слов: вспомогательное слово(Is), потом сам объект thisдальше-- всё остальное.
it is your book? ----в вопросе использоваться не можетпросто потому что так в англ языке сказать нельзя