Уважаемая Юлия Александровна!

Да, Вы можете отказаться. Ведь Вы должны выполнять только ту трудовую функцию, указанную в трудовом договоре между Вами и работодателем. Согласно ст. 57 Трудового кодекса РФ, обязательными для включения в трудовой договор являются следующие сведения (в том числе): трудовая функция (работа по должности в соответствии со штатным расписанием, профессии, специальности с указанием квалификации; конкретный вид поручаемой работнику работы).
При этом согласно ст. 60 ТК РФ, запрещается требовать от работника выполнения работы, не обусловленной трудовым договором, за исключением случаев, предусмотренных настоящим Кодексом и иными федеральными законами. Какие это случаи, которые предусмотрены Трудовым кодексом? Эти случаи указаны в статье 72.2. Кодекса: По соглашению сторон, заключаемому в письменной форме, работник может быть временно переведен на другую работу у того же работодателя на срок до одного года, а в случае, когда такой перевод осуществляется для замещения временно отсутствующего работника, за которым в соответствии с законом сохраняется место работы, - до выхода этого работника на работу.
Таким образом, Вы можете быть только переведены на должность дворника, и то по письменному соглашению между Вами и работодателем и в случае, если бы дворник временно отсутствовал, а не был уволен. В Вашем случае, напротив, никто Вас не может принуждать выполнять работу дворника.
Смело отказывайтесь, аргументируя это тем, что указанные трудовые функции отсутствуют в Вашем трудовом договоре.

Всего доброго!
С уважением, Кавджарадзе Максим Геннадьевич