Potato Man to nietypowa gra typu trick-taking z ziemniakami w roli głównej, w której czasami to właśnie najmniejsze i najsłabsze karty mogą zapewnić największe korzyści.
Po rozdaniu kart gracze kolejno zagrywają po jednej karcie na środek stołu, tworząc lewę. Obowiązuje przy tym ważna zasada - każdy z czterech kolorów może pojawić się w danej lewie tylko raz. Wyjątkiem jest rozgrywka pięcioosobowa, w której jeden z kolorów może zostać zagrany dwukrotnie.
Zazwyczaj lewę zdobywa osoba, która zagrała kartę o najwyższej wartości. Jest jednak pewien wyjątek: trzy najsłabsze karty w grze, czyli żółte 1, 2 i 3, pokonują trzy najmocniejsze czerwone karty o wartościach 16, 17 i 18. Zwycięzca lewy rozpoczyna kolejną.
Każdy kolor posiada własną pulę kart punktacji. Po zdobyciu lewy gracz otrzymuje kartę punktacji odpowiadającą kolorowi zagranej przez siebie karty. Poszczególne kolory różnią się przy tym siłą i wartością nagród. Czerwone karty mają przeciętnie najwyższe wartości, ale zapewniają najmniej punktów za zdobycie lewy. Gdy pula punktacji danego koloru się wyczerpie, gracze zaczynają zdobywać złote karty-jokery, które są warte najwięcej punktów.
Warto więc odpowiednio zarządzać kartami na ręce i zachowywać te najmocniejsze na właściwy moment. Trzeba jednak uważać, ponieważ runda kończy się natychmiast, gdy któryś z graczy nie może zagrać karty zgodnie z ograniczeniami dotyczącymi kolorów.
Po zakończeniu rundy gracze podliczają zdobyte punkty. Liczba rund jest równa liczbie uczestników, a po rozegraniu wszystkich zwycięża osoba z największą łączną liczbą punktów.