Urodził się 12 grudnia w 1882 roku w Stawiskach (woj. podlaskie). Był jednym z czołowych zawodników na świecie na początku XX wieku. Przez całe życie reprezentował barwy Łódzkiego Towarzystwa Zwolenników Gry Szachowej.

Rubinstein do dzisiaj okrzyknięty jest jednym z największych klasyków szachów. Uznawano go za jednego z prekursorów nowoczesnej gry pozycyjnej. Wiele debiutów nawiązuje w swoich nazwach do jego nazwiska.

Pomimo tego, że był uznawany za najlepszego szachistę na świecie i jednego z najwybitniejszych w historii, nie zagrał nigdy w meczu o Mistrzostwo Świata. W tamtych czasach pretendent musiał dysponować sporą kwotą, której Akiba nie posiadał.
W 1912 roku Rubinstein osiągnął spektakularny sukces wygrywając pięć kolejnych ważnych międzynarodowych turniejów w ciągu tylko jednego roku: w San Sebastián, Pieszczanach, Wrocławiu, Warszawie i Wilnie. W 1927 jedyny raz wystąpił w Finale Indywidualnych Mistrzostw Polski, zdobywając złoty medal. W 1930 roku razem z drużyną zwyciężył na III Olimpiadzie Szachowej w Hamburgu, gdzie sam odebrał nagrodę za najlepszy wynik indywidualny (13 zwycięstw, 0 porażek, 4 remisy).
Przez całe życie walczył z chorobą umysłową – cierpiał na antropofobię – lęk przed ludźmi.

Zmarł 14 marca 1961 w Antwerpii. Od 2011 roku w Polanicy-Zdroju można usiąść na pomniku – ławeczce, razem z szachowym mistrzem.