2019-01-07追記：Macの場合はこちらのほうがパスフレーズ入力不要でいいです↓
ssh公開鍵認証設定まとめ https://qiita.com/ir-yk/items/af8550fea92b5c5f7fca
公開鍵暗号方式という技術を使って通信することがサーバでは基本中の基本のセキュリティ対策になっています。
公開鍵暗号方式については以下がわかりやすいかもしれません。記事後半は別に知らなくてもいいので読み飛ばしてOKです。
暗号入門：公開鍵暗号方式｜SBINS
ssh ユーザ名@IPアドレス
鍵認証用に作業用ディレクトリを作ります。
$ mkdir ~/.ssh
作業ディレクトリのパーミッションを700に変更
$ chmod 700 ~/.ssh
Terminalで別のタブなどを開くなどして、クライアント側で鍵のペアを生成
$ ssh-keygen -t rsa -v
Enter file in which to save the keyなどと出ますが、そのままenterキー
Enter passphrase もそのままenterキー
そうすると id_rsaとid_rsa.pubというファイルが出来る。
id_rsa.pubファイルのパーミッションを600に変更
$ chmod 600 ~/.ssh/id_rsa.pub
$ scp ~/.ssh/id_rsa.pub ユーザ名@IPアドレス:~/.ssh/authorized_keys
yes
パスワードを入力
サーバ側でファイル転送されたかどうかを確認
$ ls -ls .ssh
authorized_keys
というディレクトリが追加されていればOK.
クライアント側で
$ ssh -i ~/.ssh/id_rsa ユーザ名@IPアドレス
-i オプションは、ssh接続をするというオプション。その後にキーの入っているディレクトリを選択
ssh ユーザ名@IPアドレス
と入力しても大丈夫。（デフォルトでsshは~/.ssh/id_rsaディレクトリを参照するため、名前が同じなら省略できる）