コロプラ・ベアーズ 面白いものを作りたい仲間が集まるベアーズ

コロプラのインフラチーム特別インタビュー
TEAM

コロプラを裏で支えるインフラエンジニア座談会

コロプラのインフラの部長

業務推進部

久坂祐介

部長

コロプラのインフラのエンジニア

業務推進部

T.N

エンジニア

コロプラのインフラのエンジニア

業務推進部

K.J

エンジニア

ゲームアプリやインターネットサービス等で「メンテナンス中」という言葉は目にしたことがあるはず。 その間は、サービスが利用できないことが多いですが、コロプラでは「いつでもゲームを遊んでいただきたい」。 だから「できる限り運用を停止しないこと」を目標に日々奮闘しています。 そんな想いを抱くインフラチームが、サービスの裏側について話してくれました。

ひとりで1000台規模を対応できるまでに成長

インフラチームの仕事って、一般的にはあまり知られていませんよね?

久坂:そうですね。端的にいうとコロプラのゲームコンテンツ以外の全システムの裏側を担当しています。幸いなことに規模は次第に大きくなっているんですが、現在は10人以下のメンバーで対応しています。全ての行程を対応できるようにして、リーダークラスの人なんかは、ひとりで1000台規模を対応できるまでに成長しましたね。

えっ!ひとりで1000台規模?

久坂:社外からも驚かれることが多いんですよ。メンバーの成長と責任感が大きいんですが、それ以外の3つのポイントは「ひとりひとりが責任者として、一定の裁量権を持つ」「どこにも依存しないオープンなシステム」「内部だけで完結し、特定の担当性を設けない」こと。これを維持し続けていることで規模が大きくなっていても対応できているんじゃないかと。規模に応じて手段や範囲も増えるんですが、チームもそれに比例して成長していけるので面白いんですよ。これぞ、インフラエンジニアの醍醐味ですね。

求む、緊迫した状況

コロプラは急成長し続けているので、トラフィックが大きいのでは?

久坂:振り返ると『クイズRPG 魔法使いと黒猫のウィズ』で利用者が増加したときが、一番苦労しました。CMが始まったタイミングで予想を超える伸び率を記録したので、ここまでかと驚きました。



エンジニアN:毎日どんどん増えていきましたね。



久坂:大人の事情で数字はいえませんが(笑)クラウドサービスでサーバを増やそうとしたら「もうサーバが足りないよと警告がでてしまう」ぐらい。社内で緊急負荷対策プロジェクトが発足されて、インフラチームだけでなく、各所の開発メンバーから精鋭を集結して対応しました。誰もが「サービスを止めないことが重要だ!」と必死に対策してました。

緊迫した状況ですね。

久坂:でも、純粋に楽しかったです。未知なるトラフィックに対応することはインフラエンジニアにとって最大の見せ場でもあります。また、コロプラの魅力のひとつですが優秀なエンジニア達が一同に集まって対応しているので成長できるチャンスでもあります。緊迫している中ですが、エンジニア的にはどこまで伸びるんだろうなと逆にワクワクしてましたよ。



エンジニアJ:まあ、腹くくってやるしかないですしね(笑)。私がコロプラに転職した理由って、巨大なトラフィックをさばくことだったので、願いが叶ったとも言えますね。



久坂:そうそう、もう一つ大事なこと、サーバを増やすにも限界がありますので、OSやDBのチューニングなどで、1台あたりのリミッターを解除して限界突破するのが重要なんです。もう、3日後には止まってしまうじゃないかといった状況で、サーバで接続上限のエラーが出ていて、彼が(エンジニアN) が止まるぐらいだったらと、オンラインで設定値をダイナミックに変えて解決した際は「おぉー!」と歓声があがりました。このあたりもエンジニアの腕の見せ所です。



エンジニアN:満面の笑み(笑)



IMG_4972のコピー.jpg

頼られる喜びと、頼られる責任感。

その頃、チームは何人?

久坂:当時はこの3人だけです。こちらの対応をしている最中にも、ほかのタイトルのエンジニアの方々から相談がくることがありましたので、同時並行で対応していました。こんな時でも、いつでも相談に乗りますよのスタイルは徹底して貫いていましたね。



エンジニアN:頼られると、嬉しいですから。それは日々、いろいろと解決してきたことが積み重なって、社内の人と信頼関係が生まれたという証明ですから。



久坂:そうそう。どんなに忙しくても、こういった姿勢がインフラを支えていますね。平行で対応できる能力がつくので、技術力だけでなく、仕事のスピードもあがっていってますね。



すごく鍛えられそうな環境ですね。

久坂:成長できる環境なのは間違いないです。エンジニアとしてだけでなく、いちサービス運用者としての意識もです。コンテンツを運営しているのはわれわれも一緒なので、サービスを止めるのは絶対に避けたいという強い信念があるんです。その苦労を買ってでもやるのはユーザー様にいいものを届けたいから。僕らもコンテンツの運用に一生懸命関わっているんです。開発の人たちとも密に連携して、対等にモノづくりをしているような関係性なんです。

メンテナンスをしないことにとことん拘っているんですね。

エンジニアN:例えば、メンテナンス明けに急にトラフィックが増えると、トラブルが起こることがあるんですよ。そうした事態を防ぐこともできています。



エンジニアJ:止めないように、裏で懸命にがんばっています(笑)。

「負荷よ来い!成長への近道だ」という感じでしょうか。

久坂:とあるクラウドサービスが、1週間以内に大規模なメンテナンスをすることになって、コロプラのほぼ全タイトルを同時期に切り替える必要があったんです。規模は数千台にもなり、あまりにも作業量が大きいので、社内からメンテナンスもありじゃないとの声もあがりましたが、インフラチームとして「絶対にしないぞ!」という信念でやり遂げました。



エンジニアJ:やりましたね(笑)。行なっている作業はいつもといっしょでしたが、密度がとても濃かったです。



久坂:いやいや、本当に大変で準備は徹夜にもなりましたが、いざ当日は「15時から白猫切り替えま~す!」「はい、切り替えました!」といった感じで、カジュアルに複数のタイトルを同時並行的に対応していました。あの一体感はコロプラらしいともいえ、結果は何事もなく無事に終わり、ああいうチャレンジがあると技術だけでなく、精神までも鍛えられますね(笑)。



エンジニアJ:私は、今のエピソードが過去最高の大変さだと思っています。ですので、もう何があっても、だいたい平気になりました(笑)。

infra03-02のコピー.jpg

驚きと感動。常に、新しく。

「誰かのために」という、おもてなし精神が強いですよね。

久坂:ユーザー様だけでなく、社内の方々のこともお客さんだと思っています。客観的にみるために回答者は匿名で満足度調査も四半期に一回おこなっています。どんなにすばらしい環境であっても、一度体感すると二度目からは当たり前になってしまいますから、新しいイノベーションを提供し続けるためにも大切に続けています。

その他に大切にしていることはありますか?

エンジニアJ:我々にはポリシーがあって「安定、スピード、コストの三軸を最大化する」です。



久坂:例えば、開発の人から「検証環境を作ってほしい」と頼まれたら、すぐに作るんです。極端な場合は、数時間以内に。「えっ!もうできたの!?」って驚いてもらえると、すごく嬉しいです。あと、ゲームの体感速度って、すごく重要なんです。遅くなると、つまらなく感じてしまうんですよね。通信やサーバーのスペック、構成などが関わるのですが、いかにして短くするのか、早くするのかといったことも、インフラチームの仕事です。



もはや、ゲーム作りともいえますね。

久坂:通信って、光の速度を超えられないんです。日本とアメリカでサーバー構成を考えたときには、0.2秒のラグがあります。また、データが往復するのは0.4秒かかる。それを踏まえたうえで、ゲーム性を保つようにしていきます。最新の技術が登場しても、コストや効率などをきちんと見極めて、何を使うのがベストなのかを決定することが大切です。

6a0ab6e7acf08c32a49f484581c1f6724c236183.png

我々を、否定せよ。

そんなチームに興味を抱いて加入する、新メンバーに求めることは?

久坂:ゼロからイチを作りたい人ですね。ただの作業員ではなく将来を考えて新しい価値を提供し続けられる人。会社やユーザー様にとってよいものをどんどんつくっていって欲しい。もはや、ゲーム作りと一緒です。コードも書きますし、何でもやりたがる人と仕事をしたいです。



エンジニアJ:コロプラでは隣に開発の人がいたり、下の階に行けば作った人に直接話を聞けるといった環境なので、とてもやりやすいです。立ちミーティングで軽く話して、すぐに対応を決めたりと、スピード感がすごいですね。自分で変えていきたいという方であれば、すごく成長できる環境だと思います。



久坂:我々もどんどんレコードを塗り替えたいです。そうすれば、さらなる成長ができますので。黒猫のときの状況も、今なら余裕でさばけますから。



エンジニアJ:もう一回経験したいです。あと、マルチクラウド化もどんどん進めたいです。



エンジニアN:世界No1の量をさばくサービスには、まだまだ上がありますよ(笑)。



久坂:今後、我々の考えを否定する人にも出会いたいです。口で言うだけでなく、実際に実現して、結果を見せてくれる人ですね。エンジニアJがぽろっと言ったマルチクラウド化もそれで、常に新しいサービスが出続けるので、いま最も旬なものを客観的に見極めて、新しいものにチャレンジし続けてほしいですね。



お客様に喜んでいただくことを信条としているインフラチーム。緊急事態すらゲームのように楽しみ、力を合わせて乗り越えていく......すべては、誰かの笑顔のために。仕事へのストイックな姿勢とは裏腹に、メンバーたちの優しそうな笑顔には、充実した日々が映しだされていました。