ISUCON8予選で惨敗してきた話

ISUCON8に、 @bgpat_ (あーちゃん)と @Owl_Works (おうるさん)と三人で出て、惨敗してきました。

あーちゃんのブログ記事

bgpat.hateblo.jp

 

 

前日まで

チームメンバー集め

まず、今年から僕は社会人枠になってしまったので、社会人枠で出てくれるメンバーを探す必要がありました。とりあえずあーちゃんに声かけました。

一人目ゲット。

二人目、誰にしようか。

 ※@showwinさんはISHOCONの主催者兼作問者

断られる。残念。来年は是非!

ISHOCON2当日を迎える。

ISHOCON2で遊ぶ。

帰ってからISHOCON2についてと、メンバー募集の求人ブログ書く。

おうるさんもメンバー求めていたらしく、声がかかる。

無事三人チーム結成される!

チーム名決め

メンバー三人、僕が馬であーちゃんが犬、おうるさんがフクロウだよねって話になった。

f:id:Goryudyuma:20180921005756p:plain

他にいい案も思いつかなかったので、「Bremen」 に決まりました。

練習会

YahooのLODGEに集まってISUCON7予選を、それから夜中にISUCON4予選をやって、当日の流れとかをやりました。でも、明らかに練習量が足りなかった。 

お互い何ができるか、どんなことが得意か、どんなことなら任せられるか、どれくらいやればどれだけ体力が残ってるかなどなど、チームメンバーのステータスを知り、お互いを信頼して。こういったことができてない(できない)即席チームは、とても弱いです。うーん、来年以降、本気で決勝目指すなら、そこからやらねばな。

当日

mixiさんのオフィスをお借りしました、ありがとうございました!

当日の流れとしては、あーちゃんのブログ以上のことは書けないので、省略するとして。ここからは反省タイムです。

まず、調査の結果GetEventがとんでもない回数呼ばれて遅いものであることがわかりました。

少し話は変わりますが、ISUCONって、学生枠での攻略法と社会人枠での攻略法は全然違うと考えています。具体的には、例えばボトルネックになるポイントが問題内に3つあるとして、学生枠で通るには2つ改善してあとを定数倍早くする、もしくは三つ改善する、くらいで通るというのが僕の肌感覚です。一方で社会人枠は三つとも改善は当たり前で+α何か改善した状態、くらいが社会人枠での突破ラインとなると思います。また、共通点としては再起動試験には絶対に落ちないようにすること、ってのが挙げられます。後は運です。

このように考えていたので、このN+1問題が解決しないと、根本的に点数は伸びなさそうだなーって考えからこのN+1問題に固執してしまい、さらに何箇所からも呼ばれている関数だったのに「それ自体を早くしないとどうしようもないよね」とか言って、分割は最低限で超大きいまま取り組んでしまいました。超大きいまま取り組むと解けないのは当たり前ですね。

また、最終的に三箇所全てに同じアプリケーションを配置する方針も少しあって、その制約のせいで例えばエンドポイントによって捌くサーバーを変える分割が気軽にできませんでした。これは完全に方針ミスです。

三箇所に同じものを配置する方針となった理由の一つは、最初のレギュレーションを読んだ時に、帯域が詰まってくるだろうと予想したから(三つとも同じものを配置してやれば帯域は三倍使えるという過去のISUCONの知見から)なのですが、そもそもベンチマーカーが一箇所にしかアクセスできない仕様と判明した時点でもう一度確認して、完全に頭の中から消し去るべきでした。調査に基づかない方針決めは本当に良くないです。

また、今回使ったデプロイ環境のせいでもあります。今回、ビルドはローカルでやってバイナリだけscpでサーバーに設置する、というデプロイのやり方でやりました。こうすることで外部パッケージの依存関係で問題を起こして本番環境を壊したりしない、同じ変更を三台のサーバーそれぞれに入れる必要はないので変更入れ忘れ事故がなくなる、それぞれ自分の環境でのビルドになるので作業中のコンフリクトが起きにくい、といったような十分なメリットがあるので採用されました。Golangはクロスコンパイルできるからこその作戦ですね。しかし、三台のサーバー全てに同じバイナリが設置されるので、それを念頭に置いた方針になってしまいました。

Redisに乗せる案もかなり初期から一応あるにはあったのですが、結局乗せ始めたのは中盤が終わりかけになってからという微妙な時間になってしまいました。これに関しても、Redis化に消極的だった僕が悪いです。Redis化に消極的だった理由は、初期ベンチマークから何かがエラーで、まともに全部Successでベンチマークが通ったことがとても稀だったからです。初期実装からエラーが出ていた理由がトランザクションがきちんと張られていなかったからっぽい?のですが、本番中はそこまでわからず、何だかよくわからないけど、例えばMySQLに入れる順番が大事(直前に練習したISUCON4予選問題)とかの隠れ仕様があり、結局Redis化しても点数伸びずに終わってもおかしくないなと思ったからでした。量が量でしたし、やるならもうRedis化に全て賭けるしかなかったですしね。それよりも確実にボトルネックとなるN+1問題の方が優先度が高いと考えていました。

こんな感じで、学生枠とは全然違った戦略を、特に練習時間も多く取れない状態で挑んだ結果の、当然の爆死でした。

感想

今年は問題が重すぎて辛かったですね。(ISHOCONの問題量に慣れてしまった可能性が微レ存・・・?)

あーちゃんはとてもデキるエンジニアなのですが、彼の作るインフラは本当に最高です。僕の方がついていけず、うまく使いこなせてないことが多かったです・・・。ただ、慣れてくると本当にいいものであることは間違いないです。

初めて組んだおうるさんも仕事がとても早くてびっくりしてました。いつの間にかタスク全部終わってる・・・みたいな感じでした。もしRubyならもっともっと活躍できたはずなので、本当にすごいエンジニアなんだなと思いました。

僕自身、Golangから少し離れていて、今ではたまにしか書かなくなってしまいました。もっと早く書けたはずなのになあ。精進が足りない。実装力をもっと鍛えねば。

足を引っ張ってしまい、二人には本当に申し訳ないです。

ISUCONはまともな環境でエンジニアしていると、どんどん弱くなっていく競技でもあると思っています。なぜなら、「永続層のDBとか、とりあえずぶっ壊してでも、なんとしてでも早くしよう」なんて思い浮かばなくなるだろうからです。まあ正攻法だけで勝てるほど強くなると、また違ってくるんでしょうけど。

そんなわけで、来年、どうなるかわからないですけど、本気で本戦目指すなら、ちゃんと練習して挑みたいですね。

ISHOCON2に参加して来たよ!

ISHOCON2に参加して来ました!

scouty.connpass.com

ISHOCONとは、@showwinさんが個人で提供していらっしゃる、ISUCONライクなコンテストです!チームプレイ推奨な本家ISUCONやその他企業コンテストとは違い、ターゲットは個人プレイなので、問題量もかなりライトに作ってあって気軽に挑戦できる割に、かなり奥深く作られているので、どんどんやるべきことが出てくる、点数もどんどん上がるという、やってて楽しいかなり面白いコンテンツになっています!

github.com

結果

今年も去年のISHOCON1に引き続き二位でした!

f:id:Goryudyuma:20180826173524p:plain

方針選定

まずは言語選定ですが、今回はひたすら楽しむ、遊ぶってことを目標にしていたので、勝つ目的で選んでいるGolangを使わずに、Crystalで挑みました!

Crystalって、僕の中で今かなりアツい言語なんですよ!Ruby文法な点が実はそんなに好きではない、ってこと以外は、型の扱いとかとても面白い上に、とんでもなく早く動いてくれるので、超オススメの言語です!

crystal-lang.org

問題文やベンチマーカーを事前に読んでいたので、方針は行く前から決めていました。それは、「GETが来たらそこでHTMLを生成してNginxから返す、POSTが来たら生成したHTMLを全部消す」って方針です。

今回のISHOCON2では、ベンチマーカーは主に三つのフェーズに分かれています。

一つ目は事前テストフェーズで、きちんと想定通りの動きをしているかチェックされます。

二つ目は投票フェーズで、ひたすらPOSTがくるので、情報の更新を捌ききることができるかを問われます。

三つ目は確認フェーズで、ひたすらGETが来ます。ここでは情報の更新は起きないので、どれだけ大量に返せるかが問われています。

なので、POSTを高速に捌いた上で、GETは一回だけ生成してあとは静的配信に任せるってことをしました。

当日

朝起きて、泊めてあげた大学の友達と一緒に会場に行きました。 

いつの間にやらCTOになられていた@showwinさんと会えました!

問題文やベンチマーカーなどは、事前に読んでいたので読む必要はほとんどなく、競技開始した直後は、環境チェックなどをしていました。

ベンチマーカーの挙動をある程度知っているので、まずはNginxにHTTP2を喋らすようにしました。

それから、cssをNginxから返させるようにしました。

そのあとは、Cystalでファイルを生成する方法を調べたりして、indexに来るGETリクエストを静的に配信できるようにして6万点超えで一位に、workloadを20まで上げて9万点まで上がりました。

そこでお昼ご飯、今回もとても美味しいお弁当が支給されます!

f:id:Goryudyuma:20180826175826j:plain

workloadが20程度では、CPUを使いきれていなかったので、上げられるように申請しました。

正直ここで、かなり余裕を持って一位を取っていたので、ガンガンやるのもなーってナメた感じでいました。実は事前に自分でやった時、計18時間くらいかけて5万点超えして終わってたんですよね。初見だと気付けない点も多かったし、後から考えれば方針もミスってたっていうのはあったんですけど、そこそこ自信がありました。

なので、すでに事前にやった点数の倍取れていて、さらにworkloadの上限が解放されれば、(ベンチマーカーの実装や挙動を知っているので)さらに点数が上がることを知っていたので、少なくとも競技時間内に、他の参加者で勝てる人いないんじゃないかなーって思っていました。

お昼からworkloadをいじったり、ちょっとした点数にほぼ関係のない変更をして、誰も伸びて来なさそうに見えたので、Service化とかしてました。実は15時頃時点での僕のコードは、ちゃんとSystemctlで再起動とかできたり、再起動時にmysql.serviceより後に起きて来るようにしたりとかして、今回は求められていない再起動試験があったとしても実は通るっていう変更とか入れてました。

悲報として、workloadを上げるとベンチマーカーが完走しないという問題が運営側で発生しており、何も変更しなくても点数が上がるというのは無くなりそうってことが判明しています。

その後、少しだけやる気が出て来たので、bootstrap.min.cssgzip配信するようにしてみたり、index以外の他のGETに対してHTMLファイルを生成してNginxから返すようにしたりしていました。その結果、13万点くらい取れて、流石に大丈夫だろうと思っていました。(フラグ)

投票数のループをちゃんと数でもつ変更を入れると19万点まで上がったりしたくらいで、比較的まったりと過ごしていました。

オフィスから山手線と湘南新宿ラインが見えるのが本当にいいと思いました!

そうしているうちに、takonomuraさんが14万点を記録し、一気に追いつかれ出しました。「あ、これはまずい」と思いました。

本格的にISUCONすることを決意(←遅すぎ)、とりあえず投票データをメモリに持たせる変更を入れようと思いましたが、集計あたりがめんどくさかったので、ユーザーの投票数だけをオンメモリ化、その他メモリに乗せられるところは乗せたりしてたんですけど、結局この辺りは一回静的ファイルとして生成した後は必要ないので、そこまで効果は出ず、またINSERTを消すところまで行けなかったので点数も本当にわずかしか伸びず、っていう中途半端ところで終わりになってしまいました。

最後の方はCrystalのコンパイルが終わらない、vimが起動しない、なぜかインスタンスから追い出されて再度ログインできない、という謎の問題に悩まされていました。まあ競技なんで、不測の事態は起きますよね・・・。結局再起動試験は通るのか落ちるのかを確認できなかったこと、それからGitに残していたログをプッシュできなくなってしまったことが心残りです。ISUCON本番ではこのような問題が起きないことを祈りつつ、また自分の操作ミスでこのようなことが起きないようにしたい・・・。

その間にもtakonomuraさんは順調に点数を伸ばして、一位でフィニッシュされていました。

敗因?としては、慢心とそれに伴うやる気のなさ、後はエンジョイしようとして勝つ気が強くなかったことが挙げられます。はぁ・・・。

めちゃくちゃ楽しかったし、Golang以外でも全然勝負になるんやで!ってことも示せて、当初の目標は完璧に達成しているので、いいんですけどね〜。

その後は懇親会でお酒を飲んで、いろんな人とお話しさせていただきました。やっぱり懇親会は、ISUCONのメインイベントの一つですよね!同じ問題に取り組んだという一体感がすごい楽しかったです!

懇親会の後は、一年越しの焼肉に行きました!美味しかったし、とても楽しかったです!

さらに焼肉の後は、ISHOCON参加者の大学時代の友達と二次会?三次会?に行って、たらふく飲んで帰って寝ました。

前日まで

今回のISHOCON2には、実は事前にいくつかプルリクを送っており、マージされています。(なのでその過程で問題文や、ベンチマーカーの挙動などを知っていました。)

大きなものとしては、言語実装にCrystalとPHPとNodeJSを追加したりしてました。前のエントリにも書きましたけど、仕様のわかっているWebアプリを知らない言語で実装してみることは本当に勉強になりますので、オススメです!

僕がCrystalを使って、後一人NodeJSで参加してくださった参加者さんがいらっしゃいました。とても嬉しかったです!ISUCONではあまり使われないようなマイナー言語ばかりを追加しているので、実際に使っていただけるとはあまり思ってなかったので。

他の言語実装も、どんどん増えることを期待しています!

それから大きいプルリクとしては、ベンチマーカーのHTTP2対応をするプルリクですね。 

github.com

Issue建てた時点で説明が下手すぎて、なんのことか理解してもらえなかったので、実装してプルリクを送って、それを見て理解してもらうというエンジニアらしい力技を使いました。

このIssueを建てた理由は、事前にISHOCON2の問題に挑戦していた時、どうしてもSSLの認証で詰まってしまって点数が伸びなかったんですよね。事前にやっている時なので、競技時間内ではない、ので、実装をいくら早くしても点数伸びないならベンチマーカーを早くしてしまえ!っていう、こちらもかなり力技でチートみたいなことをして点数を伸ばしていました。

埋め込みで使っている定数(workload *5 の5の部分)の値を変えるだけで、競技性が大きく変わってしまうのですが、かなり適当に決めた割には、うまく機能していたように思います。

http2にするだけで序盤から点数が爆上がりすることもなく、終盤なら気づいた人はかなり点数が上がるという、理想的な調整に偶然なっていたような気がしています。もちろんこの部分のパラメータもプルリク受付していると思うので、もっとこういう値にした方が楽しいと思うよ!という値などがあればお待ちしております!

 

最後に

@showwinさん、株式会社scoutyさん、参加者の皆さん、その他関わってくださった皆さん、ありがとうございました!

来年も多分開かれると思うので、よろしくお願いします!

ISUCONチームメンバー、後一人欲しいんですけど、見つかるんでしょうか・・・?もしよければ、声かけてください!

追記

見つかりました!というわけで、ISUCON8もよろしくお願いします!

 

 

(それから、久々の投稿、ありがとうございました。早く退学エントリ書かないと・・・。)

ISHOCON1をScalaで書いたお気持ち

アジェンダ

ISHOCON1の初期実装にScalaを追加したよ!

github.com

目次

ISHOCON1にScala実装を追加した

goryudyuma.hatenablog.jp

これの第二弾としてScala実装を追加してみました!

やっぱり、新しく学ぶ言語でなにか作ってみるのは本当に勉強になります。しかもできあがるものがもう仕様が決まっているので、ただただ実装すればいいだけというすごく楽な点がやはり魅力的です。

実装はRubyのものを参考に、フロントエンドはGoにあるテンプレートを参考に実装しました。前回のCrystal実装ではRubyのERBのテンプレートと実装はGoを参考にしたので、今回は入れ替えてみた感じですね。

開発環境

今回、このScala実装はWindowsのWSLとVSCodeを使って書いてみました。前回書いた記事は実は伏線でした。

goryudyuma.hatenablog.jp

簡単なアプリを書くには特に問題なく書けることがわかりました!

VSCodeでターミナルがだせるのもすごく良い点です。

ただ、やはり大規模なアプリになってくると、IDEによる支援がほしくなるなーって思いました。使い分けは大事ですね。

技術スタック

今回、Scalatraっていうフレームワークを使いました。ScalaSinatraっぽく書けるやつですね。Ruby実装がSinatraで実装されていたので、同じように書ける物を選びました。ドキュメントが少し分かりづらいと感じた点以外は、概ねすごくいい感じに使えました!ドキュメントが分かりづらいと感じたのは、単に僕のScala力が低いだけな気がしてます。

テンプレートエンジンにはTwirlってのを使いました。普通に使いやすかったです。

他の言語による実装と合わせるため、O/Rマッパーは使わず、PlainSQLで書ける必要があると考えているので、データベース接続にはPlainSQLが書けるSlinkってやつを使いました。

それからこのscalatra.g8を使ってプロジェクトを立ち上げました。最初に必要なものを用意してくれるのですごく楽でした。

github.com

実装について

Rubyの実装を参考に書いたんですけど、実は少し後悔しています。結果としてすごく遅い実装になってしまったのはいくつか理由があるんですけど、そのうちの一つが動的型付け言語と静的型付け言語の違いです。

Rubyって普通の変数の顔をしながら平気でnilが入ってたりします。別にこれは悪い点ではなく、その特徴により非常に書きやすくなっているのですが、全く同じ動きをしたアプリケーションを静的型付き言語で書こうとすると問題が起きます。すべての変数をScalaで言うOption型にする必要が出てきます。

確実にnilが入っていないと確信できる時以外はすべてnilが入っているかもしれないと仮定しながら書くのは本当に辛いので、一部アレンジとして(ロジックは変えずに)改変しましたが、やりすぎて実装が別物になってしまうのも問題だというところが本当に難しいところです。

例を示します。

gist.github.com

Ruby実装のloginのPOSTの処理だけを抽出しました。

  1. まず、authnticate関数に、nilかもしれないparams['email']とnilかもしれないparams['email']を渡す。
  2. authnticate関数のなかでは、nilかもしれないemailを用いて検索をかける。nil.to_sが""となるのでエラーにはならない。
  3. ユーザーを探すが、見つからなかった場合userはnilとなる。
  4. userがnilでなく、パスワードが入力されたものと正しければ次にすすめるが、だめならIshocon::AuthenticationErrorとなる。(仕様でパスワードが平文保存なのはISUCON的には本質ではないので見逃す)
  5. sessionにuserのidを入れる。
  6. current_userを呼び出す。このときのsession[:user_id]は、この関数だけ見ればnilかもしれないが、authenticate関数を通ってきているので確実にuser[:id]が代入されているのでおそらくnilではない。(が、それをこの関数を見ただけでは保証できない点が怖いといえば怖い)
  7. つづいて、update_last_login関数に、おそらくnilではないuserのidを渡す。
  8. そのユーザーのlast_loginを、現在時刻に更新する。
  9. redirectで/に飛ばす

と、こんな感じの処理になっています。うまくやってますが、nilが出てくる可能性が結構高いです。

Scalaでこれを実装する

さて、Scalanilっぽいことをやろうとしたら、Option型を使ってやる必要がありますが、先程述べたようにいちいち全部の変数をOption型に入れては取り出しってやっていくのは非常に辛い。

アルゴリズム的にNoneになるかもしれないuserは仕方ないとしても、私の実装では最初にauthenticate関数に渡すemailとpasswordはOption型でない普通のString型で渡すように変更したりして、うまく解決を図っています。

ここから少しネタバレになりますけど、authenticate関数でemailからuserインスタンスを作ったあと、user[:id]だけをsessionに保存したあと、userインスタンスを一度破棄し、その後でcurrent_userで先程保存したsessionの中のuserのidからまた同じuserインスタンスを作り出してるんですよね。ここ、authenticate関数がuserインスタンスを返せばそれだけでcurrent_user関数はいらなくなって、Scala実装的にもきれいに書けるんです。だけど、ISHOCON的には「ここでSQLを二回呼んでuserインスタンスを二回生成するのは無駄な処理なので、競技時間中に無くしましょう」的な意図も感じるんです。(深読みしすぎですかね?)。なので、ここのロジックを変えるわけにはいかず、Ruby実装に忠実に二回のSQL文とUserインスタンス生成をScala実装でもやっています。

ここが本当に重要なポイントで、今この実装になっているのは、作問者が意図して遅くしようとしてこの実装になっているのか、それとも普通に実装したらこうなってしまっただけでもっと早くしてもいいのか、区別がつかないんですよね。

普通のアプリケーション開発ではこの問題は起こりえないでしょう。というか問題にすらなりません。読みやすくもなり、無駄なインスタンスを生成しなくもなり、さらに高速化にもつながる、やらない理由はない案件ですから。しかし、ISUCONのクローンを用意している状況となると、意図してこの状況にしている可能性があり、その可能性が排除できない以上、無駄な実装をせざるを得ないです。

かといって、いちいち細かいところまで作問者に問い合わせるのも大変ですし、所詮は遊びでやっているので、自分の思ったとおりにやっています。

実装した結果

Scala実装が書けたあと、普通にベンチマークを回すと、ベンチマーカーの並列度が1と2の時は正の点数になりましたが、並列度を3以上にすると負の点数になってしまいました。ベンチマーカーのデフォルトの並列度は3なので、普通にベンチマークを取れば負の点数になっちゃいます。

例に上げたpostのloginの処理以外にも、Scala的でない実装になっているポイントがいくつかあって、それらを改善することで、(ロジックをそんなに大きく変えなくても、)並列度3でもおそらく正の点数が出るようになると思います。もちろんISHOCON的に遅くなっている部分を直せばもっともっと点数がのびるはずです!ぜひ頑張ってください!

終わりに

今回は気分が乗ったので、Scalaで実装してみました!これからも不定期に気分が乗ったときに、他の言語も追加していきたいと思います。

ISHOCON2も結構楽しみにしていて、最初にあったRuby実装に加えて最近Python実装も増えたのですが、まだGo実装がなくて試せてない感じです。やっぱり競技者として出る時は得意な言語で出たいですしね。じゃあお前が実装しろよって話ですけど、競技者として一度やってから書くほうが絶対にいいんですよね。あとから気付く、「ああ、あの時ああすればよかったのか」感が好きなので。なのでGo実装待ってます!(笑)

最後になりましたが、作問者の@showwinさん、楽しい問題をありがとうございました!

WSLとファイルパーミッションとVSCodeの話

アジェンダ

WSL(Windows Subsystem for Linux)により、Windows上でもLinuxが動くようになった。しかし、本格的に用いるにはまだまだ怖い点がいくつか残っており、その一つのファイルパーミッションの問題を解決しようとしてみた話。VSCodeでSSHFSを用いてWSL上のファイルを編集する。(何番煎じだろう?)

キーワード

WSL, SSHFS, VSCode

目次

はじめに

 WSLにより、Windows上でLinuxが動くようになった。しかし制約はもちろんあり、最も大きな問題の一つとしてファイルパーミッションの問題がある。元々Windows側にはLinuxのようなファイルパーミッションのしくみはないので当然といえば当然なのだが、WSL側でパーミッションを指定して作ったファイルをWindows側に持っていくとその時点でパーミッション情報が失われ、またWSL側に戻してきても情報は失われているのでファイルは正しくない状態のままとなる。

例を示す。

WSL上でtest.txtを作り、パーミッションを確認すると、ファイルはパーミッション666で作られていることがわかる。

f:id:Goryudyuma:20180606032901p:plain

とりあえずパーミッションを644に変更してみた。無事通る。

f:id:Goryudyuma:20180606032909p:plain

WSL上では、Windows側のフォルダは/mnt/c/などにある。ので、Windows側にファイルを動かしてみる。

f:id:Goryudyuma:20180606033154p:plain

ファイルパーミッションは777になってしまった。

元の場所に戻してみる。

f:id:Goryudyuma:20180606033307p:plain

無事、もとに戻りませんでした\(^o^)/

問題点

このマシンだけで個人開発するのなら、ファイルパーミッションが壊れてようがそんなに問題は大きくないが、他人や他のLinuxのマシンでも開発する場合はファイルパーミッションをいちいち壊されても困る。git update-indexみたいな機能もあるみたいだけど、それはなんか違う気がする。

やりたいこと

Windows側にあるVSCodeでファイルを編集したい。WSL上で例えばVimとか使って編集すればいい話ではあるが、GUIエディタを使いたいときもある。

そこでVSCodeで開くために、編集したいファイルを/mnt/c/に持ってきたところ、ファイルのパーミッションがだめになっていた。

解決策

SSHFSで繋げば思っていたことが実現できた。

手順

  1. WSLにopensshを入れる。

    Bash on Ubuntu on Windows で sshd を使用する

    (memo:公開鍵認証を用いる場合は/etc/ssh/に用いる形式の鍵がないと通らない。)
  2. VSCode SSH FSを入れる

    SSH FS - Visual Studio Marketplace

  3. configを書く
    SSH FS Create a SSH FS configurationから、設定ファイル名入れると、勝手にjsonの雛形ができる。必要な情報を入れるだけ。私の場合はRSAを使ったのでこんな感じ。

    f:id:Goryudyuma:20180606040248p:plain

    (memo:秘密鍵の改行は\nに置換する必要がある。これもVSCodeなら秘密鍵VSCodeで開いて「Ctrl-F」で正規表現モードで「\n」を「\\n」に置換すればよい。)

    (memo:VSCodeが使っているSSH FSがSSH2に依存していて、そのSSH2はopensslがnodeに依存していて、nodeがOpenSSL1.1.x系にまだ対応していない。そのためed25519は使えないみたい。おとなしくRSAで。)

  4. WSL側でSSH Serverが動いている状態でconnectしてやると、VSCode上でWSLのファイルが見え、編集できる。ここで編集しても、パーミッションは壊れない!

というわけで、WSL上のファイルをWindows側のVSCodeで編集できるようになった。

TODO:

  1. SSH ServerをWindows起動と同時に実行するようにする(まだやってなかった)
  2. WSLでファイルやフォルダを作ったとき、それがVSCodeには即座に反映されない。更新ボタンを押すことにより反映される。自動で更新したいが、更新するためには「workbench.files.action.refreshFilesExplorer」を呼べばいいことはわかったが、呼び出してしまうとフォーカスがエクスプローラーに移ってしまう。定期的にフォーカスがエディタから取られてしまうのは非常にストレスだった。だけどなにか書いているときにも、ファイルやフォルダが変われば自動で反映してほしい。

終わりに

ちょっとだけWindowsで開発できる環境に近づいた、ような気がする。

(もう少し使いやすくなってほしいな。)

あとがき

このブログでまともな技術記事書いたの初めてな気がする、こういうのはQiitaに上げたほうがいいのだろうか。

ISHOCON1をCrystalで書いたお気持ち

アジェンダ

  • ISHOCON1にCrystal実装を追加したよ!Crystal書ける人はぜひ挑戦してみてね!
  • Crystal強い人のレビュー、お待ちしています!

 

目次

ISHOCON1にCrystal実装を追加した話

新しい言語を覚えるには

新しい言語をどんどん覚えていきたい欲はあるのですが、どのようにすればいいでしょうか。一番は、その言語で何か物を作ってみることだと思います。

まずは定番、「HelloWorld」から始まり、「FizzBuzz」書いてみたりします。標準入出力を学んだあと、ループや条件分岐を学ぶ感じですね。この後は競技プログラミングの簡単な問題で、文字列の扱いや配列の扱い、classの扱いまでやって、木構造なんかを作ってみるって感じで僕はやっています。

今回新たなルートとして、ISHOCON1に実装を追加するってフェーズを付け加えました。

ISHOCONとは

ISHOCONとは Iikanjina SHOwwin CONtest の略で、ISUCONと同じように与えられたアプリケーションの高速化を競うコンテスト(?)です。  

github.com

ISUCONクローンとして有名なプロダクトとして、pixiv社のpixiv isuconYahoo! Japan社のY!SUCONなど共に挙げられるのがこのISHOCONです。特にISHOCONは企業としてではなく、個人プロダクトとして公開されている点が特徴です。

なぜISHOCONを選んだのか

ISHOCONは、本家ISUCONや他のISUCONクローンプロダクトに比べて、コード量が少ないことが特徴的です。その分初心者向けで、コードの全容を把握してからISUCONする(最適化していく)って感じでも、全然行けるようになっています。8時間あれば、僕一人でだいたい改善したいところは改善しきることができる分量です。本家ISUCONでは三人がかりでもこんなこと絶対に無理です。なので、参考実装を作るのは、比較的楽な方だと思います。

また、作者の人と会ったこともあるってのが、心理的な障壁を大きく下げてくれました。

なぜCrystalを選んだのか

まず、Crystalとの出会いは、AtCoderで提出できる言語一覧にあった事でした。

crystal-lang.org

とりあえずWebページ行ってみると、「C言語のように速く、Rubyの書き味を持つ」(Crystal-jpのSlackより引用)ってなってて、なかなか面白そうな言語があるなーって思いました。

AtCoderで何問かCrystalを使って解いてみて、いい感じで使えたので、もうちょっとこの言語について詳しくなりたいと思いました。

CrystalのWebページには、最初にWebサーバーでHelloWorldを返すやつを立ててみるところから始まっています。これはWeb向きの言語なのかなって思いました。なので、深く学びたければ、Webサイトを作ってみるのが良さそうだと思いました。

なぜISHOCON1のCrystal実装を作ろうと思ったのか

CrystalでWebサイトを作れば、Crystalをよく学べるかなと思ったのはいいのですが、じゃあどんなWebサイトを作ればいいのってなります。僕はアイデアマンではないです。そうぽんぽんいいアイデアなんて浮かびません。また、普通のプロジェクトを別言語で書き直したところで、メンテナンスが面倒になるだけですし、一つのプロジェクトで複数の言語の実装があるなんて意味がわかりません。ですが、特殊例として、ISUCONに関してだけ言えば、複数言語による参考実装がないと困ります。

主催者が考えるに、スコアが出せるかどうかは言語の問題ではない、と思うからです。どの言語だろうと勝つ人は勝ちます。速い言語遅い言語で勝負がつくようなつまんない問題は過去一度も出されませんでした。

tagomoris.hatenablog.com

ISUCONに関して言えば、言語差はあまり関係ありません。競技プログラミングでもC++は強いけど、でもC++でないと絶対に勝てないかと言われればそうではないですよね。

ISUCON的には参考実装言語が多ければ多いほどいいと思います。その分、「あの言語なら詳しいけど、参考実装にはないから、普段使い慣れていない言語を使わざるを得なくなって、点数伸びなかった」みたいな人を減らすことができます。もちろん作るのにそれだけコストがかかる上に、その言語の実装を誰も使わない事態が起こりうるので、本家ISUCONでは参考実装される言語がメジャーな言語に絞られるのは当然のことだと思います。

しかし、ISHOCONに関して言えば、いつ始めても何時間やってもいいプロジェクトですので、いくつ参考実装があってもいいと思います。誰かが使ってくれたら嬉しいですけど、使ってくれなくても用意するだけで意味があるかなと思います。もしかしたらここからCrystalを勉強するユーザーが増えるかもしれませんしね。

というわけで、ISHOCONの参考実装を増やそう、面白そうなCrystalって言語を使ってみようってなりました。

ISHOCON1のCrystal実装の作り方

基本的にはロジックはGolang、テンプレートはERBがあるRubyを参考にしました。

ERBライクなテンプレートを使えて、ルーティングとか基本的なことをやってくれるCrystalのWebフレームワークとしてKemalを使いました。

kemalcr.com

方針としてはGolang実装を見ながら、そのままCrystalに起こしていく感じですね。関数名とか変数名とか、なんとなくCrystalっぽそうな感じに変換しながらやっていきました。僕はCrystalでWebサイトを書くのはこれが初めてなので、変換ルールとかはかなり適当です。もし気に入らないところとかあれば、プルリクとかIssueとかを大歓迎しています。

そんな感じで一気に実装していき、ベンチマークを通ればプルリクとして送ります。いくつかレビューで直す点があったので直した結果、マージされて、晴れてISHOCON1の参考実装にCrystalが加わることになりました!

今後

今後もISHOCON1に新しい言語実装を増やしてみたりしたいなーって考えてます。リクエストパラメータとかデータベースアクセスとか、AtCoderではできないような所をしっかりと学べますし(←そもそもAtCoderはそんなことを学ぶ場ではないですけどね)、何より作ってる時がとても楽しいです。

一度Crystal実装のISHOCON1を試して欲しいですし、もしもうCrystalをマスターした方なら是非「ここはCrystalの流儀だとこうする」なんか送りつけてもらえるとありがたいです。

また、参考実装を増やしてくれる人が増えたらなーって思います。色々な言語で実装されたWebサイトとか、なかなかユニークで面白いですよね。勉強にもなりますので、是非オススメします。

最後になりましたが、こんなに面白いコンテンツを作っていただいた上に、レビューまでしていただいた@showwinさんにはとても感謝しています。ありがとうございました。これからもよろしくお願いします!

github.com

競技SQL部 MISQUERY ONLINE WriteUp

MISQUERY ONLINE

「競技SQL部 MISQUERY ONLINE」というページがあります。

NKHR.MOE

競技プログラミング」×「SQL」という、競技プログラミングは一般的にC言語などのプログラミング言語を用いるのに対して、SQLのみを用いて競技プログラミングを行う一風変わったサイトです。

この度作者様からWriteUpを書く許可が得られましたので、書き残しときます。

 

 

注意:ここから先はネタバレになります。まずは自分の力で解きたい、などの方は見ない方が良いかと思います。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

制約

まずは制約の確認を行いましょう。競技プログラミングにおいて、制約の確認を怠ると、とてもひどい目に遭います。

制約はそれぞれ問題文に書いてあるので、しっかりと目を通しておくこと。

それから全体的な制約として、実行環境は「PostgreSQL 9.2.18」が使われています。PostgreSQLにない関数や、このバージョンより新しいPostgreSQL加わった関数などは使えません。もうEOLを迎えてしまっているので手元に環境を用意するのは少し難しいかもしれません。

PostgreSQL: Versioning policy

該当バージョンは既に無くなっていましたが、PostgreSQLを用意するだけならDockerが便利です。

https://hub.docker.com/_/postgres/

SQLの文法ミスでも、9.2.18の時点ではなかった関数を書いても、サイト上では「SQL ERROR」と出るだけなので、エラー文を見るためにできるだけ同じ環境を手元に用意した方がやりやすいとは思います・・・。試行錯誤もしやすいですしね。

ここから本格的にネタバレ 

続きを読む

CodeThanksFestival2017参加記

はじめに

この記事はkstmアドベントカレンダー2017 7日目の記事として書かれました。

qiita.com

目次

行く前 

まずは予選から。CodeFestival2017本戦は、人数が去年に比べて大きく減ったのでボーダーが上がったのと、仮に通っていてもISUCON通っていればISUCONに行くと決めていたので、Thanks行ければいいやーって感じの低いモチベでした。

予選Aは例年通り、かなりボーダー高めで通すのは難しそうでした。三問といて879位(日本人452位)。

予選Bはカプセルホテルでやりました。三問解いて289位(日本人119位)。

予選CはISUCON7予選終わった直後から始まった地獄でした。めっちゃしんどかった・・・。三問解いて350位(日本人145位)。

BかCのどちらかで通ったんでしょう。

前日

夕方ごろ、新幹線で東京まで。池袋で少し遊んでから、株式会社Aimingさんのオフィスに遊びに行ってました。

aiming-inc.com

寿司食べながら駄弁りながら飲みながら競プロしながらボドゲするというよくわからない会でした(笑)。キーボードの変態配列の話、とても面白かったです!ありがとうございました!

この後から結構大変でした。電車で上野駅まで。

新幹線の中で予約した、一泊1500円の見るからにヤバそうな宿に行きました。

宿は四人部屋で、僕含めて三人で使いました。いびきとかうるさい人でもなく、めんどくさい絡みしてくる人でもなく、平和に過ごしました。

宿は良かったんですけど、スマホが壊れました。OSがうまく起動できない?みたいな感じでした。出先で宿のWi-Fiもかなり不安定でしたが、スマホ使えないと色々お話にもならないので、復旧を決意。OSをクリーンインストール?とりあえずBIOSからいけるResetを全部して、Androidのインストールバトルをやりました。一番困ったのが、Googleアカウントの2段階認証をやってる端末を吹っ飛ばした状態で、かつ非常用パスコードを保存している端末には出先のためアクセスできない状態だったってことですね。粘った末に電話認証に気づいてうまく行ったんですけど、かなり時間使いました。

OSのアプデ、アプリのアプデを不安定なWi-Fi環境で行いました。かなり辛かったけど、サークルのインフラ班のあーちゃんとふぉのさんが普段言っていたことが、ものすごく役立ったりと、様々なファインプレーが重なった末、朝8時半頃に復旧。ホテルを出て(本当に1500円しか払わなかった、東京すごいですね)、地下鉄で豊洲を目指しました。途中、銀座一丁目銀座駅が同じものだと思ってたっていうミスがありましたがうまく有楽町駅にたどり着けたためセーフ。豊洲からゆりかもめで会場に向かいました。

当日

会場ついて、交通費精算して、TシャツGetして、周りに挨拶して、お弁当Getして、コンテスト開始。1800点以上でパーカーと聞いてテンションMAX。

A:Sortするだけ

B:回文となる文字列の文字数は奇数個と思い込んで1WA。しょーもないWAは無くして行きたい・・・。すぐ直してAC。

C:PriorityQueueで管理するだけ。AC。

D:ぱっと見でわからなかったので飛ばす

F:同じ数ずつまとめて、Combination計算してやろうとしたが、どこかでバグって1WA。mapでdpしてやるとなぜか正解した。

D:戻って見るとGCDとるだけと気づく。AC。

E:6^5<10000に気づく。6個ずつ確定していけば終わりそう。書いてAC。パーカーゲット。

G:PriorityQueueで適当なコード書いたけどTLE。ダメダメ。

H:H+M個のメモリをとってやり、うまく飛んでいくような感じで書いたけど二ケースTLE。

これで終わる。6完34位でした。

コンテストおわって、パーカー受け取ってからchokudai先生のライブ解説。

その時のF問題の指摘で、

 と、最悪ケースでTLEになるかもしれないとの指摘。理屈で考えてもダメだし、手元でやって見ると確かにTLEになる遅さ。

 出題者曰く想定外の解法だったらしく、まぐれで通ってしまった。パーカーボーダーラインだったので、助かったというかなんというか。もしこの回答がTLEときちんと判定されてたら、ちゃんと時間内で解けたかは謎・・・。

そのあと、交流会。一つ質問を決めて、参加者に聞いて回るってイベントがあったんですけど、僕は単純に思いついた「好きな数字」っていう大雑把な質問をして回りました。面白いことに、40人弱聞いて回りましたが、かぶった数字は2と17だったかな、意外とみんなバラバラな数字書いてくれました。πとか1e9+7とかeとかもあって、ああ競プロの集まりなんだなあと思いました。

回答集めるのそこそこ早かったっぽくて、タンブラーもらいました。今回はいいものばっかりもらった!そのあとは、肉食って寿司食ってサンドウィッチ食ってジュース飲んでってやってました。競プロ疲れたのと、スマホのせいで少し寝不足なのもあって、めっちゃ食べた。

表彰式があって、解散したあとは、すぐに長野へ帰りました。途中ゆりかもめから花火が見えて、綺麗だったなあ。

終わりに

信州大学ものづくりサークルkstmでは、競技プログラミングに興味ある学生も募集しています。ちょっとでも興味あれば、ぜひよろしくお願いします!

部員募集 | kstmについて | 信州大学公認サークルkstm