追記: activerecord/RUNNING_UNIT_TESTS に書いてあった。
自分用の備忘録。
$ cd activerecord $ ARCONN=postgresql ruby \ -I"lib:test" \ test/cases/adapters/postgresql/range_test.rb
$ cd activerecord $ ARCONN=postgresql ruby \ -I"lib:test" \ test/cases/adapters/postgresql/range_test.rb \ -n test_endless_range_values
退職エントリを書くつもりはあまり無かったけど、はてブに退職エントリが多くあがっていて書く気力が高まったので書いてみた。
去年の5月に入社しました。
あたりに魅力を感じて内定を承諾した。
とあるサービスのリプレイス案件*1のサーバサイドエンジニアを担当していた。
この案件、入社して2ヶ月でデスマの気配を感じていた。
自分の予知能力Lv3だと死ぬ未来が見えてるんだけど、他メンバー全員が合意してるし、きっとみんなの予知能力が高くてプロジェクトが成功する未来が見えているのだろう。信じる。
— 神速 (@sinsoku_listy) 2018年6月18日
そして、9月くらいにデスマを避けられないと感じていた。
何をやっても世界線が収束してデスマになりそうな気がするので、諦めた方が早いのでは…。
— 神速 (@sinsoku_listy) 2018年9月3日
リリース前は死ぬほど大変だったけど、なんとか生きてリリース日を乗り越えることが出来て良かった。
デスマを予測できていたのに、どうにも出来なくて自分のスキル不足を痛感した案件だった。
プロジェクト管理に関しては 言いたい事が山程ある けど、これは綺麗に書ける気がしないので控えておく。*2
リリース後は落ち着いたのでふりかえりをしたり、開発の進め方を変えたりしていた。 そして、役割がスクラムマスターになったのでスクラムマスター業をしていた。
あと、隙間時間で他チームのRailsアプリのレビューを勝手にしていた。 パフォーマンス改善や脆弱性を指摘できたので、少しは貢献できていたと思う。
色々とあるけど、あまり書くと残っている方々に迷惑がかかるので、当たり障りのない範囲だけ書いておく。
DMMは売上のある事業をいくつも持っているし、多くのエンジニアを抱えていてポテンシャルは高いと思う。 ただ、制度や組織体制には微妙な点（=改善できそうな点）が非常に多い。
こういう点を直すのには興味あって、横断的な部署に異動して技術で会社を改善していきたいな...と半年前くらいから1on1で異動の打診はしていた。 ただ、需要がないのか、自分の技術不足なのか無理だった。
それ以外で特にDMMでやりたい事もなかったので、退職することにした。
去年の開発で疲れたので、当分はフリーランスで週1だけ仕事して、残りはOSSにパッチでも投げる生活をしようかなと思っています。
あと、作ってみたい個人サービスのネタがあるので、プロトタイプを作ってみる予定。
作ったgemはこれです。
ApplicationRecord でモジュールを include してください。
class ApplicationRecord < ActiveRecord::Base include ActiveRecordInCache::Methods self.abstract_class = true end
自動的に maximum(:updated_at) を使ったキャッシュキーを生成し、2回目以降は Rails.cache からオブジェクトを取り出します。
Article.all.in_cache # SELECT MAX("articles"."updated_at") FROM "articles" # SELECT "articles".* FROM "articles" #=> [#<Article:0x0000000000000000>, ...] Article.all.in_cache # SELECT MAX("articles"."updated_at") FROM "articles" #=> [#<Article:0x0000000000000000>, ...]
中身は3行しかありません。
def in_cache(column = :updated_at, options = {}, &block) value = block_given? ? all.instance_exec(&block) : all.maximum(column) name = "#{all.to_sql}_#{value}" Rails.cache.fetch(name, options) { all.to_a } end
キャッシュのキーは #{sql}_#{maximum_updated_at} になります。
あと、ブロックを使えるようにしてあるので、maximum 以外の処理にしたり、suffixをつけることができます。
Article.all.in_cache { "#{maximum(:updated_at)}_v2" }
とりあえず、Puppeteerを使ったE2Eテストをスラスラ書けるようにするため、DMMやとらのあな、メロンブックス辺りをスクレイピングして、人気の性癖を調べる実用的なコードでも。
— 神速 (@sinsoku_listy) 2019年6月10日
E2Eテストの練習としてPuppeteerで実用的なコードを書いてみた。
FANZA同人のランキング1〜100位の作品を取得し、全てのジャンルを計測して 人気ジャンル を出してみた。
const puppeteer = require('puppeteer'); let browser; beforeEach(async () => browser = await puppeteer.launch()); afterEach(async () => await browser.close()); const timeout = 20 * 60 * 1000; // 20 minutes displayRanking = async (page) => { for(let i = 1; i < 5; i++) { await page.evaluate(_ => window.scrollBy(0, document.body.scrollHeight)); await page.waitFor(`.rank-rankListItem:nth-child(${20 * (i + 1)})`); } }; findTags = async (page, urls) => { const tagsArray = []; for(let i = 0; i < urls.length; i++) { console.log(`${i}: parsing... ${urls[i]}`); await page.goto(urls[i]); const tags = await page.$$eval('.genreTagList__item', divs => divs.map(div => div.innerText)); tagsArray.push(tags); } return tagsArray.flat(); }; test('doujin', async () => { const page = await browser.newPage(); await page.goto('https://www.dmm.co.jp/dc/doujin/-/ranking-all/=/sort=popular/term=monthly/'); const title = await page.$eval('.c_hdg_withSortTitle', el => el.innerText); expect(title).toMatch(/総合ランキング 月間/); await displayRanking(page); const itemsCount = await page.$$eval('.rank-rankListItem', items => items.length); expect(itemsCount).toBe(100); const urls = await page.$$eval('.rank-name a', links => links.map(link => link.href)); const tags = await findTags(page, urls); const ranks = {}; tags.forEach((tag) => { if (ranks[tag] === undefined) ranks[tag] = 0; ranks[tag] += 1; }); ranks['成人向け'] = 0; ranks['男性向け'] = 0; const topRanks = Object.entries(ranks).sort((a, b) => b[1] - a[1]).slice(0, 20); console.log(topRanks); }, timeout);
最初は1〜20位までしか表示されていないので、スクロールしつつ waitFor で作品の表示を待つようにする。
displayRanking = async (page) => { for(let i = 1; i < 5; i++) { await page.evaluate(_ => window.scrollBy(0, document.body.scrollHeight)); await page.waitFor(`.rank-rankListItem:nth-child(${20 * (i + 1)})`); } };
タブを生成して、並列に処理しようとしたら TimeoutError: Navigation Timeout Exceeded: 30000ms exceeded が起きて、解決方法が分からなかった。
とりあえず、1ページずつ順番に処理する方法で対応。（時間かかるけど）
findTags = async (page, urls) => { const tagsArray = []; for(let i = 0; i < urls.length; i++) { console.log(`${i}: parsing... ${urls[i]}`); await page.goto(urls[i]); const tags = await page.$$eval('.genreTagList__item', divs => divs.map(div => div.innerText)); tagsArray.push(tags); } return tagsArray.flat(); };
Rubyのgroup_byみたいなのが見当たらなかったので、それっぽくカウントした。
成人向けと男性向けは全ての作品に入っていたので除外してる。
const ranks = {}; tags.forEach((tag) => { if (ranks[tag] === undefined) ranks[tag] = 0; ranks[tag] += 1; }); ranks['成人向け'] = 0; ranks['男性向け'] = 0; const topRanks = Object.entries(ranks).sort((a, b) => b[1] - a[1]).slice(0, 20);
こんなジャンルが人気あるみたいですよ。
console.log test/dmm.test.js:52
[
[ '中出し', 77 ],
[ '巨乳', 63 ],
[ 'フェラ', 56 ],
[ '新作', 47 ],
[ 'おっぱい', 44 ],
[ '制服', 36 ],
[ 'パイズリ', 35 ],
[ '寝取り・寝取られ・NTR', 27 ],
[ '準新作', 22 ],
[ '処女', 20 ],
[ 'アナル', 20 ],
[ '人妻・主婦', 19 ],
[ '野外・露出', 18 ],
[ 'ラブラブ・あまあま', 16 ],
[ '辱め', 14 ],
[ 'ぶっかけ', 14 ],
[ '近親相姦', 13 ],
[ '和姦', 11 ],
[ '3P・4P', 11 ],
[ 'ハーレム', 11 ]
]
PASS test/dmm.test.js (687.794s)
✓ doujin (686607ms)
先日、Terraformで AssumeRole + MFA を簡単にする方法を書きました。
ブログを書いたあとにもっと汎用的にできる案を思いついたので、更に改良した。
以下のスクリプトを ~/bin/mfa のようにパスが通った場所に置いてください。
#!/bin/bash set -e # It generates json referring to the processing of `AssumeRoleCredentialFetcher` and `_create_cache_key`. # # memo: # * https://github.com/boto/botocore/blob/1.12.162/botocore/credentials.py#L611 # * https://github.com/boto/botocore/blob/1.12.162/botocore/credentials.py#L690-L692 ROLE_ARGS=$(cat - << EOS { "RoleArn": "$(aws configure get role_arn)", "SerialNumber": "$(aws configure get mfa_serial)" } EOS ) CREATE_CACHE_KEY=$(cat - << EOS import sys, os, json; from hashlib import sha1; args = json.load(sys.stdin); hash = sha1(json.dumps(args, sort_keys=True)).hexdigest(); print hash.replace(':', '_').replace(os.path.sep, '_').replace('/', '_'); EOS ) CACHE_KEY=$(echo -n "$ROLE_ARGS" | python -c "$CREATE_CACHE_KEY") CACHE_PATH="$HOME/.aws/cli/cache/$CACHE_KEY.json" if [ -e "$CACHE_PATH" ]; then EXPIRATION=$(cat "$CACHE_PATH" | jq --raw-output .Credentials.Expiration) EXPIRATION_UNIX=$(date -u -jf %FT%TZ $EXPIRATION +%s) NOW_UNIX=$(date +%s) if [ $EXPIRATION_UNIX -lt $NOW_UNIX ]; then aws sts get-caller-identity > /dev/null fi else aws sts get-caller-identity > /dev/null fi export AWS_ACCESS_KEY_ID=$(cat $CACHE_PATH | jq -r .Credentials.AccessKeyId) export AWS_SECRET_ACCESS_KEY=$(cat $CACHE_PATH | jq -r .Credentials.SecretAccessKey) export AWS_SESSION_TOKEN=$(cat $CACHE_PATH | jq -r .Credentials.SessionToken) $*
こんな感じで使います。
$ mfa terraform plan
良さそうな変更あれば、プルリクください。
LTする方が少なかったので、自分がやってる知見的な事を紹介するためのブログ。
OpenAPIで書いています。
Swagger Editorで書くと、 Swagger UIみたいな見た目のドキュメントが作れる。
#{Rails.root}/doc/api/openapi.yml に1ファイルで置いてあります。
#{Rails.root}/doc/api/docker-compose.yml を作っておきます。
version: "3.7" services: editor: image: swaggerapi/swagger-editor ports: - "8080:8080" ui: image: swaggerapi/swagger-ui ports: - "8081:8080" volumes: - ./openapi.yaml:/usr/share/nginx/html/openapi.yaml environment: API_URL: openapi.yaml
つまり Swagger Editor を起動し、 http://localhost:8080 上で編集してエクスポートする感じです。
$ cd doc/api $ docker-compose up -d $ open http://localhost:8080
CIでS3にアップロードして、S3 bucketのポリシーでIP制限をかけてます。
以下のようなスクリプトをCIから実行するようにしてある。
#!/bin/sh set -eu sudo apt-get update sudo apt-get install python-pip sudo pip install awscli S3_BUCKET="proj-doc" S3_BUCKET_PATH="${S3_BUCKET}/proj-api" S3_BASE_URL="https://s3-ap-northeast-1.amazonaws.com/${S3_BUCKET_PATH}" if [ "$CIRCLE_BRANCH" = "master" ]; then aws s3 sync --delete doc s3://${S3_BUCKET_PATH}/doc else aws s3 sync --delete doc s3://${S3_BUCKET_PATH}/tree/${CIRCLE_BRANCH}/doc echo ${S3_BASE_URL}/tree/${CIRCLE_BRANCH}/doc/rdoc/index.html echo ${S3_BASE_URL}/tree/${CIRCLE_BRANCH}/doc/api/html/index.html fi
committee-rails と committee を使って、全てのAPIをテストで検証しています。
RSpec.configure do |config| # committee-rails config.add_setting :committee_options config.committee_options = { schema_path: Rails.root.join('doc', 'api', 'openapi.yaml').to_s, prefix: '/api' } config.after(type: :request) do |ex| if ex.metadata[:api_validation].nil? && ex.location.include?('api') && !request.nil? extend Committee::Rails::Test::Methods assert_schema_conform end end end
APIサーバの前段にCloudFrontを置いておき、ユーザーが更新しないリソースは全てキャッシュするように設定してます。
headers = ["*"] だと miss hitつまり以下の設定ならキャッシュされる。
default_cache_behavior { allowed_methods = ["GET", "HEAD", "OPTIONS", "PUT", "POST", "PATCH", "DELETE"] cached_methods = ["GET", "HEAD"] target_origin_id = "${local.api_alb_origin_id}" forwarded_values { headers = ["Host", "Authorization"] query_string = true cookies { forward = "none" } } min_ttl = 3600 default_ttl = 3600 max_ttl = 86400 viewer_protocol_policy = "redirect-to-https" }
CloudFront はパスベースでTTLを変更できるので、キャッシュ時間でURLを変えると楽。
/favorites /settings/profile /settings/security
例えば、 /settings/* だけTTLを0にしたりできる。
追記: 以下の記事の方法を使った方が楽かも。
Terraformを普通に使うとAssumeRole + MFAが面倒なので、ラッパースクリプトを書いた。
これを ~/bin/mfa_terraform とかに置けば良い。
#!/bin/bash set -e # It generates json referring to the processing of `AssumeRoleCredentialFetcher` and `_create_cache_key`. # # memo: # * https://github.com/boto/botocore/blob/1.12.162/botocore/credentials.py#L611 # * https://github.com/boto/botocore/blob/1.12.162/botocore/credentials.py#L690-L692 ROLE_ARGS=$(cat - << EOS {"RoleArn": "$(aws configure get role_arn)", "SerialNumber": "$(aws configure get mfa_serial)"} EOS ) CACHE_KEY=$(echo -n "$ROLE_ARGS" | openssl sha1) CACHE_PATH="$HOME/.aws/cli/cache/$CACHE_KEY.json" if [ -e "$CACHE_PATH" ]; then EXPIRATION=$(cat "$CACHE_PATH" | jq --raw-output .Credentials.Expiration) EXPIRATION_UNIX=$(date -u -jf %FT%TZ $EXPIRATION +%s) NOW_UNIX=$(date +%s) if [ $EXPIRATION_UNIX -lt $NOW_UNIX ]; then aws sts get-caller-identity > /dev/null fi else aws sts get-caller-identity > /dev/null fi export AWS_ACCESS_KEY_ID=$(cat $CACHE_PATH | jq -r .Credentials.AccessKeyId) export AWS_SECRET_ACCESS_KEY=$(cat $CACHE_PATH | jq -r .Credentials.SecretAccessKey) export AWS_SESSION_TOKEN=$(cat $CACHE_PATH | jq -r .Credentials.SessionToken) terraform $*
aws-cliと同じく、AWS_PROFILEの環境変数で簡単に切り替えできます。
$ AWS_PROFILE=foo_stg mfa_terraform plan
OSSはコード読んで頑張れば、頑張れるので便利。
