DeNA の @sonots さんと @ryopeko さんに、 Fluentd や Rails 、特に ActiveRecord まわりの運用ノウハウについてお聞きしました。Perl ヘビーユーザーとして有名な DeNA さんですが、 Perl エコシステムの知見が Ruby でのサービス開発・運用に生かされているお話はとても興味深かったです。

Show Notes

Fluentd

• “2万行の conf”

  • うちの fluentd.conf は２万行あるぞ

    — そのっつ (SEO Naotoshi) (@sonots) September 27, 2013

  • Shadow Server on Fluentd at Fluentd Casual Talks #3
    • DeNA での Fluentd の運用規模、クラスタ構成についての記述がある
• sonots/haikanko
  • HaikankoというFluentdクラスタ管理ツールの話をしてきた(1) #fluentdcasual - sonots:blog
• “Rails のログを /dev/null に捨てる”
  • [Ruby] 例えば、Rails の標準ログを止める - sonots:blog
• tagomoris/fluent-agent-lite
  • Perl 製の軽量 fluent agent 実装。
• sonots/fluent-plugin-grepcounter
• Yohoushi - for allusers who love graphs!
  • yohoushi/yohoushi
  • Yohoushi という分散 GrowthForecast グラフツールを作りました - sonots:blog
• uken/fluent-plugin-elasticsearch
• sonots/fluent-plugin-measure_time
• Kibana

Go

• fujiwara/fluent-agent-hydra
  • in_tail+(in|out)_forwardができるログエージェントfluent-agent-hydraをGoで書いている - 酒日記 はてな支店
• ISUCON
  • 優勝賞金100万円！今年もやります 第４回 ISUCON 開催と日程のお知らせ #isucon : ISUCON公式Blog
  • この収録後、参考実装リストに PHP を復活させました
    • ISUCONにPHPが帰ってきたぞ！！！！ - uzullaがブログ
• HashiCorp
  • Packer
• moriyoshi/ik

Profiling

• Ruby プロセスを追いかけるツール９選 - sonots:blog
• Tim Bunce / Devel-NYTProf - search.cpan.org
  • Devel::NYTProf で Starlet/Starman (Plack) でうごくウェブアプリケーションのプロファイリングをおこなう方法まとめ - blog.64p.org
• ahiguti/gdbperl
  • How to debug a perl script using gdb
• gunyarakun/gdbruby
  • CoreからRubyのバックトレースを表示するgdbruby.rbを作った
• Feature #8024: Lazy sweep を on/off するための機能 - ruby-trunk - Ruby Issue Tracking System
• Nokogiri
• mecab - Japanese morphological analyzer - Google Project Hosting
• High Performance Rails (long edition) // Speaker Deck
  • Rails アプリケーションのパフォーマンスについて RubyKaigi 2013 で発表しました - クックパッド開発者ブログ

Deploy

• HashWithIndifferentAccess - APIdock
  • Rails では多くの Hash 的なオブジェクトが、キーが Symbol でも String でもアクセスできるが、その振る舞いは HashWithIndifferentAccess が担っている。
• sonots/capistrano-bundle_rsync
  • Capistrano 3 用の rsync デプロイするためのプラグイン。とても快適
• vigetlabs/capistrano_rsync_with_remote_cache
  • Capistrano 2 時代の、rsync で高速デプロイするためのプラグイン
• moll/capistrano-rsync
  • Capistrano 3 用であるが、そのままでは動かないことで有名
• “sora_h が書いたデプロイシステム”
  • sorah/mamiya
  • RubyKaigi 2014 | Scalable deployments - How we deploy Rails app to 100+ hosts in a minute

database.yml, Balancing Databases, ActiveRecord

• Config::Pit - search.cpan.org
• DBIx::DBHResolver - search.cpan.org
• “riywo さんのスライド” (MyDNS による DB のバランシング)
  • Most Powerful High Availability / Load Balancing #yapcasia 2012 // Speaker Deck
• sonots/resolver_replace
  • [Ruby] 例えば、DNS Resolver をすげかえる - sonots:blog
• eagletmt/switch_point
• クックパッドにおける最近のActiveRecord運用事情 - クックパッド開発者ブログ
• SQL::Translator - search.cpan.org
• winebarrel/ridgepole
• mizzyのDevOps対応企業Tシャツ ∞ SUZURI
  • http://instagram.com/p/r1ABcnRqZJ/

MongoDB

• Mongoid
  • ActiveRecord 風の API で MongoDB を扱うことができる gem。
• CyberAgent での MongoDB
  • AmebaのMongoDB活用事例
  • CyberAgentにおけるMongoDB
• PostGIS — Spatial and Geographic Objects for PostgreSQL
• Foursquare での MongoDB
  • こんなところにMongoDB！foursquare事例をご紹介：企業のIT・経営・ビジネスをつなぐ情報サイト EnterpriseZine (EZ)
  • FoursquareのMongoDBが機能停止
• Parse での MongoDB
  • How Parse Built a Mobile Backend as a Service on AWS
• “MongoDB や Cassandra に最適”
  • I2 インスタンス - Amazon Elastic Compute Cloud

switch_point - R/W Splitting, Multiple DB in ActiveRecord

• eagletmt/switch_point
• tchandy/octopus
• kovyrin/db-charmer
• acts_as_readonlyable

Job Queueing

• Q4M - a Message Queue for MySQL
• Riding Rails: Rails 4.2.0 beta1: Active Job, Deliver Later, Adequate Record, Web Console

Connection Pooling

• sonots/activerecord-refresh_connection
  • [Ruby] 例えば、ActiveRecord の connection_pool を止める - sonots:blog
• コネクションプーリング無効化のためのGemを作った - so what
• activerecord-mysql-reconnect 0.2.0 - so what

Logging and/or Rewriting SQLs

• Yuji Shimada / DBIx-QueryLog - search.cpan.org
• cookpad/arproxy
  • ActiveRecordが発行するSQLをフックして色々やるためのライブラリArproxyを公開しました - 昼メシ物語
• Perl でクエリのコメントにファイル名と行数がつくやつ
  • DBIx::Sunny - search.cpan.org