F@N Ad-Tech Blog

株式会社ファンコミュニケーションズ nend・nex8・viidleのエンジニア・技術ブログ

TreasureDataで機械学習してみる

この記事はTreasure Data Advent Calendar 11日目の記事です。 こんにちは、データマイニングチームのy_kawasakiです。(毎回所属が変わってます!) 最近、大量のデータを前に途方にくれていました。TreasureData(以下TD)という、武器を手に入れて、がっ…

【後編】Apache Sparkを使って、メモリ使用量が大きいバッチ処理をスケールアウト

こんにちは、弊社で1ヶ月半ほどインターンとして働いているt_sakaiです。 インターンシップの課題として、メモリ使用量が大きくて将来問題になりそうなバッチ処理をスケールアウトできるように書き換えるという課題に取り組みました。 解決手段として流行り…

【前編】Apache Sparkを使って、メモリ使用量が大きいバッチ処理をスケールアウト

初めまして、弊社で1ヶ月半ほどインターンとして働いているt_sakaiです。 インターンシップの課題として、メモリ使用量が大きくて将来問題になりそうなバッチ処理をスケールアウトできるように書き換えるという課題に取り組みました。 解決手段として流行り…

Cactiへホスト登録するスクリプトを作る

Cactiに監視対象のホストを登録する時は、通常はブラウザで行います。 数台ならいいのですが、数十台数百台となってくると結構なクリック量で肩は凝るし、目もつらいです。 実はCactiならCLIを使っていろいろできるらしいのです。 コマンドだけでホスト登録…

Cactiで好きなグラフだけ集めたダッシュページを作る

最近はいろいろなグラフ化ツールが出ています。 例えば、GrafanaとかKibanaとかあります。 人気の理由の一つに、自分でダッシュボードを作成できるというのもあるかと思います。 さて、我らがCactiにもそんな機能は、・・・・・・ないですね。 なんとかCacti…

AndroidStudio おすすめプラグイン

こんにちは。k_manabeです。 少し前にようやくEclipseからAndroidStudioへの移行が完了しました。 ということで今回は、AndroidStudioでの開発を更に便利にしてくれるプラグインをいくつかご紹介したいと思います。 本記事はAndroid開発者向けの内容となって…

たくさんのNagiosを抱えるあなたのためのThruk

Nagiosマン、Nagiosガールのみなさん、こんにちは。 あなたは何台のNagiosを見てますか? どうやら私の部署では両手で足りない数のNagiosを抱えているということがわかりました。 Nagiosも数が増えてくると管理が大変で、こんな有様になりがちです。 最近こ…

超基本だけどサービスを考える上で大切なこと:前編

2回目のブログ更新です!sです! AndroidのSDKの開発者からプロデューサーにジョブチェンジしまして 新規サービスを考える人間として開発者ブログに再登場です。 久しぶりのブログ執筆なんですがいろいろありました。 サービスを作って失敗したりもしました…

AWSでPacemaker & Corosync

AWS

はじめに はじめまして、nendでインフラ担当をしているn_watanabeです。 今回はAWS EC2でVIP(仮想IP)を使ったActive/Standby構成を組む方法を紹介します。 技術要素としては、AWS EC2(AmazonLinux) + Pacemaker + Corosyncとなります。 Pacemaker構成をオン…

Cassandraクラスタを作成してみました

こんにちは、t_endoです。 今回はCassandraクラスタをAmazon EC2上に作成したいと思います。 以前何か良さそうなKVSがないものか探していたところ、 「Cassandraは、非常に高いスケーラビリティーを持ち、イベンチュアルコンシステントな分散システム構造のK…

innodb_print_all_deadlocksを試してみました

h_nagayamaです。 MySQLのバージョン 5.5.30 以上ならば ロック競合情報をログファイルに出力できるようになったので、今回試してみました。 関連するオプションは、innodb_print_all_deadlocks です。 詳細は、下記の公式マニュアルもご参照ください。 公式…

jsフレームワークについて

初めまして。y_sukです。 私がウェブ開発に携わり始めた2000年代前半にはフロントエンドはもちろんバックエンドにもフレームワークという概念が広まっていませんでした。 しかし、最近のウェブ開発でフレームワークは再利用、メンテナンス、開発コストの節約…

Docker冪等性の日

まえふり 久し振りに連絡を取り合った天文観測クラスタの先輩が講習会に講師で呼ばれるレベルになっていたのでfacebookを覗いたらラヴジョイ彗星というのを知ったy_yamadaです。 ラヴジョイ彗星はテリー・ラヴジョイさんが発見した5個の彗星で、その中で2014…

breezing NumPy-bration

k_oomoriであります!これまで数値計算といえばPythonのNumPy一択かなと思っていたのですが、Scalaでも似たようなライブラリはないものかと調べてみたところ、ありました、breezeが。ここではベクトルや行列の演算について性能を調べてみたいと思います。な…

goody!を支える技術

こんにちは。python教emacs派の、y_kawasakiです。布教活動が進捗ありません。 さて、皆さん、goody!を使って頂いていますか?今回は、goody!を支える裏側について、少し話してみようかと思います。 goody!とは? 行きたいお店が決まらない、そんな時に役立…

SwiftでAdMobメディエーションを使ってnendのバナーとインタースティシャルを表示する

はじめまして。 もともと辛い食べ物が全般的に苦手なのですが、 今のチームのみなさんのおかげで、辛い辛さは変わりませんが、その辛さが若干心地よく感じるようになったかも? というレベルになった気がする今日この頃です。まだ気のせいかもしれません。 …

RDBとグラフDBは使いよう ~ MariaDB様がみてる vs. InnoDBさんとNeo4jさん

ごきげんよう。k_oomoriです。業務でデータノード間の関連性を追いかけるようなクエリが投げたくなったので、グラフデータベースについて調べてみました。ここではネイティブなグラフDBであるNeo4j、本来はRDBであるMariaDBのグラフ計算用エンジンとして開発…

PHPのジェネレータを使おう

こんにちは。新参者のsamです。 最近、都内を離れると行くところ行くところ、雨に見舞われ、友人にも私が雨男という認識が何故か広まって困っています。 先日は宮崎に帰省したところ、台風19号に直撃されて周りの友人から何故か非難を浴びるという理不尽を受…

Android Wear 開発 その1

最近仕事でプログラムを書くことが減ってきたやまもとです。 本職は国家自動車整備士です。 私の所属するチームでは、私以外全員Appleの回し者iPhone使いで肩身が狭いのですが、Android Wearでアプリでも作ろうかと思います。 せっかくなので何か動いて形に…

Hadoop Streamingで、MapReduceをPHPで実装する

はじめに こんにちは、t_oookaです。 今回は、Hadoop Streamingを使用して、PHPでmap,reduce処理を実装してみます。 Hadoop Streamingとは、hadoopが提供するユーティリティで、当該ユーティリティを使用することでJava以外の任意の言語やコマンド(標準入力…

HTML5 Canvas事案

お久しぶりです nend担当@tosh01です。 まだまだ暑さも残っていますが、ようやく長かった夏も終わりを迎え、過ごしやすくなってきた今日この頃ですが、いかがお過ごしでしょうか? さて、日々変化の激しいWEB業界ですが、7月の終わり頃からでしょうか、やた…

Systemdの運用に向けて

はじめまして。インフラ担当のk_koderaと申します。 仕事だけでなく個人でもお世話になっているCentOSですが、6月10日にRed Hat Enterprise Linux 7、そして7月7日にはCentOS 7がリリースされました。リリース前から噂で聞いていたSystemdの採用。詳しいこと…

言明との出会い

はじめに こんにちは@kou_hoshです。 健康診断を無事乗り切り、喜び勇んで食事をしていたら早速1kgほど太りました。 食欲だけは夏バテとは無縁のようです。 さて、今回はブログ用のネタではなく、実務でちょっと勉強になったことを紹介したいと思います。 キ…

MongoDBとHiveでごにょごにょ事始め

こんにちは、s_mamedaifukuです。 先頭の ”s" は「塩」の ”s" です。 MongoDBとHiveの連携を試みている今日この頃です。 各ソフトウェアのバージョンは MongoDB : 2.6.1 Hadoop(EMR) : 1.0.3 Hive : 0.11.0.1 です。 HiveからMongoDBのデータを操作する 「Mo…

ブログ記事の作成補助ツール紹介

はじめに こんにちは@kou_hoshです。 最近ソルティライチにどはまりしています。 飲みたいとかそういうレベルでなく体が欲している感じです。 塩分足りてないんでしょうか? さて、今回久々にブログ記事作成する訳ですが、 特にネタが思いつかなかったそもそ…

エイリアスに設定しておくと便利なlinuxコマンド6選+α

初めましてこんにちは!やっと右肘骨折のためのギプスが取れましたma_satoです。 ギプスが取れても手首と肘の関節がガチガチに固まっているので、まだまだ通院生活は続きそうですが。。 さて、突然ですがコマンドって打つの面倒ですよね!この1ヶ月間、利き…

DboSource::getLog()で発行されたSQLを確認する

h_nagayamaです。 CakePHPでは、DboSource::getLog()を使用すると、発行されたSQLを確認することができます。 私は下記のように使用しています。 ※以降は CakePHP 1.3 のソースです [js] debug($this->{$model}->getDataSource()->getLog()); [/js] こちらは…

sedやらawkでログ調査を行う

はじめまして。ADN事業部サーバサイドチームのy_ouchiです。 みなさんは先月末のSAYONARA国立競技場はご覧になったでしょうか? エンジニアのみなさまなら当然ブルーインパルスを見に行ったと思いますが、私の場合は当日の朝起きたらすでに夕方だったので、…

Eclipseのテーマを自分好みにカスタマイズする

はじめまして。AndroidやらiOSやらUnityやらのk_manabeです。 前々回のエントリーでEclipseが話題に上がっていたので、それに便乗して今回もEclipseの話をしたいと思います。 Eclipseのテーマをカスタマイズする さて、皆さんはEclipse等の開発環境を使う際…

CygwinでもRuby on Railsしたい

y_yamadaです。最近、二つのことが気になっています。 一つは社内のドリンクサーバーの横に設置されている机にいつの頃から100円玉が置いてあって、一日たって三日たってもそのままで持ち主も現れず誰のかなあと。 それが昨日、消えていました。きっと落とし…