Файловый сервер (хранение документов)

Все привыкли исходить из минимальных данных, вот типа щас так работает также оно и будет работать потом. Я же исхожу из максимально допустимых (пиковых), значений, что имеем сейчас в обороте, то должно работать не хуже при увеличении нагрузок в несколько раз. Если комуто хватает для работы с десятком файлов одновременно при помощи Дропбокса, то врятли ему этого хватит при 10 и 100 кратной нагрузке.

 

Ого! Это даже я поняла ))

Остался один вопрос, как долго продлятся научные изыскания для нахождения оптимального пути?
Могу ли я чем-то помочь?
Ибо таки хочется решить проблему и нормально работать.

 

Lanatje, Андрей уже всё разрисовал. Вторая картинка в его посте. Идеальное соотношение цена/качество. NAS для доступа к файлам для локальных сотрудников и для сотрудника из Украины. Дропбокс или/и Гугл Драйв для резервирования.
Дело в том, что достаточно сложно оценить масштабы издалека. Неясно сколько весит вся база и какой объём необходимо хранить одновременно. Ну и в общем, ещё может возникнуть масса вопросов, которые могут возникнуть при написании ТЗ.
Приблизительное решение есть, осталось его внедрить. Для этого нужно пригласить знакомого/наёмного специалиста, который с учётом местной специфики предоставления услуг и планируемого расширения внедрит это решение. Очевидно, что вы пытались найти его здесь вашим первым постом в топике, но специались сей ещё не решился. Нетворк солюшнз архитекты весьма дорогие специалисты и за деньги работать в свободное от работы время не решатся. Попробуйте заманить их чаем с баранками.

Господа, работы, которые мне видятся:
нужно поднять линукс с самбой (права доступа, завести юзеров и т.п., авторизацию по логину/паролю), поднять
дропбокс, запихнуть его в крон, на роутере (думаю он есть, неплохо ещё поинтересоваться насколько он хорош) поднять динамикДНС (естественно зарегистировать доменое имя у какого-нибуть бесплатного провайдера этого сервиса) и пробросить нат. На локальных тазиках прописать пути к файловой шаре, для удалённого пользователя сделать инструкцию по добавлению удалённого диска. Вроде всё. Можно ещё ВПН попробовать поднять. Это чтобы совсем секьюрно.

 

Gonzo спасибо за совет )))

Продолжаю намекать - тому кто решится воплотить в жизнь изложенные выше гениальные идеи на местности (Заандам) обещаю налоговые консультации, декларации и посещение семинаров в течении года бесплатно. А также распитие чая/кофе/коньяку/нужное впишите непосредственно в момент или сразу после процесса.

Если у кого есть другие пожелания, также готова их выслушать. hone:

Данные в подписи

 

Свет, если не затруднит, огласи результаты моего теста из дома и из офиса по отдельности. Лично мне это поможет оценить ситуацию непосредственно в том решении которым ты сейчас пользуешся, а не другие. Другие провайдеры, другие интернет средства и т.п. в моем тесте исключены. Мои результаты будут не столь точны, но ориентированы на маршрут от конкретного пользователя до того хранилища которым он пользуется. На основании их я смогу хоть и не точно, но хотябы приблизительно оценить что по чем.
Как говорится, трудно нарисовать портрет человека по телефонному разговору, по крайней мере я не настолько крут.
Результаты тестов от других читателей этой темы помогут получить результаты лабораторных испытаний при различных условиях, вычислить девиации и погрешности.

Касательно реализации задачи как я уже говорил. Я никогда не занимался продажами оборудования, его настройкой и его администрированием. Я занимался изучением проблем изнутри тех или иных технологий. Именно поэтому я могу в деталях описать преимущества и недостатки, но не смогу толком обьяснить как этим пользоваться на практике. То что описал Gonzo во втором пункте для меня частично понятно но в целом темный лес. И эта тема меня задела так как хочется расширить свои познания.

 

Андрей, пока только из дома померяла. С работы попозже выложу.

A. TotalFilesSizeOnCloud - сейчас около 8,5 гиг, вырастет к концу года минимум вдвое
B. TotalCountFilesOnCloud около 30.000
C. FilesOperationPerDay - максимум 1000 во время отчета, нормально 50-300
Средний размер файла 250 кб

Компания постоянно развивается (то, что я делала одна в полторагода назад, сейчас заняты 4 человека)
Поэтому хотелось бы иметь боооольшой запас по всем параметрам.

Кроме того общий размер базы будет только расти, потому что срок хранений 7 лет (то есть устаревшие файлы раньше удалять нельзя)

ПО тестам вот , что получилось. (дома)
Синхронизацию перед тестом я не проводила, т.к. такой функции у меня просто нет.

Скорость замерила дважды: когда ничего не делала (первая цифра) и непосредственно во время заливки (вторая цифра) - результаты существенно отличаются, видимо этому есть какое-то научное объяснение.

1. DownloadSpeed - (6,22 - 22,29 Mb/s)
2. UploadSpeed - (1,49 - 1,26 Mb/s)

результаты Test1
3. Test1UploadTime - (26 min)
4. Test1FindFileTime - (? sec)
результаты Test2
5. Test2UploadTime - (10,5 min)
6. Test2FindFileTime - (? sec)

По поиску - ищет мгновенно, какие там доли секунды я засечь не могу, да это и не важно.
Тем не менее, считаю тест поиск некорректным. А именно:
Гдиск ищет только если вводится целое имя или начало имени. Если у меня файл назван factuur 5-Andrustchenko, то поиску andru - вообще ничего не находит.
По твоему тесту поиск dme не дал результатов.

Еще один прикол с поиском в Гдиск: в какой бы директории я не стояла, он дает результаты по поиску относящиеся ко всей базе, что практически сводит поиск к нулю. Пример - мне нужны фактуры на клиента только из папки июль2012 -их 4 штуки. При вводе имени клиента в поиск он выдает мне все документы от него по всей базе (несколько сотен за 3 года). Найти там нужные фактуры надо 10 минут.

Касательно просмотра. Мне нужно примерно вот так - просмотр в мелком виде и при необходимости "пролистывание" этих доков в крупном виде.

ПС. Кстати один доброволец таки нашелся, после уточнения деталей пошел думать. Возможно ваши дальнейшие прения помогут человеку быстрее придумать правильный вариант.

 

В дополнение к предыдущим рассуждениям думаю неплохо рассмотреть новый сервис от Амазона -
Amazon Glacier

Это сервис для бэкапов - долговременное хранилище в облаке по цене $0,01 за 1 ГБ в месяц. Amazon гарантирует 99,999999999% сохранность архива. Но это именно хранение бэкапов. Заявка на доступ к данным удовлетворяется в течении нескольких часов и за скачивание берут дополнительные деньги (зависит от объема, может быть и бесплатно).

Сюда можно выгружать данные на хранение, к которым уже не требуется немедленный доступ. И тем самым можно соптимизировать размеры NASа и увеличить надежность хранения локальных данных, отдав предпочтение более ресурсоемким вариантам RAID.

Прочитать на русском можно на хабре -
habrahabr.ru/post/149942/
Там же рекомендую почитать ветку комментариев, где обсуждается цена на скачивание -
ветка комментариев

 

я так и не понял, в чём проблема поставить клиента Google Drive локально и синхронизировать на диск то, что есть. 8.5 гиг не вот тебе ужас ужас. с просмотром проблема решится и со скоростью украинского интернета тоже. для быстрого поиска достаточно будет включить встроенное индексирование Windows 7.

быстрый доступ к старым файлам (7 лет) вообще вещь ненужная. надо складывать это в бэкап, как написал TedBeer

по-моему всё это как-то сильно напоминает делание из мухи слона. главной проблемы - связи оригиналов с проводками в экзакте ни один вариант не решает. это можно делать в экзакт онлайн (там же и бэкапы, кстати), есть проблема со скоростью просмотра, но ваш метод работы для меня очень необычен, поэтому я ничего не могу посоветовать тут. в конце концов можно сделать автозаливку документов в экзакт, благо они предлагают набор интерфейсов к своей системе. но это совсем другая тема. по-моему вопрос решается не с той стороны.

 

Свет я думал что у тебя гораздо больше обьем хранилища. Если считать как ты написала на первой странице что сканируется 1-3гигов в месяц, за год это 24гига. При таком обороте архив за последние 5 лет должен весить не менее 100 гигов, но никак не 8,5.

Если взять за основу ABC, средний размер 280Кб соответственно получаем приблизительно такой прогноз развития хранилища.
2009 - 3,0Гб - 14.000 файлов
2010 - 4,5Гб - 17.000 файлов
2011 - 6,3Гб - 22.000 файлов
2012 - 8,5Гб - 30.000 файлов (на сегодня)
2013 - 11,2Гб - 42.000 файлов
2014 - 14,5Гб - 59.000 файлов
Это небольшой обьем и небольшие проблеммы.
Но это никак не канает на оборот в 1-3 гигов в месяц. При таком обороте надо говорить уже о сотнях гигов в архиве. И тут уже большая разница где 14Гигов под синхронизацией, а где сотни гигабайт.
Исходя из 1-3гигов в месяц и годового более 20гигов, надо искать решение с расчетом на будущее на хранилище в сотни гигабайт. А для хранилища в 10гигов, достаточно и простых решений.

 

Андрей, я работаю как самостоятельное предприятие всего два года.
В конце 2010 у меня было 7 предприятий, сейчас 52, про частников уже молчу.
Прирост идет не в одинаковой пропорции.
Еще год назад мне вполне хватало моего лептопа и отсканированные доки я отправляла по мылу украинской коллеге и этого вполне хватало.
Вопрос о хранилище стал как раз в связи с неуправляемым ростом объемов документов.
1-3 гиг в месяц это данные этого года. Они колеблются сезонно (в отчетные периоды больше) В мае например пришел один клиент, принес с собой три года, каждый из которых более 3000 документов содержит. Мы их даже сканировать не стали - обрабатывали с бумаги, именно чтоб время не убивать. Вот лежат эти папки и ждут, когда я найду нормальное решение.
Если б все было просто, я бы тут не просила помощи.

 

Значит будем расчитывать из расчета на максимально возможное, чтобы был запас прочности системы. Тем более если имеем лавинный всплеск, тот тут надо поморочиться. Будет трудно предсказать точку насыщения, когда колличество клиентов перестанет расти и оборот документов станет постоянным.
Надо будет думать, будем исходить из 1-3 гигов в месяц с лавинным всплеском до 50 гигов в год.

Гдето такая прогрессия получается.
2010 - 1.800 - 0,5Гб
2011 - 7.500 - 2Гб
2012 - 30.000 - 8,5Гб (сейчас)
2013 - 120.000 - 36Гб
2014 - 480.000 - 154Гб

 

Ну больше 1000 документов в день вряди будет - сканер не потянет ))
Хотя ты прав, именно такая прогрессия и получается.

Тут была идея хранить архив старый где-то отдельно - наверное это довольно умное решение. Мы обычно работаем с документами текущего и прошлого года, Ну иногда позапрошлого. То есть можно значит уменьшить объем того, что должно синхронизироваться. А более старые года хранить как-то отдельно и вручную например раз в месяц обновлять...

Алекс, у меня онлайновский экзакт, но аккоунтовский вариант. То есть у меня не одна администрация там, а много. И я иногда паралельно несколько предприятий открываю, т.к. некоторые клиенты являются покупателями-продавцами друг-друга.

Автозаливка - это я как-то себе трудно представляю, возможно я не знаю каких-то важных технических вещей?
Обычное привязывание документа к проводке - то же самое, что заливка в онлайнхранилище, только медленнее.
Я веду предприятиям также зарплату, персонал, всякие письма-формуляры и прочее, вплоть до оформления в садик его ребенка и запроса туслагов теще )) и лучше когда все это лежит в одной папке клиента.
К тому же у меня несколько сотен частников, которые никак не привязаны к экзакту.

Мой способ работы может и необычен, но явно действенен, поэтому ко мне и перебегают клиенты по всей Голландии, от контор типа БДО.

Индивидуальный подход, материнская забота и анализ ходов с разных точек зрения с целью получения максимальной выгоды и удобства для клиента - то, чем я горжусь, и не хочу терять из-за того, что уходит много времени на всякие неинтересные дела типа синхронизации.
Хочу максимально автоматизировать свою работу для пущей эффективности.

 

Светлана, а что за модель сканера у вас? Может взять какой-нибудь быстрый сканер с автоподачей документов и автоматическим сканированием в удобный вариант файла, с возможностью отсылки по электронной почте и т.п.?
Чем больше вы рассказываете, тем больше я прихожу к мысли, что с учётом расширения вашего бизнеса вам лучше поискать специалиста по электронному документообороту, который предложит и внедрит уже готовое удобное решение для ваших нужд, которое позволит вам безболезненно расширяться в дальнейшем.

И вообще, какими ERP системами пользуются в голландии для, как я понял, финансового документооборота?

 

Что такое ERP ?

Сканер у меня замечательный - маленький переносной, очень быстрый, протяжный, можно ставить по 20 документов, сканирует все, даже малюсенькие чеки, сам выравнивает, может сканировать с двух сторон, сам нумерует. Возможно может и по майлу отправлять, не знаю :unsure:
Стоил он около 300 евро, но я не пожалела - он мне очень помог и продолжает помогать.

Насчет "специалиста по электронному документообороту", даже не знала, что такие бывают )) Но боюсь, что мой бизнес еще не развился настолько, чтоб я могла себе позволить таких замечательных людей. Хотя звучит очень заманчиво -измучалась я уже с этой автоматизацией.

А насчет Голландского варианта работы - так тут они мне врядли могут служить примером. Пока не встретила нормально работающую бухгалтерско-админитративную контору. Это либо одиночки - но они останавливаются по достижению определенного оборота (я этот этап как-то быстро и незаметно для себя проскочила), либо огромные конторы, у которых каждый делает кусок работы и сидяшие за соседними столами люди могут работаьь с одним и тем же клиентом и не знать об этом.
Получается, что мелкие предприниматели бегают от одного дешевого частника к другому, потому что там уровень знаний обычно недостаточен. А компании побогаче обращаются к известным фирмам с кучей дипломированных специалистов, но при этом они никого реально не интересуют и платят огромные деньги.
Хочется все-таки и оставить высокое качество обслуживания, и при этом остаться доступной по цене и мелким предпринимателям.

 

ERP.
Первый абзац википедии:
ERP (англ. Enterprise Resource Planning, планирование ресурсов предприятия) — организационная стратегия интеграции производства и операций, управления трудовыми ресурсами, финансового менеджмента и управления активами, ориентированная на непрерывную балансировку и оптимизацию ресурсов предприятия посредством специализированного интегрированного пакета прикладного программного обеспечения, обеспечивающего общую модель данных и процессов для всех сфер деятельности. ERP-система — конкретный программный пакет, реализующий стратегию ERP

 

Мерси за ликбез.
Может мне еще на менеджера пойти поучиться для полного комплекта?

А если серьезно, в большой интернациональной компании, в которой я работала до ухода в собственное плавание пользовались системой САП. Схема работы с документами была примерно, как у меня. В каждом офисе в разных странах был отдел сканирования, где документы номеровались (посредством наклеивания лейба) потом сканировались и все это отправлялось в Словакию. Там целая контора вносила документы САП. Я как раз координировала эту работу, то есть контролировала бухсчета, находила ошибки при внесении документов, давала рекомендации к коррекциям и проводила треннинги словакам о голландских тонкостях в бухгалтерии. Ошибок при этом происходило очень много и в конце концов фирма решила поменять шило на мыло и отдать ведение бухгалтерии в Польшу )). С поляками я на предыдущей работе тоже намучалась, но зато именно такую удаленную работу я хорошо изучила и, учтя проблемные места, успешно применила в своей конторе.
А вот к сожалению технической стороной обеспечения всего этого документооборота я как-то никогда не заморачивалась. Знаю только, что был свой какой-то огромный сервер с кучей дисков, мы входили по паролю (каждый со своим уровнем доступа) и работали все с одними и теми же доками. Так же знаю, что отсканированные документы попадали прямо в САП в нечто типа входящего почтового ящика (по словацскому логину их было видно), но наш финансовый отдел не мог их увидеть пока словаки их не привяжут к дебиторам-кредиторам.

Я думаю, моя проблема в том, что я уже не маленькое предприятие, которому не нужна автоматизация, но еще и не большое, чтобы платить за это много денег. Вы знаете, я на разные семинары езжу и вот нам делали презентации программ, которые не только сканируют чеки и фактуры, но сами распознают текст в них и привязывают непосредственно к бухпрограмме. Стоят эти проги немеряно денег. Думаю, что в скором будущем их будет больше и они станут подешевле, но пока это не решение моей проблемы.

Знаю конторы, которые снимают складские помещения (гаражи, боксы) для хранения архива. Я считаю, что это прошлый век. Если можно хранить доки в электронном виде и Го налоговую это устраивает (здесь ведь печати и подписи не в моде), то надо это использовать.

 

Свет, исходя из того что имеешь ты сейчас и что может понадобиться в ближайщие несколько лет.
GoogleDrive или Dropbox останутся в роли облачного хранилища для удаленных сотрудников, а вот для оффиса нужен отдельный сервер, так как сейчас нужен файл-сервер, а завтра понадобится Mail-server или SQL-server или еще какие потребности, пропускать все производственные потоки через интернет станет со временем не выносимо. Будем ориентироваться на будущее и городить сервер.
Покупать новый сервер обойдется весьма дорого.
Покупать простой NAS его может нехватить по функциональности, покупать хороший мощьный NAS то он будет стоить почти как сервер, да и можно запросто промазать в выборе, а случись что может не оказаться той или иной функции. Поэтому лучше не навороченый б/у сервер, который надо будет подшаманить и настроить как надо. Рабочий б/у можно на марктплатсе найти или BVA аукционе. Прослужит такой не менее трех лет без особых проблем.
Мощности такого хватит на все и вся еще и с запасом, при необходимости на нем можно будет еще и дополнительные виртуальные сервера запустить.
Из требований которые будут нужны к такой железяке: Tower-server, Rack-server не не нужен так как ему еще стойку покупать и т.п. причендалы. SAS/SATA диски не менее 4-х так как возможно прийдется наращивать обьемы. Поддержка RAID-10. Два Ethernet на случай если его придется еще функциями роутера и фаервола снабжать. Приблизительно такой
ссылка или такой
ссылка

Все хардверные вопросы с сервером я помогу решить, а вот что инсталить и как настраивать нужен будет другой человек-админ.

Подозреваю что могут возникнуть вопрос "зачем понадобятся виртуальные сервера?"
Сейчас самый оптимальный вариант это Linux-server, дешевле лицензия, стабильнее и т.п. Но рано или поздно появится нужда пользоваться какой нибудь базой данных или системой документооборота, а ей понадобится Windows платформа, MSSQL, Exchange или там еще что. Ради этого покупать еще один сервер смысла нет, проще запустить его в виртуалке под Линуксом пусть там работает.
Это на будущее которое непредсказуемо, но требует готовиться заранее.

 

На счет автоматизации сканирования документов, нашол вот это
ссылка
На сколь я понял то у них есть серверные решения "серверы распознавания и сортировки". Понятно что это не дешовое решение, но я подозреваю что на основе таких серверов некоторые конторы делают уделенные сервисы, им докуметы сливают а они возвращают результат. Думаю что стоит поискать такие конторы у кого уже реализованы подобные сервера и поговрить с ними на счет обработки твоих документов. К примеру они могут забирать документы из какого нибудь дропбокса распознавать и возвращать результат тудаже.

 

Мы что-то совсем ушли от темы.
Теперь мне рассказывают, как мне организовать свою работу. Спасибо, я с этим справляюсь))
Мой украинский сотрудник справляется дешевле, быстрее и главное намного грамотнее любой программы. Я не собираюсь менять свою систему работы, которая хорошо себя зарекомендовала.
У меня были чисто технические вопросы решения конкретной проблемы.
Т.к. обсуждение зашло в тупик, думаю, что не стоит дальше обсасывать эту тему.

Спасибо всем за мнения и отдельно тем, кто откликнулся в личку.
Первый шаг к решению уже сделан, надеюсь, в скором времени решится и остальное. Еще раз всем спасибо
:rev:

 

Приходит босс к програмисту, и начинает ему рассказывать что надо сделать, мол надо то и это так и этак, ну чтобы это вот сюда а это туда, чтобы нуу вот так чтобы быстро и легко.
Програмист слушает и думает про себя: "пойди туда неведомо куда, найди то неведомо что".
Полный misunderstanding.

Я ни бэ ни мэ в бухгалтерии и делах бумажных, уж кому кого учить в этом деле явно ни мне тебя, я только предлагаю технические решения на основании того что слышу.
Да вот толи пол коробки пазла не дадали, толи две левые подмешали, но картинка ни как не складывается.

А ведь даже никто кроме меня и не подумал просто сравнить показания тестов.

и

И для кого спрашивается я делал тесты показывающие на лицо огромные разницы во времени, при выполнении процессов одинаковых на первый взгляд.